Tel Aviv merkezli girişim Majestic Labs, yapay zeka performansındaki temel engelin işlem gücü değil, bellek kapasitesi olduğunu savunarak GPU kullanmayan yeni bir sunucu mimarisi tanıttı. Eski Google ve Meta mühendisleri tarafından 2023 yılında kurulan şirket, Prometheus adlı sunucusuyla Nvidia'nın yüksek maliyetli GPU raflarının yaptığı işi farklı bir yöntemle gerçekleştirmeyi hedefliyor.

Ignite İşlemciler ve Dev Bellek Havuzu

Prometheus sunucusu, grafik işlemciler (GPU) yerine Ignite AI Processing Units adı verilen özel birimler kullanıyor. Arm çekirdeklerini, RISC-V vektör ve tensör motorlarıyla birleştiren bu sistemde, tek bir sunucuya 12 adete kadar birim yerleştirilebiliyor. En dikkat çekici özellik ise 8TB ile 128TB arasında değişen devasa bir LPDDR6 bellek havuzunun kullanılması. Bu bellek türü, GPU'ların bağımlı olduğu pahalı yüksek bant genişlikli bellekler yerine akıllı telefonlarda kullanılan daha ekonomik belleklerden oluşuyor.

Nvidia ile Karşılaştırma ve Yazılım Desteği

Şirket, Prometheus'un bellek kapasitesini Nvidia DGX B300 ile kıyasladığında, 2.3TB belleğe sahip olan rakibine karşı 50 kattan fazla hızlı bellek sunduğunu iddia ediyor. Ayrıca bağlantı bant genişliğinin 1.7 kat daha fazla olduğu ve bir rafın, güç tüketiminin çok küçük bir kısmıyla 25 adet Nvidia Vera Rubin rafının bellek performansına eşdeğer olduğu öne sürülüyor. Yazılım tarafında ise PyTorch, vLLM ve OpenAI Triton gibi açık standartları destekleyerek, GPU'lar için geliştirilen modellerin herhangi bir değişiklik yapılmadan çalıştırılabileceği belirtiliyor.

Yatırımlar ve Sektörel Beklentiler

Geçen yılın sonlarında 100 milyon dolar yatırım alan ve Tel Aviv ile Los Angeles'ta yaklaşık 40 çalışanı bulunan Majestic Labs, büyük işletmelerden ve hiper ölçekli veri merkezlerinden siparişler aldığını duyurdu. Ancak sistemin 128TB'lık kapasiteye ulaşmak için on binlerce bellek kalıbı ve çok sayıda toplama çipi gerektirmesi, donanımın fiziksel karmaşıklığına dair soru işaretleri yaratıyor. Ürünlerin önümüzdeki yıl sevkiyatına başlanması beklenirken, sektördeki uzmanlar bağımsız performans testlerinin sonuçlarını bekliyor.

Ne anlama geliyor?

Yapay zeka modellerinin çalıştırılması sürecinde verilerin işlemciye hızlıca aktarılması gerekir. Mevcut sistemlerde işlem gücü çok yüksek olsa da, verilerin taşındığı bellek alanları dar olduğu için işlemciler çoğu zaman veri bekleyerek boşta kalır. Bu durum, donanım mimarisinde işlem kapasitesinden ziyade veriye erişim hızının ve miktarının öncelikli hale gelmesine neden olur.

Geliştirilen yeni yöntem, pahalı ve nadir bulunan özel bellekler yerine yaygın olarak kullanılan standart bellekleri geniş bir havuzda birleştirerek maliyeti düşürmeyi ve kapasiteyi artırmayı amaçlar. Bu mekanizma sayesinde devasa veri setleri tek bir bellek alanında tutulabilir ve işlem birimleri bu veriye çok daha hızlı erişir. Kullanıcılar için bu durum, çok daha büyük modellerin daha az enerji tüketimiyle ve daha düşük maliyetlerle çalıştırılabilmesi anlamına gelir.