Weka, NeuralMesh 6 adlı yeni bir depolama platformunu piyasaya sürdü. Bu platform, AI modellerinin önceden hesaplanmış tokenlerini önbelleğe alarak GPU yükünü azaltmayı amaçlıyor. Weka, bu teknolojiyle GPU belleğinin en pahalı kaynak olduğunu ve bu sorunla başa çıkmak için daha ucuz depolama teknolojilerini kullanmayı öneriyor.

Ne Anlama Geliyor?

Weka'nın yeni platformu, AI modellerinin daha verimli çalışmasını sağlamak için tasarlandı. GPU belleği, üretim AI'de en pahalı kaynaklardan biri ve aynı zamanda en hızlı tükenen kaynak. Uzun bağlamlar ve çoklu dönüşlü sohbetler, AI modellerinin zaten işlediği bilgileri tekrar tekrar işlemesine neden oluyor, bu da GPU belleği ve hesaplama gücünü tüketiyor.

Çözüm Nedir?

Weka, NeuralMesh 6 platformuyla bu sorunu çözmeyi amaçlıyor. Platform, Augmented Memory Grid yaklaşımını kullanarak NAND flash depolamayı GPU belleği gibi davranacak şekilde birleştiriyor. Bu, GPU belleğinin maliyetini önemli ölçüde azaltıyor. Weka, bu teknolojiyle birlikte Wekapod 3 adlı ilk kendi tasarladığı donanım serisini de piyasaya sürdü.

Avantajlar

Weka'nın yeni platformunun several avantajları var. İlk olarak, mevcut GPU yatırımlarının daha verimli kullanılması sağlanıyor. İkinci olarak, çıkarım maliyetleri azaltılıyor ve yeni AI iş yüklerinin dağıtımı daha hızlı hale geliyor. Ayrıca, organizasyonlar AI kullanımını artırdıkça, GPU kapasitesini artırma ihtiyacını azaltıyor.