MIT Technology Review tarafından yayınlanan verilere göre, mevcut büyük dil modellerinin (LLM) kalbinde yer alan bu yapı, yüksek enerji tüketimi ve işlem maliyetleri gibi ciddi darboğazlar yaratıyor.
Sektörü Sarsağı İşlem Maliyetleri ve Enerji Krizi
Transformer yapılarının kullandığı 'yoğun dikkat' (dense attention) mekanizması, metindeki her kelimenin birbirleriyle karşılaştırılmasına dayanıyor. Bu durum, metin uzadıkça hesaplama yükünü katlayarak artırıyor. Örneğin, 10 bin kelimelik bir belge için 50 milyon çarpma işlemi yapılması gerekebiliyor. Bu hesaplama yükü, veri merkezlerinin elektrik tüketimini artırırken maliyetleri de yukarı çekiyor. OpenAI başkanı Greg Brockman, şirketin bu yıl bilgi işlem için 50 milyar dolar harcamaya hazırlandığını belirtti.
Bağlam Penceresi ve Akıl Yürütme Sınırları
Mevcut modellerin kelime kelime işleme yöntemi, çok büyük veri setlerini aynı anda takip etmeyi zorlaştırıyor. Özellikle kütüphane boyutundaki belgeler veya geniş kod tabanları söz konusu olduğunda, 'bağlam penceresi' adı verilen kapasite yetersiz kalıyor. Akıl yürütme modellerinin kullandığı 'düşünce zinciri' yöntemi ise işlem hacmini daha da artırarak transformer mimarisinin bir darboğaza dönüşmesine yol açıyor.
LLM+ Dönemi ve Sparse Attention Arayışı
Yeni nesil startuplar, bu sorunları aşmak için 'LLM+' olarak adlandırılan yeni nesil modellere odaklanıyor. Çözümlerden biri, tüm kelime çiftlerini değil, sadece belirli eşleşmeleri hesaplayan 'seyrek dikkat' (sparse attention) mekanizmasına geçiş yapmak. Bu yaklaşımın, dil modellerini daha hızlı, daha ucuz ve daha verimli hale getirmesi bekleniyor.
Yorumlar (0)
Henüz yorum yok. İlk yorumu siz yazın.