Farklı uzmanlıklara sahip modelleri bir araya getirerek hata payını düşürmeyi hedefleyen işletmelerin, sistemlerinin başarısızlık oranlarını 2,25 kat daha düşük tahmin ettiği belirlendi.
Ortak Başarısızlık Tavanı Riski
Araştırmada 'co-failure ceiling' (ortak başarısızlık tavanı) olarak adlandırılan bir kavram üzerinde duruluyor. Şirketler genellikle modellerin farklı konularda hata yaptığına inanarak, bir modelin boşluğunu diğerinin dolduracağı varsayımıyla karmaşık yönlendirme sistemleri kuruyor. Ancak gerçek limit, modellerin ne kadar farklı olduğu değil, tüm modellerin aynı anda yanlış cevap verdiği istemlerin oranıdır.
Karmaşık Altyapıların Gizli Maliyetleri
Geliştiriciler genellikle sorguları dağıtan yönlendiriciler, düşük güven skoruyla üst modele aktarım yapan kaskad sistemler veya Mixture-of-Agents (MoA) gibi sentezleyici mimariler kullanıyor. Bu yapılar; sistem gecikmesi, altyapı bakım zorlukları ve çoklu API sağlayıcılarından kaynaklanan yönetim riskleri gibi 'gölge maliyetler' oluşturuyor. Çalışma, düşük korelasyon temel alınarak kurulan ancak eşit kapasiteye sahip olmayan model havuzlarının, zayıf modellerin güçlü olanı bastırması nedeniyle performansı düşürebildiğini gösteriyor.
Geliştiriciler İçin Verimlilik Önerileri
Araştırmanın yazarı Josef Chen, geliştiricilerin yalnızca benzer kalite bandındaki modelleri birleştirmeleri gerektiğini belirtiyor. Kalite eşleşmesi sağlanamıyorsa, karmaşık yönlendirme sistemleri yerine bütçenin mevcut en iyi tek modele ayrılmasının daha mantıklı olduğu vurgulanıyor. MoA mimarilerinde ise, düşük korelasyona sahip çeşitli modellerden oluşan bir topluluğun, aynı premium modelin defalarca sorgulandığı 'Self-MoA' kurulumuna göre daha başarılı olduğu tespit edildi.
Yorumlar (0)
Henüz yorum yok. İlk yorumu siz yazın.