21 farklı sağlayıcıdan gelen 67 öncü yapay zeka modelini inceleyen yeni bir araştırma, birçok şirketin çoklu model stratejilerinde ciddi bir hesaplama hatası yaptığını ortaya koydu. Farklı uzmanlıklara sahip modelleri bir araya getirerek hata payını düşürmeyi hedefleyen işletmelerin, sistemlerinin başarısızlık oranlarını 2,25 kat daha düşük tahmin ettiği belirlendi.

Ortak Başarısızlık Tavanı Riski

Araştırmada 'co-failure ceiling' (ortak başarısızlık tavanı) olarak adlandırılan bir kavram üzerinde duruluyor. Şirketler genellikle modellerin farklı konularda hata yaptığına inanarak, bir modelin boşluğunu diğerinin dolduracağı varsayımıyla karmaşık yönlendirme sistemleri kuruyor. Ancak gerçek limit, modellerin ne kadar farklı olduğu değil, tüm modellerin aynı anda yanlış cevap verdiği istemlerin oranıdır.

Karmaşık Altyapıların Gizli Maliyetleri

Geliştiriciler genellikle sorguları dağıtan yönlendiriciler, düşük güven skoruyla üst modele aktarım yapan kaskad sistemler veya Mixture-of-Agents (MoA) gibi sentezleyici mimariler kullanıyor. Bu yapılar; sistem gecikmesi, altyapı bakım zorlukları ve çoklu API sağlayıcılarından kaynaklanan yönetim riskleri gibi 'gölge maliyetler' oluşturuyor. Çalışma, düşük korelasyon temel alınarak kurulan ancak eşit kapasiteye sahip olmayan model havuzlarının, zayıf modellerin güçlü olanı bastırması nedeniyle performansı düşürebildiğini gösteriyor.

Geliştiriciler İçin Verimlilik Önerileri

Araştırmanın yazarı Josef Chen, geliştiricilerin yalnızca benzer kalite bandındaki modelleri birleştirmeleri gerektiğini belirtiyor. Kalite eşleşmesi sağlanamıyorsa, karmaşık yönlendirme sistemleri yerine bütçenin mevcut en iyi tek modele ayrılmasının daha mantıklı olduğu vurgulanıyor. MoA mimarilerinde ise, düşük korelasyona sahip çeşitli modellerden oluşan bir topluluğun, aynı premium modelin defalarca sorgulandığı 'Self-MoA' kurulumuna göre daha başarılı olduğu tespit edildi.