Yapay zeka şirketlerinden Writer, kurumsal yapay zeka uygulamalarının işletim maliyetlerini ciddi oranda düşüren yeni bir araştırma yayınladı. Çalışma, temel modelleri değiştirmeden veya ince ayar yapmadan, modelin etrafındaki düzenleme katmanının optimize edilmesiyle maliyetlerin nasıl düşürülebileceğini ortaya koyuyor.

Token Tüketimi ve Maliyetlerde Büyük Düşüş

Araştırma sonuçlarına göre, yapay zeka sisteminin yönlendirme ve formatlama süreçlerini kapsayan düzenleme katmanına müdahale edildiğinde, görev başına kullanılan token miktarında belirgin bir azalma sağlanıyor. Bu optimizasyon sayesinde, başarılı görev başına düşen maliyetlerde yüzde 61'e varan bir düşüş kaydedilirken, çıktı kalitesinin sabit kaldığı gözlemlendi.

Tokenmaxxing Sorunu ve Verimsizlik

Writer CTO'su ve kurucu ortağı Waseem AlShikh, geliştiricilerin sistem tasarımını iyileştirmek yerine devasa bağlam pencerelerine ve kaba kuvvet token tüketimine güvendiği 'tokenmaxxing' trendine dikkat çekti. AlShikh, birçok ekibin hata aldıklarında tüm bağlamı tekrar pencereye ekleyip yeniden deneme yöntemini kullandığını, bunun da özellikle döngüsel iş yüklerinde maliyetlerin hızla artmasına yol açtığını belirtti.

Düzenleme Katmanındaki Verimlilik Araçları

Geliştiricilerin kontrolünde olan düzenleme katmanının optimize edilmesi için sistem istemi önbelleğe alma, etkileşim geçmişini sıkıştırma, araç yönetimi, geri çağırma stratejileri ve hata yönetimi gibi yöntemler öneriliyor. Bu yöntemlerin, sadece modelin kendisine odaklanan istem sıkıştırma veya spekülatif kod çözme gibi tekniklerden farklı olarak, sistemin genel mimarisindeki verimsizlikleri çözdüğü vurgulanıyor.

Ne anlama geliyor?

Yapay zeka sistemleri, girdi ve çıktı olarak belirli veri birimlerini işler. Bu birimlerin sayısı arttıkça işlem maliyeti yükselir. Birçok uygulama, karmaşık görevleri çözerken aynı veriyi tekrar tekrar modele gönderdiği için kaynak israfı meydana gelir. Geliştiricilerin veriyi yönetme biçimini düzenleyerek, gereksiz tekrarları önlemek ve sadece gerekli bilgiyi modele sunmak işletim giderlerini düşürür.

Yerel ölçekte bu yöntemler, bulut tabanlı servisleri kullanan yazılım ekipleri için faturalandırılan kullanım miktarlarını azaltma imkanı sunar. Özellikle döngüsel işlem yapan otomatik sistemlerde, her adımda artan veri trafiğinin yönetilmesi, donanım kaynaklarının daha verimli kullanılmasını sağlar ve son kullanıcının aldığı yanıt süresini iyileştirir.