VentureBeat tarafından düzenlenen AI Impact etkinliğinde Red Hat Portföy Stratejisi Kıdemli Direktörü Brian Gracely, kurumsal şirketlerin yapay zeka ajanlarını üretim aşamasına taşırken karşılaştıkları temel zorlukları paylaştı. Birçok yönetici rakiplerinin gerisinde kalma endişesi taşısa da Gracely, ekiplerin öğrenme sürecinin beklenenden çok daha hızlı ilerlediğini belirtiyor.

Kontrolsüz Maliyet Artışı ve Model Bağımlılığı

Sohbet botu dönemine kıyasla ajan tabanlı yapay zeka kullanımının çok daha yüksek maliyetlere yol açtığına dikkat çeken Gracely, bu durumun maliyet yönetimini bir mühendislik sorunundan çıkarıp yönetim kurulu gündemine taşıdığını ifade etti. Şirketlerin az sayıda model sağlayıcısına bağımlı olmasının risk oluşturduğunu söyleyen direktör, sektördeki dev sağlayıcıların zarar etmelerini telafi etmek için fiyatları yükseltebileceğini ve bu durumun işletmeleri alternatif arayışlarına ittiğini vurguladı.

Doğru Model Seçimiyle Tasarruf Sağlamak

Kurumların en büyük hata olarak, görev karmaşıklığına bakmaksızın varsayılan olarak en güçlü modeli kullanmalarıyla aşırı harcama yaptıklarını belirten Gracely, basit bir sigorta talebinin çözümü için tüm dünya tarihini bilen bir modele ihtiyaç olmadığını dile getirdi. Bu maliyetleri düşürmek için semantik yönlendirme ile isteklerin görev boyutuna uygun modellere dağıtılması ve tekrarlanan sorgular için önbelleğe alma yöntemlerinin kullanılması öneriliyor.

FinOps Yaklaşımı ve Operasyonel Disiplin

Token harcamalarındaki finansal disiplinin, bulut bilişim harcamalarını yönetmek için yıllarca geliştirilen FinOps uygulamalarına benzediği ifade edildi. Şirketlerin, bulut altyapı süreçlerinde olduğu gibi finans ekiplerine token kavramını öğretmeleri ve her görev için en pahalı çözüme yönelmek yerine ihtiyaca uygun model seçimi konusunda iç eğitimler düzenlemeleri gerektiği belirtildi.