Intel, işletmelerin yapay zeka ajanlarından tam verim alabilmesi için sadece dil modellerine odaklanmak yerine bütünsel bir sistem yaklaşımının benimsenmesi gerektiğini açıkladı. Şirket, binlerce iş yükü deneyi sonucunda elde ettiği bulguları paylaşarak, ajan tabanlı yapay zekanın başarılı olması için işlem kapasitesi, veri erişimi ve bellek yönetiminin kritik rol oynadığını belirtti.

Sistem Odaklı Yaklaşım ve Performans Ölçütleri

Yapay zeka ajanlarının sadece birer gelişmiş sohbet botu olmadığını vurgulayan Intel, bu araçların iş süreçlerini uçtan uca yönetebilen yazılımlar olduğunu ifade etti. Şirket, ajan performansını ölçerken sadece dil modelinin başarısına değil; görevlerin tamamlanma süresi, sistemin destekleyebileceği toplam ajan sayısı ve maliyet değişimleri gibi metriklere odaklanılması gerektiğini savunuyor.

Terminal-Bench ile Kapsamlı Test Süreçleri

Intel, ajan performansındaki değişkenlikleri anlamak için açık kaynaklı Terminal-Bench aracını genişletti. Veritabanı işlemleri, video dönüştürme, makine öğrenimi eğitimi ve lineer cebir gibi geniş bir görev yelpazesinde yapılan testlerde, dil modeli yanıtlarının kaydedilip yeniden oynatıldığı bir yöntem kullanıldı. Bu sayede model değişkenliği elenerek sistemin gerçek performansı ölçüldü.

Ajan Yoğunluğu ve İzlenebilirlik Stratejisi

Kurumsal dağıtımlarda ajan sayısından ziyade 'ajan yoğunluğu' kavramına odaklanılması öneriliyor. vCPU başına düşen ajan sayısı olarak tanımlanan bu metrik, sistem kapasitesinin karşılaştırılmasında temel kriter olarak sunuldu. Ayrıca, ortalama CPU kullanımının yanıltıcı olabileceği, çünkü ajanların kısa süreli yoğun işlem patlamaları yaşadığı ve bu durumun kullanıcı deneyimini etkileyen kuyruklara yol açtığı belirtildi.

Ne anlama geliyor?

Yazılımsal araçların kendi başlarına karar verip işlemleri yürütebildiği sistemler, geleneksel uygulama yapılarından farklı donanım ihtiyaçları doğurur. Bu tür mekanizmalar, sürekli bir işlem gücü tüketmek yerine, modelden yanıt bekledikleri boşluklar ile yoğun işlem yaptıkları anlar arasında gidip gelirler. Bu durum, sistem izleme yöntemlerinin değiştirilmesini gerektirir.

Sektördeki temel sorun, işlem gücünün nasıl dağıtılacağı ve birim kapasite başına kaç adet dijital yardımcı çalıştırılabileceğidir. Kullanıcıyla doğrudan etkileşim kuran araçlarda hız ön planda olduğu için düşük yoğunluk tercih edilirken, arka planda çalışan toplu işlerde kapasite artırılabilir. Bu ayrım, toplam sahip olma maliyetini optimize etmeye yardımcı olur.