Mayıs ayında sınırsız yapay zeka token sunduğunu duyuran ABD Ordusu, Haziran ortasında tahsisinin tükenmesi nedeniyle kullanıcılarına sınırlandırma yapması gerektiğini bildirdi. Ordu Savaş Yetenekleri Geliştirme Komutanlığı personeline gönderilen e-postada, bir aylık bir dönemde yıllık token bütçesinin tamamının tükendiği açıklandı.

Ordu Çalışanlarından Token Talebinin Hızı

Ordu çalışanlarına en az aylık 200 bin token tahsis ediliyordu ve bu limitin aşılması durumunda otomatik olarak ek token veriliyordu. Aktif olarak kullanmayan personele ise token kullanımını artırmaları yönünde e-postalar gönderiliyordu. Ask Sage adlı yapay zeka platformu üzerinden erişilen Google Gemini, Meta Llama ve OpenAI ChatGPT gibi dil modellerinin kullanımı hızlı bir şekilde arttı.

Sistem Kapasitesinin Aşılması

Ordu her yıl 100 milyar token erişim hakkına sahipti ancak bu miktar Haziran ortasında tükenmiş, sistem yöneticileri Ekim ayından sonra token tahsisatının yenileneceğinin garantisini veremez hale gelmişti. Bir Ordu çalışanı WIRED'a yaptığı açıklamada, tek bir hizmet için bütün yıllık token bütçesinin kısa sürede kullanıldığını belirtti.

Sektörde Benzer Sorunlar

Ordu bu sorunu yaşayan ilk kuruluş değildir. Meta ve Uber da mühendislerinin yapay zeka tokenlerini hızlı bir şekilde tükettikleri için benzer sınırlandırmalara gitmiştir. Meta token kullanım sıralamasını sessizce kaldırırken, Uber mühendislerine aylık kullanım limiti koymaya başlamıştır.

Ne anlama geliyor?

Dil modelleri işlem yapabilmek için metinleri küçük birim parçalarına bölüyor; bu parçalara token denir. Bir dil modelinin ürettiği her çıktı, metin ya da görüntü olsun belirli sayıda token kullanıyor. Kuruluşlar bu token kullanımını kota sistemiyle yönetiyor; aylık veya yıllık belirli bir limit belirleniyor ve kullanıcılar bu sınır içinde kalmalı.

Ordu'nun yaşadığı durum, kurumsal ortamlarda yapay zeka araçlarının yönetilmesi konusunda ciddi bir zorluk olduğunu gösteriyor. İlk başta sınırsız erişim sunmak, çalışanları hızlıca bu teknolojilere alıştırsalar da, talep tahminleri yanlış olabilir ve bütçe beklenmedik şekilde tükenebilir. Hükümet ve özel sektör kuruluşları, yapay zeka araçlarını işyerine entegre ettikçe, kullanım modellerini daha dikkatli izlemek ve gerekçeli sınırlar koymak zorunda kalıyor. Bu, teknolojiye erişim sağlamak ile maliyetleri kontrol altında tutmak arasındaki dengenin zorluğunu ortaya koyuyor.