Kurumsal şirketlerin yapay zeka yatırımları ve donanım kullanım oranları üzerine yapılan yeni bir araştırma, ciddi bir verimlilik sorununa işaret ediyor. VentureBeat Research tarafından 100 ve üzeri çalışanı olan şirketlerdeki 573 teknik liderle gerçekleştirilen anket, şirketlerin sahip olduğu yüksek maliyetli donanımların büyük ölçüde atıl kaldığını ortaya koydu.

GPU'ların Yarısından Fazlası Boşta Çalışıyor

Araştırmanın en çarpıcı bulgusu, kendi GPU donanımlarını işleten şirketlerin yüzde 86'sının bu kapasitenin yüzde 50 veya daha azını kullandığını rapor etmesi oldu. Bu durum, Wall Street'te tartışılan yapay zeka altyapısının aşırı inşa edilip edilmediği konusundaki tartışmaları desteklerken, işletmelerin en pahalı donanımlarının kapasitelerinin yarısını bile kullanmadığı görülüyor.

Kontrol Mekanizmaları ve Güvenlik Açıkları

Şirketlerin yapay zeka ajanlarını yönetmek için gerekli olan kontrol mekanizmalarını kurmadan devreye aldıkları belirlendi. Katılımcıların yüzde 54'ü son 12 ay içinde bir güvenlik olayı veya ramak kala durumu yaşadığını belirtirken, şirketlerin yüzde 27'sinin harcamaları ancak fatura geldiğinde fark ettiği reaktif bir kontrol sistemi uyguladığı saptandı. Şirketler şu an kimlik yönetimi, çıktı değerlendirme, maliyet takibi, bağlam katmanı ve orkestrasyon kontrolü olmak üzere beş ana katmanda eksiklerini gidermeye çalışıyor.

Ajanlar Aslında Basit Sohbet Botları Çıktı

Yapay zeka ajanlarının yetenekleri konusunda da büyük bir fark olduğu görüldü. Şirketlerin yüzde 71'i, devreye aldıkları ajanların sadece dörtte birinin veya daha azının çok adımlı görevleri bağımsızca tamamlayabildiğini, geri kalanların ise sadece tek istemli sohbet botları olduğunu açıkladı. Gerçek anlamda otonom ajanların çoğunlukta olduğunu belirten şirket oranı ise sadece yüzde 10'da kaldı.

Nvidia Alternatifleri ve Yeni Bulut Senaryoları

Şirketlerin yüzde 45'i önümüzdeki 12 ay içinde CoreWeave, Lambda, Crusoe veya Nebius gibi yapay zeka odaklı özel bulut çözümlerini değerlendirmeyi planlıyor; ancak şu an bu servisleri kullananların oranı yüzde 2'nin altında. Ayrıca şirketlerin yüzde 32'si Google TPU, AWS Trainium ve AMD gibi Nvidia dışı hızlandırıcılara yönelmeyi düşünürken, yüzde 28'i yeni nesil Nvidia GPU'ları tercih ediyor.