Decisions API'nin teknik özellikleri
OpenAI, ChatGPT Luna temel alınarak geliştirilen Decisions API sayesinde yanıt süresini bir ila üç saniyeden 100‑180 milisaniyeye düşürdü. Bu hız artışı, modelin inference maliyetini de önemli ölçüde azaltıyor. Ürün sorumlusu Nikunj Handa, ekiplerinin Jev modelini gördükten sonra “milyonlarca kullanım senaryosu” olduğunu belirtti ve Luna’yı yeniden yapılandırarak karar modeli haline getirmenin ana yolunu açıkladı.
Pazarda rekabet ve benchmark sonuçları
TypeSafe'in Jev modeli, derin öğrenme alanında “süper sınıflandırıcı” kategorisini oluşturarak seçenekler arasında hızlı seçim yapıp güven puanı sunuyor. OpenAI’nin Decisions API, başlangıçta Eylül 29’da düzenlenen geliştirici gününde tanıtıldı ve Perşembe günü tüm müşterilere açıldı. Public benchmarkler AIM System One Index ve Artificial Analysis Decision Index’te D1 Ultra ve Base Lab’ın Elephant‑1 modelleri önde yer alırken, OpenAI’nin karar modeli sekizinci ve on dördüncü sırada yer alıyor. Bununla birlikte, JevMan benchmarkında OpenAI’nin en yeni Jev modeli birinci konumda bulunuyor.
Müşteri deneyimleri ve uygulama örnekleri
Box, Datadog, Ramp ve Speak gibi şirketler, Decisions API sayesinde kendi LLM’lerini daha yüksek throughput ile değiştirdi. Speak’ın CTO’su Andrew Hsu, API’nin eylemler arasındaki süreyi 1.4 saniyeden 0.13 saniyeye düşürdüğünü vurguladı. OpenAI ayrıca Dots sesli asistanının yanıt süresini iyileştirmek için aynı ürünü kullandı.
Karar modellerinin ne kadar iyi olduğu hâlâ netleşmemiş olsa da, optimizasyonun zekâ, maliyet, kalibrasyon ve hız arasında değiştiği bildiriliyor. TypeSafe CEO’su Diogo Almeida, benchmarklere güvenilmeyeceklerini söyleyerek modelleri gerçek iş akışlarında denemeyi öneriyor.
.gif&w=640&q=72)
Yorumlar (0)
Henüz yorum yok. İlk yorumu siz yazın.