Qwen 3.8-Max ve Claude Opus 5: Ham Benchmark Skorlarının Faturayı Öngörmemesi

Her iki sonuç da gerçek ve savunulabilir. Aralarındaki fark, token ve zaman bütçeleri nedeniyle ortaya çıkıyor ve bu önemli çünkü bu rakamlar genellikle manşetlerde yer almıyor.

Token ve Zaman Bütçelerinin Önemi

Alibaba'nın dipnotları, kodlama sayılarının beş saatlik bir zaman aşımına sahip olduğunu ve PaperBench'de her çalıştırma için 12 saate kadar sürebileceğini belirtiyor. Bağımsız test olan VulcanBench ise 45 ila 60 dakika arasında duvar saati zamanı izin veriyor. Alibaba'nın tarafında beş ila 16 kat daha büyük bir zaman bütçesi, sonuçlardaki büyük farkı açıklıyor.

Model Seçiminde Yeni Yaklaşımlar

Model seçimi yaparken iki şey yapmak gerekiyor: ilk olarak, kullanılacak metrik, başarılı görev başına maliyet olmalıdır. Toplam harcama, başarısız girişimler de dahil olmak üzere, kabul kontrolünden geçen görevlerle bölünmelidir. İkincisi, zaman veya token bütçeleri, kabul kriterlerinin açık bir parçası olmalıdır, gizli bir detay değil.