Eski OpenAI CTO'su Mira Murati liderliğindeki Thinking Machines, açık kaynaklı yapay zeka model ailesine yeni üyesini ekledi. Şirket, ilk modeli Inkling'den sadece iki hafta sonra, performans kaybını minimuma indirirken boyutunu önemli ölçüde küçülten Inkling-Small modelini tanıttı.

Daha Küçük Boyut ve Yüksek Performans

Yeni model, 276 milyar toplam parametreye sahipken, token başına yalnızca 12 milyar aktif parametre kullanıyor. Bu rakamlar, 975 milyar parametreli öncül model Inkling'in 41 milyar aktif parametresiyle kıyaslandığında boyutun yaklaşık dörtte birine indiğini gösteriyor. Artificial Analysis Intelligence Index'e göre Inkling 41 puan alırken, Inkling-Small 40 puanla neredeyse aynı seviyeye ulaştı.

Teknik Özellikler ve Kurumsal Avantajlar

Apache 2.0 lisansı ile sunulan Inkling-Small; metin, görüntü ve ses girişlerini kabul edip metin çıktısı üretebilen multimodal bir yapıya sahip. Bir milyon token'a kadar bağlam penceresi destekleyen model, özellikle kodlama ve muhakeme testlerinde dikkat çekiyor. SWE-bench Verified testinde %80,2 skor alarak öncül modelin %77,6'lık oranını geride bıraktı. Benzer şekilde Terminal Bench 2.1'de %64,7 puanla daha iyi performans sergiledi.

Erişim ve Fiyatlandırma Detayları

Hugging Face üzerinden ağırlıkları paylaşılan model, Tinker API aracılığıyla ince ayar desteği sunuyor. Thinking Machines, lansmanla birlikte sınırlı süreli %50 indirim uyguluyor. Bu kapsamda 64K bağlamlı model için giriş token başına 0,58 dolar, çıkış token başına 1,44 dolar ve eğitim token başına 1,73 dolar fiyatlandırma belirlendi. Önbelleğe alınmış talepler ise milyon token başına 0,116 dolar olarak fiyatlandırıldı.

Ne anlama geliyor?

Bu gelişme, dil modellerindeki uzmanların karışımı mimarisinin sağladığı avantajı ortaya koyuyor. Bu sistemde, toplam parametre sayısı yüksek olsa da her işlem sırasında sadece belirli uzman alt birimler çalıştırılır. Bu durum, donanım maliyetlerini düşürürken işlem hızını artırır ve enerji tüketimini azaltır.

Kurumsal kullanıcılar için bu teknoloji, çok yüksek kapasiteli donanıma sahip olmadan da gelişmiş yapay zeka yeteneklerini kendi sistemlerine entegre edebilme imkanı sunar. Özellikle kod yardımı, belge analizi ve veri geri çağırma gibi süreçlerde, işlem yükü azaldığı için daha düşük maliyetle daha hızlı yanıtlar alınması mümkündür.