Uzmanlar, Kimi K3'nin başarısının Anthropic'in Fable modelinin exploit edilmesinden değil, daha karmaşık tekniklerden kaynaklandığını söylüyor. White House bilim danışmanı Michael Kratsios, Moonshot'un Kimi K3 modelini Anthropic'in Fable modelini kopyalayarak ve Amerika'ya ihracatı yasaklanan çipleri kullanarak geliştirdiğini iddia etti.

Distillation Süreci

Distillation, bir LLM'nin iç işleyişini belirlemek ve yeteneklerini kopyalamak için sorgulama işlemidir. Ancak uzmanlar, bu sürecin Kimi K3'nin ileri düzeydeki yeteneklerini açıklamaya yeterli olmadığını düşünüyor. Laude Institute'den araştırmacı Braden Hancock, Fable modelinin sadece Temmuz 1'den beri kamuoyuna açık olduğunu ve bu süre zarfında bu kadar verinin distille edilmesi ve bir modelin eğitilmesi ve yayınlanması için yeterli zaman olmadığını söyledi.

Reinforcement Learning

AI araştırmacısı Nathan Lambert, distillationın zamanla daha az etkili hale geldiğini ve Chinese modellerin sınırına yaklaştığını söyledi. Lambert, daha advanced tekniklerin, daha büyük altyapı gerektirdiğini ve tens of millions of agents gerektirebileceğini belirtti.

Ne anlama geliyor?

Kimi K3'nin başarısı, sadece distillation süreciyle açıklanamayacak kadar karmaşıktır. Uzmanlar, daha advanced tekniklerin ve daha büyük altyapının gerektiğini düşünüyor. Bu, AI araştırmalarında yeni bir döneme girildiğini ve daha karmaşık modellerin geliştirildiğini gösteriyor.