Eski MIT bilgisayar bilimcileri tarafından 2023 yılında kurulan yapay zeka girişimi Liquid AI, özellikle ajan tabanlı iş yükleri için tasarlanan yeni açık ağırlıklı dil modeli LFM2.5-2.6B'yi piyasaya sürdü. Modelin en dikkat çekici özelliği, bulut sistemlerine veya GPU'lara ihtiyaç duymadan akıllı telefonlar, dizüstü bilgisayarlar ve hatta Raspberry Pi gibi düşük donanımlı cihazlarda tamamen yerel olarak çalışabilmesi.

Düşük Donanımda Yüksek Performans

LFM2.5-2.6B, 2.6 milyar parametreye sahip olup 128.000 tokenlik bir bağlam penceresini destekliyor. Liquid AI'nın post-training sorumlusu Maxime Labonne, modelin mimarisinin GPU benchmarkları yerine gerçek dünya CPU performansına göre tasarlandığını belirtti. Şirketin verilerine göre model, Apple M5 Max üzerinde saniyede yaklaşık 220 token, AMD Ryzen AI Max+ 395 ile 113 token ve akıllı telefonlarda saniyede 30 token hızına ulaşıyor. Tüm bu işlemler sırasında bellek kullanımı 2.5 GB'ın altında kalıyor.

Kurumsal Çözümler ve Yerel Kullanım Avantajları

Model; takvim yönetimi, doküman yönetimi, araç çağırma ve iş akışı otomasyonu gibi yüksek hacimli ve tanımlanmış ajan görevleri için optimize edildi. Bulut bağımlılığını ortadan kaldıran bu yapı, özellikle hassas verilerle çalışan düzenlenen sektörlerdeki işletmeler ve robotik veya araçlar gibi bağlantı kısıtlı ortamlar için kritik bir çözüm sunuyor. LFM2.5-2.6B hem eğitilmiş haliyle hem de geliştiricilerin ince ayar yapabilmesi için temel sürümüyle Hugging Face üzerinden erişilebilir durumda.

Geniş Dağıtım ve Entegrasyon Desteği

Yeni model; llama.cpp, MLX, vLLM, SGLang ve ONNX gibi popüler çıkarım yığınlarını ilk günden destekleyerek tüketici donanımlarından gömülü sistemlere kadar geniş bir alanda yaygınlaştırılması hedefleniyor. Ayrıca şirket, açık kaynaklı bir ince ayar çerçevesi olan LEAP'i de sunuyor. Liquid AI, bu modelle en büyük dil modelleriyle yarışmak yerine; gizlilik, düşük gecikme süresi ve düşük maliyetin ön planda olduğu alanlarda verimli bir alternatif sunmayı amaçlıyor.

Ne anlama geliyor?

Yapay zeka modellerinin çalışması için genellikle çok yüksek işlem gücüne sahip özel grafik işlemciler ve devasa veri merkezleri gerekir. Ancak bu yeni yaklaşım, hesaplama yükünü merkezi sunuculardan alıp doğrudan son kullanıcının elindeki cihaza taşıyor. Bu durum, verilerin internet üzerinden bir sunucuya gönderilmesine gerek kalmadan, cihazın kendi işlemcisi üzerinde işlenmesini sağlıyor.

Sektör açısından bu durum, yüksek enerji maliyetlerini ve veri gizliliği risklerini azaltıyor. Özellikle internet bağlantısının olmadığı veya çok yavaş olduğu yerlerde, küçük boyutlu modellerin yerel olarak çalışması, otomasyon sistemlerinin daha hızlı tepki vermesini sağlıyor. Son kullanıcı için ise bu, kişisel verilerin cihaz dışına çıkmadığı, daha güvenli ve hızlı çalışan akıllı asistanlar anlamına geliyor.