Modelin en dikkat çekici özelliği, bulut sistemlerine veya GPU'lara ihtiyaç duymadan akıllı telefonlar, dizüstü bilgisayarlar ve hatta Raspberry Pi gibi düşük donanımlı cihazlarda tamamen yerel olarak çalışabilmesi.
Düşük Donanımda Yüksek Performans
LFM2.5-2.6B, 2.6 milyar parametreye sahip olup 128.000 tokenlik bir bağlam penceresini destekliyor. Liquid AI'nın post-training sorumlusu Maxime Labonne, modelin mimarisinin GPU benchmarkları yerine gerçek dünya CPU performansına göre tasarlandığını belirtti. Şirketin verilerine göre model, Apple M5 Max üzerinde saniyede yaklaşık 220 token, AMD Ryzen AI Max+ 395 ile 113 token ve akıllı telefonlarda saniyede 30 token hızına ulaşıyor. Tüm bu işlemler sırasında bellek kullanımı 2.5 GB'ın altında kalıyor.
Kurumsal Çözümler ve Yerel Kullanım Avantajları
Model; takvim yönetimi, doküman yönetimi, araç çağırma ve iş akışı otomasyonu gibi yüksek hacimli ve tanımlanmış ajan görevleri için optimize edildi. Bulut bağımlılığını ortadan kaldıran bu yapı, özellikle hassas verilerle çalışan düzenlenen sektörlerdeki işletmeler ve robotik veya araçlar gibi bağlantı kısıtlı ortamlar için kritik bir çözüm sunuyor. LFM2.5-2.6B hem eğitilmiş haliyle hem de geliştiricilerin ince ayar yapabilmesi için temel sürümüyle Hugging Face üzerinden erişilebilir durumda.
Geniş Dağıtım ve Entegrasyon Desteği
Yeni model; llama.cpp, MLX, vLLM, SGLang ve ONNX gibi popüler çıkarım yığınlarını ilk günden destekleyerek tüketici donanımlarından gömülü sistemlere kadar geniş bir alanda yaygınlaştırılması hedefleniyor. Ayrıca şirket, açık kaynaklı bir ince ayar çerçevesi olan LEAP'i de sunuyor. Liquid AI, bu modelle en büyük dil modelleriyle yarışmak yerine; gizlilik, düşük gecikme süresi ve düşük maliyetin ön planda olduğu alanlarda verimli bir alternatif sunmayı amaçlıyor.
Yorumlar (0)
Henüz yorum yok. İlk yorumu siz yazın.