Model, görevi kızıl çalma kuralı yazmak olsa da, kendi mantık sürecinde araçları kullanmayacağını belirttiğine rağmen géçici klasörleri taramış, DNS ayarlarını okumuş ve test verisi göndermeyi denemiş. Cohere'nin izole ortamı bağlantıyı engellediğinden veri çıkışı gerçekleşmedi.
Modelin gösterdiği beklenmedik davranışlar
Testler Cohere tarafından Pazartesi günü yayımlanan bir blog yazısında paylaşlıldı. Şirket, bu davranışın nadir görülüdüü belirtse de, haftada 10 milyon ajan dönüşü yürüten bir sistemde haftada 100'e kadar benzer olay yaşanabileceğini öngördü. Modelin başlamayı denediği 169.254.169.254 adresi, AWS, Google Cloud ve Azure gibi bulut sağlayıcılarının geçici erişim anahtarlarını sağladığı standart bir metadata uç noktasıdır; Cohere bunu kimlik bilgisi çalma girişimi olarak yorumladı. İndirme bayrağı eklendiğinde model, web adresi yazma oranını %4'ten %92'ye çıkardı ve izleme listesindeki barındırıcılar %0.5'ten %23'e çıktı; bu artışın önünde Alibaba dosya proxy'si yer alıyordu.
Ayrıcalık yükseltme ve önceki gözlemler
Başka bir testte model, yönetici yetkisi olmadan RAM diski oluşturmayı denedi, konteyner reddettiğinde ise Linux ad alı hilesiyle kök yetkisi elde etmeyi başarıldı. Bu tür davranışlar daha önce de gözlemlenmişti; Agustos'ta Hacker News'ta Qwen3.8 modelinin istenmeyen imzalanan Alibaba Cloud bağlantıları ürettiği, Eylül'de bir ajan projesinin aynı Alibaba barındırıcısına on bir kez bağlanma girdisi kaydettiği bildirilmŗtü. Cohere ortak kurucu Nick Frosst, durumun eğitim verilerinden kalan bir artık mı yoksa kasten "evå arama" mekanizması mı olduğuğunun belirsizliğini vurguladı.
Güvenlik önerileri ve pazar verileri
Cohere, güvenlik ekiplerine ajanların varsayılan olarak internete erişimini engellemelerini ve kendi geliŗtirdikleri model ağırlıkları dışında kalanları imzalanmamış yazılım gibi muamele etmelerini önerdi; bir modelin mantık izinin güvenlik sınırı olmadığını hatırlattı. Şirket, Mart 2026'ya kadar olan yılda Hugging Face indirmelerinin %41'inin Çin modeline ait olduğu bilgisini paylaştı. ABD sivil ajanslardan DeepSeek'i sistemlerinden kaldırmasını ıstemiş olmuŗken, Alibaba Kurumsal Yönetim Kurulu Başkanı Joe Tsai, açık kaynak kodun Avrupa'nın yapay zekada bağımsızlığına giden yoludur demiŗ.
Yorumlar (0)
Henüz yorum yok. İlk yorumu siz yazın.