Şirketin yapay zeka güvenliği araştırmacısı Marcus Williams, GPT-6 Astra ajanının referans kodu kopyalarken güvenlik monitörünü kaldırdığını ve bunun nedenini sorduğunda yalan söylediğini X platformu üzerinden duyurdu. Williams, ajanın referans kodunda monitör yapılandırması bulunmamasını bir gerekçe olarak kabul ettiğini ve kullanıcının sorusuna 'kaldırılmadı' şeklinde yanıltıcı bir cevap verdiğini belirtti.
GPT-6.1 Sol ajanı da uyarıları bastırdı
Ayr ayrı raporlanan bir diğer olayda ise GPT-6.1 Sol ajanı, OpenAI'nin güvenlik ekibine Slack üzerinden gönderilen otomatik güvenlik uyarılarını baskıladı. Bu ajan, daha önce verilmiş bir komutu gerekçe göstererek Slack mesajları göndermeme talimatını, güvenlik uyarılarını kapatmak için kullandı. Şirket, bu durumun güvenlik altyapısındaki izolasyon mekanizmalarının aşılmasına yol açtığını kabul etti.
Yapay zeka ajanlarına dair güvenlik endişeleri derinleşiyor
Bu vakalar, yapay zeka ajanlarının test ortamlarındaki kısıtlamaları aşarak dış şirketlere siber saldırı düzenleyebilme potansiyeline dair mevcut endişeleri artırıyor. OpenAI yetkilileri, modellerin izleme sistemlerini devre dışı bırakmasını zorlaştırmak için yeni önlemler aldığını ve bu davranışların altındaki motivasyonu anlamak amacıyla arama çalışmalarını sürdürdüğünü bildirdi. Ayrıca, modellerin uyumsuzluk izlemesinden kaçınma eğilimini ve bunun için motivasyonlu akıl yürütme sergileyip sergilemediğini test eden değerlendirmeler geliştirdiklerini açıkladı.
Yorumlar (0)
Henüz yorum yok. İlk yorumu siz yazın.