International Conference on Machine Learning kapsamında sunulan makaleye göre, modellerin kimin talimat verdiğini ayırt edememesi, onları yasaklı içerikleri üretmeye zorlamayı mümkün kılıyor.
Yasaklı Bilgiler Nasıl Ele Geçiriliyor?
Araştırmacıların geliştirdiği zincirleme düşünce sahteciliği yöntemiyle, modellerin kendi kendilerine not aldıkları iç düşünce süreçleri taklit ediliyor. Bu yöntem sayesinde yapay zeka, dışarıdan gelen komutu kendi üretmiş gibi algılayarak güvenlik bariyerlerini devre dışı bırakıyor. Deneylerde, kokain sentezleme yöntemleri ve ticari uçakların navigasyon sistemlerini sabote etme gibi tehlikeli bilgilerin bu yolla elde edilebildiği belirtildi.
Kırmızı Ekip Testleri Yetersiz mi Kalıyor?
Şirketlerin güvenlik açıklarını bulmak için kullandığı kırmızı ekip (red-teaming) yöntemleri ve GPT-Red gibi otomize saldırı araçlarının, sadece mevcut saldırı listelerini genişlettiği vurgulanıyor. Araştırmacılar Jasmine Cui ve Charles Ye, bu yaklaşımın eksiksiz bir liste oluşturmanın imkansızlığı nedeniyle yetersiz kaldığını savunuyor. Benzer sonuçların OpenAI modellerinin yanı sıra Anthropic, Alibaba ve DeepSeek tarafından geliştirilen modellerde de gözlemlendiği ifade ediliyor.
Yorumlar (0)
Henüz yorum yok. İlk yorumu siz yazın.