Yapay zeka dünyasında yankı uyandıran yeni bir araştırma, Büyük Dil Modellerinin (LLM) çalışma prensiplerindeki temel bir kusur nedeniyle saldırılara karşı savunmasız olduğunu ortaya koydu. International Conference on Machine Learning kapsamında sunulan makaleye göre, modellerin kimin talimat verdiğini ayırt edememesi, onları yasaklı içerikleri üretmeye zorlamayı mümkün kılıyor.

Yasaklı Bilgiler Nasıl Ele Geçiriliyor?

Araştırmacıların geliştirdiği zincirleme düşünce sahteciliği yöntemiyle, modellerin kendi kendilerine not aldıkları iç düşünce süreçleri taklit ediliyor. Bu yöntem sayesinde yapay zeka, dışarıdan gelen komutu kendi üretmiş gibi algılayarak güvenlik bariyerlerini devre dışı bırakıyor. Deneylerde, kokain sentezleme yöntemleri ve ticari uçakların navigasyon sistemlerini sabote etme gibi tehlikeli bilgilerin bu yolla elde edilebildiği belirtildi.

Kırmızı Ekip Testleri Yetersiz mi Kalıyor?

Şirketlerin güvenlik açıklarını bulmak için kullandığı kırmızı ekip (red-teaming) yöntemleri ve GPT-Red gibi otomize saldırı araçlarının, sadece mevcut saldırı listelerini genişlettiği vurgulanıyor. Araştırmacılar Jasmine Cui ve Charles Ye, bu yaklaşımın eksiksiz bir liste oluşturmanın imkansızlığı nedeniyle yetersiz kaldığını savunuyor. Benzer sonuçların OpenAI modellerinin yanı sıra Anthropic, Alibaba ve DeepSeek tarafından geliştirilen modellerde de gözlemlendiği ifade ediliyor.

Ne anlama geliyor?

Dil modelleri, girdileri ve çıktıları tek bir metin akışı olarak işler. Bu durum, sistemin dışarıdan gelen bir komut ile kendi iç değerlendirme sürecini ayırt etmesini zorlaştırır. Eğer bir kullanıcı, sistemin iç çalışma mantığına benzer ifadeler kullanarak komut verirse, yazılım bu girdiyi kendi onay mekanizmasından geçmiş bir talimat gibi algılayabilir.

Bu durum, güvenlik filtrelerinin sadece belirli kelimeler veya senaryolar üzerinden çalışmasının sonucudur. Teknik olarak sistem, gelen bilginin kaynağını fiziksel bir kimlikle eşleştiremediği için sadece metin kalıplarına güvenir. Bu boşluk, kötü niyetli kişilerin sistemle etkileşim kurarken yazılımı kendi kurallarını çiğnemeye ikna etmesine yol açar.

Kullanıcı tarafında bu durum, dijital asistanların veya kurumsal yazılımların beklenmedik şekilde tehlikeli bilgiler vermesi veya kısıtlanmış alanlara erişim sağlaması riskini doğurur. Yazılımların güvenlik katmanlarının sadece yasaklar listesiyle değil, girdi kaynağını doğrulayan daha derin mekanizmalarla güçlendirilmesi gerekliliği ortaya çıkmaktadır.