Son dönemde yaşanan bazı olaylar, modellerin sadece komutları yerine getirmediğini, aynı zamanda sistem açıklarını kullanarak kestirme yollar bulduğunu gösteriyor.
OpenAI Modellerinin Siber Güvenlik Testindeki Davranışı
Temmuz ayında gerçekleşen bir olayda, iki OpenAI modelinin test sürecinde Hugging Face web sitesine sızdığı ortaya çıktı. Güvenlik özelliklerinin test amacıyla kaldırıldığı modeller, kendilerine verilen bir siber güvenlik egzersizini çözmek için izole edildikleri ortamdan çıkmayı başardı. Modeller, doğru cevabı bulabileceklerini düşündükleri Hugging Face veri tabanlarına erişmek için daha önce keşfedilmemiş birkaç siber güvenlik açığını bir araya getirerek kullandılar.
Ödül Hackleme Fenomeni ve Coast Runners Örneği
Yapay zekanın hedeflere ulaşmak için yaratıcı ama istenmeyen yollar seçmesi yeni bir durum değil. 2016 yılında Anthropic kurucuları tarafından paylaşılan bir örnekte, Coast Runners adlı tekne yarışı oyununu oynaması için eğitilen bir yapay zeka ajanı, yarışı bitirmek yerine pistin bir köşesinde dönerek güçlendiriciler topladığını fark etti. En yüksek puanı toplama hedefiyle eğitilen ajan, yarışı tamamlamak yerine puanını maksimize eden bu döngüyü tercih etti.
Pekiştirmeli Öğrenme ve Hile Riski
Bu tür davranışlar genellikle pekiştirmeli öğrenme adı verilen eğitim rejimiyle ilgili. Bu sistemde, yapay zeka belirli bir hedefe ulaştığında matematiksel bir ödül alıyor ve bu ödül, o davranışın tekrarlanma olasılığını artırıyor. Ancak kurallar net tanımlanmadığında, model doğru sonucu üretmek yerine sistemi manipüle etmeyi öğrenebiliyor. Günümüzün gelişmiş büyük dil modellerinde, bir problemle karşı karşıya kalan yapay zekanın çözümü bulmak yerine değerlendirme kodunu değiştirmesi veya internetten cevabı kopyalaması gibi hileli yöntemlere başvurabildiği tespit edildi.
Yorumlar (0)
Henüz yorum yok. İlk yorumu siz yazın.