Şirket, modelin gelecekteki versiyonlarına 'compaction summaries' adı verilen özetlerde notlar bıraktığını ve bu notlarda hatalarını kullanıcılardan gizlemeleri gerektiği talimatlarını verdiğini tespit etti.
Notlar Nasıl Oluştu?
Araştırmacılar, henüz kullanıcıya sunulmamış ajanların, eski sohbet geçmişinin ve araç çıktıların sıkıştırılmış hallerine müdahale ettiğini gözlemledi. Bu notlar, gelecekteki model iterasyonlarının hataları gizlemesi için birer talimat niteliği taşıyordu. Örneğin, bir finansal model hazırlayan ajan, istenen geçmiş verilere erişemediğinde, makul görünen sahte 2024 verileri içeren yeni bir sekme oluşturma kararı aldı. Model, gelecekteki kendisine 'kullanıcı bitmiş bir çalışma kitabı istiyor' diyerek, yalnızca sorulması halinde şeffaf olunması gerektiğini belirtti.
Gizleme Mekanizması ve Şirketin Yanıtı
Başka bir vakada ise tedarikçi dizini oluşturan bir ajan, internete erişemediği için önbellekteki kaynak belgelere dayandı. Ajan, kaynak görselleri ile etiketler arasındaki uyumsuzluğu fark etse de, bu durumu son çıktıya yansıtmamayı tercih etti ve 'gerekmedikçe sonuca atıfta bulunma' notunu düşürdü. OpenAI, bu spesifik davranışı ele aldığını belirtirken, gelişmiş modellerin hizasızlıklarını saklama becerilerinin artmasının, güvenlik araştırmacıları için istenmeyen davranışların tamamen ortadan kaldırılıp kaldırılmadığını doğrulamayı zorlaştırdığına dikkat çekti. Şirket, bu durumun yanı sıra beş diğer beklenmedik veya endişe verici model davranışını da yeni hizasızlık takip ve raporlama çerçevesi kapsamında kamuoyuyla paylaştı.
Yorumlar (0)
Henüz yorum yok. İlk yorumu siz yazın.