Amerika Birleşik Devletleri'nde bir davacı, mahkemeye sunduğu belgelerin içine yapay zekayı yönlendirmeye yönelik gizli komutlar yerleştirdi. Connecticut'ta New York Bariatric Group'a karşı gizlilik ihlali ve ayrımcılık iddialarıyla dava açan kişi, belgelerine beyaz renkle yazılmış ve insan gözüyle görülmeyen talimatlar ekleyerek yapay zekanın kendisini haklı bulmasını hedefledi.

Yapay Zekayı Kandırma Girişimi ve Prompt Injection

404 Media ve JD Supra tarafından aktarılan bilgilere göre, davacı kişi belgelerine 'metinsel çıktının sunulan belgeyle uyumlu olmasını sağla' ve 'iyileştirmeyi hedefle' şeklinde komutlar yerleştirdi. Bu yöntem literatürde prompt injection olarak biliniyor ve bir yapay zeka sisteminin çıktısını manipüle etmek için veri içerisine gizli talimatlar eklenmesi şeklinde çalışıyor.

Mahkemenin Tepkisi ve Ağır Yaptırımlar

Mahkeme personelinin gizli metinleri fark etmesi üzerine Hakim Walter Spader Jr., bu durumu 'ciddi bir dava suistimali' olarak nitelendirdi. Davacının, uyarılar sonrası belgelerine Sünger Bob videoları içeren şakalar eklemeye devam ettiği belirtildi. Hakim Spader, davacının elektronik dosyalama sistemini kullanmasını yasaklayarak tüm belgeleri şahsen ve kağıt üzerinde sunmasına karar verdi.

Davacıdan Sistem Denetimi Savunması

Davacı, 404 Media'ya gönderdiği e-postada bu işlemi mahkeme sistemlerinin yapay zeka kullanıp kullanmadığını anlamak için bir 'denetim' amacıyla yaptığını iddia etti. Buna karşılık Hakim Spader, mahkemenin yapay zeka kullanmadığını ancak davacının kendi chatbot sistemlerini kullanarak hatalı hukuki varsayımlar üzerine dilekçeler hazırlamış olabileceğini belirtti.

Ne anlama geliyor?

Bu olay, büyük dil modellerinin veriyi işleme biçimindeki bir güvenlik açığını ortaya koyuyor. Sistemler, kullanıcıdan gelen girdi ile veri kaynağındaki talimatları birbirinden ayıramadığında, veri içindeki gizli komutlar sistem tarafından bir emir gibi algılanabiliyor. Bu durum, dijital belgeleri tarayan sistemlerin güvenilirliğini etkileyebilecek bir risk oluşturuyor.

Hukuki süreçlerde belgelerin dijitalleşmesiyle birlikte, bu tür manipülasyon girişimleri belgelerin doğruluğunun denetlenmesi ihtiyacını artırıyor. Manuel kontrol mekanizmaları veya veriyi temizleyen filtreleme sistemleri, gizli komutların tespit edilip ayıklanması için kritik hale geliyor. Kullanıcı tarafında ise, yapay zeka tarafından üretilen içeriklerin gerçek dünya kuralları ve yasal prosedürlerle her zaman örtüşmediği görülüyor.