Avrupa merkezli kar amacı gütmeyen AI Forensics tarafından yayınlanan yeni bir rapor, açık kaynaklı yapay zeka platformu Hugging Face üzerinde rıza dışı müstehcen içerik üretiminin yaygın olduğunu ortaya koydu. Araştırmacılar, platformdaki popüler görüntü düzenleme alanlarını test ederek, bu araçların kolaylıkla kıyafetli fotoğrafları üstsüz görüntülere dönüştürebildiğini tespit etti.

Yapay Zeka Modellerinde Güvenlik Açıkları

AI Forensics tarafından yapılan incelemelerde, test edilen popüler görüntü düzenleme alanlarından yedi tanesinin kadın fotoğraflarını kolayca müstehcen hale getirebildiği görüldü. Araştırma ekibi ayrıca kurdukları 'bal küpü' tarzı izleme sistemleri üzerinden bir hafta boyunca 1.000'den fazla istemi takip etti. Elde edilen verilere göre, gelen taleplerin yüzde 73'ü cinsel içerikli olurken, bu taleplerin yüzde 83'ü kişileri soyundurmaya veya cinsel nesne haline getirmeye yönelikti. Bu taleplerin yüzde 95'inin kadınlara, yüzde 6,7'sinin ise çocuklara yönelik olduğu belirlendi.

Moderatör Denetimi ve Platform Politikaları

WIRED tarafından yapılan incelemeler ve diğer araştırmacıların bulguları, platformda ünlülerin ve politikacıların cinsel içerikli görüntülerini oluşturabilecek modellerin ve tanıtımların bulunduğunu gösterdi. Hugging Face şirketinin, çocuk istismarı ve rıza dışı müstehcen içeriklerin yasaklandığına dair politikaları bulunmasına rağmen, WIRED'ın sorularına yanıt vermediği belirtildi. Bazı sorunlu sayfaların WIRED ile iletişim kurulduktan sonra kaldırıldığı ancak bunun şirketle bağlantılı olup olmadığının bilinmediği ifade edildi.

Koruma Mekanizmalarının Eksikliği

Araştırmacı Paul Bouchaud, platform düzeyinde hiçbir koruma mekanizmasının uygulanmadığını, güvenlik önlemlerinin yalnızca model geliştiricilerinin inisiyatifinde olduğunu vurguladı. OpenAI ve Google gibi ana akım yapay zeka geliştiricilerinin kullandığı 'guardrails' adı verilen güvenlik bariyerlerinin, Hugging Face'teki birçok açık kaynaklı modelde bulunmadığı saptandı. Araştırmacılar, herhangi bir hackleme işlemi yapmadan, sadece altı kelimelik basit bir istem kullanarak bu modellerin istenilen müstehcen içerikleri üretebildiğini kanıtladı.

Ne anlama geliyor?

Açık kaynaklı yazılım paylaşım platformları, geliştiricilerin oluşturduğu modellerin herkes tarafından erişilebilir olduğu merkezlerdir. Bu sistemlerde, girdi olarak verilen verilerin filtrelenmesi veya çıktıların denetlenmesi süreci, merkezi bir kontrol mekanizması yerine model sahibinin tercihlerine bırakılmaktadır. Güvenlik bariyerlerinin eksikliği, kötü niyetli kullanıcıların basit komutlarla görselleri manipüle etmesine olanak tanımaktadır.

Görsel manipülasyon teknolojileri, mevcut bir fotoğraf üzerindeki pikselleri analiz ederek kıyafetleri dijital olarak kaldırıp yerine yapay olarak üretilmiş ten dokuları ekleme prensibiyle çalışır. Bu durum, bireylerin dijital kimliklerinin rızaları dışında değiştirilmesine ve kişisel verilerin ihlal edilmesine yol açarak şantaj veya taciz gibi riskler oluşturmaktadır.