Discord, güvenlik sistemindeki bir hatadan dolayı mayıs ayından bu yana 8 binden fazla kullanıcı hesabını hatalı bir şekilde yasakladığını duyurdu. Şirketin ortak kurucusu ve teknoloji direktörü Stanislav Vishnevskiy tarafından yapılan açıklamaya göre, hata başta satranç tahtası resimleri olmak üzere ızgara benzeri görselleri paylaşan yaklaşık 200 kullanıcı ile diğer zararsız görseller yükleyen 8 bin civarında kişiyi etkiledi.

Güvenlik Sisteminde Çift Katmanlı Arıza

Discord'un güvenlik sistemi, zararlı olduğu bilinen materyallerle eşleştirerek içeriği işaretlemeye tasarlanmıştır. Sistem yanlış alarm ürettiğinde, bir çalışan gözden geçirmesi yapılır. Ancak yaşanan ilk hata, gözden geçirme sırasında hesapların geçici olarak engellenmesi yerine tamamen yasaklanmasına neden oldu.

Daha da önemlisi, ikinci bir hata oluştu: personel hesapları kontrol edip temizledikten sonra, sistem yasakları otomatik olarak kaldıramadı. Sonuç olarak, uygunsuz hiçbir eylem gerçekleştirmeyen kullanıcıların hesapları yasaklı durumda kaldı. Vishnevskiy, etkilenen tüm hesapların şu anda yasaktan kaldırıldığını belirtti.

Yaşanan Olaylar ve Kullanıcı Tepkileri

Geçtiğimiz hafta Discord'da yasaklanan hesaplar hakkında bir dizi rapor yayımlandı. Kullanıcılar satranç tahtası fotoğrafları, oyun dokuları ve Minecraft envanter resimleri gibi tamamen masum görselleri paylaştıktan sonra yasaklandıklarını bildirdi. Bu olaylar, Discord'un otomatik denetim mekanizmalarının ne kadar hassas ve hatalı olabileceğini ortaya koydu.

Ne anlama geliyor?

Otomatik içerik moderasyon, çevrimiçi platformlarda yaygın bir uygulama olmuştur. Bu tür sistemler, milyonlarca görseli ve metni insan gücüyle kontrol etmek imkansız olduğu için büyük ölçekli ağlarda gereklidir. Ancak yapay zeka ve makine öğrenmesine dayalı bu filtreler, bazen kurallara uymayan ancak hiçbir şekilde zararlı olmayan içeriği (sanat, oyun ekran görüntüleri, eğitim materyalleri) yanlışlıkla işaretleyebilir.

Bu olay, bir sistemi denetleyen ikinci mekanizmanın da hata yapabileceğini göstermektedir. İnsan tarafından onaylanan bir yasakın sistem tarafından otomatik olarak kaldırılmaması, moderasyon sürecinde hem yazılım hem de operasyonel açıdan boşluklar bulunduğunu belirtir. Kullanıcı hesaplarını korumak için, platformların hem otomatik filtreleme hem de yasaklama/yasak kaldırma işlemlerinde çok katlı denetim mekanizmaları ve geri dönüş yolları bulunması gerekmektedir.