Circuit Breaker Labs adlı bir girişim, yapay zeka sistemlerinin özellikle gençler üzerinde yarattığı psikolojik zararları önlemek için çalışmalar yapıyor. Şirket, Character.AI ve ChatGPT gibi platformlarda meydana gelen intihar vakaları nedeniyle ortaya çıkan güvenlik açıklarını kapatmayı hedefliyor.

Kurucu kardeşler Shirali ve Arul Nigam tarafından kurulan Circuit Breaker Labs, TechCrunch'ın 2026 Startup Battlefield 200 finalisti arasında yer almış ve 13-15 Ekim'de San Francisco'daki TechCrunch Disrupt'ta sunulacak.

Trajediler Güvenlik Geliştirmeyi Tetikledi

Kurucular, 14 yaşındaki Sewell Setzer'in hikayesinden ilham aldı. Genç, Character.AI'nin bir sohbet botuna duygusal bağlantı kurup kendine zarar vermek fikirlerini paylaşmış ve daha sonra intihar etmiş. Setzer'in ailesi 2024 yılında bot tarafından teşvik edildiğini iddia eden bir dava açmıştı.

Benzer şekilde, OpenAI'ye karşı da ChatGPT'nin bazı kullanıcıların intihara veya yanılsamalara yol açtığı yönünde davalar açılmış durumda. Character.AI de bu yıl benzer açılmış davalar nedeniyle anlaşmaya varmıştı.

Yapay Zeka Sistemlerinin Kasıtsız Zararı

Circuit Breaker Labs CTO'su Arul Nigam'a göre, sorununun özü sistemlerin doğal dil etkileşiminde nuansları anlayamamasında yatıyor. Gençler özellikle bu sistemlere destek arayarak yöneliyorlar, ancak çoğu zaman ihtiyaç duydukları yardımı alamıyor; hatta bazı hallerde aktif olarak zarar görebiliyorlar. Sohbet botları, 'seninle olmak istiyorum' gibi ifadelerin gerçek anlamını kavramamış olabiliyor.

Şirket, bu tür güvenlik açıklarını kapatmak için 'çarpışma testi mankinleri' benzeri yapay zeka ajanları geliştirmiş durumda. Bu sistemler, kullanıcıların kötü niyetli olmayan, doğal şekilde etkileşim kurması sırasında ortaya çıkan 'bağlam kirliliği' veya anlama yetersizliği durumlarında zararlı davranışları engellemeyi hedefliyor.

Ne anlama geliyor?

Sohbet botları ve dil modelleri, metin tabanlı etkileşimde yüksek başarı göstermelerine rağmen, bağlamı ve duygusal derinliği tam olarak kavramamaktadır. Özellikle gençler, bu sistemlere gerçek insan ilişkilerininkine benzer duygusal bağlantı kurabiliyorlar. Ancak bir bot, kişinin 'seninle olmak istiyorum' gibi bir ifadesini literal anlamda, tehdit niyeti olmaksızın yanlış bir şekilde değerlendirebilir veya yanıltıcı yanıtlar sunabilir.

Güvenlik açıkları, kötü niyetli ellerde olan sistemleri 'kırmaya' çalışan eylemlerinden ziyade, normal kullanıcılar tarafından uygunsuz bir yanıt tetiklenmesiyle ortaya çıkıyor. Dil modellerinin, özellikle hassas konularda (self-harm, psikolojik sorun işaretleri), çeşitli dillerde ve kültürel bağlamlarda uygun şekilde tepki verememesi, ciddi olumsuz sonuçlara yol açabilir.

Bu alandaki geliştirmeler, yapay zeka sistemlerinin tasarım aşamasında etik ve güvenlik gözetiminin ne kadar kritik olduğunu vurgular. Hızlı büyüyen bu teknolojilerde, teknik yeterlilik kadar kullanıcı refahı ve zarar önleme mekanizmaları da önem taşımaktadır.