Anthropic'te yapay zeka güvenliği alanında görev yapan kıdemli bir araştırmacı, şirketin güvenlik önlemlerindeki yetersizlik nedeniyle istifa ettiğini açıkladı. Jacob Coxon adlı araştırmacı, X platformundaki paylaşımında hem Anthropic'i hem de rakip firmaları 'yaşamımızla kumar oynadıkları' gerekçesiyle sert bir dille eleştirdi.

İstifa gerekçesi ve sektör içi uyarılar

Coxon, daha önce OpenAI'da da sistem eğitimi konusunda çalıştığını belirterek, sektörün kontrol edilemez 'üstün insan sistemleri' geliştirmek için tehlikeli bir yarış içinde olduğunu savundu. Araştırmacı, yapay zekanın bu on yılın sonuna kadar tüm insanlık için ölümcül olabileceğine dair endişelerin, sektörün önde gelen isimleri tarafından da ciddiye alındığını ifade etti. Bu açıklama, yapay zeka şirketlerinin kendilerini geliştiren sistemler (recursive self-improvement) konusunda ne kadar hızlı ilerlediğine dair endişeleri bir kez daha gündeme taşıdı.

Güvenlik ekibinden çarpıcı rakam: Yüzde 10

Anthropic'in yapay zeka güvenlik ekibinden sorumlu Evan Hubinger, Coxon'un eleştirilerini doğrudan yanıtladı. Hubinger, kendisinin de kendini geliştiren yapay zekanın beklenenden çok daha hızlı bir hızda ilerlediğinden endişe duyduğunu belirtti. Güvenlik uzmanı, kişisel tahmini olarak yapay zekanın bu on yıl içinde tüm insanları öldürme olasılığının %10'dan fazla olduğunu açıkladı. Hubinger, bu korkuların gerçeğe dayandığını ve 'samimice' inandıklarını vurguladı. Ancak güvenlik ekibi lideri, şirketin gelişmiş yapay zekanın güvenli kalmasını ve insan değerleriyle uyumlu olmasını sağlayacak somut bir plana sahip olmadığını da itiraf etti. Hubinger, bu alanda yeterince ilerlemediklerini ve net bir yol haritası çizemediklerini kabul etti.

Ne anlama geliyor?

Yapay zeka sistemlerinin kendi kodlarını ve yeteneklerini insan müdahalesi olmadan iyileştirebilmesi, güvenlik açısından en büyük risk olarak görülen 'döngüsel kendini geliştirme' senaryosunu tetikleyebilir. Bu teknik süreç, sistemin hata ayıklama ve öğrenme hızının insan denetiminin ötesine geçmesiyle sonuçlanır. Böyle bir durumda, sistemin hedefleri ile insan çıkarları arasında kopukluk oluşabilir ve denetim mekanizmaları devre dışı kalabilir. Sektör temsilcilerinin bu olasılığı yükleme oranı olarak belirtmesi, riskin artık uzak bir fantezi değil, teknik olarak olası bir senaryo olarak ele alındığını gösteriyor.

Kullanıcılar açısından bu tartışma, yapay zeka ürünlerinin güvenliği ve şeffaflığı konusundaki beklentileri artırıyor. Şirketlerin yalnızca performans değil, güvenlik protokollerine de ağırlık vermesi, teknolojinin topluma kazandırılması açısından kritik önem taşıyor. Gelişmiş sistemlerin insan değerleriyle hizalanması (alignment) problemi çözülmeden, ticari yarışın güvenliği askıya alması, potansiyel felaket senaryolarının kapısını aralayabilir. Bu nedenle, yapay zeka stratejilerinde güvenlik denetimlerinin merkezi bir rol üstlenmesi kaçınılmaz hale geliyor.