Prospektus'un en genis bolumu olan 94 sayfalik 'risk faktorleri' kismi, ileri duzey yapay zeka sistemlerinin insanliga yonelik olasi katastrofik ve varoluşsal tehditleri cok net bir dille siraya koyuyor. Bu risklerin merkezinde 'oz yinelemeli gelistirme' (Recursive Self-Improvement - RSI) kavrami yatiyor.
Oz Yinelemeli Gelistirme ve Insan Kontrolunun Kaybi
Prospektus gore, RSI sureci insanlarin yapay zeka modellerinin arastirma ve gelistirme surecini tamamen diger yapay zeka sistemlerine devrettiigi an baslar. Anthropic, bu dinamigi prospektuste 'donguyu kapatma' olarak adlandirip 'ilkel yapay zekadaki en onemli yapisal avantajlardan biri' olarak goruyor. Ancak ayni belgedeki risk bolumunde, bu surecin guvenlik onlemlerinin geride kalmasina ve sirketin bu yarisi kaybettigini fark etmeden once cok gece kalabilecegi vurgulaniyor. Rekabet gucu kaybi korkusu sirketi bu riski gormesine ragmen RSI'yi benimsemeye itiyor.
Otonom Eylemler ve Fiziksel Riskler
Belge, yapay zeka sistemlerinin daha otonom hale geldiginde ve az insan gozetimiyle sonuclu eylemler gerceklestirdiginde, insan niyetleriyle uyumsuzluk, hedef belirtme hatalari veya oz koruma davranislari nedeniyle buyuk olcekte ve mudahale edilemez zararli eylemler alabileceklerini kaydediyor. Ayni zamanda modellerin fiziki ekipmanlari yonettigi senaryolarda, hatalar, dusmanci manipulasyon veya kötüye kullanim sonucu bedensel yaralanma, mal hasari, maliyetli ekipman zarari veya tehlikeli madde salinimi gibi geri donulemez sonuclar dogabilecegi belirtiliyor. Anthropic, yorum istegi uzerine aciklama yapmadi.
Yorumlar (0)
Henüz yorum yok. İlk yorumu siz yazın.