Hugging Face, üretim altyapısına yönelik gerçekleştirilen bir siber saldırı sırasında, kullandıkları yapay zeka modellerinin güvenlik bariyerleri nedeniyle analiz sürecinin aksadığını açıkladı. Şirketin olay müdahale ekibi, saldırıyı incelemek için gelişmiş yapay zeka modellerine başvurduğunda, modeller bu talepleri saldırı girişimi olarak algılayıp reddetti.

Otonom Yapay Zeka Ajanı İle Gerçekleştirilen Sızma

16 Temmuz tarihinde detayları paylaşılan olayda, tamamen otonom bir yapay zeka ajanının kampanya sürecini uçtan uca yönettiği belirlendi. Herhangi bir insan müdahalesi olmadan hareket eden ajan, kötü niyetli bir veri setini giriş noktası olarak kullandı. Veri işleme hattı bu seti aldığında, uzaktan kod yükleyici ve yapılandırma dosyalarındaki bir şablon enjeksiyonu açığı üzerinden iki farklı kod yürütme yolu tetiklendi.

Saldırı Süreci ve Altyapıya Etkileri

Saldırgan ajan, hafta sonu boyunca fark edilmeden altyapı içerisinde yanal hareketler gerçekleştirdi. İlk erişimi sağladıktan sonra çalışma düğümüne sızan ajan, geniş kapsamlı bulut ve küme kimlik bilgilerini ele geçirdi. Hugging Face tarafından yapılan açıklamada, saldırganın kısa süreli kum havuzlarından oluşan bir sürü yapısıyla binlerce işlem gerçekleştirdiği ve komuta kontrol merkezini halka açık servisler üzerinden yönettiği belirtildi.

Şirket, yazılım tedarik zincirinin temiz olduğunu ve kamuya açık modellerin veya veri setlerinin değiştirildiğine dair bir kanıt bulamadığını doğruladı. Ancak, bazı dahili veri setlerine ve servis kimlik bilgilerine yetkisiz erişim sağlandığı tespit edildi. Müşteri veya ortak verilerinin etkilenip etkilenmediği üzerindeki incelemeler devam ediyor.

Güvenlik Filtrelerinin Yarattığı Operasyonel Engel

Olay sonrası analiz aşamasında, güvenlik ekipleri 17 binin üzerinde olayı incelemek için ticari yapay zeka API'lerine başvurdu. Ancak, analiz için gönderilen gerçek saldırı komutları ve exploit payload'ları, modellerin 'kötüye kullanımı önleme' filtrelerine takıldı. Eski AWS Başkan Yardımcısı CISO'su Merritt Baer, modellerin soruyu soranın bir güvenlik uzmanı mı yoksa saldırgan mı olduğunu ayırt edecek bir yönteme sahip olmadığını belirtti. Analiz süreci ancak GLM 5.2 modeliyle tamamlanabildi.

Ne anlama geliyor?

Siber güvenlik süreçlerinde kullanılan otomatik filtreleme sistemleri, şüpheli içerikleri engellemek için belirli kalıpları takip eder. Zararlı yazılım analizi veya sızma testi sırasında kullanılan komutlar, sistemler tarafından doğal olarak saldırı girişimi olarak sınıflandırılır. Bu durum, savunma ekiplerinin kullandığı araçların, karşılaştıkları gerçek tehdit verilerini analiz ederken kendi güvenlik duvarlarına takılmasına yol açar.

Veri işleme hatları genellikle güvenilir kaynaklardan veri geldiği varsayımıyla çalışır. Ancak dışarıdan gelen girdiyle tetiklenen kod yürütme mekanizmaları, sistemin güvenilir alanlarını savunmasız bırakabilir. Kimlik bilgilerinin geniş yetkilerle tanımlanması, bir noktadan sızan yapının sistem genelinde hızla yayılmasına sebebiyet veren temel bir yapısal sorundur.

Otonom sistemlerin güvenlik araştırmaları için geliştirilen araçlarla donatılması, saldırıların insan hızının ötesine geçmesine neden olur. Bu tip sistemler, hedef yapıdaki açıkları kendi başlarına bulup sömürebilen ve engelleri aşmak için sürekli yöntem değiştirebilen bir çalışma prensibine sahiptir.