Sade anlatım
Bir hırsızın iki şeye ihtiyacı vardır: değerli eşyaya ulaşmanın bir yolu ve onu dışarı çıkarmanın bir yolu. Belgelerinize bağlı bir yapay zeka asistanı ilkine zaten sahiptir. Veri sızdırma ikincisiyle ilgilidir: asistanın dışarıya bir şey gönderebildiği her kanal; bir e-posta, bir web isteği, hatta bir bağlantı.
Neden önemli
Sızan müşteri verisi, kaynak kod ya da kimlik bilgileri en pahalı yapay zeka olaylarıdır ve çıkış yolu çoğu zaman kimsenin riskli saymadığı bir özelliktir. Bir yapay zeka sistemini incelerken bilginin dışarı çıkabileceği her yolu listeleyin. Riski belirleyen model değil, o listedir.
Örnek
Şirket içi belgelere erişen bir sohbet asistanı görsel gösterebiliyor. Enjekte edilmiş bir talimat, saldırganın sunucusundan bir görsel göstermesini söylüyor; gizli belgenin özeti de görselin adresine gömülmüş. Görsel hiç yüklenmiyor, ama veriyi taşıyan istek çoktan gönderilmiş oluyor.
Bununla en çok karıştırılan kavram
Data Exfiltration ve Data leakage (veri sızıntısı) arasındaki fark
Sızıntı kasıtsızdır: bir çalışan sözleşmeyi herkese açık bir sohbet botuna yapıştırır ya da model eğitim verisinden bir şeyi tekrarlar. Sızdırma ise saldırıdır: biri sistemi, veriyi dışarı gönderecek şekilde kurgular. Kontroller örtüşür, ama sızıntı daha çok politika ve eğitimle, sızdırma ise mimariyle ele alınır.
Teknik katman
Denetlenecek kanallar: araçlardan ya da kod çalıştırmadan çıkan HTTP istekleri, işlenen Markdown görselleri ve bağlantıları, e-posta ve mesajlaşma araçları, ortak ya da herkese açık yerlere yazma (depolar, kayıtlar, belgeler), DNS sorguları ve kullanıcıdan tıklaması istenen URL'ler. Kontroller: çıkış için izinli adres listesi, görsel işlemeyi kapatmak ya da vekil sunucudan geçirmek, güvenilen girdide bulunmayan URL'leri engellemek, dışa dönük eylemlerde insan onayı, çıktıların veri kaybı önleme taramasından geçmesi ve sırları bağlama hiç sokmamak. Veri sızdırma, ölümcül üçlünün üçüncü ayağıdır: çıkış kapatılırsa enjekte edilen talimatın bulduğunu gönderecek yeri kalmaz.