Sade anlatım
Her seferinde iki kilo fazla gösteren bir banyo tartısı yanlıdır: hatası her ölçümde aynıdır, bu yüzden yeniden tartılmak işe yaramaz. Bir model de aynı biçimde sapabilir ve bu sapma insanlara eşit dağılmayabilir. Bir şirketin geçmiş işe alım kararlarıyla eğitilen sistem, o kararlardaki örüntüyü, bugün kimsenin savunmayacağı tercihler de dahil olmak üzere öğrenir; sonra bunu her yeni adaya tutarlı biçimde ve büyük ölçekte uygular.
Neden önemli
Yanlı bir model aynı haksız kararı binlerce kez tekrarlar; eski bir alışkanlık böylece işe alımda, kredide, sigortada ve fiyatlamada hukuki, mali ve itibar riskine dönüşür. Doğrudan para da kaybettirir: iyi adaylar ve kredi değerliliği yüksek müşteriler geri çevrilir. Sınırını açıkça söylemek gerekir: yanlılık tümüyle ortadan kaldırılamaz. Ölçülebilir, azaltılabilir ve izlenebilir; bunun için de hangi grupların karşılaştırılacağına ve hangi adillik tanımının geçerli olacağına karar vermek gerekir. Bunlar yönetim ve hukuk kararlarıdır; veri bilimi ekibi tek başına veremez.
Örnek
Bir şirket, eleme modelini kendi on yıllık işe alım kararlarıyla eğitiyor. Bir denetim, beceri testinden aynı puanı alan adayları karşılaştırıyor: şirketin öteden beri eleman aldığı üç üniversitenin mezunlarının %34'ü mülakata çağrılıyor, geri kalan herkesin %18'i. Model eski alışkanlığı öğrenmiş. Üniversite adı ve onunla ilişkili sinyaller çıkarılıp eğitim verisi dengelendikten sonra oranlar %31 ve %28 oluyor.
Bununla en çok karıştırılan kavram
Bias ve Fairness (adillik) arasındaki fark
Yanlılık ölçülebilir: onay oranları, hata oranları ve skorlar gruplar arasında karşılaştırılır. Adillik ise bu sayıların tutulduğu ölçüttür ve birden fazla tanımı vardır. Eşit onay oranları, eşit hata oranları ve her grupta aynı güvenilirlikte skorlar çoğu zaman aynı anda sağlanamaz. Yanlılığı ölçmek teknik bir iştir. Adillik hedefini seçmek ise model kurulmadan önce yönetimin ve hukuk danışmanlarının vereceği bir karardır.
Teknik katman
İki anlamı vardır. İstatistikte yanlılık sistematik hatadır; rastgele saçılma olan varyansın karşılığıdır. Yapay zeka etiğinde ise gruplar için sistematik biçimde farklı sonuçlar demektir. Süreç boyunca kaynakları: verideki tarihsel yanlılık, temsil gücü zayıf örneklemler, geçmiş insan yargılarını kaydeden etiketler, korunan bir özelliğin yerini tutan vekil değişkenler (posta kodu gelirin ya da kökenin yerini tutabilir), hedef değişkenin seçimi ve modelin tasarlanmadığı bir kitlede kullanılması. Dil modelleri buna web metinlerinden edindikleri kalıp çağrışımları ekler. Ölçütler: demographic parity, equal opportunity, equalised odds ve grup içi kalibrasyon; taban oranlar farklı olduğunda bunların birkaçı matematiksel olarak aynı anda sağlanamaz. Azaltma yolları: daha iyi veri toplama, yeniden ağırlıklandırma ya da yeniden örnekleme, eğitimde kısıtlar, hukukun izin verdiği yerde gruba özgü eşikler ve insan incelemesi. Korunan özelliği tek başına çıkarmak nadiren yeter, çünkü vekil değişkenler kalır. Araçlar arasında Fairlearn ve AI Fairness 360 vardır; NIST'in 1270 sayılı özel yayını yapay zeka yanlılığını sistemik, istatistiksel ve insan kaynaklı olarak gruplar.