Sade anlatım
Geçen yılın sınav kâğıtlarını ezberleyen öğrenci o kâğıtlardan tam puan alır, sorular değişince de sınıfta kalır. Yanıtları öğrenmiş, konuyu kaçırmıştır. Model de aynısını yapabilir: kapasitesi yüksek, verisi azsa eğitim örneklerini tuhaflıkları ve hatalarıyla birlikte saklar; yarının vakalarına taşıyabileceği pek bir şey kalmaz. Uyarı işareti hep aynıdır: laboratuvarda parlak, kullanımda hayal kırıklığı yaratan sonuçlar.
Neden önemli
Pilotta parlayan bir modelin üretimde hayal kırıklığı yaratmasının başlıca nedenidir. Bir tedarikçinin verdiği doğruluk rakamının, hangi veride ölçüldüğü bilinmeden pek anlam taşımamasının nedeni de budur. Korunmanın yolu teknolojiden çok disiplindir: modelin de geliştiricilerinin de hiç kullanmadığı bir test seti ayırın ve kararı ona göre verin. Aynı şey dil modeli satın alırken de geçerlidir: soruları eğitim verisine sızmış açık bir benchmark'taki yüksek puan, sizin belgeleriniz hakkında pek bir şey söylemez. Bedeli, kenara ayrılan ve eğitimde hiç kullanılmayan veridir.
Örnek
Bir banka, hangi müşterilerin ayrılacağını tahmin eden bir model eğitiyor. 40 eğitim turunun sonunda model, öğrendiği 50.000 müşterinin %1'inde, hiç görmediği 5.000 müşterinin ise %26'sında yanılıyor. Eğriler nedenini gösteriyor: görülmemiş müşterilerdeki hata 12. turda %17 ile en düşük düzeydeydi ve o zamandan beri yükseliyor; eğitim verisindeki hata ise düşmeyi sürdürüyor. Ekip 12. turdaki sürümü kullanıyor.
Bununla en çok karıştırılan kavram
Overfitting ve Underfitting (yetersiz öğrenme) arasındaki fark
Doğru ayrıntı düzeyini kaçırmanın iki yoludur. Underfitting'de model fazla basittir ya da fazla kısa eğitilmiştir: eğitim verisinde de yeni veride de kötüdür. Overfitting'de model eğitim verisinde iyi, yeni veride kötüdür. Ölçüt, iki puan arasındaki farktır: düşük puanlarla birlikte küçük bir fark underfitting'e, büyük bir fark overfitting'e işaret eder.
Teknik katman
Teşhis: eğitim ve doğrulama hatasını zaman içinde karşılaştırın; açılan bir makas ve yukarı dönen doğrulama hatası tipik işarettir. Nedenler: veri miktarına göre fazla kapasiteli model, az sayıda ya da temsil gücü zayıf örnek, fazla uzun eğitim, gürültülü etiketler ve eğitim ile test setleri arasında veri sızıntısı. Çareler: daha çok ya da daha çeşitli veri, veri çoğaltma, regularizasyon (L1 ve L2 cezaları, weight decay, dropout), erken durdurma, daha basit modeller, ensemble yöntemleri ve çapraz doğrulama. Veri bölünmesi önemlidir: ayar için bir doğrulama seti ve yalnızca bir kez kullanılan ayrı bir test seti gerekir, çünkü aynı test setine göre tekrar tekrar ayar yapmak ona da overfitting'e yol açar. Bias-variance dengesi açısından overfitting yüksek varyanstır. Çok büyük sinir ağları tabloyu karmaşıklaştırır: eğitim verisine tümüyle uyup yine de genelleme yapabilirler (double descent). Dil modellerindeki yakın sorunlar: eğitim metninin kelimesi kelimesine ezberlenmesi, birkaç yüz örnekle ince ayarda overfitting ve benchmark kirlenmesi.