Sade anlatım
Model örneklerden öğrenir; tıpkı bir stajyerin puanlanmış bir cevap kâğıdından öğrenmesi gibi. Bu puanlamayı birinin yapması gerekir: bu e-posta bir şikâyet, bu röntgende kırık var, bu yanıt kabul edilebilir, şu edilemez. Etiketleme, binlerce kez ve tek bir tutarlı ölçüte göre yapılan bu işaretleme işidir. Birçok yapay zeka projesinin pek parlak olmayan gerçeği, insan emeğinin çoğunun buraya gitmesidir.
Neden önemli
Modelin tavanını etiketler belirler: etiketleyenlerin tutarlı biçimde yapmadığı bir ayrımı model öğrenemez. Maliyet ve zaman da buraya gider; çünkü özenli etiketleme konuyu bilen insanlar ister, uzman saati de pahalıdır. Dil modelleri bu hesabı değiştirdi: insanların kontrol edeceği etiketleri önerebiliyorlar ve eskiden eğitim için on binlerce etiketli örnek isteyen birçok iş, bugün test için birkaç yüz örnekle yürüyor. İhtiyaç ise ortadan kalkmadı. Güvenilir bir etiketli küme olmadan, satın alınmış ya da geliştirilmiş hiçbir sistemin çalışıp çalışmadığı bilinemez.
Örnek
Bir banka ayda 30.000 müşteri mesajını on iki kategoriye yönlendirmek istiyor. İki çalışan aynı 500 mesajı etiketliyor ve yalnızca %78'inde aynı kararı veriyor; ayrışma çoğunlukla “kart” ile “dolandırıcılık” kategorilerinin kesiştiği yerde. Yönerge sınır durum örnekleriyle yeniden yazılıyor, uyum %94'e çıkıyor; ardından 6.000 mesaj etiketleniyor, her onuncusu kontrol için iki kez. Etiketleme üç hafta sürüyor. Modelin eğitimi ise bir öğleden sonra.
Bununla en çok karıştırılan kavram
Data Labeling ve Ground truth (referans doğru) arasındaki fark
Etiketleme etiket üretir; bu etiketlerin yalnızca bir bölümü ground truth adını hak eder. Tek bir etiketleyicinin hızlıca verdiği karar bir etikettir. İki uzmanın üzerinde uzlaştığı ya da sonradan yaşananların doğruladığı yanıt ise ground truth'tur. Fark, bir model ölçülürken önem kazanır: modeli özensiz etiketlerle puanlamak, modelle birlikte o özensizliği de ölçer.
Teknik katman
Etiket türleri göreve göre değişir: sınıflar, metinde varlık aralıkları, görüntüde sınırlayıcı kutular ve segmentasyon maskeleri, ses için dökümler, sıralamalar; dil modeli işlerinde de puanlar ya da iki yanıt arasında tercihler. Temel belge etiketleme yönergesidir: tanımlar, sınır durumlar ve örnekler. Kalite sorunlarının çoğu yönerge sorunudur. Kalite kontrolleri: aynı örneğin birden çok kişiye verilmesi, etiketleyiciler arası uyum (örneğin Cohen's kappa), yanıtı bilinen kontrol örnekleri ve anlaşmazlıkların bir uzmanca karara bağlanması. Maliyeti düşürme yolları: bir modelin ön etiketlemesi ve insan kontrolü, insanlara modelin en az emin olduğu örnekleri gönderen aktif öğrenme ve kurallardan gelen zayıf denetim. Araçlar arasında Label Studio ve Amazon SageMaker Ground Truth vardır; işin büyük bölümü uzman hizmet sağlayıcılara yaptırılır, bu da gizlilik ve çalışma koşulları sorularını gündeme getirir. Etiket yanlılığına, sınıf dengesizliğine ve politikalar ya da ürünler değiştiğinde eskiyen etiketlere dikkat edin.