Sade anlatım
Orkinos için ağ atılıyor. Precision, avın ne kadarının orkinos olduğunu sorar. Recall, sudaki orkinosların ne kadarının ağa girdiğini sorar. Bütün körfezde sürüklenen sık gözlü bir ağ her orkinosu yakalar, yanında pek çok başka şeyi de: recall yüksek, precision düşük. Doğru yemle atılan tek bir olta yalnızca orkinos çıkarır, ama çok azını: precision yüksek, recall düşük.
Neden önemli
İşaretleyen, süzen, getiren ya da sınıflandıran her sistem iki tür hata yapar: yanlış alarmlar ve kaçırılanlar. Bunların maliyeti nadiren aynıdır. Kaçırılan bir dolandırıcılık ile yanlışlıkla engellenen bir müşterinin bedeli farklıdır; kaçırılan bir tümör ile gereksiz bir tetkikin de. Precision ve recall bu ikisini ayrı tutar; kabul edilebilir denge de açıkça verilmesi gereken bir iş kararıdır. Birini yükseltmek çoğu zaman ötekini düşürür. Tek bir “doğruluk” rakamı bu ödünleşimi gizler ve önemli olanın çoğunu kaçıran bir sistemde bile mükemmel görünebilir.
Örnek
Bir ödeme şirketi 10.000 işlemi tarıyor; bunların 100'ü dolandırıcılık. Model 80 işlemi işaretliyor. Bunların 60'ı dolandırıcılık, 20'si meşru işlem; 40 dolandırıcılık işlemi fark edilmeden geçiyor. Precision 80'de 60, yani %75. Recall 100'de 60, yani %60. Doğruluk ise %99,4; hiçbir şeyi işaretlemeyen bir model bile %99'a ulaşırdı.
Bununla en çok karıştırılan kavram
Precision and Recall ve Accuracy (doğruluk) arasındaki fark
Doğruluk, kolay olanlar da dahil her doğru kararı aynı sayar. Önemli vakalar seyrek olduğunda, örneğin dolandırıcılıkta, üretim hatalarında ya da hastalıkta, bir sistem onları görmezden gelerek yüksek doğruluğa ulaşabilir. Precision ve recall yalnızca işaretlenen vakalara ve işaretlenmesi gereken vakalara bakar; maliyet de oradadır. Dengeli veride üç rakam benzer bir tablo çizer.
Köken: İki ölçü de 1950'lerin bilgi erişimi araştırmalarından gelir; F ölçüsü C. J. van Rijsbergen'in 1979'da yayımlanan çalışmasına dayanır.
Teknik katman
Dört sonuç karışıklık matrisini (confusion matrix) oluşturur: doğru pozitifler (TP), yanlış pozitifler (FP), yanlış negatifler (FN) ve doğru negatifler (TN). Precision = TP / (TP + FP). Recall = TP / (TP + FN); sensitivity olarak da anılır. F1 ikisinin harmonik ortalamasıdır, 2PR / (P + R), ve yalnızca ikisi de yüksek olduğunda yüksektir; örnekte precision 0,75 ve recall 0,60 iken F1 0,67'dir. F-beta türü recall'a daha çok ya da daha az ağırlık verir. Sınıflandırıcıların çoğu bir skor üretir ve dengeyi karar eşiği belirler: eşik düştükçe recall yükselir, precision düşer. Precision-recall eğrisi bütün eşikleri birlikte gösterir. Birden çok sınıf olduğunda ölçüler sınıf başına (macro) ya da bütün kararlar üzerinden (micro) ortalanır. Retrieval'da aynı ölçüler ilk k sonuca uygulanır: precision@k ve recall@k. Dil modeli uygulamalarında getirme kalitesini, guardrail filtrelerini, bilgi çıkarma işlerini ve kaynak gösterimi kontrollerini tanımlarlar.