Sade anlatım
Model belgelerinizden yanıt verebilmeden önce, milyonlarca paragraf arasından hangi birkaçını okuyacağını birinin seçmesi gerekir. Bu seçme işi retrieval'dır. Arşive koşup yanıtı içerme ihtimali en yüksek beş sayfayla dönen bir araştırma asistanı gibi çalışır.
Neden önemli
Şirket bilgisi üzerine kurulan sistemlerde sonucu modelden çok retrieval belirler. Yanlış pasajlar verilen güçlü bir model, kendinden emin biçimde yanlış yanıt verir; doğru pasajlar verilen mütevazı bir model iyi iş çıkarır. Bir RAG sistemi hayal kırıklığı yarattığında modeli suçlamadan önce neyin getirildiğine bakın.
Örnek
Bir kullanıcı şirket içi asistana “Altı saati aşan uçuşlar için seyahat politikamız ne?” diye soruyor. Retrieval 80.000 parçayı tarıyor ve beşini döndürüyor: üçü seyahat politikasından, biri masraf SSS'sinden, biri de 2019 tarihli eskimiş bir yazıdan. Modelin yanıtı ancak bu seçim kadar iyi olacak; eskimiş yazı da buna dahil.
Bununla en çok karıştırılan kavram
Retrieval ve Generation (üretim) arasındaki fark
Retrieval ve generation, RAG'in iki yarısıdır. Retrieval, doğrusu ve yanlışı ölçülebilen bir arama problemidir. Generation ise bir yazma problemidir. Farklı biçimlerde hata yaparlar ve farklı araçlarla iyileştirilirler; bu yüzden ayrı ayrı test edilmelidirler.
Teknik katman
Yöntemler: tam terimler üzerinde sözcüksel arama (BM25); embedding'ler üzerinde yoğun (dense) retrieval; ikisinin hibrit birleşimleri; SQL ya da graf sorguları gibi yapılandırılmış sorgular. Tipik bir hat önce geniş bir aday kümesini hızla getirir, sonra bir reranker ile daraltır. Destekleyici teknikler: sorguyu yeniden yazma ve genişletme, üst veri filtreleri (tarih, departman, erişim yetkisi) ve bir ajanın yönettiği çok adımlı retrieval. Ölçütler: recall@k (doğru pasaj ilk k sonuç arasında mıydı?), precision ve mean reciprocal rank. Erişim kontrolü buraya aittir: retrieval yalnızca soran kullanıcının görmeye yetkili olduğunu döndürmelidir.