Sade anlatım
Modelin aday token listesinde birkaç olası seçenek ve çok uzun bir olasılıksız kuyruk vardır. Örnekleme ayarları bu kuyruğun ne kadarına izin verileceğini belirler. Top-k, en üstteki sabit sayıda adayı tutar. Top-p, olasılığın belirlenen payını karşılamaya yetecek kadar adayı tutar. İki durumda da zar atılmadan önce uçuk seçenekler elenir.
Neden önemli
Kullanıcıların çoğu bu ayarlara hiç dokunmaz, dokunması da gerekmez. Ürün geliştiren ekipler için önemlidir: sıcaklıkla birlikte güvenilir çıktı ile çeşitli çıktı arasındaki dengeyi belirlerler ve kötü seçilmiş bir kombinasyon, sonradan modele yüklenen tutarsız davranışın sık rastlanan bir kaynağıdır.
Örnek
Bir sohbet botu ara sıra cümleyi raydan çıkaran tuhaf bir kelime ekliyor. Ekip top-p'nin 1,0'da, sıcaklığın da yüksek olduğunu görüyor; bu, modelin kuyruğun tamamından seçim yapmasına izin veriyor. Top-p'yi 0,9'a indirmek, yanıtları tekdüze hale getirmeden tuhaflıkları ortadan kaldırıyor.
Bununla en çok karıştırılan kavram
Sampling ve Temperature (sıcaklık) arasındaki fark
Sıcaklık bütün adayların olasılığını değiştirir; dağılımı sivriltir ya da düzleştirir. Top-k ve top-p ise adayları doğrudan eler. Genellikle birlikte kullanılırlar: önce dağılım yeniden biçimlendirilir, sonra kuyruk kesilir, sonra kalanlar arasından bir token çekilir.
Teknik katman
Greedy çözümleme her zaman en olası token'ı alır. Top-k örnekleme en olası k token'ı tutar ve olasılıkları yeniden normalleştirir. Top-p, ya da nucleus sampling, birikimli olasılığı p'ye ulaşan en küçük kümeyi tutar; böylece aday sayısı duruma uyar: model eminse az, kararsızsa çok. Diğer kontroller arasında min-p, tekrar ve sıklık cezaları ve sohbet modellerinde artık seyrek kullanılan beam search vardır. Kısıtlı çözümleme daha da ileri gider ve bir dilbilgisini ya da JSON şemasını bozacak her token'ı maskeler; yapılandırılmış çıktı bu yolla garanti edilir. Sağlayıcıların varsayılanları farklıdır ve bazı modeller ayarların hepsini dışarı açmaz.