Sade anlatım
Her adımda modelin elinde sıralı bir aday token listesi vardır. Sıcaklık sıfırken her seferinde en üsttekini alır; aynı soru neredeyse aynı yanıtı getirir. Sıcaklığı yükselttiğinizde listede daha aşağılara daha sık uzanır: yanıtlar çeşitlenir ve şaşırtıcı hale gelir, kötü bir seçim yapma riski de artar.
Neden önemli
Sıcaklık, modeli göreve uydurmanın en basit koludur. Veri çıkarma, sınıflandırma ve kurala göre denetlenen her iş, tekrarlanabilirlik için düşük sıcaklık ister. Beyin fırtınası ve yaratıcı taslaklar daha yüksekten fayda görür. “Model tutarsız” şikâyetlerinin birçoğunun arkasından varsayılanda bırakılmış bir sıcaklık ayarı çıkar.
Örnek
Bir ekip ürün açıklamalarını 1,0 sıcaklıkla üretiyor ve çeşitlilikten memnun. Aynı ayar fatura çıkarma adımında elli çalıştırmadan birinde farklı bir toplam veriyor. Çıkarma adımını 0'a alıyor, metin yazımında 1,0'ı koruyorlar.
Bununla en çok karıştırılan kavram
Temperature ve Creativity (yaratıcılık) arasındaki fark
Yüksek sıcaklık çıktıyı daha az öngörülebilir kılar; modeli daha derin bir anlamda daha zeki ya da daha özgün yapmaz, belli bir noktadan sonra da anlamsız metin üretir. Fikirlerin kalitesi için daha zengin bağlamlı ve daha net tarifli bir istem, genellikle yüksek sıcaklıktan daha fazlasını yapar.
Teknik katman
Sıcaklık, softmax'ten önce logit'leri böler: 1'in altındaki değerler dağılımı sivriltir, 1'in üstündekiler düzleştirir, 0 ise greedy çözümleme olarak ele alınır. Tipik aralık sağlayıcıya göre 0-1 ya da 0-2'dir. Örneklemeden önce kuyruğu kesen top-p ve top-k ile etkileşir; genellikle bir seferde yalnızca biri ayarlanır. Sıcaklık 0, sayısal etkiler ve altyapı farkları yüzünden birebir aynı çıktıyı garanti etmez; sunuluyorsa sabit bir seed yardımcı olur. Bazı akıl yürüten modeller örnekleme ayarlarını sabitler ya da kısıtlar.