Sade anlatım
Model, fiziksel olarak çok büyük bir sayı tablosudur. Her sayı, bir yapay nöronun diğerini ne kadar güçlü etkileyeceğini söyler. Eğitim bu sayıları, ağın çıktıları işe yarar hale gelene kadar milyarlarca kez azar azar değiştirir. Başka hiçbir şey saklanmaz: ne bir bilgi veritabanı ne bir kural kitabı. Modelin bildiği her şey bu sayılara yayılmıştır.
Neden önemli
Parametre sayısı model büyüklüğünün alışılmış kısaltmasıdır ve maliyeti belirler: daha fazla parametre, her token için daha fazla bellek ve hesaplama demektir. Kalite için tek başına zayıf bir göstergedir. Yeni ve küçük modeller eski ve büyük modelleri düzenli olarak geçiyor; boyutları kıyaslamadan önce kendi görevlerinizdeki sonuçları kıyaslayın.
Örnek
“7B” diye anılan bir modelin yedi milyar parametresi vardır. 16 bit hassasiyetle saklandığında yaklaşık 14 GB eder ve tek bir üst düzey ekran kartına sığar. Elli kat büyük bir model ise bir küme gerektirir; token fiyatı da bunu yansıtır.
Bununla en çok karıştırılan kavram
Parameters ve Hyperparameters (hiperparametreler) arasındaki fark
Parametreler, eğitimin bulduğu sayılardır. Hiperparametreler ise mühendislerin eğitim sürecinin kendisi için seçtiği ayarlardır: öğrenme oranı, katman sayısı, yığın boyutu. Çıkarım sırasında sıcaklık gibi ayarları da kullanıcı seçer ve bunlara bazen gevşek biçimde parametre denir; karışıklığın bir kaynağı da budur.
Teknik katman
Parametreler ağırlıklardan (bağlantı güçleri) ve bias değerlerinden oluşur, matrisler halinde düzenlenir; bir transformer'da embedding tablosunda, dikkat katmanlarında ve ileri beslemeli katmanlarda bulunurlar. Kayan noktalı sayılar olarak saklanırlar; quantization bu hassasiyeti düşürerek (örneğin 16 bitten 4 bite) kalitede küçük bir kayıpla bellek kullanımını azaltır. “Open-weight” modeller parametre dosyalarını yayımlar, herkes çalıştırabilir; kapalı modeller yalnızca bir API sunar. Fine-tuning parametreleri değiştirir, istem yazmak asla değiştirmez. Yorumlanabilirlik araştırmaları, parametre gruplarının ne hesapladığını çözmeye çalışır; şimdilik kısmen başarılıdır.