Sade anlatım
Her iş en yetenekli modeli gerektirmez. Destek taleplerini sınıflandırmak, bir e-postadan fatura numarasını çekmek ya da tek bir ürünle ilgili soruları yanıtlamak çok daha küçük bir modelle yapılabilir. Böyle bir model daha hızlı yanıt verir, çok daha ucuza gelir ve hiçbir veri binadan çıkmadan bir dizüstü bilgisayarda ya da telefonda çalışabilir.
Neden önemli
Önemsemek için üç neden var: maliyet, hız ve kontrol. Yüksek hacimde, büyük ve küçük model arasındaki fiyat farkı bir kullanım senaryosunun kendini ödeyip ödemeyeceğini belirler. Küçük modeller gerçek zamanlı kullanıma yetecek kadar hızlı yanıt verir. Ayrıca kendi ortamınızda çalışabilirler; bu da birçok veri koruma sorusunu kapatır. Karşılığında yetenekten ödün verilir: açık uçlu akıl yürütmede ve geniş bilgide daha zayıftırlar. Sorulacak yararlı soru hep aynıdır: bu işi yeterince iyi yapan en küçük model hangisi?
Örnek
Bir sigorta şirketi ayda 200.000 gelen e-postayı 14 kategoriye ayırıyor. Bir frontier model bunu %97 doğrulukla yapıyor. Şirketin kendi etiketlediği 5.000 e-postayla ince ayar yapılan küçük bir model, maliyetin yaklaşık yirmide biriyle %96'ya ulaşıyor ve şirketin kendi sunucularında çalışıyor. Büyük model, küçük modelin emin olamadığını belirttiği %4'lük e-posta için elde tutuluyor.
Bununla en çok karıştırılan kavram
SLM ve LLM (büyük dil modeli) arasındaki fark
Aralarında resmi bir çizgi yoktur. “Küçük” bugün genellikle bir milyarın altından yaklaşık on milyar parametreye kadar olan modeller için kullanılır ve sınır her yıl kayar. Teknoloji aynıdır. Fark, yetenek ile maliyet arasındaki bir mühendislik dengesidir ve iyi sistemler ikisini birlikte kullanır: rutin hacim için küçük model, zor vakalar için büyük model.
Teknik katman
Küçük modeller üç yolla elde edilir: kompakt bir mimariyi doğrudan eğiterek, daha büyük bir modelden damıtarak (distillation) ve ağırlıkları daha düşük hassasiyetle saklayıp bellekten tasarruf eden nicemleme (quantization) ile. Örnekler arasında Microsoft'un Phi ailesi, Google'ın Gemma'sı, Llama ve Mistral'in küçük modelleri ile ticari model ailelerinin küçük kademeleri vardır. Cihazlarda (telefon, dizüstü, gömülü sistemler), tek bir GPU sunucusunda ya da düşük fiyatlı bir API üzerinden çalıştırılabilirler. Dar işlerde ince ayara iyi yanıt verirler; ayarlanmış küçük bir model genel amaçlı büyük bir modelle aynı düzeye gelebilir. Yaygın örüntüler: yönlendirme (kolay istekleri küçük modele gönder, kalanını yukarı aktar), kademeli yapılar ve daha büyük bir sistemin içinde alt ajan ya da sınıflandırıcı olarak küçük modeller. Sınırlar: daha kısa kullanılabilir bağlam, daha zayıf çok adımlı akıl yürütme, daha az dünya bilgisi ve istemin ifadesine daha fazla duyarlılık.