Sade anlatım
Keman çalan biri viyolayı haftalar içinde öğrenir; çünkü nota okumak, ses duyumu ve yay tekniği olduğu gibi aktarılır. Yeni olan yalnızca yeni çalgıya özgü kısımdır. Modeller de böyle çalışır. Milyonlarca sıradan fotoğraftan kenarları, şekilleri ve dokuları görmeyi öğrenmiş bir model, çatlak bir kaynak dikişini birkaç bin örnekle ayırt etmeyi öğrenebilir; çünkü ihtiyaç duyduğu şeylerin çoğu, sizin projeniz başlamadan önce öğrenilmiştir.
Neden önemli
Yapay zeka projelerinin artık bir milyon örnek toplamakla başlamamasının nedeni aktarımlı öğrenmedir. Giriş maliyetini araştırma bütçesinden pilot bütçesine indirdi; temel model ekonomisinin tamamı da bunun üzerine kuruludur: bir kez yapılan pahalı genel eğitim her yerde yeniden kullanılır. Sınırları gerçektir. Aktarım, yeni görev modelin daha önce gördüklerine benzediğinde işe yarar; alışılmadık sensör sinyalleri gibi çok yabancı verilerde kazanç küçülür. Özgün modelin kötü öğrendiği her şey de, yanlılıkları dahil, onunla birlikte gelir.
Örnek
Bir çelik konstrüksiyon üreticisi hatalı kaynakları fotoğraftan tespit etmek istiyor; elinde 2.000 etiketli görüntü var. Yalnızca bunlarla sıfırdan eğitilen bir model %71 doğruluğa ulaşıyor. Ekip sonra milyonlarca genel görüntüyle önceden eğitilmiş bir görü modelini alıyor, ilk katmanlarını koruyor ve son katmanını aynı 2.000 fotoğrafla yeniden eğitiyor. Doğruluk, tek bir ekran kartında bir öğleden sonrada %96'ya çıkıyor.
Bununla en çok karıştırılan kavram
Transfer Learning ve Fine-tuning (ince ayar) arasındaki fark
Aktarımlı öğrenme fikirdir; fine-tuning onu hayata geçirmenin en yaygın yoludur. Başka yollar da vardır: modeli dondurup yalnızca üstüne eklenen küçük yeni bir kısmı eğitmek ya da embedding'lerini basit bir sınıflandırıcıya girdi olarak vermek. Bir istem bile aktarılmış bilgiye dayanır. Gündelik kullanımda iki terim sık sık birbirinin yerine geçer; ayrım, bir modelin ne kadarının yeniden eğitileceğine karar verirken önem kazanır.
Teknik katman
İki klasik yöntem vardır. Özellik çıkarımı: önceden eğitilmiş ağı dondur, son katmanını (head) değiştir ve yalnızca onu eğit. Fine-tuning: önceki katmanların bir bölümünü ya da tamamını da, genellikle düşük bir öğrenme oranıyla ve bazen katmanları kademeli olarak açarak güncelle. İlk katmanlar genel özellikleri, son katmanlar göreve özgü olanları taşır; önce son katmanın değiştirilmesi bundandır. Görüntüde, ImageNet üzerinde önceden eğitilmiş ağlar 2010'lar boyunca standart başlangıç noktasıydı. Dilde aynı kalıp 2018'de BERT ve ilk GPT gibi modellerle yerleşti; bugünkü temel modellerin dayanağı da budur. İlgili terimler: alan uyarlaması (aynı görev, farklı türde veri) ve aktarımın yalnızca istem üzerinden gerçekleştiği few-shot ya da zero-shot kullanım. Riskler: uygun olmayan bir kaynak modelin sonuçları kötüleştirdiği negatif aktarım, devralınan yanlılık ve kaynak modelin, üzerine kurduğunuz şeye de geçen lisans koşulları.