Sade anlatım
Model, eğitim verisinin toplandığı gün dünyanın çekilmiş bir fotoğrafıdır. Dünya ise ilerlemeye devam eder: müşterilerin alışkanlıkları değişir, yeni ürünler çıkar, dolandırıcılar yöntem değiştirir, fiyatlar artar. Model hiçbir şey olmamış gibi yanıt vermeyi sürdürür ve her ay biraz daha yanılır. Hiçbir şey bozulmaz, hiçbir alarm çalmaz. Büyüyen bir şehrin haritası gibi, kimse dokunmadan eskir.
Neden önemli
Bu, bir yapay zeka sisteminin devreye alındığı gün bitmiş olmadığı anlamına gelir. Pilotta ölçülen doğruluk, son kullanma tarihi olan bir başlangıç değeridir; bütçede izleme, taze test verisi ve dönemsel güncellemeler için bir kalem bulunmalıdır. Barındırılan dil modellerinde ikinci bir biçimi vardır: sağlayıcı model sürümünü günceller ya da kullanımdan kaldırır ve sizin tarafınızda hiçbir şey değişmediği halde davranış kayar. Sabit bir sürüme bağlanmak ve her geçişten önce eval'leri yeniden çalıştırmak bunu denetim altında tutar; ancak yalnızca o sürüm kullanımdan kaldırılana kadar.
Örnek
Bir e-ticaret şirketinin modeli destek taleplerini doğru ekibe yönlendiriyor. Ocakta taleplerin %94'ünü doğru yönlendiriyor. Martta şirket bir abonelik ürünü çıkarıyor ve modelin hiç görmediği türde talepler gelmeye başlıyor. Yeni etiketlenmiş 300 talep üzerinde yapılan aylık kontrol martta %91, nisanda %89 gösteriyor; bu, kararlaştırılan %90 eşiğinin altında. Ekip mayısta modeli güncel taleplerle yeniden eğitiyor; haziranda oran yeniden %94.
Bununla en çok karıştırılan kavram
Model Drift ve Data drift (veri kayması) arasındaki fark
Veri kayması, gelen verinin artık eğitim verisine benzememesidir: başka müşteriler, başka ifadeler, başka ürünler. Model kaymasının nedenlerinden biridir ve çoğu zaman zarar vermez. Kalite, girdiler değişmemiş göründüğü halde de düşebilir; çünkü doğru yanıt değişmiştir (kavram kayması) ya da sağlayıcı modeli değiştirmiştir. Girdileri izlemek erken uyarı verir; modelin hâlâ işe yarayıp yaramadığını ise yalnızca sonuçları ölçmek gösterir.
Teknik katman
Türleri: veri kayması ya da covariate drift (girdi dağılımı değişir), etiket kayması (sonuçların dağılımı değişir) ve kavram kayması, yani concept drift (girdi ile doğru yanıt arasındaki ilişki değişir). Tespit: girdi istatistiklerini population stability index ya da Kolmogorov-Smirnov testi gibi ölçülerle izlemek, çıktı dağılımlarını izlemek ve en güveniliri, yeni etiketlenmiş örneklerde doğruluğu ölçmek. Referans doğrular çoğu zaman geç gelir; arada vekil göstergeler kullanılır. Karşılık: takvime ya da tetikleyiciye bağlı yeniden eğitim, bilgi tabanını tazeleme, prompt'ları güncelleme. Dil modeli uygulamalarında: tarihli bir model sürümünü çağırın, en yeni sürüme kendiliğinden geçen takma adlardan kaçının; sağlayıcının kullanımdan kaldırma duyurularını izleyin; bir altın veri seti tutun ve onu her model, prompt ya da getirme değişikliğinde ve düzenli aralıklarla yeniden çalıştırın; sonucu saklanan referans değerle karşılaştırın. Chen, Zaharia ve Zou'nun 2023 tarihli çalışması, barındırılan aynı modellerin iki sürümü arasında üç ay içinde büyük davranış değişiklikleri belgeledi.