Sade anlatım
İlaçların içinden bir prospektüs çıkar: ürün ne içindir, dozu nedir, yan etkileri nelerdir, kimler kullanmamalıdır. Model kartı bir yapay zeka modelinin prospektüsüdür. Modeli kullanmak üzere olan kişiye modelin ne yapmak için geliştirildiğini, nelerden uzak tutulması gerektiğini, testlerde ne kadar iyi sonuç verdiğini ve hangi durumlarda zayıf olduğunun bilindiğini söyler.
Neden önemli
Model seçerken istenecek ilk belgedir ve gelen yanıtın kalitesi tedarikçi hakkında bir şey söyler. İyi bir kart, alıcının hiç test yapmadan iki şeyi kontrol etmesini sağlar: amaçlanan kullanım kendi durumunu kapsıyor mu ve raporlanan sonuçlar kendi koşullarına, örneğin kendi diline benzeyen koşulları içeriyor mu? Kartın kanıt olarak sınırları açıktır. Geliştirici tarafından yazılır, modeli anlatıp çevresine kurulan uygulamayı dışarıda bırakır ve içindeki test sonuçları, alıcının kendi verisiyle yapacağı değerlendirmenin yerini tutmaz.
Örnek
Bir banka müşteri e-postalarını sınıflandırmak için iki modeli karşılaştırıyor. İlk kart genel doğruluğu %94, dillere göre dökümde Türkçe için %91 olarak veriyor. İkincisi genel doğruluğu %96 olarak veriyor, yalnızca İngilizce ile test edilmiş ve sınırlar bölümünde “İngilizce dışındaki diller” yazıyor. Bankanın e-postaları Türkçe. Banka ilk modeli kısa listeye alıyor, yine de iki modeli kendi 500 e-postası üzerinde çalıştırıyor ve %90 ile %82 buluyor.
Bununla en çok karıştırılan kavram
Model Card ve System card (sistem kartı) arasındaki fark
Özgün model kartı tek bir modeli kapsar. Büyük genel amaçlı modellerin geliştiricileri bugün çoğu zaman sistem kartı ya da model kartı adıyla daha uzun belgeler yayımlıyor; bu belgeler güvenlik değerlendirmelerini, red teaming sonuçlarını ve modelin çevresine konan önlemleri de raporluyor. Üçüncü bir akraba olan datasheet ise bir veri kümesini belgeler. Her durumda ilk soru, belgeyi kimin yazdığı ve neyi dışarıda bıraktığıdır.
Köken: Google'dan Margaret Mitchell ve arkadaşları tarafından, 2019'da yayımlanan “Model Cards for Model Reporting” makalesinde önerildi.
Teknik katman
Tipik bölümler: model bilgileri (geliştirici, sürüm, tarih, tür, lisans); amaçlanan kullanım ve kapsam dışı kullanımlar; en azından ana hatlarıyla eğitim verisi; değerlendirme verisi, metrikler ve sonuçlar, ideal olarak ilgili gruplara ya da koşullara göre ayrıştırılmış halde, çünkü bir ortalama zayıf bir alt grubu gizleyebilir; sınırlar ve bilinen hata türleri; etik değerlendirmeler; kullanım önerileri. Hugging Face gibi model depolarında kart, modelin yapılandırılmış üst veriler içeren README dosyasıdır. Frontier modellerde kartlar onlarca sayfayı bulur; yetenek kıyaslamalarını, güvenlik ve hizalama değerlendirmelerini ve dış testlerin sonuçlarını içerir. Düzenleme bu pratiği yükümlülüğe çeviriyor: AB Yapay Zeka Yasası, genel amaçlı yapay zeka modeli sağlayıcılarının teknik dokümantasyon hazırlamasını ve modeli kendi ürününde kullanan sağlayıcılara ihtiyaç duydukları bilgiyi vermesini şart koşar; uygulama koduna standart bir dokümantasyon formu eşlik eder. Okuma önerisi: tarihe ve sürüme bakın, kendi koşullarınıza benzeyen koşullardaki sonuçları arayın ve eksik bölümleri de bir bilgi sayın.