Sade anlatım
Bir fabrika her parçanın birkaç ana numunesini saklar; bunları en iyi mühendisleri ölçmüş ve imzalamıştır, her üretim partisi de onlarla karşılaştırılır. Golden dataset, bir yapay zeka sisteminin ana numunesidir: birkaç yüz gerçek talep ve her biri için konu uzmanlarının onayladığı yanıt. Sistemin her yeni sürümü bu setle sınanır.
Neden önemli
Golden dataset, bir kurumun kendi kullanım alanı için “iyi”nin ne demek olduğunu yazıya döktüğü yerdir; bu da onu teknik olduğu kadar ticari bir varlık yapar. Set varsa yeni bir model ya da daha ucuz bir tedarikçi bir öğleden sonrada değerlendirilebilir; yoksa her karşılaştırma görüşlerden başlar. Kurmak uzman saatine mal olur ve set eskir: politikalar, ürünler ya da fiyatlar değiştiğinde onaylı yanıtlar yanlış hale gelir ve setin gözden geçirilmesi gerekir. Doğru ve bakımlı küçük bir set, kimsenin güvenmediği büyük bir setten değerlidir.
Örnek
Bir havayolu, yeniden rezervasyon asistanı için bir golden dataset kuruyor: 240 vaka. Bunların 150'si sohbet kayıtlarından alınan yaygın sorular, 60'ı kaçırılan aktarma gibi uç durumlar, 30'u da asistanın reddetmesi gereken talepler. Her yanıtı iki kıdemli müşteri temsilcisi onaylıyor. Bagaj politikası değiştiğinde 18 yanıt aynı hafta güncelleniyor ve sürüm numarası 3'ten 4'e çıkıyor.
Bununla en çok karıştırılan kavram
Golden Dataset ve Training data (eğitim verisi) arasındaki fark
İkisi de örnek koleksiyonudur; işleri ise terstir. Eğitim verisi modelin neler yapabileceğini biçimlendirir. Golden dataset bitmiş sistemin ne yaptığını ölçer. İkisi ayrı tutulmalıdır: eğitimde, ince ayarda ya da istemdeki örnekler arasında kullanılmış bir vaka artık hiçbir şeyi test etmez, çünkü sistem yanıtı önceden görmüştür.
Teknik katman
Tipik bir kayıt girdiyi, referans yanıtı ya da doğru bir yanıtın taşıması gereken özellikleri, referansın kaynağını, konu ve zorluk etiketlerini ve onaylayan kişinin adını içerir. Vaka kaynakları: üretim kayıtları, destek talepleri, testlerde ve red teaming'de bulunan hatalar ve uzmanların yazdığı uç durumlar; bir modelin ürettiği sentetik vakalar, insan incelemesinden geçtikten sonra kapsamı genişletebilir. Tek bir uygulama için boyut, başlangıçtaki birkaç düzine vakadan birkaç yüze kadar uzanır; önemli kategorilerin kapsanması hacimden daha önemlidir. Bakım: seti sürümleyin, dayandığı bilgiler değiştiğinde gözden geçirin, üretimdeki her önemli hatayı ekleyin ve artık ayırt edici olmayan vakaları çıkarın. Riskler: vakaların istemlere ya da ince ayar verisine sızması, sistemi sete uyana kadar ayarlamak (teste aşırı uyum) ve kendisi yanlış olan referans yanıtlar. RAG'de kayıtlar getirilmesi gereken pasajları da listeler; böylece getirme ve üretim ayrı ayrı puanlanabilir.