Değerlendirme ve kalite

Observability

Gözlemlenebilirlik · yapay zeka gözlemlenebilirliği

Üretimde çalışan bir yapay zeka sisteminin gerçekte ne yaptığını ve neden yaptığını görebilme yeteneği: her istek, adımları, maliyeti, hızı ve sonucun kalitesi, sorunlar bulunup açıklanabilecek biçimde kaydedilir.

KLASİK İZLEME: HER ŞEY YEŞİLGÖZLEMLENEBİLİRLİK: KALİTE VE MALİYET%99,9erişilebilirlikservis ayakta1,8 snyanıt süresiolağan düzeyde%81kaynağa dayalı yanıtgeçen hafta %920,09 $konuşma başına maliyetgeçen hafta 0,04 $HER İSTEK İÇİN KAYDEDİLENLER · rakamlar temsilidirtracetoken ve maliyetgecikmekalite puanıkullanıcı geri bildirimisürümlerServis ayakta ve hızlı; pazartesiki prompt değişikliğinden beri yanıtlar daha kötü ve daha pahalı.

şemanın tamamı için kaydırın →

MEmehmeterkek.com/sozluk/observability

Sade anlatım

Klasik bir gösterge paneli ışıkların yandığını söyler: servis yanıt veriyor, hızlı ve hatasız. Bir yapay zeka sistemi bunların hepsinden geçip yine de müşteriye kibarca ve hızla yanlış yanıt verebilir. Gözlemlenebilirlik, bir uçuş kayıt cihazı ile bir kalite kontrolcünün birleşimidir: her konuşmanın kaydını tutar; modele ne verildiğini, modelin ne yaptığını, bunun neye mal olduğunu ve sonucun ne kadar iyi olduğunu gösterir.

Neden önemli

Dil modeli sessizce hata yapar. Yanıt yanlış olduğunda, bir prompt değişikliği faturayı ikiye katladığında ya da yeni bir belge sürümü asistanı yanılttığında hata mesajı çıkmaz. Gözlemlenebilirlik yoksa şirket bunları müşteri şikâyetinden öğrenir; varsa kendi verisinden, çoğu zaman günler önce. İyileştirmeyi mümkün kılan da odur, çünkü gerçek konuşmalar test örneklerine dönüşür. Bedeli: araçlar, depolama, veriye gerçekten bakan biri ve her kişisel veri gibi korunması gereken bir kullanıcı konuşmaları arşivi.

Örnek

Bir sigorta şirketinin hasar asistanı bütün klasik panellerde yeşil görünüyor: erişilebilirlik %99,9, yanıt süresi 1,8 saniye. Gözlemlenebilirlik verisi başka bir şey anlatıyor. Pazartesi günü yapılan prompt değişikliğinden beri, poliçe belgelerine dayandığı değerlendirilen yanıtların oranı %92'den %81'e düşmüş, konuşma başına maliyet 0,04 dolardan 0,09 dolara çıkmış. Ekip değişikliği aynı gün geri alıyor.

Bununla en çok karıştırılan kavram

Observability ve Monitoring (izleme) arasındaki fark

ObservabilitySorar: doğru mu, kaça mal oldu, neden böyle oldu?
Monitoring (izleme)Sorar: ayakta mı, hızlı mı, hata var mı?

İzleme, bilinen sinyalleri eşik değerlerle karşılaştırır ve alarm verir: sunucu çöktü, yanıtlar yavaşladı. Gözlemlenebilirlik ise kimsenin önceden planlamadığı soruları yanıtlamaya yetecek ayrıntıyı saklar: bu müşteri neden bu yanıtı aldı? Yazılım dünyası buna sistemler dağıtık hale geldiğinde ihtiyaç duydu. Yapay zeka sistemlerinde ihtiyaç daha büyüktür, çünkü aynı girdi farklı çıktılar üretebilir ve yanlış bir yanıt teknik olarak başarılı bir istek gibi görünür.

Köken: Terim kontrol teorisinden gelir; Rudolf Kálmán tarafından 1960 dolaylarında ortaya atıldı, yazılım mühendisliği ise 2010'larda benimsedi.

Teknik katman

İstek başına toplanan sinyaller: trace (model çağrıları, getirme, araç çağrıları ve süreleri), token sayıları ve maliyet, ilk token süresi dahil gecikme, model ve prompt sürümü, hatalar ve guardrail engellemeleri, kullanıcı geri bildirimi. Kalite bunların üzerine puanlanır: otomatik kontroller, canlı trafiğin bir örnekleminde çalışan hakem LLM'ler (online eval) ve insan inceleme kuyrukları. Yararlı uygulamalar: bir değişikliğin öncesi ve sonrası karşılaştırılabilsin diye her trace'i prompt ve model sürümüyle etiketlemek; hataların yanında kalite ve maliyet için de alarm kurmak; üretimde başarısız olan örnekleri eval veri setlerine dönüştürmek. Ortak bir veri biçimi için OpenTelemetry, üretken yapay zekaya yönelik anlamsal kurallar (gen_ai.* öznitelikleri) tanımlıyor; bunlar 2026'da hâlâ geliştirme aşamasında sayılıyordu. Araçlar arasında Langfuse, LangSmith, Arize Phoenix, Braintrust, W&B Weave ve Datadog gibi genel platformların LLM modülleri vardır. Veri toplamaya başlamadan önce saklama süresine, kişisel verilerin maskelenmesine ve erişim yetkilerine karar verin.

Yazan Mehmet Erkek · Son güncelleme: