Sade anlatım
Bir orkestrada çok iyi müzisyenler vardır, yine de bir şefe ihtiyaç duyulur: kimin ne zaman gireceğine karar veren biri. Bir yapay zeka sisteminde müzisyenler modeller, araçlar ve ajanlardır. Orkestrasyon şefliktir: işi sıradakine aktarmak, bir onayı beklemek, başarısız olan adımı yeniden denemek.
Neden önemli
Demo için model yeter, ürün için orkestrasyon gerekir. Güvenilirlik, maliyet kontrolü ve denetlenebilirlik bu katmanda yaşar: bir adım başarısız olunca ne olacağı, insanın nerede imza atacağı, hangi işi hangi modelin yapacağı. Bir tedarikçi “ajan platformu” dediğinde satın aldığınız şeyin büyük kısmı bu katmandır.
Örnek
Bir kredi başvurusu belge çıkarımından, kredi politikası kontrolünden, bir dolandırıcılık modelinden ve bir uzmanın değerlendirmesinden geçiyor. Orkestrasyon katmanı her dosyayı yönlendiriyor, uzmanın kararını bekliyor, başarısız olan çıkarımı yeniden deniyor ve her adımı düzenleyici için kayda geçiriyor.
Bununla en çok karıştırılan kavram
Orchestration ve Agent arasındaki fark
Ajan, adımlarına kendisi karar veren bir çalışandır. Orkestrasyon ise çalışanların etrafındaki düzendir: kimin hangi işi alacağı ve sonucun nereye gideceği. Orkestratör düz kod olabilir ya da alt ajanlara iş devreden bir ajanın kendisi olabilir.
Teknik katman
İki tarz vardır. Kod güdümlü orkestrasyonda kontrol akışı, düğümleri, kenarları ve saklanan durumu açıkça tanımlanmış bir graf ya da durum makinesi olarak yazılır; öngörülebilir ve test edilebilirdir. Model güdümlü orkestrasyonda bir lider ajan çalışma anında plan yapar ve iş devreder; esnektir ama sınırlarını çizmek daha zordur. Üretimdeki kaygılar ikisinde de aynıdır: uzun çalışmaların yeniden başlatmalardan sağ çıkması için kalıcı durum, yeniden deneme ve zaman aşımı, insan onayı için kesmeler, mümkün olan yerde daha ucuz modele yönlendirme ve her adımın sonradan incelenebilmesi için izleme kaydı.