Sade anlatım
Bir hastane her hastayı en kıdemli uzmana göndermez. Triyaj hemşiresi her vakaya birkaç saniye bakar ve karar verir: bunu eczacı çözer, şunu aile hekimi, üçüncüsünü uzman. Model router, yapay zeka istekleri için o triyaj masasıdır. Her isteğe bakar ve onu iyi yanıtlaması beklenen en ucuz modeli seçer.
Neden önemli
Çoğu uygulamada isteklerin büyük bölümü kolaydır; küçük bir model bunları aynı kalitede, daha kısa sürede ve çok daha ucuza yanıtlar. Yönlendirme bu yüzden, test kümesindeki kalite korunurken faturayı belirgin biçimde düşürebilir. Risk yönlendiricinin hatalarındadır: zayıf modele giden zor bir soru, kimsenin işaretlemediği, kendinden emin ama kötü bir yanıt üretir. Bir yönlendirici ancak arkasındaki değerlendirme kadar güvenilirdir; ayrıca her model ya da prompt değişikliğinde test edilmesi gereken bir bileşen daha demektir.
Örnek
Bir bankanın destek asistanı ayda 1 milyon isteğin tamamını bir frontier modelle, 40.000 dolara karşılıyor. Araya bir yönlendirici ekleniyor. Bakiye ve kart soruları gibi isteklerin %70'ini küçük bir modele, %22'sini orta kademe bir modele, şikâyetlerden ve karmaşık vakalardan oluşan kalan %8'ini frontier modele gönderiyor. Aylık fatura 13.000 dolara iniyor; 2.000 soruluk test kümesindeki doğruluk %94'ten %93'e geliyor.
Bununla en çok karıştırılan kavram
Model Router ve AI gateway (yapay zeka geçidi) arasındaki fark
İkisi komşudur ve çoğu zaman tek ürün içinde satılır. Yönlendirici tek bir soruyu yanıtlar: bu istek hangi modele gitsin? Gateway ise her isteğin geçtiği kontrol noktasıdır; anahtarlar, limitler, bütçeler, kayıt ve yedek sağlayıcıya geçiş orada uygulanır. Yönlendirme sıklıkla gateway'in içindeki bir özelliktir. Bir şirket hiç akıllı yönlendirme olmadan da gateway işletebilir; başlamak için doğru yer çoğu zaman burasıdır.
Teknik katman
Üç aile vardır. Kural tabanlı yönlendirme zaten bilineni kullanır: ürün özelliği, kullanıcı kademesi, girdinin uzunluğu. Öğrenilmiş yönlendirme, hangi modelin yeteceğini tahmin etmek için küçük bir sınıflandırıcı, embedding benzerliği ya da küçük bir dil modeli kullanır; RouteLLM, tercih verisiyle eğitilmiş, iyi bilinen bir açık kaynak çatıdır. Kademeli yapı (cascade) önce ucuz modeli dener ve bir güven sinyali ya da kontrol adımı yanıtın zayıf olduğunu söylediğinde üst modele çıkar; bu yaklaşımın en bilinen makalesi FrugalGPT'dir. Yönlendiricinin kullanabileceği sinyaller: sorgunun kendisi, her modelin fiyatı ve gecikmesi, yanıtın güven düzeyi ve biriken geri bildirim. Gerekenler: her rota için etiketli bir değerlendirme kümesi, her modele giden trafik payının izlenmesi ve yönlendirme kararının her izleme kaydına yazılması. Tuzaklar: yönlendiricinin kendi gecikmesi ve maliyeti; bir modele göre ayarlanmış prompt'ların başka modelde farklı davranması; modeller arasında bölünen prompt önbellekleri; sağlayıcı bir modeli güncellediğinde ortaya çıkan kayma. İlk sağlayıcı çöktüğünde trafiği ikinci bir sağlayıcıya göndermek ise fallback'tir ve genellikle gateway'de durur.