Sade anlatım
Büyük bir iş merkezinin resepsiyonunu düşünün. Her ziyaretçi tek kapıdan girer, kartını gösterir, kaydedilir ve doğru kata yönlendirilir. AI gateway, model trafiği için o resepsiyondur. Uygulamalar ve ajanlar, her biri kendi anahtarıyla model sağlayıcılarını doğrudan çağırmayı bırakır; gateway'i çağırırlar, sağlayıcıları onlar adına gateway çağırır.
Neden önemli
Gateway yokken her ekip kendi sağlayıcı anahtarlarını tutar, kurumun ürün başına ne harcadığını kimse söyleyemez ve bir sağlayıcı kesintisi her uygulamayı ayrı ayrı durdurur. Gateway; bütçe koymak, kullanımı görmek, veri kurallarını uygulamak ve uygulama koduna dokunmadan sağlayıcı eklemek ya da değiştirmek için tek bir yer sağlar. Bedeli: yeni bir kritik altyapı parçasıdır, o durunca her şey durur; bir miktar gecikme ekler; her prompt'u gördüğü için kendi kayıtları da erişim denetimi ve saklama kuralı gerektiren hassas veriye dönüşür.
Örnek
Bir yazılım şirketinde 14 ekip, üç model sağlayıcısını 60 ayrı API anahtarıyla kullanıyor. Gateway'e geçildikten sonra her ekibin aylık bütçesi olan tek bir sanal anahtarı oluyor. İlk ay pano, tek bir iç aracın toplam harcamanın %38'ini oluşturduğunu gösteriyor. Sağlayıcılardan biri iki saatlik bir kesinti yaşadığında gateway o trafiği ikinci bir sağlayıcıya gönderiyor ve hiçbir uygulama durmuyor.
Bununla en çok karıştırılan kavram
AI Gateway ve API gateway (API geçidi) arasındaki fark
Klasik API gateway istekleri sayar, içlerinde ne olduğunu bilmez. Model trafiği için bu fazla kabadır: bir istek ötekinden bin kat pahalı olabilir, içerikte kişisel veri bulunabilir ve yanıt akış halinde gelir. AI gateway token'ı ve maliyeti ölçer, prompt'ları ve yanıtları inceler, bir modeli başkasıyla değiştirebilir. Birkaç AI gateway, mevcut API gateway ürünlerinin uzantısıdır.
Teknik katman
Tipik işlevler: birçok sağlayıcının önünde tek bir API biçimi, çoğunlukla OpenAI uyumlu biçim; ekiplere ya da uygulamalara karşılık gelen sanal anahtarlar (gerçek sağlayıcı anahtarları gateway'in içinde kalır); token ve para cinsinden sayılan istek sınırları ve bütçeler; yeniden deneme, yük dengeleme ve başka bir modele ya da sağlayıcıya geçiş (fallback); birebir ya da anlamsal yanıt önbelleği; girdi ve çıktıda guardrail'ler, örneğin kişisel verinin maskelenmesi; her çağrı için kayıt, izleme ve maliyet dağıtımı. Kurulum biçimleri: kendi barındırdığınız bir vekil sunucu, yönetilen bir servis ya da mevcut bir API yönetimi veya bulut platformunun bir özelliği. Ürünler arasında LiteLLM, Kong AI Gateway, Cloudflare AI Gateway ve OpenRouter vardır. Aynı katman giderek ajanların araç trafiğini de yönetiyor: MCP sunucularının önünde bir geçit olarak. Tasarım noktaları: eklenen gecikmeyi ölçün; gateway tek hata noktası olduğu için yedekli çalıştırın; prompt'ların tam mı, maskeli mi kaydedileceğine ya da hiç kaydedilmeyeceğine karar verin; onu atlayan doğrudan çağrıları engelleyin, çünkü aksi halde yalnızca gönüllü ekipleri yönetir.