Sade anlatım
Kurye ile normal posta arasındaki fark gibidir. Yanıtı bekleyen biri varsa her istek kuryeyle gider: hemen ve tam fiyattan. Bekleyen yoksa binlerce istek tek çuvalda gönderilebilir. Sağlayıcı bunları makinelerinde boş kapasite buldukça işler ve bütün yanıtları birlikte, genellikle bir gün içinde, yaklaşık yarı fiyatına geri verir.
Neden önemli
Yapay zeka işlerinin büyük bir bölümünde yanıtı bekleyen kimse yoktur: arşivleri sınıflandırmak, belgelerden alan çıkarmak, ürün kayıtlarını gece zenginleştirmek, değerlendirme setlerini çalıştırmak. Bu işler için gerçek zamanlı fiyat ödemek israftır. Toplu işleme indirimi çoğunlukla yüzde elli dolayındadır ve bu işler genellikle ayrı bir kotadan düşer; canlı trafiği sıkıştırmaz. Bedeli zaman ve kesinliktir: sonuçlar bir güne kadar gecikebilir, süresini aşan bir iş eksik dönebilir ve üzerine etkileşimli hiçbir şey kurulamaz. Kararı iş yükü bazında, şu soruyla verin: yanıtı kim bekliyor?
Örnek
Bir perakendeci 300.000 ürün için daha iyi açıklamalar istiyor. Normal isteklerle bu iş yaklaşık 9.000 dolar tutacak ve mağazanın canlı asistanıyla aynı istek sınırını paylaşacaktı. Ekip istekleri cuma akşamı toplu iş olarak yüklüyor. Cumartesi sabahı sonuç dosyaları hazır, fatura yaklaşık 4.500 dolar; asistanı kullanan müşteriler hiçbir şey fark etmiyor.
Bununla en çok karıştırılan kavram
Batch Processing ve Prompt caching (istem önbellekleme) arasındaki fark
İkisi de yanıtı değiştirmeden faturayı düşürür; bu yüzden çoğu zaman “indirimler” başlığı altında birlikte anılır. Ödüllendirdikleri şey farklıdır. Toplu işleme sabrı ödüllendirir: saatlerce bekleyebilen her istek uygundur. Prompt caching tekrarı ödüllendirir: gerçek zamanlı çalışır ve yalnızca istemin daha önce gönderilmiş bölümünde geçerlidir. Bazı sağlayıcılarda ikisi aynı işte birlikte kullanılabilir.
Teknik katman
İşleyiş: istekler, her biri kendi kimliğiyle bir dosyaya ya da listeye yazılır ve tek iş olarak gönderilir; iş eşzamansız çalışır, sonuçlar yoklama (polling) ya da geri çağrı (callback) ile alınır. Sonuçlar herhangi bir sırayla döner ve kimlik üzerinden eşleştirilir. Büyük sağlayıcılardaki tipik koşullar: 24 saatlik tamamlanma penceresi (birçok iş çok daha erken biter), iş başına istek sayısı ve dosya boyutu sınırları, sonuçların sınırlı bir süre saklanması. Her istek kendi başına başarılı ya da başarısız olur; bu yüzden hattın, başarısız olan ve süresi dolan öğeler için yeniden deneme mantığına ihtiyacı vardır ve aynı öğenin iki kez işlenmesi sorun yaratmamalıdır. Uygun işler: sınıflandırma, veri çıkarma, büyük koleksiyonların embedding'ini çıkarma, değerlendirme koşuları, sentetik veri üretimi, arka ofis zenginleştirmesi. Uygun olmayanlar: sohbet, sıradaki adımı seçmek için her sonuca ihtiyaç duyan ajanlar ve pencereden daha sıkı süre sınırı olan her iş. Terimin ikinci bir anlamı vardır: çıkarım sunucusunun, verimi artırmak için eşzamanlı istekleri tek GPU'da gruplaması; müşteri bunu hiç görmez.