Sade anlatım
Uygulamaların çoğu her istekte aynı uzun girişi gönderir: talimatlar, araç listesi, belki büyük bir belge. Önbellek yokken model her seferinde hepsini baştan okur ve her seferinde tam fiyat ödersiniz. Önbellek varken sağlayıcı o giriş üzerindeki işini kısa bir süre saklar; aynı biçimde başlayan bir sonraki istek oradan devam eder ve yeniden kullanılan kısım için fiyatın küçük bir bölümünü öder.
Neden önemli
Uzun sistem istemleri, büyük belgeler ya da çok turlu konuşmalar içeren her üründe önbellekleme, eldeki en büyük maliyet ve gecikme tasarruflarından biridir ve çıktı kalitesinde bir değişiklik gerektirmez. Tekrarlanan içerikte indirim, sağlayıcıya göre çoğunlukla yüzde elli ile doksan arasındadır. Sık sık gözden kaçar, çünkü tasarıma baştan dahil edilmesi gerekir: tekrarlanan başa, değişen sona konmalıdır.
Örnek
Bir sözleşme analiz aracı, avukatın sözleşme hakkında sorduğu her soruyla birlikte 60.000 token'lık sözleşmeyi gönderiyor. Yirmi soruda bu, tam fiyattan 1,2 milyon girdi token'ı eder. Sözleşme ilk sorudan sonra önbelleğe alındığında sonraki on dokuz soru onu fiyatın küçük bir bölümüne (bazı sağlayıcılarda onda birine) okuyor ve yanıtlar belirgin biçimde daha erken gelmeye başlıyor.
Bununla en çok karıştırılan kavram
Prompt Caching ve Memory (bellek) arasındaki fark
Önbellekleme modele hiçbir şey hatırlatmaz. Zaten gönderdiğiniz metin üzerinde bir fatura ve hız iyileştirmesidir; dakikalar ya da saatler içinde sona erer. Bellek ise bilerek kaydedilen ve sonraki oturumlara geri getirilen bilgidir. Önbellekli bir istem ile önbelleksiz bir istem aynı yanıtı üretir.
Teknik katman
Önbellek birebir aynı ön ek üzerinden eşleşir: değişen tek bir token, ondan sonraki her şeyi geçersiz kılar. İçeriği en sabitten en değişkene doğru sıralayın: araç tanımları, sistem istemi, belgeler, konuşma geçmişi, yeni mesaj. Zaman damgalarını, kullanıcı adlarını ve diğer değişken değerleri ön ekin dışında tutun. Bazı sağlayıcılar belirli bir uzunluğun üzerinde otomatik önbellekler; bazıları açık önbellek kesme noktaları ister. Fiyatlandırmada genellikle üç oran vardır: önbelleğe yazma için ek ücret, okuma için büyük indirim ve önbelleksiz token'lar için normal fiyat. Ömür yaklaşık beş dakikadan bir saate uzanır ve kullanıldıkça yenilenir. Önbellek isabet oranını izleyin; sessiz bir düşüş genellikle ön eke değişken bir şeyin sızdığı anlamına gelir.