Sade anlatım
Dil modelinin kendine ait bir belleği yoktur. Her istek boş başlar; hakkınızda hatırlıyor gibi göründüğü her şeyi uygulama yeniden önüne koymuştur. “Bellek” bu tesisattır: sistem saklamaya değer şeyleri (tercihlerinizi, geçmiş kararları, projenin geçmişini) not eder ve bir dahaki sefere ilgili olanları yeniden bağlama yerleştirir.
Neden önemli
Bellek, her sabah yeniden brif vermek zorunda olduğunuz zeki bir aracı, işinizi bilen bir asistana dönüştürür. Bir şirketin bilerek yanıtlaması gereken sorular da getirir: ne saklanıyor, ne kadar süreyle, kim okuyup silebiliyor ve bir müşterinin bilgisi başka birinin oturumunda ortaya çıkabilir mi? Bellek özellikleri, kişisel veri tutan her sistemle aynı titizlikle incelenmelidir.
Örnek
Bir proje asistanına martta müşterinin haftalık özetleri cuma günleri istediği ve sunum dosyalarından hoşlanmadığı söyleniyor. Haziranda, hatırlatma yapılmadan, cuma özetini kısa bir belge olarak hazırlıyor. “Hatırlamadı”: martta kaydedilen bir not, haziran konuşması başlarken getirilip bağlama konuldu.
Bununla en çok karıştırılan kavram
Memory ve Context Window (bağlam penceresi) arasındaki fark
Bağlam penceresi kısa süreli çalışma alanıdır; boyutu sınırlıdır ve her oturumdan sonra silinir. Bellek ise modelin dışındaki uzun süreli depodur. Birlikte çalışırlar: bellek bir pencereye sığandan çok daha fazlasını tutar ve yalnızca o an için ilgili parçalar bağlama yüklenir.
Teknik katman
Uygulamalar basitten karmaşığa uzanır: oturum başında yüklenen bir not dosyası (talimat ya da bellek dosyası); modelin dosyaları kendisinin okuyup yazdığı bir bellek aracı; geçmiş etkileşimlerin benzerliğe göre arandığı vektör depoları; yapılandırılmış profiller ya da bilgi grafları. Tasarım soruları: yazmayı neyin tetikleyeceği, bilgiler değiştiğinde belleklerin nasıl güncelleneceği ya da kaldırılacağı, retrieval'ın eskimiş ya da ilgisiz kayıtları getirmesinin nasıl önleneceği ve kullanıcıların kayıtları nasıl inceleyip sileceği. Riskler: eskimiş belleklerin güncel sayılması, hassas verinin rıza olmadan saklanması ve enjekte edilmiş içeriğin kaydedilip sonraki oturumları etkilediği bellek zehirlenmesi.