Sade anlatım
Chatbot, insanların konuştuğu yazılımdır. Eski türü, yazıya dökülmüş bir telefon menüsü gibi çalışır: birkaç anahtar kelimeyi tanır, kullanıcıyı hazırlanmış bir yolda yürütür ve kullanıcı o yoldan çıktığında takılır. Dil modeli üzerine kurulu yeni türü serbest metni anlar, konuşmayı takip eder ve yanıtını kendisi yazar; böylece kimsenin senaryosunu yazmadığı sorularla da başa çıkar. Aynı zamanda son derece emin bir tonla yanılabilir.
Neden önemli
Çoğu insan ve çoğu müşteri yapay zekayla chatbot üzerinden tanışır; birçok kurumun ilk projesi de odur. Senaryolu botlar öngörülebilir ve sınırlıdır: yalnızca kendileri için yazılanı söylerler. LLM tabanlı chatbot'lar çok daha fazla soruyu karşılar ve çok daha az senaryo ister; karşılığında bir yanıt uydurabilir ya da ikna edilerek politika dışı bir şey söyleyebilirler. Botun müşteriye söylediğinden de çoğu zaman şirket sorumlu tutulur. Hangi kaynaklardan yanıt verebileceğine, neyi bir insana devretmek zorunda olduğuna ve yanıtların yayın öncesinde nasıl test edileceğine karar verin.
Örnek
Bir perakendecinin senaryolu botu üç düğme sunuyor: siparişler, iadeler, diğer. Bir müşteri şunu yazıyor: “Hediye aldığım su ısıtıcısı ezik geldi. Fişsiz değiştirebilir miyim?” Bot anlamadığını söylüyor. Perakendeci onun yerine iade politikasına bağlı bir LLM chatbot'u koyuyor; yeni bot aynı soruyu iki cümleyle ve politikanın bağlantısıyla yanıtlıyor. Üç ay içinde, insana devredilmeden çözülen konuşmaların oranı %23'ten %62'ye çıkıyor.
Bununla en çok karıştırılan kavram
Chatbot ve Agent (ajan) arasındaki fark
Chatbot'un çıktısı bir mesajdır. Ajanın çıktısı ise tamamlanmış bir iştir: değiştirilmiş bir kayıt, ödenmiş bir iade. İkisinin arkasında aynı model durabilir. Farkı yaratan, modelin araçlarının, bunları kullanma yetkisinin ve hedefe ulaşılana kadar süren bir döngünün olup olmadığıdır. Birçok sohbet asistanı artık bazı isteklerde ajan moduna geçiyor; yetkilerin ve gözetimin önem kazandığı an da budur.
Köken: Yaygın olarak bilinen ilk chatbot, Joseph Weizenbaum'un 1966'da MIT'de yazdığı ELIZA'dır; sözcük, Michael Mauldin'in 1994'te ortaya attığı “chatterbot”un kısaltmasıdır.
Teknik katman
Üç kuşak bugün de kullanımdadır. Kural tabanlı botlar anahtar kelimeleri ya da kalıpları hazır yanıtlarla eşleştirir; 1966'daki ELIZA böyle çalışıyordu. Niyet tabanlı botlar bir sınıflandırıcıyla mesajı sabit bir niyet kümesinden birine bağlar, tarih ya da sipariş numarası gibi varlıkları çıkarır ve önceden tasarlanmış bir diyalog akışını izler. LLM tabanlı chatbot'lar her yanıtı bir sistem isteminden, konuşma geçmişinden ve çoğunlukla bir bilgi tabanından getirilen pasajlardan üretir. Üretimdeki bir LLM chatbot'u, model ile birlikte bu istem, getirme, konuşma boyunca bellek, girdi ve çıktı için koruma bariyerleri, insana devir yolu ve kayıt tutmadan oluşur. Birçok kurulum melezdir: kimlik doğrulama gibi düzenlemeye tabi adımlarda sabit akış, geri kalanında üretilen yanıtlar. Tipik ölçütler: insana devretmeden çözme oranı, devir oranı, müşteri memnuniyeti ve yanıtların kaynağa dayanma düzeyi. Tipik hatalar: uydurulan politika bilgisi, prompt injection ve jailbreak, uzun konuşmalarda bağlamın kaybolması.