Sade anlatım
Model, sırada gelmesi olası olanı yazar ve “bunu biliyorum” ile “kulağa doğru geliyor” arasını ayıran yerleşik bir sinyali yoktur. Bilgi eksik olduğunda boşluğu akla yatkın bir şeyle doldurmaya yatkındır: var olmayan bir mahkeme kararı, kimsenin ölçmediği bir istatistik, hiç geliştirmediğiniz bir ürün özelliği. Üslup, doğru olduğu zamanki kadar pürüzsüzdür; hataları fark etmeyi zorlaştıran da budur.
Neden önemli
Yapay zeka çıktısının hukuk, sağlık, finans ve müşteriyle temas eden işlerde denetimsiz kullanılamamasının ana nedeni halüsinasyondur. Ortadan kaldırılamaz, yalnızca azaltılıp yönetilebilir: modele kaynak malzemeyi vererek, kaynak göstermesini isteyerek, “bilmiyorum” demesine izin vererek ve hatanın pahalı olduğu yere doğrulama koyarak. İş açısından soru, yanlış bir yanıtın neye mal olduğu ve onu kimin yakalayacağıdır.
Örnek
Bir avukat, yapay zeka asistanıyla hazırladığı dilekçeyi mahkemeye sunuyor. Karşı tarafın avukatı atıf yapılan kararlardan altısını bulamıyor, çünkü yoklar; model gerçekçi adlar, mahkemeler ve tarihler üretmiş. Mahkeme avukata yaptırım uyguluyor. Model olağan dışı bir şey yapmadı. Kontrol eden olmamıştı.
Bununla en çok karıştırılan kavram
Hallucination ve Error (hata) arasındaki fark
Her halüsinasyon bir hatadır, ama belirli bir türdür: bilginin eksik olduğu yerde uydurma. Bir toplamı yanlış hesaplayan ya da kendisine verilen belgedeki bir maddeyi yanlış okuyan model sıradan bir hata yapmıştır. Ayrım önemlidir, çünkü çareler farklıdır: halüsinasyon için grounding ve kaynak gösterimi, diğerleri için daha net talimatlar ve kontroller.
Teknik katman
Nedenler: sonraki token eğitimi akla yatkın devamları ödüllendirir; değerlendirme ve geri bildirim, kendinden emin tahmini bilmediğini kabul etmeye tercih etme eğiliminde olmuştur; bilgi ağırlıklarda kayıplı biçimde sıkıştırılmıştır; soru bilgi kesim tarihinden sonrasına ya da eğitim verisinin dışına düşebilir. Oranlar modele, alana ve göreve bağlıdır; verilen metni özetlemede en düşük, az bilinen bilgilerde, uzun listelerde ve tam kaynak gösteriminde en yüksektir. Önlemler: RAG, kaynaklardan alıntı zorunluluğu, hesap ve sorgu için araç kullanımı, akıl yürüten modeller, yanıt vermeme izni ve otomatik kaynağa dayanma kontrolleri. Bazı araştırmacılar “konfabülasyon” terimini tercih eder.