Sade anlatım
İnsan dili dağınıktır: bir sözcük birkaç anlama gelir, aynı şey yüz farklı biçimde söylenir ve anlam bağlama bağlıdır. NLP, bilgisayarların bununla başa çıkması için yetmiş yıldır çalışan disiplindir. Yazım denetleyiciler, arama motorları, çeviri, sesli asistanlar ve spam filtrelerinin hepsi NLP'dir. Dil modelleri bu alanın en yeni ve en başarılı bölümüdür.
Neden önemli
Terim bugün en çok eski sistemlerde, iş unvanlarında ve tedarikçi tanıtımlarında karşınıza çıkar. “NLP kullanır” ifadesinin çok az şey söylediğini bilmek işe yarar: 2010'dan kalma bir anahtar kelime listesi de olabilir, güncel bir dil modeli de. Klasik NLP tekniklerinin hâlâ bir yeri vardır. Belge yönlendirme ya da dil tespiti gibi dar ve yüksek hacimli işlerde hızlı, ucuz ve öngörülebilirdirler.
Örnek
Bir banka 2016'da şikâyet mektuplarını klasik bir NLP hattıyla analiz ediyordu: dili tespit eden bir bileşen, konu için bir bileşen, duygu için bir bileşen ve hesap numaralarını çıkaran bir bileşen; her biri ayrı ayrı kurulup bakımı yapılıyordu. Bugün tek bir dil modeli dördünü de tek talimatla yapıyor, üstelik yanıt taslağını da yazıyor. Banka eski dil tespit bileşenini elinde tuttu: neredeyse hiçbir maliyeti yok ve neredeyse hiç yanılmıyor.
Bununla en çok karıştırılan kavram
NLP ve LLM (büyük dil modeli) arasındaki fark
NLP problem alanıdır; LLM ise bir çözümdür. Onlarca yıl boyunca NLP, her iş için ayrı bir tekniğin bulunduğu bir alet çantası anlamına geliyordu. LLM'ler bu çantanın çoğunun yerine tek bir genel model koydu. Bir ürünün “NLP kullandığını” söylemek ile “LLM kullandığını” söylemek farklı iddialardır; ikincisi daha belirlidir.
Teknik katman
Klasik işler: tokenization, sözcük türü etiketleme, sözdizimsel çözümleme, varlık adı tanıma (NER), duygu analizi, metin sınıflandırma, makine çevirisi, özetleme, soru yanıtlama, konuşma tanıma ve konuşma sentezi. Üç dönem: kural tabanlı sistemler (elle yazılmış dilbilgisi kuralları ve sözlükler); istatistiksel ve makine öğrenmesi yöntemleri (n-gram'lar, TF-IDF, ardından word2vec gibi sözcük embedding'leri ve yinelemeli ağlar); önceden eğitilmiş transformer'lar (2018'den itibaren BERT, ardından üretken LLM'ler). Alt alanlar: doğal dil anlama (NLU) ve doğal dil üretimi (NLG). Klasik yöntemler; düşük maliyetle çok yüksek hacimlerde, sıkı gecikme sınırlarında, tanımı sabit ve dar işlerde ve tümüyle deterministik davranış gerektiren ortamlarda hâlâ mantıklıdır. Alandan gelen precision, recall, F1, BLEU ve ROUGE gibi ölçütler hâlâ kullanılmaktadır.