Sade anlatım
Bir danışmandan hemen yanıt istemek ile ona öğleden sonrasını vermek arasındaki fark gibidir. Extended thinking açıkken modelin yanıtlamadan önce problem üzerinde uzun uzun çalışmasına izin verilir; ne kadar süreceğine siz karar verirsiniz. Daha fazla düşünme daha pahalıdır ve daha uzun sürer; en çok da problemin zor olduğu yerde işe yarar.
Neden önemli
“Model bu istekte ne kadar zeki olmalı” sorusunu, üzerinde fiyat yazan bir ayar düğmesine çevirir. Bir ürün aynı modelle sıradan soruları anında yanıtlayıp nadir gelen karmaşık soruya otuz saniyelik düşünme harcayabilir. Bu düğmeyi göreve göre ayarlamak, kaliteyi ve maliyeti birlikte yönetmenin en doğrudan yollarından biridir.
Örnek
Bir finansal analiz aracı “2. çeyrek geliri neydi?” sorusunda düşünme kullanmıyor; “marj değişiminin üç ana nedenini açıkla ve segment verisiyle doğrula” isteğinde ise 16.000 token'lık düşünme bütçesi veriyor. İkinci istek yaklaşık on kat pahalı; müşterilerin para ödediği de o.
Bununla en çok karıştırılan kavram
Extended Thinking ve Reasoning Model arasındaki fark
Terimler örtüşür. “Reasoning model” yeteneği tarif eder; “extended thinking” ise bazı sağlayıcıların, özellikle Anthropic'in, bu yeteneği açıp boyutlandıran ayarlanabilir moda verdiği addır. Diğer sağlayıcılar aynı kontrole akıl yürütme düzeyi ya da düşünme bütçesi der.
Teknik katman
Geliştirici bir düşünme bütçesi ya da çaba düzeyi belirler; yeni sürümler modelin bir üst sınır içinde ne kadar düşüneceğine kendisinin karar vermesine izin verir (adaptive thinking). Düşünme token'ları çıktı token'ı olarak faturalanır, üretilirken bağlam penceresinde yer tutar ve görünür ilk token'ı geciktirir; bu yüzden akış ve zaman aşımı ayarlarına dikkat etmek gerekir. Düşünme, sağlayıcıya ve modele göre tam olarak, özet halinde ya da gizli döndürülebilir. Araç kullanımıyla birlikte model araç çağrıları arasında da düşünebilir (interleaved thinking). Getiri giderek azalır: problemin gerektirdiğinin ötesindeki bütçe, pek kazanç sağlamadan maliyet ve gecikme ekler.