Sade anlatım
Fabrika için elektrik neyse yapay zeka için compute odur: her şeyin tükettiği, birim birim satın alınan ve her an sınırlı olan kaynak. GPU makinedir; compute ise o makinenin zaman içinde yaptığı iştir ve GPU-saat ile sayılır. Bir GPU'nun bir saat çalışması bir GPU-saattir; kartın sahibi de olsanız, bulutta da kiralasanız, bedelini token fiyatının içinde dolaylı olarak da ödeseniz bu değişmez.
Neden önemli
Compute, yapay zekanın kıt girdisidir. Frontier modelleri hangi kurumların eğitebileceğini ona erişim belirler; birkaç şirketin ve devletin veri merkezlerine ulusal altyapı projeleri ölçeğinde para bağlaması ve çiplerin ticaret politikası konusu haline gelmesi bundandır. Çoğu şirket içinse daha mütevazı bir biçimde, bir bütçe kalemi olarak görünür: API fiyatının içinde, bulutta GPU kirası olarak ya da bilançoda donanım olarak. Sık yapılan hata, iş yükünü bilmeden kapasite satın almaktır. Kiralık compute esnektir ama saat başına pahalıdır; sahip olunan compute ise ancak dolu çalıştığında saat başına ucuza gelir.
Örnek
Bir araştırma ekibi açık ağırlıklı bir modele ince ayar yapmak istiyor ve işi 36 saat boyunca 8 GPU olarak hesaplıyor: 288 GPU-saat. GPU-saati 3 dolar olan temsili bir bulut fiyatıyla bu 864 dolar eder; satın alınacak bir şey yoktur. Sekiz kartı satın almak ise temsili olarak 250.000 dolar tutar ve ancak kartlar yılın büyük bölümünde dolu çalışacaksa anlamlıdır.
Bununla en çok karıştırılan kavram
Compute ve GPU arasındaki fark
GPU, sayabileceğiniz ve kurabileceğiniz bir nesnedir; compute ise onu çalıştırarak elde ettiğiniz şeydir ve GPU-saat ile ölçülür. “Daha fazla compute” ihtiyacı daha çok GPU ile, daha hızlı GPU ile, buluttan kiralayarak ya da eldeki kartları gece gündüz çalıştırarak karşılanabilir. Önce compute cinsinden planlayıp donanımı sonra seçmek, satın alma kararını açık tutar.
Teknik katman
Birimler: kiralanan kapasite için GPU-saat; bir eğitim çalışmasının toplam büyüklüğü için kayan nokta işlemi (FLOP); sunum için saniyedeki token sayısı; veri merkezi ölçeğinde ise megavat ve gigavat cinsinden güç. Yeni kapasitede sınırlayıcı etken giderek elektrik olmuştur. Compute üç yerde harcanır: eğitim (tek büyük hamle), deneyler ve değerlendirme, çıkarım (sürekli; kullanımla büyür ve toplam içindeki payı artar). Edinme yolları: API'nin token fiyatına dahil olarak, bulut sağlayıcılarından ayrılmış ya da isteğe bağlı GPU sunucuları, uzman GPU bulutları ya da kendi donanımınız. Maliyet kaldıraçları: doluluk oranı (boşta duran GPU, çalışan GPU kadar tutar), ayrılmış ve isteğe bağlı fiyatlar arasındaki fark, kesintiye uğrayabilecek işler için spot kapasite, daha küçük ya da nicemlenmiş modeller. Düzenleme de compute'u ölçü olarak kullanır: AB Yapay Zeka Yasası, 10^25'ten fazla kayan nokta işlemiyle eğitilen genel amaçlı modeller için sistemik risk varsayar.