Sade anlatım
Sistemlerin çoğu yapay zekayla API üzerinden konuşur. Ama birçok iş uygulamasının API'si yoktur: eski bir ERP ekranı, bir tedarikçi portalı, bir masaüstü programı. Computer use, modelin bunları yine de kullanmasını sağlar: ekran görüntüsünü okur ve nereye tıklayacağına adım adım karar verir.
Neden önemli
Otomasyonu, otomasyon düşünülmeden yazılmış yazılımların uzun kuyruğuna, entegrasyon projesi gerekmeden taşır. API çağrısına göre daha yavaş ve daha az güvenilirdir; ekranda ne varsa okuyan bir ajan da ekrandaki içerikle yanıltılabilir. Bu yüzden önce gözetimli ve kapsamı dar işlere uygundur.
Örnek
Bir ajan her sabah bir tedarikçinin web portalını açıyor, şirketin yönettiği bir oturumla giriş yapıyor, dünün faturalarını indiriyor ve toplamları içe aktarma özelliği olmayan bir muhasebe ekranına giriyor.
Bununla en çok karıştırılan kavram
Computer Use ve RPA arasındaki fark
RPA kaydedilmiş adımları izler: şuraya tıkla, buraya yaz. Hızlıdır, ama bir düğmenin yeri değişince bozulur. Computer use her seferinde ekrana bakıp ne yapacağını çözer; bu yüzden arayüz değişikliklerine dayanır, ama daha yavaştır, çalıştırma başına daha pahalıdır ve muhakeme hatası yapabilir.
Teknik katman
Model bir döngüde çalışır: bir ekran görüntüsü alır (bazen erişilebilirlik ağacıyla birlikte), koordinata tıkla, metin yaz ya da tuşa bas gibi bir eylem döndürür; harness eylemi uygular ve sıradaki ekran görüntüsünü gönderir. Doğruluk çözünürlüğe, arayüzün yoğunluğuna ve görevin uzunluğuna bağlıdır. Riskleri kendine özgüdür: ekrandaki metin güvenilmeyen girdidir (bir web sayfası ya da belge üzerinden prompt injection) ve eylemler oturum açmış kullanıcının yetkileriyle gerçekleşir. Standart önlemler: ayrı bir tarayıcı profili ya da sanal makine, izinli site listesi ve satın alma, gönderme, silme öncesinde insan onayı.