Masaüstü ve Web Ajanlarının Zirvesi: Microsoft UFO ile Windows, Browser-Use ile Web'i Otonom Hale Getirmek

Yapay zekâ otomasyonlarının en büyük çıkmazı her zaman şuydu: Bir platformun resmi REST API'si yoksa veya API yetersizse, o iş akışını otomatize etmek neredeyse imkansız hale gelirdi. Ancak multimodal görsel modellerin (GPT-4o, Claude 3.5 Sonnet vb.) piksel seviyesinde görme ve anlama kabiliyeti kazanmasıyla birlikte oyunun kuralları tamamen değişti. Artık ajanlar API aramıyor; tıpkı bir insan gibi monitöre bakıyor, düğmeleri buluyor, tıklıyor ve görevleri tamamlıyor.

Bu dönüşümün iki kritik kutbu bulunuyor: Biri işletim sistemi ve masaüstü yazılımları (Windows), diğeri ise modern dinamik web siteleri. Masaüstü tarafında Microsoft'un açık kaynaklı amiral gemisi UFO (UI-Focused Agent), web tarafında ise son dönemin en popüler açık kaynaklı tarayıcı ajanı Browser-Use öne çıkıyor.

1. Microsoft UFO: Windows için Otonom Masaüstü Ajan İşletim Sistemi

Microsoft UFO (UI-Focused Agent), Windows işletim sistemindeki uygulamaları (Office 365, Dosya Gezgini, Excel, Photoshop, SAP veya herhangi bir Win32/UWP masaüstü yazılımı) doğrudan kullanıcı arayüzü üzerinden yöneten çift katmanlı (Dual-Agent) bir orkestrasyon çerçevesidir.

UFO'nun başarısının arkasındaki temel mimari 'HostAgent' ve 'AppAgent' iş bölümüdür:

• HostAgent (Global Stratejist): Kullanıcının doğal dilde verdiği ana hedefi analiz eder. Görevin hangi uygulamaları ilgilendirdiğini belirler (örneğin 'Excel'deki veriyi al ve PowerPoint sunumu hazırla') ve ilgili pencereler arasında geçişleri planlar.
• AppAgent (Lokal Operatör): Belirli bir uygulama penceresine odaklanır. UI kontrol ağacını (UI Automation) ve görsel pikselleri eş zamanlı analiz ederek tıklama, metin yazma, kaydırma ve menü gezintisi gibi atomik aksiyonları icra eder.
• UFO³ Digital Agent Galaxy: Projenin en güncel sürümü (UFO³), Model Context Protocol (MCP) desteği ekleyerek masaüstü ajanlarını heterogeneous (Windows, Linux, mobil) cihazlar arasında dağıtık iş akışlarıyla çalıştırma yeteneği kazanmıştır.

2. Browser-Use: Web Sitelerini Ajanlar İçin Erişilebilir Kılan Motor

Web tarafında ise geleneksel web kazıma (scraping) ve Selenium/Puppeteer tabanlı botlar, modern JavaScript SPA'larında (React, Vue) ve dinamik DOM yapılarında kolayca kırılır. Browser-Use, Playwright altyapısını LLM'lerin görme ve karar verme kabiliyetiyle birleştiren açık kaynaklı bir Python kütüphanesidir.

Browser-Use'un öne çıkan mekanizmaları:

• Etkileşimli DOM İşaretleme: Sayfadaki tüm tıklanabilir veya veri girilebilir elemanları sayısal indislerle (bounding box) etiketler. LLM'e tüm HTML'i göndermek yerine optimize edilmiş sade bir eleman haritası iletir.
• Multimodal Gözlem: Tarayıcının o anki ekran görüntüsünü modelin görmesini sağlar. Böylece açılır menüler, modal pencereler veya dinamik çizelgeler insan algısıyla yorumlanır.
• Kendi Kendini Düzeltme (Self-Correction): Bir tıklama beklenen sayfayı açmadığında veya form hata verdiğinde ajan bunu fark eder ve alternatif bir rota dener.
• Stealth ve Oturum Yönetimi: Giriş yapılmış oturumları, çerezleri koruyabilir ve gelişmiş proxy altyapısıyla bot tespit mekanizmalarına takılmadan gerçek kullanıcı gibi hareket eder.

Mimari Karşılaştırması: Microsoft UFO vs Browser-Use

Hızlı Başlangıç: Kod Örnekleri

Browser-Use ile 5 satırda doğal dille web gezintisi gerçekleştiren bir ajan kurmak mümkündür:

from langchain_openai import ChatOpenAI
from browser_use import Agent
import asyncio

async def main():
    agent = Agent(
        task="Trendyol veya Hepsiburada'ya git, en çok satan mekanik klavyeleri bul ve fiyat listesini çıkar.",
        llm=ChatOpenAI(model="gpt-4o"),
    )
    result = await agent.run()
    print(result)

asyncio.run(main())

Microsoft UFO tarafında ise bir Windows görevi şu komut satırı akışıyla başlatılır:

# UFO Kurulumu ve Başlatılması
git clone https://github.com/microsoft/UFO.git
cd UFO
pip install -r requirements.txt

# Doğal dille Windows görevi verme
python main.py --task "Downloads klasöründeki son satış raporunu Excel'de aç, pivot tablo oluştur ve PDF olarak kaydet."

Geleceğe Bakış: İşletim Sistemi ve Web Bütünleşmesi

Geleceğin otonom sistemleri yalnızca API çağrılarından ibaret olmayacak. Microsoft UFO gibi masaüstü orkestratörleri ile Browser-Use gibi web navigatörleri birleştiğinde; sabah bilgisayarınızı açtığınızda CRM'deki verileri web'den toplayan, yerel ERP yazılımına giren, faturasını kesip müşteriye e-posta atan uçtan uca kesintisiz otonom çalışanlar standart hale gelecek.