Computernutzung

Die Sandboxes für die Computernutzung der Agent Platform bieten eine sichere, isolierte Browserumgebung, mit der Ihre Agenten interagieren können. In diesen Sandboxes können KI-Agenten Aufgaben automatisieren, die menschliche Interaktionen nachahmen (z. B. Klicken, Navigieren auf Websites und Erstellen von Screenshots).

Funktionsweise

Wenn Sie eine Sandbox für die Computernutzung erstellen, stellt die Gemini Enterprise Agent Platform eine containerisierte Umgebung bereit, in der ein Webbrowser-Agent ausgeführt wird. Sie können den Browser auf zwei Arten steuern:

  • API-Anfragen: Senden Sie Befehle an die Sandbox, um Aktionen wie das Aufrufen einer URL, das Klicken auf Elemente oder das Eingeben von Text auszuführen.
  • Browsersteuerung: Stellen Sie eine Verbindung zum Browser über eine Standardverbindung des Chrome-Entwicklertools-Protokolls (CDP) her, um den Browser mit Tools zur Browserautomatisierung (z. B. Playwright) zu automatisieren.

Browser über die API steuern

Sie können API-Anfragen an die Sandbox senden, um gängige Browseraktionen auszuführen. Die Sandbox übernimmt die Ausführung dieser Aktionen in ihrer isolierten Umgebung.

Unterstützte Aktionen:

  • Eine URL aufrufen.
  • Klicken auf bestimmte Koordinaten.
  • Text in Felder eingeben
  • Screenshots erstellen

Ein Beispiel für das Senden von Befehlen finden Sie in der Kurzanleitung zur Computernutzung.

Browser über eine CDP-Verbindung steuern

Für eine erweiterte Automatisierung können Sie über eine Chrome-Entwicklertools-Protokoll-Verbindung (CDP) eine Verbindung zum Sandbox-Browser herstellen. Mit dieser Methode können Sie Standardtools zur Browserautomatisierung wie Playwright verwenden, um mit der Webseite zu interagieren.

So verbinden Sie Playwright mit der Sandbox:

  1. Generieren Sie die WebSocket-URL und die erforderlichen Header für Ihre Sandbox mit der Python SDK-Methode generate_browser_ws_headers.

      service_account_email = "SERVICE_ACCOUNT_EMAIL"
      ws_url, ws_headers = client.agent_engines.sandboxes.generate_browser_ws_headers(
          sandbox_environment=sandbox,
          service_account_email=service_account_email,
      )
    
  2. Verwenden Sie die Playwright-Methode connect_over_cdp, um eine Verbindung herzustellen.

    Verwenden Sie die generierte WebSocket-URL und die Header, um über CDP mit Playwright eine Verbindung herzustellen:

      import asyncio
      from playwright.async_api import async_playwright
      import nest_asyncio
      nest_asyncio.apply()
    
      async def connect_over_cdp(ws_url, ws_headers):
          async with async_playwright() as p:
              try:
                  browser = await p.chromium.connect_over_cdp(
                      endpoint_url=ws_url,
                      headers=ws_headers
                  )
                  print("Successfully connected to browser over CDP.")
    
                  # You can now interact with the browser
                  page = browser.contexts[0].pages[0]
                  await page.goto("https://www.example.com")
                  print(f"Page title: {await page.title()}")
    
                  await browser.close()
                  print("Browser connection closed.")
              except Exception as e:
                  print(f"An error occurred: {e}")
    
      # Run CDP connection
      asyncio.run(connect_over_cdp(ws_url, ws_headers))
    

Livestream-Ansicht

Computer Use-Sandboxen unterstützen eine Livestreaming-Ansicht (VNC), mit der Sie die Aktionen des KI-Agenten in Echtzeit visuell überwachen können. Sie können das Verhalten des KI-Agenten debuggen und beobachten.

Sie können beispielsweise noVNC verwenden, um über WebSocket eine Verbindung zur Sandbox herzustellen.

Nächste Schritte