Le sandbox per l'utilizzo del computer di Agent Platform forniscono un ambiente browser sicuro e isolato con cui i tuoi agenti possono interagire. Queste sandbox consentono agli agenti di automatizzare attività che simulano le interazioni umane (come fare clic, navigare nei siti e acquisire screenshot).
Come funziona
Quando crei una sandbox per l'utilizzo del computer, Gemini Enterprise Agent Platform esegue il provisioning di un ambiente containerizzato che esegue un agente del browser web. Puoi controllare il browser in due modi:
- Richieste API: invia comandi alla sandbox per eseguire azioni come la navigazione a un URL, il clic su elementi o la digitazione di testo.
- Controllo del browser: connettiti al browser utilizzando una connessione standard Chrome DevTools Protocol (CDP), che ti consente di utilizzare strumenti di automazione del browser (come Playwright) per automatizzare il browser.
Controlla il browser utilizzando l'API
Puoi inviare richieste API alla sandbox per eseguire azioni comuni del browser. La sandbox gestisce l'esecuzione di queste azioni all'interno del suo ambiente isolato.
Le azioni supportate includono:
- Navigazione verso un URL.
- Fare clic su coordinate specifiche.
- Digitazione di testo nei campi.
- Acquisizione di screenshot.
Per un esempio di come inviare comandi, consulta la guida rapida all'utilizzo del computer.
Controlla il browser utilizzando una connessione CDP
Per un'automazione più avanzata, puoi connetterti al browser sandbox tramite una connessione Chrome DevTools Protocol (CDP). Questo metodo ti consente di utilizzare strumenti di automazione del browser standard, come Playwright, per interagire con la pagina web.
Per connettere Playwright alla sandbox:
Genera l'URL WebSocket e le intestazioni richieste per la tua sandbox utilizzando il metodo
generate_browser_ws_headersdell'SDK Python.service_account_email = "SERVICE_ACCOUNT_EMAIL" ws_url, ws_headers = client.agent_engines.sandboxes.generate_browser_ws_headers( sandbox_environment=sandbox, service_account_email=service_account_email, )Utilizza il metodo
connect_over_cdpdi Playwright per stabilire una connessione.Utilizza l'URL e le intestazioni WebSocket generati per connetterti tramite CDP utilizzando Playwright:
import asyncio from playwright.async_api import async_playwright import nest_asyncio nest_asyncio.apply() async def connect_over_cdp(ws_url, ws_headers): async with async_playwright() as p: try: browser = await p.chromium.connect_over_cdp( endpoint_url=ws_url, headers=ws_headers ) print("Successfully connected to browser over CDP.") # You can now interact with the browser page = browser.contexts[0].pages[0] await page.goto("https://www.example.com") print(f"Page title: {await page.title()}") await browser.close() print("Browser connection closed.") except Exception as e: print(f"An error occurred: {e}") # Run CDP connection asyncio.run(connect_over_cdp(ws_url, ws_headers))
Visualizzazione del live streaming
Le sandbox di Computer Use supportano una visualizzazione in live streaming (VNC), che ti consente di monitorare visivamente le azioni dell'agente in tempo reale. Puoi eseguire il debug e osservare il comportamento dell'agente.
Ad esempio, puoi utilizzare noVNC per connetterti alla sandbox tramite WebSocket.