Ospita agenti AI sulle risorse Cloud Run

Cloud Run ti consente di eseguire il deployment e l'esecuzione di agenti AI su un'infrastruttura di container gestita. Queste entità software autonome utilizzano sistemi basati su LLM per percepire, decidere e agire per raggiungere gli obiettivi. Cloud Run scala automaticamente gli agenti per gestire workload fluttuanti, cicli di ragionamento dinamici ed esecuzione di strumenti.

Per un'introduzione agli agenti AI, consulta Che cos'è un agente AI.

Scegli una risorsa Cloud Run

A seconda del design degli agenti, puoi eseguire il container dell'agente come uno dei seguenti tipi di risorse Cloud Run:

  • Servizi: ideali per agenti stateless basati su richieste che gestiscono il traffico utente variabile, traggono vantaggio dalla scalabilità automatica e possono fare lo scale down fino a zero quando sono inattivi. Gli esempi includono API di chatbot e backend di API web.
  • Istanze: ideali per loop dell'agente singleton dedicati, stateful e sempre attivi che richiedono comandi di stato del ciclo di vita simili a quelli delle VM. Alcuni esempi sono agenti personali come OpenClaw ed Hermes.
  • Pool di worker: ideali per l'esecuzione di parchi agenti distribuiti in background che utilizzano attività dalle code di messaggi, come Kafka o Pub/Sub, e scalano orizzontalmente senza esporre endpoint HTTP pubblici.
  • Job: ideali per gli Agentic Workflows che vengono eseguiti fino al completamento, come valutazioni batch, pipeline di importazione dati su larga scala o script di sincronizzazione pianificati.

Scegli il framework dell'agente

Prima di eseguire il deployment dell'agente in Cloud Run, scegli e configura il framework dell'agente localmente o sulla tua piattaforma di sviluppo. Esempi di framework di agenti includono Agent Development Kit (ADK), Dify, LangGraph e n8n.

In Cloud Run, il codice viene in genere eseguito come servizio servizio o istanza. Entrambi i tipi di risorse eseguono istanze di container in sandbox nello stesso ambiente di esecuzione e si integrano con i servizi Google Cloud .

Architettura dell'agente AI su Cloud Run

Un'architettura tipica di un agente AI di cui è stato eseguito il deployment su Cloud Run può coinvolgere diversi componenti di Google Cloud e diGoogle Cloud. La seguente architettura mostra un esempio di implementazione di un agente AI come servizio Cloud Run per orchestrare un insieme di attività asincrone e fornire informazioni tramite più interazioni di richiesta-risposta.

I quattro componenti dell'agente AI ospitato su Cloud Run.
Figura 1. Architettura di un agente AI su Cloud Run.

Il diagramma mostra quanto segue:

  • Piattaforma di hosting: un servizio Cloud Run è un endpoint API scalabile per la logica di base della tua applicazione. Gestisce in modo efficiente più utenti contemporanei tramite lo scale up e lo scale down automatico, on demand e rapido delle istanze. Cloud Run offre i seguenti vantaggi:

    • Supporta l'esecuzione di qualsiasi framework di agenti per creare diversi tipi di agenti e architetture di agenti.
    • Supporto integrato per Agent Identity. Assegna un'identità univoca e verificabile tramite crittografia all'agente per chiamare API, strumenti Google Cloud e connettersi in modo sicuro ad altri agenti. Per saperne di più, consulta Configura le funzionalità della piattaforma dell'agente.
    • Integrazione integrata con Agent Registry. Designa i servizi di cui hai eseguito il deployment come agente o server MCP per il rilevamento automatico e meccanismi di autenticazione agent-to-agent (A2A) efficaci. Per saperne di più, consulta Configura le funzionalità della piattaforma dell'agente.
    • Supporta la connessione del framework dell'agente ad altri servizi. Puoi connettere l'agente a strumenti proprietari o di terze parti di cui è stato eseguito il deployment su Cloud Run. Ad esempio, per ottenere visibilità sulle attività e sulle esecuzioni dell'agente, puoi eseguire il deployment e utilizzare strumenti come Langfuse e Arize.

  • Interazioni con l'agente: Cloud Run supporta lo streaming delle risposte HTTP all'utente e i WebSockets per le interazioni in tempo reale.

  • Modelli di AI generativa: il livello di orchestrazione chiama i modelli per le funzionalità di ragionamento. Questi modelli possono essere ospitati su servizi come i seguenti:

  • Memoria: gli agenti spesso hanno bisogno di memoria per conservare il contesto e imparare dalle interazioni passate. Puoi utilizzare i seguenti servizi:

    • Memorystore for Redis per la memoria a breve termine.
    • Firestore per la memoria a lungo termine, ad esempio per archiviare la cronologia delle conversazioni o ricordare le preferenze dell'utente in base ai dati non elaborati.
    • Vertex AI Agent Engine Memory Bank per una memoria personalizzata a lungo termine. Questa funzionalità estrae automaticamente dalla cronologia delle conversazioni dell'utente per ricordare e aggiornare le sue preferenze nel tempo. Tieni presente che devi creare almeno un'istanza Agent Engine per utilizzare questa funzionalità con Cloud Run.

  • Database vettoriale: per la Retrieval-Augmented Generation (RAG) o il recupero di dati strutturati, utilizza un database vettoriale per eseguire query su informazioni specifiche delle entità o una ricerca vettoriale sugli embedding. Utilizza l'estensione pgvector con i seguenti servizi:

  • Strumenti: l'orchestratore utilizza gli strumenti per eseguire attività specifiche per interagire con servizi, API o siti web esterni. tra cui:

    • Model Context Protocol (MCP): utilizza questo protocollo standardizzato per comunicare con strumenti esterni eseguiti tramite un server MCP.
    • Utilità di base: calcoli matematici precisi, conversioni di fusi orari o altre utilità simili.
    • Chiamata API: effettua chiamate ad altre API interne o di terze parti (accesso in lettura o scrittura).
    • Generazione di immagini o grafici: crea contenuti visivi in modo rapido ed efficace.
    • Automazione del browser e del sistema operativo: esegui un sistema operativo headless o con interfaccia grafica completa all'interno delle istanze container per consentire all'agente di navigare sul web, estrarre informazioni dai siti web o eseguire azioni utilizzando clic e input da tastiera.
    • Esecuzione di codice: esegui il codice in un ambiente sicuro con sandboxing multilivello, con autorizzazioni IAM minime o assenti.
    • Esecuzione di codice di Vertex AI Agent Engine: esegui il codice in un ambiente sandbox sicuro, isolato e gestito che supporta l'input e l'output di file, l'esecuzione di codice in meno di un secondo e la memoria a lunga durata. Tieni presente che devi creare almeno un'istanza di Vertex AI Agent Engine per utilizzare questa funzionalità in Cloud Run.

Passaggi successivi