Héberger des agents d'IA sur des ressources Cloud Run

Cloud Run vous permet de déployer et d'exécuter des agents IA sur une infrastructure de conteneurs gérée. Ces entités logicielles autonomes utilisent des systèmes basés sur des LLM pour percevoir, décider et agir afin d'atteindre des objectifs. Cloud Run effectue automatiquement le scaling de vos agents pour gérer les charges de travail fluctuantes, les boucles de raisonnement dynamiques et l'exécution des outils.

Pour une présentation des agents IA, consultez Qu'est-ce qu'un agent IA ?.

Choisir une ressource Cloud Run

Selon votre conception agentique, vous pouvez exécuter votre conteneur d'agent en tant que l'un des types de ressources Cloud Run suivants :

  • Services : idéal pour les agents sans état basés sur des requêtes qui gèrent un trafic utilisateur variable, bénéficient de l'autoscaling et peuvent effectuer un scaling à zéro instance lorsqu'ils sont inactifs. Les API de chatbot et les backends d'API Web en sont des exemples.
  • Instances : idéal pour les boucles d'agent singleton dédiées, avec état et toujours actives, qui nécessitent des commandes d'état de cycle de vie de type VM. Par exemple, les agents personnels comme OpenClaw et Hermes.
  • Pools de nœuds de calcul : idéal pour exécuter des parcs d'agents distribués en arrière-plan qui consomment des tâches à partir de files d'attente de messages, telles que Kafka ou Pub/Sub, et évoluent horizontalement sans exposer de points de terminaison HTTP publics.
  • Jobs : idéal pour les workflows agentiques qui s'exécutent jusqu'à leur terme, tels que les évaluations par lot, les pipelines d'ingestion de données à grande échelle ou les scripts de synchronisation planifiés.

Choisir votre framework d'agent

Avant de déployer votre agent sur Cloud Run, choisissez et configurez votre framework d'agent localement ou sur votre plate-forme de développement. Parmi les exemples de frameworks d'agents, citons Agent Development Kit (ADK), Dify, LangGraph et n8n.

Sur Cloud Run, votre code s'exécute généralement en tant que service ou instance. Ces deux types de ressources exécutent des instances de conteneur en bac à sable dans le même environnement d'exécution et s'intègrent aux services Google Cloud .

Architecture d'un agent IA sur Cloud Run

Une architecture d'agent IA classique déployée sur Cloud Run peut impliquer plusieurs composants de Google Cloud ainsi que de l'extérieur deGoogle Cloud. L'architecture suivante montre un exemple d'implémentation d'un agent IA en tant que service Cloud Run pour orchestrer un ensemble de tâches asynchrones et fournir des informations via plusieurs interactions requête-réponse.

Les quatre composants d'un agent IA hébergé sur Cloud Run.
Figure 1. Architecture d'un agent IA sur Cloud Run.

Le schéma montre les éléments suivants :

  • Plate-forme d'hébergement : un service Cloud Run est un point de terminaison d'API évolutif pour la logique de base de votre application. Il gère efficacement plusieurs utilisateurs simultanés grâce au scaling automatique, à la demande et rapide des instances. Cloud Run offre les avantages suivants :

    • Permet d'exécuter n'importe quel framework d'agent pour créer différents types d'agents et d'architectures d'agents.
    • Compatibilité intégrée avec l'identité de l'agent. Attribue une identité unique et vérifiable par chiffrement à votre agent pour appeler des API et des outils Google Cloud , et se connecter de manière sécurisée à d'autres agents. Pour en savoir plus, consultez Configurer les fonctionnalités de la plate-forme d'agents.
    • Intégration d'Agent Registry. Désignez vos services déployés en tant qu'agent ou serveur MCP pour une découverte automatique et des mécanismes d'authentification agent à agent (A2A) robustes. Pour en savoir plus, consultez Configurer les fonctionnalités de la plate-forme d'agents.
    • Permet de connecter votre framework d'agent à d'autres services. Vous pouvez connecter votre agent à des outils propriétaires ou tiers déployés sur Cloud Run. Par exemple, pour gagner en visibilité sur les tâches et les exécutions de votre agent, vous pouvez déployer et utiliser des outils tels que Langfuse et Arize.

  • Interactions avec l'agent : Cloud Run est compatible avec le streaming des réponses HTTP vers l'utilisateur et avec WebSockets pour les interactions en temps réel.

  • Modèles d'IA générative : la couche d'orchestration appelle des modèles pour les capacités de raisonnement. Ces modèles peuvent être hébergés sur des services tels que les suivants :

  • Mémoire : les agents ont souvent besoin de mémoire pour conserver le contexte et apprendre des interactions passées. Vous pouvez utiliser les services suivants :

    • Memorystore pour Redis pour la mémoire à court terme.
    • Firestore pour la mémoire à long terme, par exemple pour stocker l'historique des conversations ou mémoriser les préférences de l'utilisateur en fonction des données brutes.
    • Vertex AI Agent Engine Memory Bank pour une mémoire personnalisée à long terme. Cette fonctionnalité extrait automatiquement des informations de l'historique de conversation de l'utilisateur pour mémoriser et mettre à jour ses préférences au fil du temps. Notez que vous devez créer au moins une instance Agent Engine pour utiliser cette fonctionnalité avec Cloud Run.

  • Base de données vectorielle : pour la génération augmentée par récupération (RAG) ou la récupération de données structurées, utilisez une base de données vectorielle pour interroger des informations d'entité spécifiques ou effectuer une recherche vectorielle sur des embeddings. Utilisez l'extension pgvector avec les services suivants :

  • Outils : l'orchestrateur utilise des outils pour effectuer des tâches spécifiques afin d'interagir avec des services, des API ou des sites Web externes. Cela peut inclure :

    • Model Context Protocol (MCP) : utilisez ce protocole standardisé pour communiquer avec des outils externes exécutés via un serveur MCP.
    • Utilitaires de base : calculs mathématiques précis, conversions d'unités de temps ou autres utilitaires similaires.
    • Appel d'API : effectuez des appels vers d'autres API internes ou tierces (accès en lecture ou en écriture).
    • Génération d'images ou de graphiques : créez du contenu visuel rapidement et efficacement.
    • Automatisation du navigateur et de l'OS : exécutez un système d'exploitation sans interface graphique ou entièrement graphique dans des instances de conteneur pour permettre à l'agent de naviguer sur le Web, d'extraire des informations de sites Web ou d'effectuer des actions à l'aide de clics et de saisies au clavier.
    • Exécution de code : exécutez du code dans un environnement sécurisé avec un bac à sable multicouche, avec des autorisations IAM minimales ou nulles.
    • Exécution de code Vertex AI Agent Engine : exécutez du code dans un environnement de bac à sable sécurisé, isolé et géré qui accepte les entrées et sorties de fichiers, l'exécution de code en moins d'une seconde et la mémoire persistante. Notez que vous devez créer au moins une instance Vertex AI Agent Engine pour utiliser cette fonctionnalité dans Cloud Run.

Étapes suivantes