KI-Agents in Cloud Run-Ressourcen hosten

Mit Cloud Run können Sie KI-Agenten in einer verwalteten Containerinfrastruktur bereitstellen und ausführen. Diese autonomen Softwareentitäten verwenden LLM-basierte Systeme, um Ziele zu erkennen, zu entscheiden und zu erreichen. Cloud Run skaliert Ihre Agenten automatisch, um schwankende Arbeitslasten, dynamische Reasoning Loops und die Toolausführung zu bewältigen.

Eine Einführung zu KI-Agenten finden Sie unter Was ist ein KI-Agent?.

Cloud Run-Ressource auswählen

Je nach agentischem Design können Sie Ihren Agent-Container als einen der folgenden Cloud Run-Ressourcentypen ausführen:

  • Services: Am besten für zustandslose, anfragegesteuerte Agenten geeignet, die variablen Nutzertraffic verarbeiten, von Autoscaling profitieren und bei Inaktivität auf null skaliert werden können. Beispiele hierfür sind Chatbot-APIs und Web-API-Backends.
  • Instanzen: Am besten für dedizierte, zustandsorientierte, always-on Singleton-Agentenschleifen, die VM-ähnliche Lebenszyklusstatusbefehle erfordern. Beispiele hierfür sind persönliche Agenten wie OpenClaw und Hermes.
  • Worker-Pools: Am besten geeignet für die Ausführung von verteilten Agent-Flotten im Hintergrund, die Aufgaben aus Nachrichtenwarteschlangen wie Kafka oder Pub/Sub verarbeiten und horizontal skalieren, ohne öffentliche HTTP-Endpunkte bereitzustellen.
  • Jobs: Am besten für Agent-Workflows geeignet, die bis zum Ende ausgeführt werden, z. B. Batch-Bewertungen, Pipelines für die Datenaufnahme in großem Umfang oder geplante Synchronisierungsskripts.

Framework für den KI-Agenten auswählen

Bevor Sie Ihren Agenten in Cloud Run bereitstellen, müssen Sie Ihr Agenten-Framework lokal oder auf Ihrer Entwicklungsplattform auswählen und einrichten. Beispiele für Agenten-Frameworks sind das Agent Development Kit (ADK), Dify, LangGraph und n8n.

In Cloud Run wird Ihr Code normalerweise als -Dienst oder -Instanz. Beide Ressourcentypen führen Sandbox-Containerinstanzen in derselben Ausführungsumgebung aus und sind in Google Cloud -Dienste eingebunden.

Architektur von KI-Agenten in Cloud Run

Eine typische KI-Agentenarchitektur, die in Cloud Run bereitgestellt wird, kann mehrere Komponenten von Google Cloud sowie von außerhalb vonGoogle Cloudumfassen. Die folgende Architektur zeigt ein Beispiel für die Implementierung eines KI-Agenten als Cloud Run-Dienst, um eine Reihe asynchroner Aufgaben zu orchestrieren und Informationen über mehrere Anfrage-Antwort-Interaktionen bereitzustellen.

Die vier Komponenten eines in Cloud Run gehosteten KI-Agenten.
Abbildung 1. Architektur eines KI-Agenten in Cloud Run.

Das Diagramm zeigt Folgendes:

  • Hosting-Plattform: Ein Cloud Run-Dienst ist ein skalierbarer API-Endpunkt für die Kernlogik Ihrer Anwendung. Sie verwaltet mehrere gleichzeitige Nutzer effizient durch die automatische, bedarfsorientierte und schnelle Skalierung von Instanzen. Cloud Run bietet folgende Vorteile:

    • Unterstützt die Ausführung beliebiger Agent-Frameworks, um verschiedene Arten von Agenten und Agentenarchitekturen zu erstellen.
    • Integrierte Unterstützung für Agentenidentität. Weist Ihrem KI-Agenten eine eindeutige, kryptografisch überprüfbare Identität zu, um Google Cloud APIs und Tools aufzurufen und eine sichere Verbindung zu anderen KI-Agenten herzustellen. Weitere Informationen finden Sie unter Agent-Plattform-Features konfigurieren.
    • Integrierte Einbindung in Agent Registry. Sie können Ihre bereitgestellten Dienste als Agent oder MCP-Server festlegen, um die automatische Erkennung und robuste Authentifizierungsmechanismen für die Agent-zu-Agent-Kommunikation (A2A) zu ermöglichen. Weitere Informationen finden Sie unter Agent-Plattform-Features konfigurieren.
    • Unterstützt die Verbindung Ihres Agenten-Frameworks mit anderen Diensten. Sie können Ihren Agenten mit Erstanbieter- oder Drittanbietertools verbinden, die in Cloud Run bereitgestellt werden. Wenn Sie beispielsweise Einblick in die Aufgaben und Ausführungen Ihres Agenten erhalten möchten, können Sie Tools wie Langfuse und Arize bereitstellen und verwenden.

  • Agenteninteraktionen: Cloud Run unterstützt das Streaming von HTTP-Antworten zurück an den Nutzer und WebSockets für Echtzeitinteraktionen.

  • Generative KI-Modelle: Die Orchestrierungsebene ruft Modelle für Reasoning-Funktionen auf. Diese Modelle können auf Diensten wie den folgenden gehostet werden:

  • Memory: Agenten benötigen oft ein Gedächtnis, um den Kontext zu behalten und aus früheren Interaktionen zu lernen. Sie können die folgenden Dienste verwenden:

    • Memorystore for Redis für den Kurzzeitspeicher.
    • Firestore für das Langzeitgedächtnis, z. B. zum Speichern des Chatverlaufs oder zum Merken der Nutzereinstellungen auf Grundlage von Rohdaten.
    • Vertex AI Agent Engine Memory Bank für langfristige personalisierte Erinnerungen. Diese Funktion extrahiert automatisch Informationen aus dem Unterhaltungsverlauf des Nutzers, um sich die Einstellungen des Nutzers zu merken und im Laufe der Zeit zu aktualisieren. Sie müssen mindestens eine Agent Engine-Instanz erstellen, um diese Funktion mit Cloud Run verwenden zu können.

  • Vektordatenbank: Für Retrieval-Augmented Generation (RAG) oder das Abrufen strukturierter Daten können Sie eine Vektordatenbank verwenden, um bestimmte Entitätsinformationen abzufragen oder eine Vektorsuche über Einbettungen durchzuführen. Verwenden Sie die Erweiterung pgvector mit den folgenden Diensten:

  • Tools: Der Orchestrator verwendet Tools, um bestimmte Aufgaben auszuführen und mit externen Diensten, APIs oder Websites zu interagieren. Beispiel:

    • Model Context Protocol (MCP): Verwenden Sie dieses standardisierte Protokoll, um mit externen Tools zu kommunizieren, die über einen MCP-Server ausgeführt werden.
    • Grundlegende Dienstprogramme: Präzise mathematische Berechnungen, Zeitumrechnungen oder andere ähnliche Dienstprogramme.
    • API-Aufruf: Aufrufe an andere interne APIs oder APIs von Drittanbietern (Lese- oder Schreibzugriff).
    • Bild- oder Diagrammerstellung: Visuelle Inhalte schnell und effektiv erstellen.
    • Browser- und Betriebssystemautomatisierung: Führen Sie ein headless oder ein vollständiges grafisches Betriebssystem in Containerinstanzen aus, damit der Agent im Web surfen, Informationen von Websites extrahieren oder Aktionen mit Klicks und Tastatureingaben ausführen kann.
    • Codeausführung: Code-Ausführung in einer sicheren Umgebung mit mehrstufigem Sandboxing, mit minimalen oder keinen IAM-Berechtigungen.
    • Vertex AI Agent Engine-Codeausführung: Führen Sie Code in einer sicheren, isolierten und verwalteten Sandbox-Umgebung aus, die Dateieingabe und -ausgabe, Codeausführung in weniger als einer Sekunde und langlebigen Speicher unterstützt. Beachten Sie, dass Sie mindestens eine Vertex AI Agent Engine-Instanz erstellen müssen, um diese Funktion in Cloud Run verwenden zu können.

Nächste Schritte