KI-System mit mehreren Agents in Google Cloud

Last reviewed 2026-10-09 UTC

In diesem Dokument wird eine Referenzarchitektur vorgestellt, mit der Sie robuste Multi-Agenten-KI-Systeme in Google Cloudentwerfen können. Ein Multi-Agenten-KI-System optimiert komplexe und dynamische Prozesse, indem es sie in einzelne Aufgaben unterteilt, die von mehreren spezialisierten KI-Agenten gemeinsam ausgeführt werden.

Dieses Dokument richtet sich an Architekten, Entwickler und Administratoren, die KI-Infrastruktur und ‑Anwendungen in der Cloud erstellen und verwalten. In diesem Dokument werden grundlegende Kenntnisse über KI-Agenten und ‑Modelle vorausgesetzt. Das Dokument enthält keine spezifischen Anleitungen zum Entwerfen und Programmieren von KI-Agenten.

Im Abschnitt Bereitstellung dieses Dokuments finden Sie Codebeispiele, mit denen Sie lernen können, wie Sie Multi-Agenten-KI-Systeme erstellen und bereitstellen.

Architektur

Das folgende Diagramm zeigt eine Architektur für ein Beispiel eines KI-Systems mit mehreren Agenten, das in Google Cloudbereitgestellt wird.

Architektur für ein Multi-Agenten-KI-System in Google Cloud. Architektur für ein Multi-Agenten-KI-System in Google Cloud.

Architekturkomponenten

Die Beispielarchitektur im vorherigen Abschnitt enthält die folgenden Komponenten:

Frontend
Nutzer interagieren mit dem Multi-Agenten-System über ein Frontend, z. B. eine Chat-Oberfläche, die als serverloser Cloud Run-Dienst ausgeführt wird.
KI-Agenten

In diesem Beispiel steuert ein Koordinator-Agent das agentische KI-System. Der Koordinator-Agent ruft einen geeigneten Sub-Agenten auf, um den agentischen Ablauf auszulösen. Die Agenten können über das Agent2Agent-Protokoll (A2A) miteinander kommunizieren. Dieses Protokoll ermöglicht die Interoperabilität zwischen Agenten, unabhängig von ihrer Programmiersprache und Laufzeit. Die Beispielarchitektur zeigt Agenten in einem sequenziellen Muster und einem iterativen Optimierungsmuster.

Weitere Informationen zu den Sub-Agents in diesem Beispiel finden Sie im Abschnitt Agentischer Ablauf.

Agent Runtime

KI-Agenten können als serverlose Cloud Run-Dienste, als Containeranwendungen in der Google Kubernetes Engine (GKE) oder in der Agent Runtime auf der Gemini Enterprise Agent Platform bereitgestellt werden.

ADK

Das Agent Development Kit (ADK) bietet Tools und ein Framework zum Entwickeln, Testen und Bereitstellen von KI-Agenten. Das ADK abstrahiert die Komplexität der Agentenerstellung und ermöglicht es KI-Entwicklern, sich auf die Logik und die Fähigkeiten des Agenten zu konzentrieren.

KI-Modell und Modelllaufzeiten

Für die Inferenzbereitstellung verwenden die Agenten in dieser Beispielarchitektur ein KI-Modell auf der Gemini Enterprise Agent Platform. Die Architektur zeigt Cloud Run und GKE als alternative Laufzeiten für das von Ihnen ausgewählte KI-Modell.

Model Armor

Model Armor ermöglicht die Prüfung und Bereinigung von Eingaben und Antworten für Modelle, die in der Agent Platform und GKE bereitgestellt werden. Model Armor kann auch für Agenten- und Tool-Traffic verwendet werden, der über das Agent Gateway weitergeleitet wird. Weitere Informationen finden Sie unter Model Armor-Integration in Google Cloud -Dienste.

MCP-Clients, ‑Server und ‑Tools

Das Model Context Protocol (MCP) erleichtert den Zugriff auf Tools, indem es die Interaktion zwischen Agenten und Tools standardisiert. Für jedes Agent-Tool-Paar sendet ein MCP-Client Anfragen an einen MCP-Server, über den der Agent auf ein Tool wie eine Datenbank, ein Dateisystem oder eine API zugreift.

Agentischer Ablauf

Das Beispiel-Multi-Agenten-System in der vorherigen Architektur hat den folgenden Ablauf:

  1. Ein Nutzer gibt einen Prompt über ein Frontend ein, z. B. eine Chat-Oberfläche, die als serverloser Cloud Run-Dienst ausgeführt wird.
  2. Das Frontend leitet den Prompt an einen Koordinator-Agenten weiter.

  3. Der Koordinator-Agent startet einen der folgenden agentischen Abläufe, je nachdem, welche Absicht im Prompt ausgedrückt wird.

    • Sequenziell:
      1. Der Sub-Agent für Aufgabe A führt eine Aufgabe aus.
      2. Der Sub-Agent für Aufgabe A ruft den Sub-Agenten für Aufgabe A.1 auf.

    • Iterative Optimierung:

      1. Der Sub-Agent für Aufgabe B führt eine Aufgabe aus.
      2. Der Subagent für die Qualitätsbewertung prüft die Ausgabe des Subagenten für Aufgabe B.
      3. Wenn die Ausgabe nicht zufriedenstellend ist, ruft der Qualitätsbewerter den Prompt-Optimierungs-Sub-Agenten auf, um den Prompt zu verfeinern.
      4. Der Sub-Agent für Aufgabe B führt seine Aufgabe noch einmal mit dem verbesserten Prompt aus.

      Dieser Zyklus wird fortgesetzt, bis die Ausgabe zufriedenstellend ist oder die maximale Anzahl von Iterationen erreicht ist.

    Die Beispielarchitektur enthält einen human-in-the-loop-Pfad, über den menschliche Nutzer bei Bedarf in den KI-Agenten-Workflow eingreifen können.

  4. Der Sub-Agent für Aufgabe A.1 und der Sub-Agent für die Qualitätsbewertung rufen unabhängig voneinander den Sub-Agenten für die Antwortgenerierung auf.

  5. Der Subagent für die Antwortgenerierung generiert eine Antwort, führt Validierungs- und Fundierungsprüfungen durch und sendet die endgültige Antwort dann über den Koordinator-Agenten an den Nutzer.

Verwendete Produkte und Tools

In dieser Referenzarchitektur werden die folgenden Produkte und Tools von Google Cloud und Drittanbietern verwendet:

  • Cloud Run ist eine serverlose Computing-Plattform, mit der Sie Container direkt auf der skalierbaren Infrastruktur von Google ausführen können.
  • Gemini Enterprise Agent Platform: Eine umfassende Plattform, mit der Sie KI-Agenten auf Unternehmensniveau erstellen, skalieren, verwalten und optimieren können.
  • Google Kubernetes Engine (GKE): Ein Kubernetes-Dienst, mit dem Sie Containeranwendungen in großem Maßstab mithilfe der Infrastruktur von Google bereitstellen und betreiben können.
  • Model Armor: Ein Dienst, der Ihre Ressourcen für generative und agentische KI vor Prompt Injections, Lecks sensibler Daten und schädlichen Inhalten schützt.
  • Agent Development Kit (ADK): Eine Reihe von Tools und Bibliotheken zum Entwickeln, Testen und Bereitstellen von KI-Agenten.
  • Agent2Agent-Protokoll (A2A): Ein offenes Protokoll, das die Kommunikation und Interoperabilität zwischen Agenten unabhängig von ihrer Programmiersprache und Laufzeit ermöglicht.
  • Model Context Protocol (MCP): Ein Open-Source-Standard zum Verbinden von KI-Anwendungen mit externen Systemen.

Anwendungsfälle

Multi-Agenten-KI-Systeme eignen sich für komplexe Anwendungsfälle, die eine Zusammenarbeit und Koordination über mehrere spezialisierte Fähigkeiten hinweg erfordern, um ein Geschäftsziel zu erreichen. Um Anwendungsfälle zu identifizieren, für die sich Multi-Agenten-KI-Systeme eignen, analysieren Sie Ihre Geschäftsprozesse und identifizieren Sie bestimmte Aufgaben, die durch KI ergänzt werden können. Konzentrieren Sie sich auf konkrete Geschäftsergebnisse wie Kostensenkung und beschleunigte Verarbeitung. Mit diesem Ansatz können Sie Ihre Investitionen in KI auf den Geschäftswert abstimmen.

Im Folgenden finden Sie Beispiele für Anwendungsfälle für Multi-Agenten-KI-Systeme.

Finanzberater

Personalisierte Empfehlungen für den Aktienhandel geben und Trades ausführen. Das folgende Diagramm zeigt ein Beispiel für einen agentischen Ablauf für diesen Anwendungsfall. In diesem Beispiel wird ein sequenzielles Muster verwendet.

Anwendungsfall für ein Multi-Agenten-System in der Finanzberatung

Das Diagramm zeigt den folgenden Ablauf:

  1. Ein Datenabruf-Agent ruft Echtzeit- und historische Aktienkurse, Finanzberichte von Unternehmen und andere relevante Daten aus zuverlässigen Quellen ab.
  2. Ein Finanzanalyse-Agent wendet geeignete Analyse- und Diagrammtechniken auf die Daten an, identifiziert Muster bei Preisbewegungen und trifft Vorhersagen.
  3. Ein KI-Agent für Aktienempfehlungen verwendet die Analyse und die Diagramme, um personalisierte Empfehlungen zum Kauf und Verkauf bestimmter Aktien basierend auf dem Risikoprofil und den Anlagezielen des Nutzers zu generieren.
  4. Ein KI-Agent für die Handelsausführung kauft und verkauft Aktien im Namen des Nutzers.

Recherche-Assistent

Erstellen Sie einen Rechercheplan, sammeln Sie Informationen, bewerten und verfeinern Sie die Recherche und verfassen Sie dann einen Bericht. Das folgende Diagramm zeigt ein Beispiel für einen agentischen Ablauf für diesen Anwendungsfall. Der Hauptablauf in diesem Beispiel verwendet ein sequenzielles Muster. Das Beispiel enthält auch ein iteratives Verfeinerungsmuster.

Anwendungsfall für einen Recherche-Assistenten in einem Multi-Agenten-System.

Das Diagramm zeigt den folgenden Ablauf:

  1. Ein Planer-Agent erstellt einen detaillierten Rechercheplan.

  2. Ein Recherche-Agent führt die folgenden Aufgaben aus:

    1. Verwendet den Rechercheplan, um geeignete interne und externe Datenquellen zu identifizieren.
    2. Erfasst und analysiert die erforderlichen Daten.
    3. Erstellt eine Zusammenfassung der Recherche und stellt sie einem Evaluator-Agenten zur Verfügung.

    Der Researcher-Agent wiederholt diese Aufgaben, bis der Evaluator-Agent die Recherche genehmigt.

  3. Ein Berichtserstellungs-Agent erstellt den endgültigen Recherchebericht.

Lieferkettenoptimierer

Bestand optimieren, Sendungen verfolgen und mit Partnern in der Lieferkette kommunizieren. Das folgende Diagramm zeigt ein Beispiel für einen agentischen Ablauf für diesen Anwendungsfall. In diesem Beispiel wird ein sequenzielles Muster verwendet.

Anwendungsfall für die Optimierung der Lieferkette für ein Multi-Agenten-System.

  1. Ein Agent für die Lagerverwaltung sorgt für optimale Lagerbestände, indem er Nachbestellungen basierend auf dem Inventar, Nachfrageprognosen und Lieferzeiten der Anbieter erstellt.

    • Der KI-Agent interagiert mit dem KI-Agenten für die Sendungsverfolgung, um Lieferungen zu verfolgen.
    • Der KI-Agent interagiert mit dem KI-Agenten für die Lieferantenkommunikation, um Lieferanten über Änderungen an Bestellungen zu informieren.

  2. Ein Agent für die Sendungsverfolgung sorgt für eine pünktliche und effiziente Auftragsabwicklung, indem er sich in die Logistikplattformen und Speditionssysteme der Lieferanten einbindet.

  3. Ein KI-Agent für die Kommunikation mit Lieferanten kommuniziert im Namen der anderen KI-Agenten im System mit externen Lieferanten.

Designalternativen

Je nach Ihren Anforderungen an Verwaltbarkeit, Kontrolle und Flexibilität können Sie in Google Cloud aus einer Reihe von Laufzeitoptionen für Ihre KI-Agenten und Ihr Modell wählen. Weitere Informationen finden Sie unter Komponenten für die agentische KI-Architektur auswählen.

Designaspekte

In diesem Abschnitt werden Designfaktoren, Best Practices und Empfehlungen beschrieben, die Sie berücksichtigen sollten, wenn Sie diese Referenzarchitektur verwenden, um eine Topologie zu entwickeln, die Ihren spezifischen Anforderungen an Sicherheit, Zuverlässigkeit, Kosten und Leistung entspricht.

Die Anleitung in diesem Abschnitt ist nicht vollständig. Je nach den Anforderungen Ihrer Arbeitslast und den von Ihnen verwendeten Google Cloud - und Drittanbieterprodukten und ‑funktionen müssen möglicherweise zusätzliche Designfaktoren und Vor- und Nachteile berücksichtigt werden.

Systemdesign

Dieser Abschnitt enthält eine Anleitung zur Auswahl von Google Cloud -Regionen für Ihre Bereitstellung und zur Auswahl geeigneter Google Cloud -Produkte und -Tools.

Auswahl der Region

Berücksichtigen Sie bei der Auswahl von Google Cloud Regionen für Ihre KI-Anwendungen die folgenden Faktoren:

Verwenden Sie die folgenden Tools, um geeignete Google Cloud -Standorte für Ihre Anwendungen auszuwählen:

  • Google Cloud Region Picker: Ein interaktives webbasiertes Tool, mit dem Sie die optimale Google Cloud-Region für Ihre Anwendungen und Daten basierend auf Faktoren wie CO₂-Bilanz, Kosten und Latenz auswählen können.
  • Cloud Location Finder API: Eine öffentliche API, mit der Sie Bereitstellungsstandorte in Google Cloud, Google Distributed Cloud und anderen Cloud-Anbietern programmatisch finden können.

Agent-Design

Dieser Abschnitt enthält allgemeine Empfehlungen für das Design von KI-Agenten. Eine detaillierte Anleitung zum Schreiben von Agentencode und ‑logik würde den Rahmen dieses Dokuments sprengen.

  • Agentendefinition und -design:
    • Definieren Sie klar das Geschäftsziel des agentischen KI-Systems und die Aufgabe, die jeder Agent ausführt.
    • Wählen Sie ein Agent-Designmuster aus, das Ihren Anforderungen am besten entspricht.
    • Mit dem ADK können Sie Ihre agentische Architektur effizient erstellen, bereitstellen und verwalten.
  • Interaktionen mit dem KI-Agenten:
    • Entwerfen Sie die Agenten für die menschliche Interaktion in der Architektur so, dass sie Interaktionen in natürlicher Sprache unterstützen.
    • Achten Sie darauf, dass jeder Agent seine Aktionen und seinen Status klar an die abhängigen Clients kommuniziert.
    • Entwerfen Sie die Agenten so, dass sie mehrdeutige Anfragen und nuancierte Interaktionen erkennen und verarbeiten können.
  • Kontext, Tools und Daten:
    • Sorgen Sie dafür, dass die Agenten über ausreichend Kontext verfügen, um mehrstufige Interaktionen und Sitzungsparameter zu verfolgen.
    • Beschreiben Sie klar den Zweck, die Argumente und die Verwendung der Tools, die die Agenten verwenden können.
    • Sorgen Sie dafür, dass die Antworten der Agenten auf zuverlässigen Datenquellen basieren, um Halluzinationen zu reduzieren.
    • Implementieren Sie Logik, um Situationen ohne Übereinstimmung zu verarbeiten, z. B. wenn ein Prompt nicht zum Thema passt.

Sicherheit

In diesem Abschnitt werden Designüberlegungen und Empfehlungen für den Entwurf einer Topologie in Google Cloud beschrieben, die die Sicherheitsanforderungen Ihrer Arbeitslast erfüllt.

Sicherheitsaspekte für KI-Agenten

KI-Agenten bergen bestimmte einzigartige und kritische Sicherheitsrisiken, die mit herkömmlichen, deterministischen Sicherheitspraktiken möglicherweise nicht angemessen minimiert werden können. Google empfiehlt einen Ansatz zur Sicherung von KI, der die Stärken deterministischer Sicherheitskontrollen mit dynamischen, auf Reasoning basierenden Abwehrmaßnahmen kombiniert. Dieser Ansatz basiert auf drei Grundprinzipien: menschliche Kontrolle, sorgfältig definierte Autonomie der KI-Agenten und Beobachtbarkeit. Im Folgenden finden Sie spezifische Empfehlungen, die diesen Grundprinzipien entsprechen.

  • Menschliche Aufsicht: Ein agentisches KI-System kann manchmal fehlschlagen oder nicht wie erwartet funktionieren. Das Modell könnte beispielsweise ungenaue Inhalte generieren oder ein Agent könnte ungeeignete Tools auswählen. In geschäftskritischen agentischen KI-Systemen sollten Sie einen Human-in-the-Loop-Workflow einbinden, damit menschliche Prüfer die KI-Agenten überwachen, überschreiben und pausieren können. Beispielsweise können menschliche Nutzer die Ausgabe von KI-Agenten prüfen, genehmigen oder ablehnen und weitere Anweisungen geben, um Fehler zu korrigieren oder strategische Entscheidungen zu treffen. Dieser Ansatz kombiniert die Effizienz agentischer KI-Systeme mit dem kritischen Denken und der Fachkompetenz menschlicher Nutzer.
  • Agentenidentität und Zugriff mit geringsten Berechtigungen:
  • Governance für ein- und ausgehenden Traffic: Leiten Sie den Agent-Traffic über Agent Gateway, um Laufzeitsicherheitsrichtlinien sowohl an den Grenzen für ein- als auch für ausgehenden Traffic durchzusetzen. Informationen zu den Laufzeitplattformen, die Agent Gateway unterstützen, finden Sie unter Unterstützte Agent-Laufzeiten.
    • Client zu Agent (eingehend): Stellen Sie Agent Gateway vor Ihrer Agent Runtime bereit. Das Gateway hilft, Aufrufer zu authentifizieren und eingehende Prompts in Echtzeit mit Model Armor zu prüfen.
    • Agent-to-Anywhere (ausgehend):
      • Ausgehende Agent-to-Agent- (A2A) und Agent-to-Tool-Anfragen (MCP) über das Agent Gateway im Egress-Modus weiterleiten.
      • Erzwingen Sie „Standardmäßig ablehnen“-Zugriffsrichtlinien mithilfe von IAM-Zugriffsrichtlinien und Identity-Aware Proxy (IAP).
      • Prüfen Sie, ob die Ziel-Agenten und ‑Tools in der Agent Registry registriert sind.
      • Mit Model Armor können Sie ausgehende Toolaufrufe und -antworten prüfen, um Datenexfiltration, indirekte Prompt Injections und Toolmissbrauch zu verhindern.
  • Monitoring: Überwachen Sie das Verhalten von Agenten mithilfe umfassender Trace-Funktionen, die Ihnen Einblick in jede Aktion eines Agenten geben, einschließlich des Begründungsprozesses, der Toolauswahl und der Ausführungspfade. Weitere Informationen finden Sie unter Agent in Agent Runtime anmelden und Logging im ADK.

Weitere Informationen zum Schutz von KI-Agenten finden Sie unter Sicherheit für KI-Agenten.

Sicherheitsaspekte der Agent Platform

Damit Ihre Agent Platform-Konfigurationen und -Nutzung Ihren Sicherheitsanforderungen entsprechen, sollten Sie die folgenden Empfehlungen beachten:

  • Gemeinsame Verantwortung: Sicherheit ist eine gemeinsame Verantwortung. Die Agent Platform sichert die zugrunde liegende Infrastruktur und bietet Tools und Sicherheitskontrollen, mit denen Sie Ihre Daten, Ihren Code und Ihre Modelle schützen können. Sie sind dafür verantwortlich, Ihre Dienste ordnungsgemäß zu konfigurieren, Zugriffssteuerungen zu verwalten und Ihre Anwendungen zu schützen. Weitere Informationen finden Sie unter Gemeinsame Verantwortung für die Agentenplattform.
  • Sicherheitskontrollen: Die Agent Platform unterstützt Google Cloud Sicherheitskontrollen, mit denen Sie Ihre Anforderungen an den Datenstandort, kundenverwaltete Verschlüsselungsschlüssel (CMEK), Netzwerksicherheit mit VPC Service Controls und Access Transparency erfüllen können. Weitere Informationen erhalten Sie in dieser Dokumentation:
  • Sicherheit: KI-Modelle können schädliche Antworten erzeugen, manchmal als Reaktion auf bösartige Prompts.
    • Um die Sicherheit zu erhöhen und potenziellen Missbrauch des agentischen KI-Systems zu minimieren, können Sie Inhaltsfilter konfigurieren, die schädliche Eingaben und Antworten blockieren. Weitere Informationen finden Sie unter Sicherheits- und Inhaltsfilter.
    • Wenn Sie Inferenzanfragen, Agent-Prompts, Toolaufrufe und Antworten auf Bedrohungen wie Prompt Injection und schädliche Inhalte prüfen und bereinigen möchten, können Sie Model Armor für direkte Modell-API-Aufrufe und für Anfragen verwenden, die über Agent Gateway weitergeleitet werden. Mit Model Armor können Sie schädliche Eingaben verhindern, die Sicherheit von Inhalten prüfen, sensible Daten schützen, die Compliance einhalten und Sicherheitsrichtlinien einheitlich durchsetzen.
  • Modellzugriff: Sie können Organisationsrichtlinien einrichten, um den Typ und die Versionen von KI-Modellen einzuschränken, die in einem Google Cloud -Projekt verwendet werden können. Weitere Informationen finden Sie unter Zugriff auf Model Garden-Modelle steuern.
  • Datenschutz: Verwenden Sie die Cloud Data Loss Prevention API, um sensible Daten in den Prompts und Antworten sowie in Logdaten zu erkennen und zu de-identifizieren. Weitere Informationen finden Sie unter Sensible Daten de-identifizieren.

Sicherheitsaspekte bei MCP

Beachten Sie die folgenden Empfehlungen, damit Ihre MCP-Implementierung Ihren Sicherheitsanforderungen entspricht:

  • Toolregistrierung und ‑erkennung: Registrieren Sie MCP-Server und ‑Tools in der Agent Registry, damit sich KI-Agenten nur mit inventarisierten, vom Administrator genehmigten MCP-Endpunkten verbinden.
  • Zugriffssteuerung und Traffic-Prüfung: Leiten Sie den Traffic vom Agenten zum MCP über das Agent Gateway im Modus Agent-to-Anywhere (ausgehend) weiter und schützen Sie MCP-Server (z. B. MCP-Server, die in Cloud Run gehostet werden) mit IAP und IAM-Zugriffsrichtlinien. Konfigurieren Sie Model Armor oder semantische Governance-Richtlinien im Agent Gateway, um die Ein- und Ausgaben von MCP-Tools auf die Offenlegung sensibler Daten und indirekte Prompt Injection zu prüfen.
  • Allgemeine MCP-Sicherheit: Wenn Sie Ihre Agenten für die Verwendung von MCP konfigurieren, müssen Sie dafür sorgen, dass der Zugriff auf externe Daten und Tools autorisiert ist. Implementieren Sie Datenschutzeinstellungen wie Verschlüsselung, wenden Sie Filter zum Schutz sensibler Daten an und überwachen Sie die Interaktionen der Agenten. Weitere Informationen finden Sie unter MCP und Sicherheit.

Sicherheitsaspekte bei A2A

Beachten Sie die folgenden Empfehlungen, damit Ihre A2A-Implementierung Ihren Sicherheitsanforderungen entspricht:

  • Transportsicherheit: Das A2A-Protokoll schreibt HTTPS für die gesamte A2A-Kommunikation in Produktionsumgebungen vor und empfiehlt Transport Layer Security (TLS) Version 1.2 oder höher.
  • Authentifizierung: Das A2A-Protokoll delegiert die Authentifizierung an Standard-Webmechanismen wie HTTP-Header und an Standards wie OAuth2 und OpenID Connect. Jeder Agent gibt die Authentifizierungsanforderungen in seiner Agentenkarte an. Weitere Informationen finden Sie unter A2A-Authentifizierung.
  • Governance zwischen KI-Agenten: Registrieren Sie A2A-Agenten in der Agent Registry und leiten Sie Anfragen zwischen KI-Agenten über das Agent Gateway weiter. Durch die Kombination von Agent Gateway mit Agent Identity, IAP und IAM-Zugriffsrichtlinien können Sie die Identität des aufrufenden KI-Agenten kryptografisch verifizieren, eine detaillierte Autorisierung zwischen Koordinations-Agenten und Sub-Agenten erzwingen und die Nutzlasten zwischen KI-Agenten mit Model Armor prüfen.

Sicherheitsaspekte für Cloud Run

Damit Ihre Cloud Run-Implementierung Ihren Sicherheitsanforderungen entspricht, sollten Sie die folgenden Empfehlungen beachten:

  • Sicherheit für eingehenden Traffic (für den Frontend-Dienst): Um den Zugriff auf die Anwendung zu steuern, deaktivieren Sie die Standard-run.app-URL des Frontend-Cloud Run-Dienstes und richten Sie einen regionalen externen Application Load Balancer ein. Zusätzlich zum Load Balancing des eingehenden Traffics zur Anwendung übernimmt der Load Balancer die Verwaltung von SSL-Zertifikaten. Für zusätzlichen Schutz können Sie Google Cloud Armor-Sicherheitsrichtlinien verwenden, um Anfragefilterung, DDoS-Schutz und Ratenbegrenzung für den Dienst bereitzustellen.

  • Nutzerauthentifizierung:

    • Nutzer innerhalb Ihrer Organisation: Verwenden Sie IAP, um den Zugriff interner Nutzer auf den Frontend-Cloud Run-Dienst zu authentifizieren. Wenn ein Nutzer versucht, auf eine mit IAP gesicherte Ressource zuzugreifen, führt IAP Authentifizierungs- und Autorisierungsprüfungen durch.
    • Nutzer außerhalb Ihrer Organisation: Verwenden Sie Identity Platform oder Firebase Authentication, um den Zugriff externer Nutzer auf den Frontend-Dienst zu authentifizieren. Wenn Sie den Zugriff externer Nutzer verwalten möchten, konfigurieren Sie Ihre Anwendung so, dass sie einen Anmeldevorgang verarbeitet und authentifizierte API-Aufrufe an den Cloud Run-Dienst sendet.

    Weitere Informationen finden Sie unter Nutzer authentifizieren.

  • Sicherheit von Agenten und MCP-Servern: Wenn Sie Agenten oder MCP-Server in Cloud Run hosten, konfigurieren Sie Agent Platform-Features für Cloud Run, um dem Dienst eine verwaltete Agentenidentität zuzuweisen. Verwenden Sie IAP mit Agent Gateway, um eingehende Agenten- und Toolanfragen zu authentifizieren und zu autorisieren.

  • Sicherheit von Container-Images: Damit nur autorisierte Container-Images in Cloud Run bereitgestellt werden, können Sie die Binärautorisierung verwenden. Verwenden Sie die Artefaktanalyse, um Sicherheitsrisiken in den Container-Images zu identifizieren und zu minimieren. Damit werden automatisch Scans auf Sicherheitslücken ausgeführt. Weitere Informationen finden Sie unter Container-Scans – Übersicht.

  • Datenstandort: Cloud Run unterstützt Sie dabei, die Anforderungen an den Datenstandort zu erfüllen. Ihre Cloud Run-Dienste werden in der ausgewählten Region ausgeführt.

Weitere Informationen zur Containersicherheit finden Sie unter Allgemeine Entwicklungstipps für Cloud Run.

Sicherheitsaspekte für alle Google Cloud Produkte in der Architektur

Damit Ihre Architektur Ihren Sicherheitsanforderungen entspricht, sollten Sie die folgenden allgemeinen Empfehlungen beachten:

  • Datenverschlüsselung: Standardmäßig verschlüsselt Google Cloud ruhende Daten mit Google-owned and Google-managed encryption keys. Wenn Sie die Daten Ihrer Agenten mit von Ihnen kontrollierten Verschlüsselungsschlüsseln schützen möchten, können Sie CMEKs verwenden, die Sie in Cloud KMS erstellen und verwalten. Informationen zu Diensten von Google Cloud , die mit Cloud KMS kompatibel sind, finden Sie unter Kompatible Dienste.
  • Risiko der Daten-Exfiltration minimieren: Erstellen Sie einen VPC Service Controls-Perimeter um die Infrastruktur, um das Risiko der Daten-Exfiltration zu verringern. VPC Service Controls unterstützt alleGoogle Cloud -Dienste, die in dieser Referenzarchitektur verwendet werden.
  • Zugriffssteuerung: Wenn Sie Berechtigungen für die Ressourcen in Ihrer Topologie konfigurieren, folgen Sie dem Prinzip der geringsten Berechtigung.
  • Sicherheit der Cloud-Umgebung: Verwenden Sie die Tools im Security Command Center, um Sicherheitslücken zu erkennen, Bedrohungen zu identifizieren und zu minimieren, einen Sicherheitsstatus zu definieren und bereitzustellen und Daten für weitere Analysen zu exportieren.
  • Optimierung nach der Bereitstellung: Nachdem Sie Ihre Anwendung inGoogle Cloudbereitgestellt haben, erhalten Sie Empfehlungen zur weiteren Optimierung der Sicherheit mit Active Assist. Prüfen Sie die Empfehlungen und wenden Sie sie entsprechend Ihrer Umgebung an. Weitere Informationen finden Sie unter Empfehlungen in Active Assist finden.

Sicherheitsgrundsätze und Empfehlungen speziell für KI- und ML-Arbeitslasten finden Sie im Well-Architected Framework unter KI- und ML-Perspektive: Sicherheit.

Zuverlässigkeit

In diesem Abschnitt werden Designüberlegungen und Empfehlungen zum Erstellen und Betreiben einer zuverlässigen Infrastruktur für Ihre Bereitstellung in Google Cloudbeschrieben.

Überlegungen zur Zuverlässigkeit von KI-Agenten

Beachten Sie die folgenden Empfehlungen, damit Ihre Agent-Konfigurationen Ihren Zuverlässigkeitsanforderungen entsprechen:

  • Fehlertoleranz: Das agentische System sollte so konzipiert sein, dass es Fehler auf Agentenebene toleriert oder verarbeitet. Verwenden Sie nach Möglichkeit einen dezentralen Ansatz, bei dem Agenten unabhängig voneinander agieren können.
  • Ausfälle simulieren: Bevor Sie das agentische KI-System in der Produktion bereitstellen, sollten Sie es in einer simulierten Produktionsumgebung validieren. Probleme bei der Koordination zwischen Agenten und unerwartetes Verhalten erkennen und beheben.
  • Fehlerbehandlung: Implementieren Sie Logging, Ausnahmebehandlung und Wiederholungsmechanismen, um die Diagnose und Behebung von Fehlern zu ermöglichen.

Überlegungen zur Zuverlässigkeit der Agent Platform

Damit die Konfigurationen und die Nutzung Ihrer Agent-Plattform Ihren Zuverlässigkeitsanforderungen entsprechen, sollten Sie die folgenden Empfehlungen beachten:

  • Kapazitätsplanung: Wenn die Anzahl Ihrer Anfragen die zugewiesene Kapazität überschreitet, wird der Fehlercode 429 zurückgegeben. Für geschäftskritische Arbeitslasten, die durchgängig einen hohen Durchsatz erfordern, können Sie den Durchsatz mit bereitgestelltem Durchsatz reservieren.
  • Verfügbarkeit des Modellendpunkts: Wenn Daten über mehrere Regionen oder Länder hinweg freigegeben werden können, können Sie einen globalen Endpunkt für das Modell verwenden.

Robustheit von Cloud Run bei zonalen und regionalen Ausfällen

Cloud Run ist ein regionaler Dienst. Daten werden synchron über mehrere Zonen innerhalb einer Region hinweg gespeichert und der Traffic wird automatisch auf die Zonen verteilt. Wenn ein Zonenausfall auftritt, wird Cloud Run weiterhin ausgeführt und es gehen keine Daten verloren. Wenn ein regionaler Ausfall auftritt, wird der Dienst so lange ausgeführt, bis Google den Ausfall behoben hat.

Überlegungen zur Zuverlässigkeit aller Google Cloud -Produkte in der Architektur

Nachdem Sie Ihre Anwendung in Google Cloudbereitgestellt haben, können Sie sich Empfehlungen zur weiteren Optimierung der Zuverlässigkeit mit Active Assist ansehen. Prüfen Sie die Empfehlungen und wenden Sie sie entsprechend Ihrer Umgebung an. Weitere Informationen finden Sie unter Empfehlungen in Active Assist finden.

Zuverlässigkeitsprinzipien und Empfehlungen speziell für KI- und ML-Arbeitslasten finden Sie im Well-Architected Framework unter KI- und ML-Perspektive: Zuverlässigkeit.

Vorgänge

In diesem Abschnitt werden die Faktoren beschrieben, die Sie bei der Verwendung dieser Referenzarchitektur zum Entwerfen einer Google Cloud -Topologie berücksichtigen sollten, die Sie effizient betreiben können.

Überlegungen zu Agent Platform-Vorgängen

Damit die Konfigurationen und die Nutzung der Agent-Plattform Ihren betrieblichen Anforderungen entsprechen, sollten Sie die folgenden Empfehlungen beachten:

  • Monitoring mit Logs: Standardmäßig werden Agenten-Logs, die in die Streams stdout und stderr geschrieben werden, an Cloud Logging weitergeleitet. Für erweitertes Logging können Sie den Python-Logger in Cloud Logging einbinden. Wenn Sie die vollständige Kontrolle über Logging und strukturierte Logs benötigen, verwenden Sie den Cloud Logging-Client. Weitere Informationen finden Sie unter Logging für einen Agent und Logging im ADK.
  • Kontinuierliche Bewertung: Führen Sie regelmäßig eine qualitative Bewertung der Ausgabe der Agenten und des Ablaufs oder der Schritte durch, die die Agenten zur Erstellung der Ausgabe unternommen haben. Für die Agentenbewertung können Sie den Gen AI Evaluation Service oder die vom ADK unterstützten Bewertungsmethoden verwenden.

Überlegungen zu MCP-Vorgängen

Beachten Sie die folgenden Empfehlungen, damit Ihre MCP-Implementierung Ihren betrieblichen Anforderungen entspricht:

  • Datenbanktools: Wenn Sie Datenbanktools für Ihre KI-Agenten effizient verwalten und dafür sorgen möchten, dass die KI-Agenten komplexe Aufgaben wie Verbindungs-Pooling und Authentifizierung sicher verarbeiten, verwenden Sie die MCP Toolbox for Databases. Es bietet einen zentralen Ort zum Speichern und Aktualisieren von Datenbanktools. Sie können die Tools für mehrere Agenten freigeben und die Tools aktualisieren, ohne die Agenten neu bereitstellen zu müssen. Die Toolbox enthält eine Vielzahl von Tools für Google Cloud-Datenbanken wie AlloyDB for PostgreSQL und für Datenbanken von Drittanbietern wie MongoDB.
  • Generative KI-Modelle: Damit KI-Agenten generative KI-Modelle von Google wie Imagen und Veo verwenden können, können Sie MCP-Server für generative Medien-APIs von Google Cloud verwenden.
  • Sicherheitsprodukte und ‑tools von Google: Wenn Sie Ihren KI-Agenten Zugriff auf Sicherheitsprodukte und ‑tools von Google wie Google Security Operations, Google Threat Intelligence und Security Command Center gewähren möchten, verwenden Sie MCP-Server für Sicherheitsprodukte von Google.

Betriebliche Überlegungen für alle Google Cloud -Produkte in der Architektur

Trace-Daten mit Cloud Trace kontinuierlich erfassen und analysieren. Mit Trace-Daten können Sie Fehler in komplexen Agent-Workflows schnell identifizieren und diagnostizieren. Mit Visualisierungen im Trace Explorer-Tool können Sie detaillierte Analysen durchführen. Weitere Informationen finden Sie unter Agent-Traces ansehen.

Informationen zu Prinzipien und Empfehlungen für die operative Exzellenz, die speziell für KI- und ML-Arbeitslasten gelten, finden Sie im Well-Architected Framework unter KI- und ML-Perspektive: Operative Exzellenz.

Kostenoptimierung

Dieser Abschnitt enthält Anleitungen zur Optimierung der Kosten für die Einrichtung und den Betrieb einer Google Cloud -Topologie, die Sie mithilfe dieser Referenzarchitektur erstellen.

Kostenüberlegungen für die Agent Platform

Beachten Sie die folgenden Empfehlungen, damit Ihre Agent Platform-Konfigurationen und -Nutzung Ihren Kostenanforderungen entsprechen:

  • Kostenanalyse und -verwaltung: Zum Analysieren und Verwalten der Kosten für die Agent Platform empfehlen wir, Referenzmesswerte für Abfragen pro Sekunde (QPS) und Tokens pro Sekunde (TPS) zu erstellen. Beobachten Sie diese Messwerte nach der Bereitstellung. Die Baseline hilft auch bei der Kapazitätsplanung. Anhand der Baseline können Sie beispielsweise feststellen, wann bereitgestellter Durchsatz erforderlich sein könnte.
  • Modellauswahl: Das Modell, das Sie für Ihre KI-Anwendung auswählen, wirkt sich direkt auf die Kosten und die Leistung aus. Testen Sie Modelle iterativ, um das Modell zu finden, das für Ihren spezifischen Anwendungsfall ein optimales Gleichgewicht zwischen Leistung und Kosten bietet. Wir empfehlen, mit dem kostengünstigsten Modell zu beginnen und dann schrittweise zu leistungsstärkeren Optionen überzugehen.
  • Kostengünstige Prompts: Die Länge Ihrer Prompts (Eingabe) und die generierten Antworten (Ausgabe) wirken sich direkt auf die Leistung und die Kosten aus. Schreiben Sie Prompts, die kurz und direkt sind und ausreichend Kontext bieten. Entwerfen Sie Ihre Prompts so, dass Sie prägnante Antworten vom Modell erhalten. Verwenden Sie beispielsweise Formulierungen wie „Fasse in zwei Sätzen zusammen“ oder „Liste drei wichtige Punkte auf“. Weitere Informationen finden Sie in den Best Practices für das Prompt-Design.
  • Kontext-Caching: Verwenden Sie das Kontext-Caching, um die Kosten für Anfragen zu reduzieren, die wiederkehrende Inhalte mit vielen Eingabetokens enthalten.
  • Batchanfragen: Ziehen Sie gegebenenfalls Batchvorhersagen in Betracht. Für Batchanfragen fallen geringere Kosten an als für Standardanfragen.

Cloud Run-Kostenüberlegungen

Beachten Sie die folgenden Empfehlungen, damit Ihre Cloud Run-Implementierung Ihren Kostenanforderungen entspricht:

  • Ressourcenzuweisung: Wenn Sie einen Cloud Run-Dienst erstellen, können Sie die Größe des Arbeitsspeichers und die CPU angeben, die zugewiesen werden sollen. Beginnen Sie mit den standardmäßigen CPU- und Arbeitsspeicherzuweisungen. Beobachten Sie die Ressourcennutzung und die Kosten im Zeitverlauf und passen Sie die Zuweisung bei Bedarf an. Weitere Informationen finden Sie unter Arbeitsspeicherlimits für Dienste konfigurieren und CPU-Limits für Dienste konfigurieren.
  • Preisoptimierung: Wenn Sie die CPU- und Arbeitsspeicheranforderungen vorhersagen können, können Sie mit Rabatten für zugesicherte Nutzung Geld sparen.

Kostenüberlegungen für alle Google Cloud -Produkte in der Architektur

Nachdem Sie Ihre Anwendung in Google Cloudbereitgestellt haben, können Sie sich Empfehlungen zur weiteren Kostenoptimierung mit Active Assist ansehen. Prüfen Sie die Empfehlungen und wenden Sie sie entsprechend Ihrer Umgebung an. Weitere Informationen finden Sie unter Empfehlungen in Active Assist finden.

Mit dem Google Cloud -Preisrechner können Sie die Kosten für Ihre Google Cloud -Ressourcen schätzen.

Prinzipien und Empfehlungen zur Kostenoptimierung, die speziell für KI- und ML-Arbeitslasten gelten, finden Sie im Well-Architected Framework unter KI- und ML-Perspektive: Kostenoptimierung.

Leistungsoptimierung

In diesem Abschnitt werden Designüberlegungen und Empfehlungen zum Entwerfen einer Topologie in Google Cloud beschrieben, die die Leistungsanforderungen Ihrer Arbeitslasten erfüllt.

Leistungsaspekte für KI-Agenten

Damit Ihre Agentenkonfigurationen Ihren Leistungsanforderungen entsprechen, sollten Sie die folgenden Empfehlungen beachten:

  • Modellauswahl: Berücksichtigen Sie bei der Auswahl von Modellen für Ihr agentisches KI-System die Funktionen, die für die Aufgaben erforderlich sind, die die Agenten ausführen müssen.
  • Prompt-Optimierung: Mit dem Prompt-Optimierer der Agentenplattform können Sie die Prompt-Leistung im großen Maßstab schnell verbessern und optimieren, ohne Prompts manuell umschreiben zu müssen. Mit dem Optimierer können Sie Prompts effizient für verschiedene Modelle anpassen.

Hinweise zur Leistung der Agent Platform

Damit Ihre Agent Platform-Konfigurationen und -Nutzung Ihren Leistungsanforderungen entsprechen, sollten Sie die folgenden Empfehlungen beachten:

  • Modellauswahl: Das Modell, das Sie für Ihre KI-Anwendung auswählen, wirkt sich direkt auf die Kosten und die Leistung aus. Testen Sie Modelle iterativ, um das Modell zu finden, das für Ihren spezifischen Anwendungsfall ein optimales Gleichgewicht zwischen Leistung und Kosten bietet. Wir empfehlen, mit dem kostengünstigsten Modell zu beginnen und dann schrittweise zu leistungsstärkeren Optionen überzugehen.
  • Prompt Engineering: Die Länge Ihrer Prompts (Eingabe) und der generierten Antworten (Ausgabe) wirkt sich direkt auf die Leistung und die Kosten aus. Schreiben Sie Prompts, die kurz und direkt sind und ausreichend Kontext bieten. Entwerfen Sie Ihre Prompts so, dass Sie prägnante Antworten vom Modell erhalten. Verwenden Sie beispielsweise Formulierungen wie „Fasse in zwei Sätzen zusammen“ oder „Liste drei wichtige Punkte auf“. Weitere Informationen finden Sie unter Best Practices für das Prompt-Design.
  • Kontext-Caching: Verwenden Sie das Kontext-Caching, um die Latenz für Anfragen zu reduzieren, die wiederkehrende Inhalte mit vielen Eingabetokens enthalten.

Leistungsaspekte für Cloud Run

Konfigurieren Sie je nach Leistungsanforderungen den Arbeitsspeicher und die CPU, die dem Cloud Run-Dienst zugewiesen werden sollen. Weitere Informationen finden Sie unter Arbeitsspeicherlimits für Dienste konfigurieren und CPU-Limits für Dienste konfigurieren.

Weitere Informationen zur Leistungsoptimierung finden Sie unter Allgemeine Entwicklungstipps für Cloud Run.

Leistungsaspekte für alle Google Cloud Produkte in der Architektur

Nachdem Sie Ihre Anwendung in Google Cloudbereitgestellt haben, können Sie sich Empfehlungen zur weiteren Optimierung der Leistung mit Active Assist ansehen. Prüfen Sie die Empfehlungen und wenden Sie sie entsprechend Ihrer Umgebung an. Weitere Informationen finden Sie unter Empfehlungen in Active Assist finden.

Prinzipien und Empfehlungen zur Leistungsoptimierung, die speziell für KI- und ML-Arbeitslasten gelten, finden Sie im Well-Architected Framework unter KI- und ML-Perspektive: Leistungsoptimierung.

Bereitstellung

In den folgenden Codebeispielen erfahren Sie, wie Sie Multi-Agenten-KI-Systeme erstellen und bereitstellen. Diese Codebeispiele sind voll funktionsfähige Ausgangspunkte zum Lernen und Experimentieren. Für einen optimalen Betrieb in Produktionsumgebungen müssen Sie den Code an Ihre spezifischen geschäftlichen und technischen Anforderungen anpassen.

  • Kursersteller: Erstellen Sie strukturierte Lernkurse.
  • Finanzberater: Analysieren Sie Börsendaten, erstellen Sie Handelsstrategien, definieren Sie Ausführungspläne und bewerten Sie Risiken.
  • Recherche-Assistent: Recherchen planen und durchführen, die Ergebnisse auswerten und einen Recherchebericht erstellen.
  • Suchoptimierer: Findet Keywords für Suchanzeigen, analysiert Webseiten und bietet Vorschläge zur Optimierung der Suche.
  • Airbnb-Planer (mit A2A und MCP): Für einen bestimmten Ort und eine bestimmte Zeit Airbnb-Angebote finden und Wetterinformationen abrufen.

Nächste Schritte

Beitragende

Autor: Kumar Dhanagopal | Cross-product Solution Developer

Weitere Beitragende: