KI und ML – Sicherheit

Last reviewed 2026-10-29 UTC

Dieses Dokument im Google Cloud Well-Architected Framework: KI- und ML-Perspektive bietet einen Überblick über Prinzipien und Empfehlungen, um sicherzustellen, dass Ihre KI- und ML-Bereitstellungen die Sicherheits- und Compliance-Anforderungen Ihrer Organisation erfüllen. Die Empfehlungen in diesem Dokument entsprechen der Säule „Sicherheit“ des Well-Architected Framework.

Die sichere Bereitstellung von KI- und ML-Arbeitslasten ist eine wichtige Anforderung, insbesondere in Unternehmensumgebungen. Um diese Anforderung zu erfüllen, müssen Sie einen ganzheitlichen Sicherheitsansatz verfolgen, der von der ersten Konzeption Ihrer KI- und ML-Lösungen bis hin zur Entwicklung, Bereitstellung und zum laufenden Betrieb reicht. Google Cloud bietet robuste Tools und Dienste, die Ihnen helfen, Ihre KI- und ML-Arbeitslasten zu schützen.

Die Empfehlungen in diesem Dokument sind den folgenden Grundprinzipien zugeordnet:

Weitere Informationen zur KI-Sicherheit finden Sie in den folgenden Ressourcen:

  • Das Secure AI Framework (SAIF) vonGoogle Cloud bietet einen umfassenden Leitfaden für die Entwicklung sicherer und verantwortungsbewusster KI-Systeme. Es werden wichtige Prinzipien und Best Practices für die Berücksichtigung von Sicherheits- und Compliance-Aspekten während des gesamten KI-Lebenszyklus beschrieben.
  • Weitere Informationen zum Ansatz von Google Cloudfür Vertrauen in KI finden Sie im Center für Compliance-Ressourcen.

Klare Ziele und Anforderungen definieren

Eine effektive KI- und ML-Sicherheit ist ein zentraler Bestandteil Ihrer übergeordneten Geschäftsstrategie. Es ist einfacher, die erforderlichen Sicherheits- und Compliance-Kontrollen frühzeitig in den Design- und Entwicklungsprozess zu integrieren, als sie nach der Entwicklung hinzuzufügen.

Treffen Sie von Beginn des Design- und Entwicklungsprozesses an Entscheidungen, die für Ihre spezifische Risikoumgebung und Ihre spezifischen Geschäftsprioritäten geeignet sind. Beispielsweise können zu restriktive Sicherheitsmaßnahmen zwar Daten schützen, aber auch Innovationen behindern und Entwicklungszyklen verlangsamen. Ein Mangel an Sicherheit kann jedoch zu Datenpannen, Reputationsschäden und finanziellen Verlusten führen, die den Geschäftszielen schaden.

Beachten Sie die folgenden Empfehlungen, um klare Ziele und Anforderungen zu definieren.

KI- und ML-Sicherheit auf Geschäftsziele abstimmen

Wenn Sie Ihre KI- und ML-Sicherheitsmaßnahmen auf Ihre Geschäftsziele abstimmen möchten, sollten Sie einen strategischen Ansatz verfolgen, der Sicherheit in jede Phase des KI-Lebenszyklus einbindet. Gehen Sie dazu so vor:

  1. Klare Geschäftsziele und Sicherheitsanforderungen definieren:

    • Wichtige Geschäftsziele identifizieren: Definieren Sie klare Geschäftsziele, die mit Ihren KI- und ML-Initiativen erreicht werden sollen. Ihre Ziele könnten beispielsweise darin bestehen, die Kundenzufriedenheit zu verbessern, die Abläufe zu optimieren oder neue Produkte zu entwickeln.
    • Ziele in Sicherheitsanforderungen übersetzen: Wenn Sie Ihre Geschäftsziele klar definieren, legen Sie spezifische Sicherheitsanforderungen fest, um diese Ziele zu unterstützen. Ihr Ziel könnte beispielsweise sein, KI zu verwenden, um Kundenempfehlungen zu personalisieren. Um dieses Ziel zu erreichen, könnten Ihre Sicherheitsanforderungen darin bestehen, den Datenschutz von Kundendaten zu schützen und unbefugten Zugriff auf Empfehlungsalgorithmen zu verhindern.

  2. Sicherheit und geschäftliche Anforderungen in Einklang bringen:

    • Risikobewertungen durchführen: Identifizieren Sie potenzielle Sicherheitsbedrohungen und Sicherheitslücken in Ihren KI-Systemen.
    • Sicherheitsmaßnahmen priorisieren: Priorisieren Sie diese Sicherheitsmaßnahmen nach ihren potenziellen Auswirkungen auf Ihre Geschäftsziele.
    • Kosten und Nutzen analysieren: Investieren Sie in die effektivsten Lösungen. Wägen Sie die Kosten und Vorteile verschiedener Sicherheitsmaßnahmen ab.
    • Sicherheit vorverlagern: Implementieren Sie Best Practices für die Sicherheit frühzeitig in der Designphase und passen Sie Ihre Sicherheitsmaßnahmen an, wenn sich die Geschäftsanforderungen ändern und Bedrohungen auftreten.

Potenzielle Angriffsvektoren und Risiken identifizieren

Berücksichtigen Sie potenzielle Angriffsvektoren, die sich auf Ihre KI-Systeme auswirken könnten, z. B. Data Poisoning, Modellinversion oder Angriffe mithilfe bösartiger Prompts. Überwachen und bewerten Sie die sich verändernde Angriffsfläche kontinuierlich, während sich Ihr KI-System weiterentwickelt, und behalten Sie neue Bedrohungen und Sicherheitslücken im Blick. Denken Sie daran, dass Änderungen an Ihren KI-Systemen auch die Angriffsfläche verändern können.

Um potenzielle rechtliche und Reputationsrisiken zu minimieren, müssen Sie auch Compliance-Anforderungen in Bezug auf Datenschutz, algorithmische Verzerrung und andere relevante Vorschriften berücksichtigen.

Wenn Sie potenzielle Bedrohungen und Sicherheitslücken frühzeitig erkennen und Designentscheidungen treffen möchten, die Risiken minimieren, sollten Sie einen Secure-by-Design-Ansatz verfolgen.

Google Cloud bietet eine umfassende Suite von Tools und Diensten, mit denen Sie einen Secure-by-Design-Ansatz implementieren können:

  • Cloud-Statusverwaltung: Verwenden Sie das Security Command Center, um potenzielle Sicherheitslücken und Fehlkonfigurationen in Ihrer KI-Infrastruktur zu identifizieren.
  • Angriffsrisikowerte und Angriffspfade: Verfeinern und verwenden Sie die Angriffsrisikowerte und Angriffspfade, die Security Command Center generiert.
  • Google Threat Intelligence: Bleiben Sie über neue Bedrohungen und Angriffstechniken auf dem Laufenden, die auf KI-Systeme abzielen.
  • Logging und Monitoring: Behalten Sie die Leistung und Sicherheit Ihrer KI-Systeme im Blick und erkennen Sie Anomalien oder verdächtige Aktivitäten. Führen Sie regelmäßige Sicherheitsaudits durch, um potenzielle Sicherheitslücken in Ihrer KI-Infrastruktur und Ihren KI-Modellen zu identifizieren und zu beheben.
  • Verwaltung von Sicherheitslücken: Implementieren Sie einen Prozess zur Verwaltung von Sicherheitslücken, um Sicherheitslücken in Ihren KI-Systemen zu verfolgen und zu beheben.

Weitere Informationen finden Sie unter Secure by Design bei Google und Security by Design implementieren.

Daten schützen und Verlust oder Missbrauch verhindern

Daten sind ein wertvolles und sensibles Gut, das geschützt werden muss. Datensicherheit hilft Ihnen, das Vertrauen der Nutzer zu wahren, Ihre Geschäftsziele zu erreichen und Ihre Compliance-Anforderungen zu erfüllen.

Beachten Sie die folgenden Empfehlungen, um Ihre Daten zu schützen.

Einhaltung der Grundsätze der Datenminimierung

Um den Datenschutz zu gewährleisten, sollten Sie sich an das Prinzip der Datenminimierung halten. Um die Datenmenge zu minimieren, sollten Sie keine Daten erheben, aufbewahren oder verwenden, die für Ihre Geschäftsziele nicht unbedingt erforderlich sind. Verwenden Sie nach Möglichkeit synthetische oder vollständig anonymisierte Daten.

Die Datenerhebung kann dazu beitragen, geschäftliche Erkenntnisse und Analysen zu gewinnen. Es ist jedoch wichtig, bei der Datenerhebung mit Bedacht vorzugehen. Wenn Sie personenidentifizierbare Informationen (PII) über Ihre Kunden erfassen, vertrauliche Informationen preisgeben oder Verzerrungen oder Kontroversen erzeugen, können Sie verzerrte ML-Modelle erstellen.

Sie können die Funktionen von Google Cloud verwenden, um die Datenminimierung und den Datenschutz für verschiedene Anwendungsfälle zu verbessern:

  • Wenn Sie Ihre Daten de-identifizieren und gleichzeitig ihren Nutzen erhalten möchten, wenden Sie Transformationsmethoden wie Pseudonymisierung, De-Identifikation und Generalisierung wie Bucketing an. Zur Implementierung dieser Methoden können Sie Sensitive Data Protection verwenden.
  • Verwenden Sie Cloud Storage-Funktionen, um Datenlebenszyklen zu steuern und Ressourcen vor längerem Zugriff oder Manipulation zu schützen.

Best Practices zur Implementierung der Datenverschlüsselung finden Sie im Well-Architected Framework unter Verschlüsselung ruhender Daten und Daten bei der Übertragung.

Datenerhebung, -speicherung und -transformation überwachen

Die Trainingsdaten Ihrer KI-Anwendung bergen die größten Risiken für die Einführung von Verzerrungen und Datenlecks. Um die Compliance zu wahren und Daten über verschiedene Teams hinweg zu verwalten, sollten Sie eine Data-Governance-Ebene einrichten, um Datenflüsse, Transformationen und Zugriffe zu überwachen. Logs für Datenzugriffs- und Datenbearbeitungsaktivitäten verwalten. Mit den Logs können Sie den Datenzugriff prüfen, unbefugte Zugriffsversuche erkennen und unerwünschten Zugriff verhindern.

Sie können die folgenden Google Cloud -Funktionen verwenden, um Data-Governance-Strategien zu implementieren:

  • Wenn Sie eine organisations- oder abteilungsweite Data-Governance-Plattform einrichten möchten, verwenden Sie Knowledge Catalog. Mit einer Data-Governance-Plattform können Sie Daten und KI-Artefakte auf Ihren Datenplattformen zentral erkennen, verwalten, überwachen und steuern. Die Data-Governance-Plattform bietet auch Zugriff für vertrauenswürdige Nutzer. Mit Knowledge Catalog können Sie die folgenden Aufgaben ausführen:
    • Datenherkunft verwalten BigQuery kann auch die Herkunft auf Spaltenebene bereitstellen.
    • Datenqualitätsprüfungen und Datenprofile verwalten.
    • Datenermittlung, -exploration und -verarbeitung in verschiedenen Data Marts verwalten.
    • Feature-Metadaten und Modellartefakte verwalten.
    • Erstellen Sie ein Unternehmensglossar, um Metadaten zu verwalten und ein standardisiertes Vokabular zu erstellen.
    • Reichern Sie die Metadaten mit Kontext an, indem Sie Aspekte und Aspekttypen verwenden.
    • Vereinheitlichen Sie die Data Governance für BigLake und Tabellen im offenen Format wie Iceberg und Delta.
    • Erstellen Sie ein Data Mesh, um die Dateninhaberschaft zwischen Dateninhabern aus verschiedenen Teams oder Domains zu dezentralisieren. Diese Vorgehensweise entspricht den Grundsätzen der Datensicherheit und kann dazu beitragen, die Datenzugänglichkeit und die betriebliche Effizienz zu verbessern.
    • Ergebnisse zu sensiblen Daten prüfen und von BigQuery an Knowledge Catalog senden
  • Wenn Sie ein einheitliches, offenes Lakehouse erstellen möchten, das gut verwaltet wird, binden Sie Ihre Data Lakes und Data Warehouses in verwaltete Metastore-Dienste wie Dataproc Metastore und Lakehouse-Laufzeitkatalog ein. Ein offenes Lakehouse verwendet offene Tabellenformate, die mit verschiedenen Datenverarbeitungs-Engines kompatibel sind.
  • Wenn Sie das Monitoring von Features und Featuregruppen planen möchten, verwenden Sie Agent Platform Feature Store.
  • Wenn Sie Ihre Agent Platform-Datasets auf Organisations-, Ordner- oder Projektebene scannen möchten, verwenden Sie die Erkennung sensibler Daten für die Agent Platform. Sie können auch die in BigQuery gespeicherten Datenprofile analysieren.
  • Verwenden Sie Cloud Logging und Cloud Monitoring, um Echtzeitlogs zu erfassen und Messwerte zu Datenpipelines zu erheben. Verwenden Sie Cloud-Audit-Logs, um Audit-Trails von API-Aufrufen zu erfassen. Protokollieren Sie keine personenidentifizierbaren Informationen oder vertraulichen Daten in Tests oder auf verschiedenen Logservern.

Rollenbasierte Zugriffssteuerung nach dem Prinzip der geringsten Berechtigung implementieren

Implementieren Sie die rollenbasierte Zugriffssteuerung (Role-Based Access Control, RBAC), um je nach Nutzerrolle unterschiedliche Zugriffsebenen zuzuweisen. Nutzer dürfen nur die Mindestberechtigungen haben, die für die Ausführung ihrer Rollenaktivitäten erforderlich sind. Weisen Sie Berechtigungen nach dem Prinzip der geringsten Berechtigung zu, damit Nutzer nur den Zugriff haben, den sie benötigen, z. B. keinen Zugriff, Lesezugriff oder Schreibzugriff.

RBAC mit geringsten Berechtigungen ist wichtig für die Sicherheit, wenn Ihre Organisation sensible Daten verwendet, die sich in Data Lakes, Feature Stores oder Hyperparametern für das Modelltraining befinden. So können Sie Datendiebstahl verhindern, die Modellintegrität wahren und die Angriffsfläche für Unfälle oder Angriffe begrenzen.

Zur Implementierung dieser Zugriffsstrategien können Sie die folgendenGoogle Cloud -Features verwenden:

  • Wenn Sie die Zugriffsgranularität implementieren möchten, haben Sie folgende Möglichkeiten:

    • Weisen Sie die IAM-Rollen (Identity and Access Management) verschiedener Produkte einem Nutzer, einer Gruppe oder einem Dienstkonto zu, um einen detaillierten Zugriff zu ermöglichen. Weisen Sie diese Rollen basierend auf Ihren Projektanforderungen, Zugriffsmustern oder Tags zu.
    • Legen Sie IAM-Richtlinien mit Bedingungen fest, um den detaillierten Zugriff auf Ihre Daten, Modelle und Modellkonfigurationen wie Code, Ressourceneinstellungen und Hyperparameter zu verwalten.

    • Hier erfahren Sie mehr über den detaillierten Zugriff auf Anwendungsebene, mit dem Sie sensible Daten schützen können, die Sie prüfen und außerhalb Ihres Teams freigeben.

  • Wenn Sie den Zugriff auf bestimmte Ressourcen einschränken möchten, können Sie PAB-Richtlinien (Principal Access Boundary) verwenden. Sie können auch Privileged Access Manager verwenden, um die vorübergehende Just-in-Time-Erhöhung von Berechtigungen für ausgewählte Hauptkonten zu steuern. Später können Sie die Audit-Logs für diese Privileged Access Manager-Aktivität aufrufen.

  • Wenn Sie den Zugriff auf Ressourcen basierend auf der IP-Adresse und den Geräteattributen des Endnutzers einschränken möchten, können Sie die Zugriffsrichtlinien für Identity-Aware Proxy (IAP) erweitern.

  • Wenn Sie Zugriffsmuster für verschiedene Nutzergruppen erstellen möchten, können Sie die Zugriffssteuerung der Agent Platform mit IAM verwenden, um vordefinierte oder benutzerdefinierte Rollen zu kombinieren.

  • Wenn Sie Gemini Enterprise Agent Platform Workbench-Instanzen mit kontextsensitiver Zugriffssteuerung schützen möchten, verwenden Sie Access Context Manager und Chrome Enterprise Premium. Bei diesem Ansatz wird der Zugriff jedes Mal ausgewertet, wenn sich ein Nutzer bei der Instanz authentifiziert.

Sicherheitsmaßnahmen für die Datenverschiebung implementieren

Implementieren Sie sichere Perimeter und andere Maßnahmen wie Verschlüsselung und Einschränkungen für die Datenübertragung. Diese Maßnahmen helfen Ihnen, Daten-Exfiltration und Datenverlust zu verhindern, die zu finanziellen Verlusten, Rufschädigung, rechtlichen Haftungen und einer Unterbrechung des Geschäftsbetriebs führen können.

Um Daten-Exfiltration und Datenverlust in Google Cloudzu verhindern, können Sie eine Kombination aus Sicherheitstools und -diensten verwenden.

Beachten Sie beim Implementieren der Verschlüsselung Folgendes:

  • Wenn Sie mehr Kontrolle über Verschlüsselungsschlüssel haben möchten, verwenden Sie kundenverwaltete Verschlüsselungsschlüssel (CMEKs) in Cloud Key Management Service. Wenn Sie CMEKs verwenden, verschlüsseln die folgenden CMEK-integrierten Dienste inaktive Daten für Sie:
  • Verwenden Sie die serverseitige Verschlüsselung, um Ihre CMEKs zu speichern und Ihre Daten in Cloud Storage zu schützen. Wenn Sie CMEKs auf Ihren eigenen Servern verwalten, kann die serverseitige Verschlüsselung dazu beitragen, Ihre CMEKs und die zugehörigen Daten zu schützen, selbst wenn Ihr CMEK-Speichersystem kompromittiert ist.
  • Verwenden Sie HTTPS für alle API-Aufrufe an KI- und ML-Dienste, um Daten bei der Übertragung zu verschlüsseln. Wenn Sie HTTPS für Ihre Anwendungen und APIs erzwingen möchten, verwenden Sie HTTPS-Load-Balancer.

Weitere Best Practices zur Verschlüsselung von Daten finden Sie unter Ruhende Daten und Daten bei der Übertragung verschlüsseln in der Sicherheitssäule des Well-Architected Framework.

Beachten Sie beim Implementieren von Perimetern Folgendes:

  • Wenn Sie eine Sicherheitsgrenze um Ihre KI- und ML-Ressourcen erstellen und die Daten-Exfiltration aus Ihrer Virtual Private Cloud (VPC) verhindern möchten, können Sie mit VPC Service Controls einen Dienstperimeter definieren. Fügen Sie Ihre KI- und ML-Ressourcen sowie sensible Daten in den Perimeter ein. Wenn Sie den Datenfluss steuern möchten, konfigurieren Sie Regeln für ein- und ausgehenden Traffic für Ihren Perimeter.
  • Wenn Sie den eingehenden und ausgehenden Traffic zu Ihren KI- und ML-Ressourcen einschränken möchten, konfigurieren Sie Firewallregeln. Implementieren Sie Richtlinien, die standardmäßig den gesamten Traffic ablehnen und explizit nur den Traffic zulassen, der Ihren Kriterien entspricht. Ein Beispiel für eine Richtlinie finden Sie unter Beispiel: Alle externen Verbindungen mit Ausnahme bestimmter Ports ablehnen.

Beachten Sie beim Implementieren von Einschränkungen für die Datenverschiebung Folgendes:

  • Wenn Sie Daten in einer sicheren Umgebung freigeben und über Datenschutzgrenzen hinweg skalieren möchten, verwenden Sie BigQuery Sharing und BigQuery-Data-Clean-Rooms, die ein robustes Sicherheits- und Datenschutz-Framework bieten.
  • Wenn Sie Daten direkt aus Business-Intelligence-Dashboards in integrierte Ziele freigeben möchten, verwenden Sie Looker Action Hub, das eine sichere Cloud-Umgebung bietet.

Schutz vor Datenvergiftung

Data Poisoning ist eine Art von Cyberangriff, bei dem Angreifer schädliche Daten in Trainings-Datasets einschleusen, um das Modellverhalten zu manipulieren oder die Leistung zu beeinträchtigen. Dieser Cyberangriff kann eine ernsthafte Bedrohung für ML-Trainingssysteme darstellen. Um die Gültigkeit und Qualität der Daten zu schützen, sollten Sie Maßnahmen zum Schutz Ihrer Daten ergreifen. Dieser Ansatz ist entscheidend für die konsistente Unvoreingenommenheit, Zuverlässigkeit und Integrität Ihres Modells.

Wenn Sie inkonsistentes Verhalten, Transformationen oder unerwarteten Zugriff auf Ihre Daten im Blick behalten möchten, richten Sie ein umfassendes Monitoring und Benachrichtigungen für Daten- und ML-Pipelines ein.

Mit den folgendenGoogle Cloud -Funktionen können Sie zusätzliche Schutzmaßnahmen gegen Data Poisoning implementieren:

  • Beachten Sie Folgendes, um die Datenintegrität zu prüfen:

    • Führen Sie robuste Datenvalidierungsprüfungen durch, bevor Sie die Daten für das Training verwenden. Datenformate, Bereiche und Verteilungen prüfen Sie können die Funktionen für die automatische Datenqualität in Knowledge Catalog verwenden.
    • Verwenden Sie Sensitive Data Protection mit Model Armor, um von umfassenden Funktionen zum Schutz vor Datenverlust zu profitieren. Weitere Informationen finden Sie unter Model Armor – Übersicht. Mit Sensitive Data Protection mit Model Armor können Sie sensible Daten wie geistiges Eigentum erkennen, klassifizieren und schützen. Diese Funktionen können Ihnen helfen, die unbefugte Offenlegung sensibler Daten in LLM-Interaktionen zu verhindern.
    • Wenn Sie Anomalien in Ihren Trainingsdaten erkennen möchten, die auf Datenmanipulation hindeuten könnten, verwenden Sie die Anomalieerkennung in BigQuery mit statistischen Methoden oder ML-Modellen.

  • So bereiten Sie sich auf ein robustes Training vor:

    • Verwenden Sie Ensemble-Methoden, um die Auswirkungen von manipulierten Datenpunkten zu reduzieren. Trainieren Sie mehrere Modelle mit unterschiedlichen Teilmengen der Daten mit Hyperparameter-Abstimmung.
    • Verwenden Sie Techniken zur Datenerweiterung, um die Verteilung der Daten auf die Datasets auszugleichen. Dieser Ansatz kann die Auswirkungen von Data Poisoning reduzieren und ermöglicht es Ihnen, bösartige Beispiele hinzuzufügen.

  • So binden Sie die manuelle Überprüfung für Trainingsdaten oder Modellausgaben ein:

    • Analysieren Sie die Messwerte zur Modellbewertung, um potenzielle Verzerrungen, Anomalien oder unerwartetes Verhalten zu erkennen, die auf Datenmanipulation hindeuten könnten. Weitere Informationen finden Sie unter Modellbewertung in der Agent Platform.
    • Nutzen Sie Fachwissen, um das Modell oder die Anwendung zu bewerten und verdächtige Muster oder Datenpunkte zu identifizieren, die automatisierte Methoden möglicherweise nicht erkennen. Weitere Informationen finden Sie unter Übersicht über den Gen AI Evaluation Service.

Best Practices zum Erstellen von Datenplattformen mit Fokus auf Infrastruktur und Datensicherheit finden Sie im Well-Architected Framework unter Sicherheit durch Design implementieren.

KI-Pipelines schützen und vor Manipulationen bewahren

Ihr KI- und ML-Code sowie die codedefinierten Pipelines sind wichtige Assets. Nicht gesicherter Code kann manipuliert werden, was zu Datenlecks, Compliance-Verstößen und Unterbrechungen wichtiger Geschäftsaktivitäten führen kann. Wenn Sie Ihren KI- und ML-Code schützen, können Sie die Integrität und den Wert Ihrer Modelle und Modellausgaben besser gewährleisten.

Beachten Sie die folgenden Empfehlungen, um KI-Code und ‑Pipelines zu schützen.

Sichere Codierungspraktiken verwenden

Verwenden Sie bei der Entwicklung Ihrer Modelle sichere Codierungspraktiken, um Sicherheitslücken zu vermeiden. Wir empfehlen, eine KI-spezifische Eingabe- und Ausgabevalidierung zu implementieren, alle Softwareabhängigkeiten zu verwalten und konsequent Prinzipien für sicheres Coding in Ihre Entwicklung einzubinden. Sicherheit in jede Phase des KI-Lebenszyklus einbetten, von der Datenvorverarbeitung bis zum endgültigen Anwendungscode.

Beachten Sie beim Implementieren einer strengen Validierung Folgendes:

  • Um Modellmanipulationen oder System-Exploits zu verhindern, sollten Sie Eingaben und Ausgaben in Ihrem Code validieren und bereinigen.

    • Verwenden Sie Model Armor oder abgestimmte LLMs, um Prompts und Antworten automatisch auf häufige Risiken zu prüfen.
    • Implementieren Sie die Datenvalidierung in Ihren Skripts für die Datenaufnahme und -vorverarbeitung für Datentypen, Formate und Bereiche. Für Gemini Enterprise Agent Platform-Pipelines oder BigQuery können Sie Python verwenden, um diese Datenvalidierung zu implementieren.
    • Verwenden Sie LLM-Agenten für die Unterstützung beim Programmieren, z. B. CodeMender, um die Codesicherheit zu verbessern. Lassen Sie die vorgeschlagenen Änderungen von einem Human in the Loop überprüfen.

  • Verwenden Sie Apigee, um die API-Endpunkte Ihres KI-Modells zu verwalten und zu sichern. Apigee bietet konfigurierbare Funktionen wie Anfragevalidierung, Traffic-Steuerung und Authentifizierung.

  • Mit KI-Schutz können Sie Risiken während des gesamten KI-Lebenszyklus minimieren:

    • KI-Inventar in Ihrer Umgebung erkennen
    • Bewerten Sie das Inventar auf potenzielle Sicherheitslücken.
    • KI-Assets werden über Kontrollen, Richtlinien und Schutzmaßnahmen gesichert.
    • KI-Systeme mit Funktionen zur Erkennung, Untersuchung und Reaktion verwalten.

Beachten Sie Folgendes, um den Code und die Artefakt-Abhängigkeiten in Ihrer CI/CD-Pipeline zu schützen:

  • Um die Risiken zu minimieren, die durch Abhängigkeiten von Open-Source-Bibliotheken in Ihrem Projekt entstehen können, verwenden Sie Artifact Analysis mit Artifact Registry, um bekannte Sicherheitslücken zu erkennen. Verwenden und pflegen Sie die genehmigten Versionen von Bibliotheken. Speichern Sie Ihre benutzerdefinierten ML-Pakete und geprüften Abhängigkeiten in einem privaten Artifact Registry-Repository.
  • Wenn Sie das Scannen von Abhängigkeiten in Ihre Cloud Build-MLOps-Pipelines einbinden möchten, verwenden Sie die Binärautorisierung. Erzwingen Sie Richtlinien, die Bereitstellungen nur zulassen, wenn die Container-Images Ihres Codes die Sicherheitsprüfungen bestehen.
  • Sicherheitsinformationen zu Ihrer Softwarelieferkette erhalten Sie über Dashboards in der Google Cloud Console. Diese enthalten Details zu Quellen, Builds, Artefakten, Deployments und Laufzeiten. Dazu gehören Sicherheitslücken in Build-Artefakten, die Build-Herkunft und Abhängigkeitslisten der Software-Stückliste (Software Bill of Materials, SBOM).
  • Verwenden Sie das SLSA-Framework (Supply Chain Levels for Software Artifacts), um den Reifegrad der Sicherheit Ihrer Softwarelieferkette zu bewerten.

Beachten Sie Folgendes, um Prinzipien für sicheres Programmieren in jeder Entwicklungsphase einheitlich einzubinden:

  • Wenn Sie verhindern möchten, dass sensible Daten aus Modellinteraktionen offengelegt werden, verwenden Sie Logging mit Sensitive Data Protection. Wenn Sie diese Produkte zusammen verwenden, können Sie steuern, welche Daten Ihre KI-Anwendungen und Pipelinekomponenten protokollieren, und sensible Daten ausblenden.
  • Um das Prinzip der geringsten Berechtigung zu implementieren, müssen die Dienstkonten, die Sie für benutzerdefinierte Jobs, Pipelines und bereitgestellte Modelle der Agent Platform verwenden, nur die minimal erforderlichen IAM-Berechtigungen haben. Weitere Informationen finden Sie unter Rollenbasierte Zugriffssteuerung mit dem Prinzip der geringsten Berechtigung implementieren.
  • Um Ihre Pipelines und Build-Artefakte zu sichern und zu schützen, sollten Sie die Sicherheitskonfigurationen (VPC und VPC Service Controls) in der Umgebung kennen, in der Ihr Code ausgeführt wird.

Pipelines und Modellartefakte vor unbefugtem Zugriff schützen

Ihre Modellartefakte und Pipelines sind geistiges Eigentum und ihre Trainingsdaten enthalten auch proprietäre Informationen. Um Modellgewichtungen, Dateien und Bereitstellungskonfigurationen vor Manipulationen und Sicherheitslücken zu schützen, sollten Sie diese Artefakte mit verbesserter Sicherheit speichern und darauf zugreifen. Implementieren Sie für jedes Artefakt unterschiedliche Zugriffsebenen, die auf den Rollen und Anforderungen der Nutzer basieren.

Beachten Sie zum Schutz Ihrer Modellartefakte Folgendes:

  • Um Modellartefakte und andere vertrauliche Dateien zu schützen, verschlüsseln Sie sie mit Cloud KMS. Diese Verschlüsselung trägt zum Schutz ruhender und übertragener Daten bei, selbst wenn der zugrunde liegende Speicher kompromittiert wird.
  • Um den Zugriff auf Ihre Dateien zu schützen, speichern Sie sie in Cloud Storage und konfigurieren Sie die Zugriffssteuerung.
  • Wenn Sie fehlerhafte oder unzureichende Konfigurationen und Abweichungen von Ihren definierten Standards im Blick behalten möchten, können Sie mit dem Security Command Center Sicherheitsstatus konfigurieren.
  • Wenn Sie eine detaillierte Zugriffssteuerung und die Verschlüsselung ruhender Daten aktivieren möchten, speichern Sie Ihre Modellartefakte in der Model Registry auf der Gemini Enterprise Agent Platform. Erstellen Sie für zusätzliche Sicherheit eine digitale Signatur für Pakete und Container, die während der genehmigten Build-Prozesse erstellt werden.
  • Wenn Sie die Sicherheit auf Unternehmensniveau von Google Cloudnutzen möchten, verwenden Sie Modelle, die in Model Garden verfügbar sind. Model Garden bietet Google-eigene Modelle und Drittanbietermodelle von ausgewählten Partnern.

  • Verwenden Sie IAM, um die zentrale Verwaltung für alle Nutzer- und Gruppenlebenszyklen und das Prinzip der geringsten Berechtigung zu erzwingen.

    • Erstellen und verwenden Sie dedizierte Dienstkonten mit geringsten Berechtigungen für Ihre MLOps-Pipelines. Das Dienstkonto einer Trainingspipeline hat beispielsweise nur die Berechtigung, Daten aus einem bestimmten Cloud Storage-Bucket zu lesen und Modellartefakte in die Model Registry zu schreiben.
    • Mit IAM-Bedingungen eine bedingte, attributbasierte Zugriffssteuerung erzwingen. Eine Bedingung ermöglicht es einem Dienstkonto beispielsweise, eine Agent Platform-Pipeline nur dann auszulösen, wenn die Anfrage von einem vertrauenswürdigen Cloud Build-Trigger stammt.

Beachten Sie zum Schutz Ihrer Bereitstellungspipelines Folgendes:

  • Verwenden Sie zum Verwalten von MLOps-Phasen für Dienste und Ressourcen von Google Cloud Agent Platform-Pipelines, die in andere Dienste eingebunden werden können und eine detaillierte Zugriffssteuerung bieten. Wenn Sie die Pipelines noch einmal ausführen, sollten Sie Erklärbarkeitsbewertungen (z. B. Feature-Attributionen) und Responsible AI-Prüfungen durchführen, bevor Sie die Modellartefakte bereitstellen. Mit diesen Prüfungen können Sie die folgenden Sicherheitsprobleme erkennen oder verhindern:

    • Nicht autorisierte Änderungen, die auf eine Manipulation des Modells hindeuten können.
    • Cross-Site-Scripting (XSS), das auf kompromittierte Container-Images oder Abhängigkeiten hinweisen kann.
    • Unsichere Endpunkte, die auf eine falsch konfigurierte Bereitstellungsinfrastruktur hinweisen können.

  • Verwenden Sie private Endpunkte, die auf Private Service Connect basieren, mit vordefinierten Containern oder benutzerdefinierten Containern, um Modellinteraktionen während der Inferenz zu schützen. Modellsignaturen mit einem vordefinierten Eingabe- und Ausgabeschema erstellen

  • Verwenden Sie Git für die Quellcodeverwaltung und binden Sie die Versionsverwaltung in robuste CI/CD-Pipelines ein, um die Nachverfolgung von Codeänderungen zu automatisieren.

Weitere Informationen finden Sie unter Secure AI Framework (SAIF).

Lineage und Tracking erzwingen

Um die Einhaltung regulatorischer Anforderungen zu unterstützen, können Sie die Herkunft und das Tracking Ihrer KI- und ML-Assets erzwingen. Datenherkunft und -tracking bieten umfangreiche Änderungsdatensätze für Daten, Modelle und Code. Die Modellherkunft sorgt für Transparenz und Rechenschaftspflicht im gesamten KI- und ML-Lebenszyklus.

Wenn Sie die Herkunft und das Tracking in Google Cloudeffektiv erzwingen möchten, sollten Sie die folgenden Tools und Dienste in Betracht ziehen:

  • Wenn Sie die Herkunft von Modellen, Datasets und Artefakten verfolgen möchten, die automatisch im Ruhezustand verschlüsselt werden, verwenden Sie Agent Platform ML Metadata. Metadaten zu Datenquellen, Transformationen, Modellparametern und Testergebnissen loggen.
  • Mit Knowledge Catalog können Sie die Herkunft von Pipeline-Artefakten aus Agent Platform-Pipelines verfolgen und nach Modell- und Dataset-Ressourcen suchen. Verfolgen Sie einzelne Pipeline-Artefakte, wenn Sie Fehler beheben oder eine Ursachenanalyse durchführen möchten. Wenn Sie Ihre gesamte MLOps-Pipeline verfolgen möchten, einschließlich der Herkunft von Pipeline-Artefakten, verwenden Sie Agent Platform ML Metadata. Mit Agent Platform ML Metadata können Sie auch die Ressourcen und Ausführungen analysieren. Model Registry wendet die Versionen der einzelnen Modelle an, die Sie speichern, und verwaltet sie.
  • Wenn Sie API-Aufrufe und administrative Aktionen verfolgen möchten, aktivieren Sie Audit-Logs für die Agent Platform. Analysieren Sie Audit-Logs mit Observability Analytics, um herauszufinden, wer wann auf Daten und Modelle zugegriffen oder sie geändert hat. Sie können auch Logs an Drittanbieterziele weiterleiten.

Bereitstellung auf sicheren Systemen mit sicheren Tools und Artefakten

Sorgen Sie dafür, dass Ihr Code und Ihre Modelle in einer sicheren Umgebung ausgeführt werden. Diese Umgebung muss ein robustes Zugriffssteuerungssystem haben und Sicherheitsgarantien für die von Ihnen bereitgestellten Tools und Artefakte bieten.

Beachten Sie die folgenden Empfehlungen, um Ihren Code auf sicheren Systemen bereitzustellen.

Modelle in einer sicheren Umgebung trainieren und bereitstellen

Um die Systemintegrität, Vertraulichkeit und Verfügbarkeit Ihrer KI- und ML-Systeme aufrechtzuerhalten, sollten Sie strenge Zugriffssteuerungen implementieren, die eine unbefugte Manipulation von Ressourcen verhindern. Diese Abwehr hilft Ihnen bei Folgendem:

  • Modellmanipulationen minimieren, die zu unerwarteten oder widersprüchlichen Ergebnissen führen könnten.
  • Schützen Sie Ihre Trainingsdaten vor Datenschutzverletzungen.
  • Aufrechterhaltung der Dienstverfügbarkeit.
  • Einhaltung gesetzlicher Vorschriften
  • Nutzervertrauen aufbauen

Wenn Sie Ihre ML-Modelle in einer Umgebung mit verbesserter Sicherheit trainieren möchten, verwenden Sie verwaltete Dienste in Google Cloud wie Cloud Run, Google Kubernetes Engine (GKE) und Managed Service for Apache Spark. Sie können auch das serverlose Training der Agent Platform verwenden.

Dieser Abschnitt enthält Empfehlungen, mit denen Sie Ihre Trainings- und Bereitstellungsumgebung weiter schützen können.

Beachten Sie Folgendes, um Ihre Umgebung und Perimeter zu schützen:

Beachten Sie zum Schutz Ihres Deployments Folgendes:

  • Verwenden Sie Model Registry, wenn Sie Modelle bereitstellen. Wenn Sie Modelle in Containern bereitstellen, verwenden Sie GKE Sandbox und Container-Optimized OS, um die Sicherheit zu erhöhen und Arbeitslasten zu isolieren. Beschränken Sie den Zugriff auf Modelle aus Model Garden entsprechend den Nutzerrollen und -zuständigkeiten.
  • Verwenden Sie Apigee oder API Gateway, um Ihre Modell-APIs zu schützen. Um Missbrauch zu verhindern, sollten Sie API-Schlüssel, Authentifizierung, Autorisierung und Ratenbegrenzung implementieren. Verwenden Sie API-Schlüssel und Authentifizierungsmechanismen, um den Zugriff auf Modell-APIs zu steuern.
  • Verwenden Sie Gemini Enterprise Agent Platform Inference, um den Zugriff auf Modelle während der Vorhersage zu sichern. Verwenden Sie VPC Service Controls-Perimeter, um private Endpunkte zu schützen und den Zugriff auf die zugrunde liegenden Modelle zu steuern, um eine Daten-Exfiltration zu verhindern. Sie verwenden private Endpunkte, um den Zugriff auf die Modelle in einem VPC-Netzwerk zu ermöglichen. IAM wird nicht direkt auf den privaten Endpunkt angewendet, aber der Zieldienst verwendet IAM, um den Zugriff auf die Modelle zu verwalten. Für Onlinevorhersagen empfehlen wir die Verwendung von Private Service Connect.
  • Wenn Sie API-Aufrufe im Zusammenhang mit der Modellbereitstellung verfolgen möchten, aktivieren Sie Cloud-Audit-Logs für die Agent Platform. Zu den relevanten API-Aufrufen gehören Aktivitäten wie das Erstellen von Endpunkten, das Bereitstellen von Modellen und das Aktualisieren von Konfigurationen.
  • Wenn Sie die Google Cloud -Infrastruktur auf Edge-Standorte ausweiten möchten, sollten Sie die Google Distributed Cloud-Lösungen in Betracht ziehen. Für eine vollständig getrennte Lösung können Sie Distributed Cloud mit Air Gap verwenden, die keine Verbindung zu Google Clouderfordert.
  • Mit Assured Workloads können Sie Bereitstellungen standardisieren und die Einhaltung von gesetzlichen und Sicherheitsanforderungen gewährleisten.

SLSA-Richtlinien für KI-Artefakte einhalten

Folgen Sie den Standardrichtlinien für Supply Chain Levels for Software Artifacts (SLSA) für Ihre KI-spezifischen Artefakte wie Modelle und Softwarepakete.

SLSA ist ein Sicherheits-Framework, das Ihnen helfen soll, die Integrität von Softwareartefakten zu verbessern und Manipulationen zu verhindern. Wenn Sie die SLSA-Richtlinien einhalten, können Sie die Sicherheit Ihrer KI- und ML-Pipeline und der von der Pipeline erzeugten Artefakte verbessern. Die Einhaltung von SLSA kann folgende Vorteile bieten:

  • Mehr Vertrauen in Ihre KI- und ML-Artefakte: SLSA trägt dazu bei, dass Ihre Modelle und Softwarepakete nicht manipuliert werden. Nutzer können Modelle und Softwarepakete auch bis zu ihrer Quelle zurückverfolgen, was das Vertrauen der Nutzer in die Integrität und Zuverlässigkeit der Artefakte erhöht.
  • Geringeres Risiko von Angriffen auf die Lieferkette: SLSA hilft, das Risiko von Angriffen zu minimieren, die Sicherheitslücken in der Softwarelieferkette ausnutzen, z. B. Angriffe, bei denen schädlicher Code eingeschleust oder Build-Prozesse manipuliert werden.
  • Verbesserter Sicherheitsstatus: SLSA hilft Ihnen, den allgemeinen Sicherheitsstatus Ihrer KI- und ML-Systeme zu verbessern. Diese Implementierung kann dazu beitragen, das Risiko von Angriffen zu verringern und Ihre wertvollen Assets zu schützen.

So implementieren Sie SLSA für Ihre KI- und ML-Artefakte in Google Cloud:

  1. SLSA-Stufen verstehen: Machen Sie sich mit den verschiedenen SLSA-Stufen und ihren Anforderungen vertraut. Mit steigendem Level erhöht sich auch die Integrität, die sie bieten.
  2. Aktuellen Stand bewerten: Bewerten Sie Ihre aktuellen Praktiken anhand des SLSA-Frameworks, um Ihren aktuellen Stand zu ermitteln und Bereiche mit Verbesserungspotenzial zu identifizieren.
  3. Zielstufe festlegen: Bestimmen Sie die geeignete SLSA-Stufe basierend auf Ihrer Risikotoleranz, Ihren Sicherheitsanforderungen und der Kritikalität Ihrer KI- und ML-Systeme.

  4. SLSA-Anforderungen implementieren: Um das gewünschte SLSA-Level zu erreichen, implementieren Sie die erforderlichen Kontrollen und Verfahren. Dazu gehören unter anderem:

    • Quellcodeverwaltung: Verwenden Sie ein Versionsverwaltungssystem wie Git, um Änderungen an Ihrem Code und Ihren Konfigurationen zu verfolgen.
    • Build-Prozess: Verwenden Sie einen Dienst, der Ihre Builds schützt, z. B. Cloud Build, und sorgen Sie dafür, dass Ihr Build-Prozess per Skript oder automatisiert ausgeführt wird.
    • Herkunftsgenerierung: Generieren Sie Herkunftsmetadaten, die Details zur Erstellung Ihrer Artefakte enthalten, einschließlich Build-Prozess, Quellcode und Abhängigkeiten. Weitere Informationen finden Sie unter Metadaten verfolgen und Ausführungen und Artefakte verfolgen.
    • Artefaktsignierung: Signieren Sie Ihre Artefakte, um ihre Authentizität und Integrität zu überprüfen.
    • Verwaltung von Sicherheitslücken: Scannen Sie Ihre Artefakte und Abhängigkeiten regelmäßig auf Sicherheitslücken. Verwenden Sie Tools wie Artifact Analysis.
    • Bereitstellungssicherheit: Implementieren Sie Bereitstellungspraktiken, die zur Sicherung Ihrer Systeme beitragen, z. B. die in diesem Dokument beschriebenen Praktiken.

  5. Kontinuierliche Verbesserung: Überwachen und verbessern Sie Ihre SLSA-Implementierung, um neue Bedrohungen und Sicherheitslücken zu beheben, und streben Sie höhere SLSA-Stufen an.

Validierte vordefinierte Container-Images verwenden

Um einen Single Point of Failure für Ihre MLOps-Phasen zu vermeiden, isolieren Sie die Aufgaben, die eine unterschiedliche Abhängigkeitsverwaltung erfordern, in verschiedenen Containern. Verwenden Sie beispielsweise separate Container für Feature Engineering, Training oder Feinabstimmung und Inferenzaufgaben. Dieser Ansatz bietet ML-Entwicklern auch die Flexibilität, ihre Umgebung zu steuern und anzupassen.

Verwenden Sie vordefinierte Container, um die MLOps-Konsistenz in Ihrem Unternehmen zu fördern. Verwalten Sie ein zentrales Repository mit verifizierten und vertrauenswürdigen Basisplattform-Images mit den folgenden Best Practices:

  • Unterhalten Sie in Ihrer Organisation ein zentrales Plattformteam, das standardisierte Basiscontainer erstellt und verwaltet.
  • Erweitern Sie die vordefinierten Container-Images, die die Agent Platform speziell für KI und ML bereitstellt. Verwalten Sie die Container-Images in einem zentralen Repository innerhalb Ihrer Organisation.

Die Agent Platform bietet eine Vielzahl von vordefinierten Containern für Training und Inferenz und ermöglicht auch die Verwendung von benutzerdefinierten Containern. Bei kleineren Modellen können Sie die Latenz für die Inferenz reduzieren, wenn Sie Modelle in Container laden.

Beachten Sie die folgenden Empfehlungen, um die Sicherheit Ihrer Containerverwaltung zu verbessern:

  • Mit Artifact Registry können Sie Repositories von Container-Images mit verschiedenen Formaten erstellen, speichern und verwalten. Artifact Registry übernimmt die Zugriffssteuerung mit IAM und bietet integrierte Funktionen für Beobachtbarkeit und Sicherheitsbewertung. Mit Artifact Registry können Sie Containersicherheitsfunktionen aktivieren, Container-Images scannen und Sicherheitslücken untersuchen.
  • Führen Sie mit Cloud Build Schritte für Continuous Integration aus und erstellen Sie Container-Images. In dieser Phase können Abhängigkeitsprobleme hervorgehoben werden. Wenn Sie nur die von Cloud Build erstellten Images bereitstellen möchten, können Sie die Binärautorisierung verwenden. Um Angriffe auf die Lieferkette zu verhindern, stellen Sie die von Cloud Build erstellten Images in Artifact Registry bereit. Integrieren Sie automatisierte Testtools wie SonarQube, PyLint oder OWASP ZAP.
  • Verwenden Sie eine Containerplattform wie GKE oder Cloud Run, die für GPU oder Cloud TPU für KI- und ML-Arbeitslasten optimiert ist. Berücksichtigen Sie die Optionen zum Scannen auf Sicherheitslücken für Container in GKE-Clustern.

Confidential Computing für GPUs in Betracht ziehen

Zum Schutz aktiver Daten können Sie Confidential Computing verwenden. Herkömmliche Sicherheitsmaßnahmen schützen Daten im Ruhezustand und bei der Übertragung, aber Confidential Computing verschlüsselt Daten während der Verarbeitung. Wenn Sie Confidential Computing für GPUs verwenden, können Sie sensible Trainingsdaten und Modellparameter vor unbefugtem Zugriff schützen. Sie können auch dazu beitragen, unbefugten Zugriff durch privilegierte Cloud-Nutzer oder potenzielle Angreifer zu verhindern, die Zugriff auf die zugrunde liegende Infrastruktur erhalten könnten.

Um festzustellen, ob Sie Confidential Computing für GPUs benötigen, sollten Sie die Sensibilität der Daten, regulatorische Anforderungen und potenzielle Risiken berücksichtigen.

Wenn Sie Confidential Computing einrichten, sollten Sie die folgenden Optionen berücksichtigen:

  • Verwenden Sie für KI- und ML-Arbeitslasten für allgemeine Zwecke Confidential VM-Instanzen mit NVIDIA T4-GPUs. Diese VM-Instanzen bieten eine hardwarebasierte Verschlüsselung von Daten im Einsatz.
  • Verwenden Sie für containerisierte Arbeitslasten Confidential Google Kubernetes Engine-Knoten. Diese Knoten bieten eine sichere und isolierte Umgebung für Ihre Pods.
  • Damit Ihre Arbeitslast in einer echten und sicheren Enklave ausgeführt wird, prüfen Sie die Attestierungsberichte, die von Confidential VM bereitgestellt werden.
  • Wenn Sie die Leistung, die Ressourcennutzung und Sicherheitsereignisse im Blick behalten möchten, können Sie Ihre Confidential Computing-Ressourcen und Ihre Confidential GKE Nodes mit Monitoring und Logging überwachen.

Eingaben prüfen und schützen

Behandeln Sie alle Eingaben in Ihre KI-Systeme als nicht vertrauenswürdig, unabhängig davon, ob die Eingaben von Endnutzern oder anderen automatisierten Systemen stammen. Damit Ihre KI-Systeme sicher sind und wie vorgesehen funktionieren, müssen Sie potenzielle Angriffsvektoren frühzeitig erkennen und bereinigen.

Beachten Sie die folgenden Empfehlungen, um Ihre Eingaben zu prüfen und zu schützen.

Verfahren implementieren, die zur Absicherung generativer KI-Systeme beitragen

Behandeln Sie Prompts als kritische Anwendungskomponente, die für die Sicherheit genauso wichtig ist wie Code. Implementieren Sie eine Defense-in-Depth-Strategie, die proaktives Design, automatisiertes Screening und ein diszipliniertes Lebenszyklusmanagement kombiniert.

Damit Ihre Prompts für generative KI sicher sind, müssen Sie sie so entwerfen, dass sie sicher sind, sie vor der Verwendung prüfen und sie während ihres gesamten Lebenszyklus verwalten.

Beachten Sie die folgenden Best Practices, um die Sicherheit Ihres Prompt-Designs und -Engineerings zu verbessern:

  • Prompts für mehr Klarheit strukturieren: Entwerfen und testen Sie alle Ihre Prompts mit den Prompt-Verwaltungsfunktionen von Agent Studio auf der Gemini Enterprise Agent Platform. Prompts müssen eine klare, eindeutige Struktur haben. Definieren Sie eine Rolle, fügen Sie Few-Shot-Beispiele ein und geben Sie spezifische, begrenzte Anweisungen. Diese Methoden verringern das Risiko, dass das Modell die Eingabe eines Nutzers so falsch interpretiert, dass eine Sicherheitslücke entsteht.

  • Eingaben auf Robustheit und Fundierung testen: Testen Sie alle Ihre Systeme proaktiv auf unerwartete, fehlerhafte und schädliche Eingaben, um Abstürze oder unsichere Ausgaben zu vermeiden. Nutzen Sie Red-Team-Tests, um reale Angriffe zu simulieren. Automatisieren Sie Ihre Robustheitstests als Standardschritt in Ihren Agent Platform-Pipelines. Sie können die folgenden Testverfahren verwenden:

    • Fuzz-Tests:
    • Tests direkt mit personenidentifizierbaren Informationen, sensiblen Eingaben und SQL-Injections durchführen.
    • Multimodale Eingaben scannen, die Malware enthalten oder gegen Prompt-Richtlinien verstoßen können.

  • Mehrstufige Sicherheit implementieren: Verwenden Sie mehrere Sicherheitsmaßnahmen und verlassen Sie sich nie auf eine einzige. Verwenden Sie beispielsweise für eine Anwendung, die auf Retrieval-Augmented Generation (RAG) basiert, ein separates LLM, um die eingehende Nutzerabsicht zu klassifizieren und auf schädliche Muster zu prüfen. Dieses LLM kann die Anfrage dann an das leistungsstärkere primäre LLM weiterleiten, das die endgültige Antwort generiert.

  • Eingaben bereinigen und validieren: Bevor Sie externe Eingaben oder von Nutzern bereitgestellte Eingaben in einen Prompt einfügen, sollten Sie alle Eingaben in Ihrem Anwendungscode filtern und validieren. Diese Validierung ist wichtig, um indirekte Prompt-Injections zu verhindern.

Beachten Sie für die automatisierte Überprüfung von Prompts und Antworten die folgenden Best Practices:

  • Umfassende Sicherheitsdienste verwenden: Implementieren Sie einen dedizierten, modellunabhängigen Sicherheitsdienst wie Model Armor als obligatorische Schutzebene für Ihre LLMs. Model Armor prüft Prompts und Antworten auf Bedrohungen wie Prompt Injection, Jailbreaking-Versuche und schädliche Inhalte. Damit Ihre Modelle keine sensiblen Trainingsdaten oder geistiges Eigentum in ihren Antworten preisgeben, können Sie die Sensitive Data Protection-Integration mit Model Armor verwenden. Weitere Informationen finden Sie unter Model Armor-Filter.
  • Interaktionen überwachen und protokollieren: Führen Sie detaillierte Logs für alle Prompts und Antworten für Ihre Modellendpunkte. Verwenden Sie Logging, um diese Interaktionen zu prüfen, Missbrauchsmuster zu identifizieren und Angriffsvektoren zu erkennen, die gegen Ihre bereitgestellten Modelle auftreten könnten.

Beachten Sie die folgenden Best Practices, um die Verwaltung des Prompt-Lebenszyklus zu sichern:

  • Versionsverwaltung für Prompts implementieren: Behandeln Sie alle Ihre Produktions-Prompts wie Anwendungscode. Verwenden Sie ein Versionsverwaltungssystem wie Git, um einen vollständigen Änderungsverlauf zu erstellen, Standards für die Zusammenarbeit durchzusetzen und Rollbacks auf frühere Versionen zu ermöglichen. Diese zentrale MLOps-Praxis kann Ihnen helfen, stabile und sichere KI-Systeme zu betreiben.
  • Prompt-Verwaltung zentralisieren: Verwenden Sie ein zentrales Repository, um alle Ihre versionierten Prompts zu speichern, zu verwalten und bereitzustellen. Diese Strategie sorgt für Konsistenz in allen Umgebungen und ermöglicht Laufzeitaktualisierungen, ohne dass die gesamte Anwendung neu bereitgestellt werden muss.
  • Regelmäßige Audits und Red-Team-Tests durchführen: Testen Sie die Abwehrmechanismen Ihres Systems kontinuierlich auf bekannte Sicherheitslücken, z. B. die in den OWASP Top 10 für LLM-Anwendungen aufgeführten. Als KI-Entwickler müssen Sie proaktiv sein und Ihre eigene Anwendung mit Red Teaming testen, um Schwachstellen zu finden und zu beheben, bevor ein Angreifer sie ausnutzen kann.

Schädliche Abfragen an Ihre KI-Systeme verhindern

Neben der Authentifizierung und Autorisierung, die bereits in diesem Dokument behandelt wurden, können Sie weitere Maßnahmen ergreifen, um Ihre KI-Systeme vor schädlichen Eingaben zu schützen. Sie müssen Ihre KI-Systeme auf Szenarien nach der Authentifizierung vorbereiten, in denen Angreifer sowohl die Authentifizierungs- als auch die Autorisierungsprotokolle umgehen und dann versuchen, das System intern anzugreifen.

Wenn Sie eine umfassende Strategie implementieren möchten, die Ihr System vor Angriffen nach der Authentifizierung schützt, wenden Sie die folgenden Anforderungen an:

  • Netzwerk- und Anwendungsebenen sichern: Richten Sie einen mehrschichtigen Schutz für alle Ihre KI-Assets ein.

    • Wenn Sie einen Sicherheitsperimeter erstellen möchten, der die Daten-Exfiltration von Modellen aus der Model Registry oder von sensiblen Daten aus BigQuery verhindert, verwenden Sie VPC Service Controls. Verwenden Sie immer den Probelaufmodus, um die Auswirkungen eines Perimeters zu prüfen, bevor Sie ihn erzwingen.
    • Verwenden Sie IAP, um webbasierte Tools wie Notebooks zu schützen.
    • Verwenden Sie Apigee, um alle Inferenzendpunkte mit Sicherheit und Governance auf Unternehmensniveau zu schützen. Sie können API Gateway auch für eine einfache Authentifizierung verwenden.

  • Auf Anomalien bei Abfragemustern achten: Ein Angreifer, der ein System auf Sicherheitslücken untersucht, kann beispielsweise Tausende von leicht unterschiedlichen, sequenziellen Abfragen senden. Anormale Abfragemuster, die nicht dem normalen Nutzerverhalten entsprechen, werden gekennzeichnet.

  • Anfragevolumen überwachen: Ein plötzlicher Anstieg des Anfragevolumens ist ein starkes Indiz für einen Denial-of-Service-Angriff (DoS) oder einen Modelldiebstahl, bei dem versucht wird, das Modell per Reverse Engineering zu rekonstruieren. Verwenden Sie Ratenbegrenzung und Drosselung, um die Anzahl der Anfragen von einer einzelnen IP-Adresse oder einem einzelnen Nutzer zu steuern.

  • Geografische und zeitliche Anomalien überwachen und Benachrichtigungen dafür einrichten: Legen Sie einen Referenzwert für normale Zugriffsmuster fest. Generieren Sie Benachrichtigungen für plötzliche Aktivitäten von ungewöhnlichen geografischen Standorten oder zu ungewöhnlichen Zeiten. Beispiel: Ein massiver Anstieg der Anmeldungen aus einem neuen Land um 3:00 Uhr morgens.

Ausgaben überwachen, bewerten und auf Reaktionen vorbereiten

KI-Systeme liefern einen Mehrwert, weil sie Ergebnisse erzeugen, die die menschliche Entscheidungsfindung ergänzen, optimieren oder automatisieren. Um die Integrität und Vertrauenswürdigkeit Ihrer KI-Systeme und ‑Anwendungen zu wahren, müssen Sie dafür sorgen, dass die Ausgaben sicher sind und innerhalb der erwarteten Parameter liegen. Sie benötigen außerdem einen Plan für die Reaktion auf Vorfälle.

Beachten Sie die folgenden Empfehlungen, um Ihre Ausgaben zu verwalten.

Modellleistung mit Messwerten und Sicherheitsmaßnahmen bewerten

Damit Ihre KI-Modelle die Leistungsbenchmarks, Sicherheitsanforderungen sowie Fairness- und Compliance-Standards erfüllen, sollten Sie die Modelle gründlich evaluieren. Führen Sie vor der Bereitstellung Bewertungen durch und bewerten Sie die Modelle in der Produktion dann regelmäßig. Um Risiken zu minimieren und vertrauenswürdige KI-Systeme zu entwickeln, sollten Sie eine umfassende Bewertungsstrategie implementieren, die Leistungsmesswerte mit spezifischen KI-Sicherheitsbewertungen kombiniert.

Beachten Sie die folgenden Empfehlungen, um die Robustheit und den Sicherheitsstatus des Modells zu bewerten:

  • Modellsignierung und -überprüfung in Ihrer MLOps-Pipeline implementieren

    • Verwenden Sie für containerisierte Modelle die Binärautorisierung, um Signaturen zu prüfen.
    • Verwenden Sie für Modelle, die direkt auf Agent Platform-Endpunkten bereitgestellt werden, benutzerdefinierte Prüfungen in Ihren Bereitstellungsskripts zur Verifizierung.
    • Verwenden Sie für jedes Modell Cloud Build zum Signieren von Modellen.

  • Bewerten Sie die Widerstandsfähigkeit Ihres Modells gegenüber unerwarteten oder schädlichen Eingaben.

    • Testen Sie alle Ihre Modelle auf häufige Datenbeschädigungen und potenziell schädliche Datenänderungen. Zum Orchestrieren dieser Tests können Sie Agent Platform Managed Training oder Agent Platform Pipelines verwenden.
    • Führen Sie für sicherheitskritische Modelle Simulationen von feindlichen Angriffen durch, um potenzielle Sicherheitslücken zu verstehen.
    • Verwenden Sie für Modelle, die in Containern bereitgestellt werden, die Artefaktanalyse in Artifact Registry, um die Basis-Images auf Sicherheitslücken zu scannen.

  • Mit dem Modellmonitoring auf der Gemini Enterprise Agent Platform können Sie Abweichungen und Verzerrungen bei bereitgestellten Modellen erkennen. Diese Erkenntnisse können dann in die Neubewertungs- oder Neutrainingszyklen einfließen.

  • Verwenden Sie Modellbewertungen von der Agent Platform als Pipeline-Komponente mit Agent Platform Pipelines. Sie können die Modellbewertungskomponente allein oder mit anderen Pipelinekomponenten ausführen. Vergleichen Sie die Modellversionen mit Ihren definierten Messwerten und Datasets. Protokollieren Sie die Bewertungsergebnisse in Agent Platform ML Metadata für die Herkunft und das Tracking.

  • Verwenden Sie den Gen AI Evaluation Service oder bauen Sie darauf auf, um die von Ihnen ausgewählten Modelle zu bewerten oder benutzerdefinierte Workflows für die manuelle Bewertung zu implementieren.

Beachten Sie die folgenden Empfehlungen, um Fairness, Bias, Erklärbarkeit und Faktizität zu bewerten:

  • Definieren Sie Fairness-Maßnahmen, die Ihren Anwendungsfällen entsprechen, und bewerten Sie Ihre Modelle dann auf potenzielle Verzerrungen in verschiedenen Datensegmenten.
  • Sie können nachvollziehen, welche Features die Modellvorhersagen beeinflussen, um sicherzustellen, dass die Features und die daraus resultierenden Vorhersagen mit dem Fachwissen und den ethischen Richtlinien übereinstimmen.
  • Verwenden Sie Erklärbarkeitstechniken, um Feature-Attributionen für Ihre Modelle zu erhalten.
  • Verwenden Sie den Gen AI Evaluation Service, um Messwerte zu berechnen. In der Phase der Quellüberprüfung wird der Messwert für die Fundierung des Dienstes mit dem bereitgestellten Quelltext abgeglichen, um die Faktizität zu prüfen.
  • Aktivieren Sie die Fundierung für die Ausgabe Ihres Modells, um eine zweite Ebene der Quellenüberprüfung auf Nutzerebene zu ermöglichen.
  • Sehen Sie sich unsere KI-Grundsätze an und passen Sie sie für Ihre KI-Anwendungen an.

KI- und ML-Modellausgaben in der Produktion überwachen

Überwachen Sie Ihre KI- und ML-Modelle und die zugehörige Infrastruktur in der Produktion kontinuierlich. Es ist wichtig, Verschlechterungen der Qualität oder Leistung der Modellausgabe, auftretende Sicherheitslücken und Abweichungen von Compliance-Anforderungen umgehend zu erkennen und zu diagnostizieren. Dieses Monitoring hilft Ihnen, die Sicherheit, Zuverlässigkeit und Vertrauenswürdigkeit des Systems aufrechtzuerhalten.

Beachten Sie die folgenden Empfehlungen, um die Ausgaben von KI-Systemen auf Anomalien, Bedrohungen und Qualitätsminderungen zu überwachen:

  • Verwenden Sie das Modellmonitoring auf der Agent Platform für Ihre Modellausgaben, um unerwartete Verschiebungen in den Vorhersageverteilungen oder Spitzen bei Modellvorhersagen mit geringer Konfidenz im Blick zu behalten. Überwachen Sie die Ausgaben Ihres generativen KI-Modells aktiv auf generierte Inhalte, die unsicher, voreingenommen, irrelevant oder bösartig sind. Sie können Model Armor auch verwenden, um alle Ihre Modellausgaben zu prüfen.
  • Identifizieren Sie bestimmte Fehlermuster, erfassen Sie Qualitätsindikatoren oder erkennen Sie schädliche oder nicht konforme Ausgaben auf Anwendungsebene. Verwenden Sie benutzerdefiniertes Monitoring in Monitoring-Dashboards und logbasierte Messwerte aus Logging, um diese Probleme zu finden.

Beachten Sie die folgenden Empfehlungen, um Ausgaben auf sicherheitsspezifische Signale und nicht autorisierte Änderungen zu überwachen:

  • Identifizieren Sie unbefugte Zugriffsversuche auf KI-Modelle, Datasets in Cloud Storage oder BigQuery oder MLOps-Pipeline-Komponenten. Achten Sie insbesondere auf unerwartete oder nicht autorisierte Änderungen an IAM-Berechtigungen für KI-Ressourcen. Wenn Sie diese Aktivitäten verfolgen und auf verdächtige Muster prüfen möchten, verwenden Sie die Audit-Logs für Administratoraktivitäten und Datenzugriffe in Cloud-Audit-Logs. Integrieren Sie die Ergebnisse aus Security Command Center, mit denen Sicherheitsfehlkonfigurationen und potenzielle Bedrohungen im Zusammenhang mit Ihren KI-Assets gekennzeichnet werden können.
  • Überwachen Sie die Ausgaben auf ein hohes Anfragevolumen oder Anfragen von verdächtigen Quellen, die auf Versuche hindeuten könnten, Modelle per Reverse Engineering zu analysieren oder Daten zu exfiltrieren. Sie können Sensitive Data Protection auch verwenden, um die Exfiltration potenziell sensibler Daten zu überwachen.
  • Protokolle in Ihre SecOps einbinden. Mit Google Security Operations können Sie Cyberbedrohungen in Ihren KI-Systemen erkennen, orchestrieren und darauf reagieren.

Beachten Sie die folgenden Empfehlungen, um den Betriebszustand und die Leistung der Infrastruktur zu verfolgen, die Ihre KI-Modelle bereitstellt:

  • Betriebsprobleme identifizieren, die sich auf die Dienstbereitstellung oder die Modellleistung auswirken können.
  • Agent Platform-Endpunkte auf Latenz, Fehlerraten und Trafficmuster überwachen.
  • MLOps-Pipelines auf Ausführungsstatus und Fehler überwachen.
  • Verwenden Sie Monitoring, das vorgefertigte Messwerte bietet. Sie können auch benutzerdefinierte Dashboards erstellen, um Probleme wie Endpunktausfälle oder Pipelinefehler zu erkennen.

Verfahren für Benachrichtigungen und Reaktionen auf Vorfälle implementieren

Wenn Sie potenzielle Leistungs-, Sicherheits- oder Compliance-Probleme feststellen, ist eine effektive Reaktion entscheidend. Implementieren Sie robuste Benachrichtigungsmechanismen, um die entsprechenden Teams rechtzeitig zu informieren. Umfassende, KI-bewusste Incident-Response-Verfahren einrichten und operationalisieren, um diese Probleme effizient zu verwalten, einzudämmen und zu beheben.

Beachten Sie die folgenden Empfehlungen, um robuste Benachrichtigungsmechanismen für von Ihnen identifizierte KI-Probleme einzurichten:

  • Konfigurieren Sie umsetzbare Benachrichtigungen, um die relevanten Teams basierend auf den Monitoring-Aktivitäten Ihrer Plattform zu informieren. Sie können beispielsweise Benachrichtigungen konfigurieren, die ausgelöst werden, wenn das Modellmonitoring auf der Agent Platform erhebliche Abweichungen, Verzerrungen oder Vorhersageanomalien erkennt. Sie können auch Benachrichtigungen konfigurieren, die ausgelöst werden, wenn Model Armor oder benutzerdefinierte Monitoring-Regeln schädliche Eingaben oder unsichere Ausgaben melden.
  • Definieren Sie klare Benachrichtigungskanäle, z. B. Slack, E-Mail oder SMS über Pub/Sub-Integrationen. Passen Sie die Benachrichtigungskanäle für die Schweregrade der Benachrichtigungen und die zuständigen Teams an.

Entwickeln und operationalisieren Sie einen KI-gestützten Incident-Response-Plan. Ein strukturierter Incident-Response-Plan ist entscheidend, um potenzielle Auswirkungen zu minimieren und die Wiederherstellung zu gewährleisten. Passen Sie diesen Plan an, um KI-spezifische Risiken wie Modellmanipulation, falsche Vorhersagen aufgrund von Drift, Prompt Injection oder unsichere Ausgaben von generativen Modellen zu berücksichtigen. Ein effektiver Plan sollte die folgenden wichtigen Phasen umfassen:

  • Vorbereitung: Identifizieren Sie Assets und ihre Sicherheitslücken, entwickeln Sie Playbooks und sorgen Sie dafür, dass Ihre Teams die entsprechenden Berechtigungen haben. Diese Phase umfasst die folgenden Aufgaben:

    • Identifizieren Sie kritische KI-Assets wie Modelle, Datasets und bestimmte Agent Platform-Ressourcen wie Endpunkte oder Feature Store-Instanzen.
    • Identifizieren Sie die potenziellen Fehlermodi oder Angriffsvektoren der Assets.

    • Entwickeln Sie KI-spezifische Playbooks für Vorfälle, die dem Bedrohungsmodell Ihrer Organisation entsprechen. Playbooks können beispielsweise Folgendes enthalten:

      • Ein Modell-Rollback, bei dem die Versionsverwaltung in Model Registry verwendet wird.
      • Eine Notfall-Retraining-Pipeline in Agent Platform Managed Training.
      • Isolierung einer manipulierten Datenquelle in BigQuery oder Cloud Storage.

    • Verwenden Sie IAM, um sicherzustellen, dass die Reaktionsteams die erforderlichen geringsten Berechtigungen für den Zugriff auf Tools haben, die während eines Vorfalls benötigt werden.

  • Identifizierung und Triage: Verwenden Sie konfigurierte Benachrichtigungen, um potenzielle Vorfälle zu erkennen und zu validieren. Legen Sie klare Kriterien und Schwellenwerte dafür fest, wie Ihre Organisation einen KI-bezogenen Vorfall untersucht oder deklariert. Für detaillierte Untersuchungen und die Erfassung von Beweisen sollten Sie Logging für Anwendungs- und Dienstprotokolle sowie Cloud-Audit-Logs für administrative Aktivitäten und Datenzugriffsmuster verwenden. Sicherheitsteams können Google SecOps für tiefergehende Analysen von Sicherheitstelemetrie verwenden.

  • Eindämmung: Isolieren Sie betroffene KI-Systeme oder -Komponenten, um weitere Auswirkungen oder Daten-Exfiltration zu verhindern. Diese Phase kann die folgenden Aufgaben umfassen:

    • Problematischen Agent Platform-Endpunkt deaktivieren.
    • Bestimmte IAM-Berechtigungen widerrufen.
    • Firewallregeln oder Google Cloud Armor-Richtlinien aktualisieren
    • Agent Platform-Pipeline pausieren, die sich nicht wie erwartet verhält.

  • Beseitigung: Die Ursache des Vorfalls ermitteln und beseitigen. Diese Phase kann die folgenden Aufgaben umfassen:

    • Den anfälligen Code in einem benutzerdefinierten Modellcontainer patchen.
    • Entfernen Sie die identifizierten schädlichen Backdoors aus einem Modell.
    • Bereinigen Sie die manipulierten Daten, bevor Sie einen sicheren Job für das erneute Training in Agent Platform Managed Training starten.
    • Aktualisieren Sie alle unsicheren Konfigurationen.
    • Verfeinern Sie die Logik zur Eingabevalidierung, um bestimmte Prompt-Injection-Techniken zu blockieren.

  • Wiederherstellung und sichere erneute Bereitstellung: Stellen Sie die betroffenen KI-Systeme in einem bekannten, fehlerfreien und sicheren Betriebszustand wieder her. Diese Phase kann die folgenden Aufgaben umfassen:

    • Bereitstellen einer zuvor validierten und vertrauenswürdigen Modellversion aus Model Registry.
    • Suchen Sie alle Sicherheitspatches für Sicherheitslücken, die in Ihrem Code oder System vorhanden sein könnten, und wenden Sie sie an.
    • Setzen Sie die IAM-Berechtigungen auf das Prinzip der geringsten Berechtigung zurück.

  • Aktivitäten nach dem Vorfall und gewonnene Erkenntnisse: Führen Sie nach der Behebung der schwerwiegenden KI-Vorfälle eine gründliche Überprüfung durch. An dieser Überprüfung sind alle relevanten Teams beteiligt, z. B. die Teams für KI und ML, MLOps, Sicherheit und Data Science. Den gesamten Lebenszyklus des Vorfalls verstehen. Nutzen Sie diese Insights, um das Design des KI-Systems zu verfeinern, Sicherheitskontrollen zu aktualisieren, Monitoring-Konfigurationen zu verbessern und den Plan und die Playbooks für die Incident Response bei KI-Vorfällen zu optimieren.

Integrieren Sie die KI-Incident Response in die allgemeinen organisatorischen Frameworks, z. B. in das IT- und Sicherheits-Incident Management, um eine koordinierte Vorgehensweise zu ermöglichen. Beachten Sie Folgendes, um Ihre KI-spezifische Incident Response an Ihre organisatorischen Frameworks anzupassen:

  • Eskalation: Definieren Sie klare Wege für die Eskalation schwerwiegender KI-Vorfälle an das zentrale SOC, die IT, die Rechtsabteilung oder relevante Geschäftseinheiten.
  • Kommunikation: Verwenden Sie für alle internen und externen Vorfallberichte und Updates die etablierten Kommunikationskanäle der Organisation.
  • Tools und Prozesse: Verwenden Sie vorhandene Systeme für die Vorfallverwaltung und Ticketing-Systeme für KI-Vorfälle, um ein einheitliches Tracking und eine einheitliche Sichtbarkeit zu gewährleisten.
  • Zusammenarbeit: Definieren Sie Protokolle für die Zusammenarbeit zwischen KI- und ML-, MLOps-, Data-Science-, Sicherheits-, Rechts- und Compliance-Teams, um effektiv auf KI-Vorfälle reagieren zu können.

Beitragende

Autor*innen:

Weitere Beitragende:

Zurück
Operative Exzellenz
Weiter
Zuverlässigkeit