Point de vue de l'IA et du ML: sécurité

Last reviewed 2026-10-29 UTC

Ce document du Well-Architected FrameworkGoogle Cloud  : perspective de l'IA et du ML présente les principes et les recommandations permettant de s'assurer que vos déploiements d'IA et de ML répondent aux exigences de sécurité et de conformité de votre organisation. Les recommandations de ce document sont conformes au pilier de sécurité du Well-Architected Framework.

Le déploiement sécurisé des charges de travail d'IA et de ML est une exigence essentielle, en particulier dans les environnements d'entreprise. Pour répondre à cette exigence, vous devez adopter une approche de sécurité globale qui commence par la conceptualisation initiale de vos solutions d'IA et de ML, et s'étend au développement, au déploiement et aux opérations en cours. Google Cloud propose des outils et des services robustes conçus pour vous aider à sécuriser vos charges de travail d'IA et de ML.

Les recommandations de ce document sont mises en correspondance avec les principes fondamentaux suivants :

Pour en savoir plus sur la sécurité de l'IA, vous pouvez également consulter les ressources suivantes :

Définir des objectifs et des exigences clairs

Une sécurité efficace de l'IA et du ML est un composant essentiel de votre stratégie commerciale globale. Il est plus facile d'intégrer les contrôles de sécurité et de conformité requis au début de votre processus de conception et de développement, plutôt que d'ajouter des contrôles après le développement.

Dès le début de votre processus de conception et de développement, prenez des décisions adaptées à votre environnement de risque spécifique et à vos priorités commerciales spécifiques. Par exemple, des mesures de sécurité trop restrictives peuvent protéger les données, mais aussi entraver l'innovation et ralentir les cycles de développement. Cependant, un manque de sécurité peut entraîner des violations de données, des atteintes à la réputation et des pertes financières, ce qui est préjudiciable aux objectifs commerciaux.

Pour définir des objectifs et des exigences clairs, tenez compte des recommandations suivantes.

Aligner la sécurité de l'IA et du ML sur les objectifs commerciaux

Pour aligner vos efforts de sécurité de l'IA et du ML sur vos objectifs commerciaux, adoptez une approche stratégique qui intègre la sécurité à chaque étape du cycle de vie de l'IA. Pour suivre cette approche, procédez comme suit :

  1. Définissez des objectifs d'entreprise et des exigences de sécurité clairs :

    • Identifier les principaux objectifs commerciaux : définissez des objectifs commerciaux clairs que vos initiatives d'IA et de ML sont censées atteindre. Par exemple, vos objectifs peuvent être d'améliorer l'expérience client, d'optimiser les opérations ou de développer de nouveaux produits.
    • Traduire les objectifs en exigences de sécurité : lorsque vous clarifiez vos objectifs commerciaux, définissez des exigences de sécurité spécifiques pour les atteindre. Par exemple, votre objectif peut être d'utiliser l'IA pour personnaliser les recommandations client. Pour atteindre cet objectif, vos exigences de sécurité peuvent consister à protéger la confidentialité des données client et à empêcher tout accès non autorisé aux algorithmes de recommandation.

  2. Trouvez un équilibre entre sécurité et besoins de l'entreprise :

    • Réaliser des évaluations des risques : identifiez les menaces de sécurité et les failles potentielles dans vos systèmes d'IA.
    • Hiérarchisez les mesures de sécurité : basez la priorité de ces mesures de sécurité sur leur impact potentiel sur vos objectifs commerciaux.
    • Analyser les coûts et les avantages : assurez-vous d'investir dans les solutions les plus efficaces. Évaluez les coûts et les avantages des différentes mesures de sécurité.
    • Déplacez la sécurité en amont : mettez en œuvre les bonnes pratiques de sécurité dès la phase de conception, et adaptez vos mesures de sécurité à l'évolution des besoins de l'entreprise et à l'apparition de nouvelles menaces.

Identifier les vecteurs d'attaque et les risques potentiels

Envisagez les vecteurs d'attaque potentiels qui pourraient affecter vos systèmes d'IA, tels que l'empoisonnement des données, l'inversion de modèle ou les attaques par prompts hostiles. Surveillez et évaluez en permanence l'évolution de la surface d'attaque à mesure que votre système d'IA se développe, et suivez les nouvelles menaces et failles. N'oubliez pas que les modifications apportées à vos systèmes d'IA peuvent également modifier leur surface d'attaque.

Pour limiter les risques juridiques et d'atteinte à la réputation, vous devez également respecter les exigences de conformité liées à la confidentialité des données, aux biais algorithmiques et à d'autres réglementations pertinentes.

Pour anticiper les menaces et les failles potentielles dès le départ et faire des choix de conception qui atténuent les risques, adoptez une approche sécurisée dès la conception.

Google Cloud fournit une suite complète d'outils et de services pour vous aider à mettre en œuvre une approche sécurisée dès la conception :

  • Gestion de la stratégie cloud : utilisez Security Command Center pour identifier les failles et les erreurs de configuration potentielles dans votre infrastructure d'IA.
  • Scores d'exposition aux attaques et chemins d'attaque : affinez et utilisez les scores d'exposition aux attaques et les chemins d'attaque générés par Security Command Center.
  • Google Threat Intelligence : restez informé des nouvelles menaces et techniques d'attaque qui émergent pour cibler les systèmes d'IA.
  • Journalisation et surveillance : suivez les performances et la sécurité de vos systèmes d'IA, et détectez les anomalies ou les activités suspectes. Effectuez régulièrement des audits de sécurité pour identifier et corriger les failles potentielles de votre infrastructure et de vos modèles d'IA.
  • Gestion des failles : mettez en œuvre un processus de gestion des failles pour suivre et corriger les failles de sécurité dans vos systèmes d'IA.

Pour en savoir plus, consultez Sécurisé par conception chez Google et Implémenter la sécurité par conception.

Sécuriser les données et éviter leur perte ou leur mauvaise manipulation

Les données sont un élément précieux et sensible qui doit être protégé. La sécurité des données vous aide à maintenir la confiance des utilisateurs, à atteindre vos objectifs d'entreprise et à respecter vos exigences de conformité.

Pour vous aider à protéger vos données, tenez compte des recommandations suivantes.

Respecter les principes de minimisation des données

Pour garantir la confidentialité des données, respectez le principe de minimisation des données. Pour minimiser les données, ne collectez pas, ne conservez pas et n'utilisez pas de données qui ne sont pas strictement nécessaires à vos objectifs commerciaux. Dans la mesure du possible, utilisez des données synthétiques ou entièrement anonymisées.

La collecte de données peut aider à générer des insights et des analyses commerciales, mais il est essentiel de faire preuve de discrétion dans le processus de collecte de données. Si vous collectez des informations permettant d'identifier personnellement l'utilisateur, révélez des informations sensibles, ou créez des biais ou des controverses, vous risquez de créer des modèles de ML biaisés.

Vous pouvez utiliser les fonctionnalités de Google Cloud pour vous aider à améliorer la minimisation des données et la confidentialité des données pour différents cas d'utilisation :

  • Pour anonymiser vos données tout en préservant leur utilité, appliquez des méthodes de transformation telles que la pseudonymisation, l'anonymisation et la généralisation (par exemple, le binning). Pour mettre en œuvre ces méthodes, vous pouvez utiliser Sensitive Data Protection.
  • Pour protéger les ressources contre un accès ou une manipulation prolongés, utilisez les fonctionnalités Cloud Storage pour contrôler le cycle de vie des données.

Pour connaître les bonnes pratiques concernant la mise en œuvre du chiffrement des données, consultez Chiffrement des données au repos et en transit dans le framework d'architecture.

Surveiller la collecte, le stockage et la transformation des données

Les données d'entraînement de votre application d'IA présentent les risques les plus importants d'introduction de biais et de fuite de données. Pour assurer la conformité et gérer les données entre différentes équipes, établissez une couche de gouvernance des données pour surveiller les flux de données, les transformations et les accès. Conservez les journaux des activités d'accès aux données et de manipulation. Les journaux vous aident à auditer l'accès aux données, à détecter les tentatives d'accès non autorisées et à empêcher les accès indésirables.

Vous pouvez utiliser les fonctionnalités Google Cloud pour vous aider à mettre en œuvre des stratégies de gouvernance des données :

  • Pour établir une plate-forme de gouvernance des données à l'échelle de l'organisation ou d'un service, utilisez Knowledge Catalog. Une plate-forme de gouvernance des données peut vous aider à découvrir, gérer, surveiller et gouverner de manière centralisée les données et les artefacts d'IA sur vos plates-formes de données. La plate-forme de gouvernance des données fournit également un accès aux utilisateurs de confiance. Vous pouvez effectuer les tâches suivantes avec Knowledge Catalog :
    • Gérer la traçabilité des données. BigQuery peut également fournir une traçabilité au niveau des colonnes.
    • Gérer les contrôles de qualité des données et les profils de données.
    • Gérer la découverte, l'exploration et le traitement des données dans différents magasins de données.
    • Gérer les métadonnées des caractéristiques et les artefacts de modèle.
    • Créez un glossaire d'entreprise pour gérer les métadonnées et établir un vocabulaire standardisé.
    • Enrichissez les métadonnées avec du contexte à l'aide d'aspects et de types d'aspects.
    • Unifiez la gouvernance des données sur BigLake et les tables au format ouvert comme Iceberg et Delta.
    • Créez un maillage de données pour décentraliser la propriété des données entre les propriétaires de données de différentes équipes ou de différents domaines. Cette pratique respecte les principes de sécurité des données et peut contribuer à améliorer l'accessibilité des données et l'efficacité opérationnelle.
    • Inspectez et envoyez les résultats des données sensibles de BigQuery vers Knowledge Catalog.
  • Pour créer un lakehouse ouvert et unifié qui soit bien géré, intégrez vos lacs de données et vos entrepôts de données à des services de metastore gérés tels que Dataproc Metastore et le catalogue d'environnements d'exécution Lakehouse. Un lakehouse ouvert utilise des formats de table ouverts compatibles avec différents moteurs de traitement de données.
  • Pour planifier la surveillance des caractéristiques et des groupes de caractéristiques, utilisez Agent Platform Feature Store.
  • Pour analyser vos ensembles de données Agent Platform au niveau de l'organisation, du dossier ou du projet, utilisez la découverte des données sensibles pour Agent Platform. Vous pouvez également analyser les profils de données stockés dans BigQuery.
  • Pour capturer des journaux en temps réel et collecter des métriques liées aux pipelines de données, utilisez Cloud Logging et Cloud Monitoring. Pour collecter les pistes d'audit des appels d'API, utilisez Cloud Audit Logs. N'enregistrez pas d'informations permettant d'identifier personnellement l'utilisateur ni de données confidentielles dans les tests ou sur différents serveurs de journaux.

Implémenter des contrôles d'accès basés sur les rôles selon le principe du moindre privilège

Mettez en œuvre des contrôles d'accès basés sur les rôles (RBAC) pour attribuer différents niveaux d'accès en fonction des rôles des utilisateurs. Les utilisateurs ne doivent disposer que des autorisations minimales nécessaires pour leur permettre d'effectuer les activités de leur rôle. Attribuez des autorisations en fonction du principe du moindre privilège afin que les utilisateurs ne disposent que de l'accès dont ils ont besoin (par exemple, aucun accès, lecture seule ou écriture).

Le RBAC avec accès au moindre privilège est important pour la sécurité lorsque votre organisation utilise des données sensibles qui résident dans des lacs de données, des Feature Stores ou des hyperparamètres pour l'entraînement de modèles. Cette pratique vous aide à prévenir le vol de données, à préserver l'intégrité du modèle et à limiter la surface d'exposition aux accidents ou aux attaques.

Pour vous aider à mettre en œuvre ces stratégies d'accès, vous pouvez utiliser les fonctionnalitésGoogle Cloud suivantes :

  • Pour mettre en œuvre la précision des accès, tenez compte des options suivantes :

    • Mappez les rôles IAM (Identity and Access Management) de différents produits à un utilisateur, un groupe ou un compte de service pour permettre un accès précis. Mappez ces rôles en fonction des besoins de votre projet, des modèles d'accès ou des tags.
    • Définissez des stratégies IAM avec des conditions pour gérer l'accès précis à vos données, à votre modèle et à vos configurations de modèle, telles que le code, les paramètres de ressources et les hyperparamètres.

    • Découvrez l'accès précis au niveau de l'application, qui vous aide à sécuriser les données sensibles que vous auditez et partagez en dehors de votre équipe.

  • Pour limiter l'accès à certaines ressources, vous pouvez utiliser des stratégies de limite d'accès des principaux (PAB). Vous pouvez également utiliser Privileged Access Manager pour contrôler l'élévation temporaire des privilèges juste-à-temps pour certains comptes principaux. Vous pourrez ensuite consulter les journaux d'audit de cette activité Privileged Access Manager.

  • Pour restreindre l'accès aux ressources en fonction de l'adresse IP et des attributs de l'appareil de l'utilisateur final, vous pouvez étendre les règles d'accès Identity-Aware Proxy (IAP).

  • Pour créer des modèles d'accès pour différents groupes d'utilisateurs, vous pouvez utiliser le contrôle des accès d'Agent Platform avec IAM afin de combiner les rôles prédéfinis ou personnalisés.

  • Pour protéger les instances Gemini Enterprise Agent Platform Workbench à l'aide de contrôles des accès contextuels, utilisez Access Context Manager et Chrome Enterprise Premium. Avec cette approche, l'accès est évalué chaque fois qu'un utilisateur s'authentifie auprès de l'instance.

Implémenter des mesures de sécurité pour le transfert de données

Mettez en place des périmètres sécurisés et d'autres mesures, comme le chiffrement et les restrictions sur le déplacement des données. Ces mesures vous aident à éviter l'exfiltration et la perte de données, qui peuvent entraîner des pertes financières, des atteintes à la réputation, des responsabilités juridiques et une interruption des activités de l'entreprise.

Pour éviter l'exfiltration et la perte de données sur Google Cloud, vous pouvez utiliser une combinaison d'outils et de services de sécurité.

Pour mettre en œuvre le chiffrement, tenez compte des éléments suivants :

  • Pour mieux contrôler les clés de chiffrement, utilisez des clés de chiffrement gérées par le client (CMEK) dans Cloud Key Management Service. Lorsque vous utilisez des CMEK, les services suivants bénéficiant d'une intégration des CMEK chiffrent les données au repos pour vous :
  • Pour protéger vos données dans Cloud Storage, utilisez le chiffrement côté serveur pour stocker vos CMEK. Si vous gérez des CMEK sur vos propres serveurs, le chiffrement côté serveur peut vous aider à protéger vos CMEK et les données associées, même si votre système de stockage CMEK est compromis.
  • Pour chiffrer les données en transit, utilisez HTTPS pour tous vos appels d'API vers les services d'IA et de ML. Pour appliquer le protocole HTTPS à vos applications et API, utilisez des équilibreurs de charge HTTPS.

Pour découvrir d'autres bonnes pratiques sur le chiffrement des données, consultez Chiffrer les données au repos et en transit dans le pilier Sécurité du Well-Architected Framework.

Pour mettre en œuvre des périmètres, tenez compte des éléments suivants :

  • Pour créer une limite de sécurité autour de vos ressources d'IA et de ML et empêcher l'exfiltration de données depuis votre cloud privé virtuel (VPC), utilisez VPC Service Controls pour définir un périmètre de service. Incluez vos ressources d'IA et de ML ainsi que vos données sensibles dans le périmètre. Pour contrôler le flux de données, configurez des règles d'entrée et de sortie pour votre périmètre.
  • Pour limiter le trafic entrant et sortant vers vos ressources d'IA et de ML, configurez des règles de pare-feu. Mettez en œuvre des règles qui refusent tout le trafic par défaut et n'autorisent explicitement que le trafic qui répond à vos critères. Pour obtenir un exemple de règle, consultez Exemple : Refuser toutes les connexions externes, à l'exception de ports de destination spécifiques.

Pour mettre en œuvre des restrictions sur le déplacement des données, tenez compte des éléments suivants :

  • Pour partager des données et évoluer au-delà des limites de confidentialité dans un environnement sécurisé, utilisez le partage BigQuery et les salles blanches de données BigQuery, qui fournissent un framework de sécurité et de confidentialité robuste.
  • Pour partager des données directement dans des destinations intégrées à partir de tableaux de bord d'informatique décisionnelle, utilisez Looker Action Hub, qui fournit un environnement cloud sécurisé.

Protection contre l'empoisonnement des données

L'empoisonnement des données est un type de cyberattaque dans lequel les pirates informatiques injectent des données malveillantes dans les ensembles de données d'entraînement pour manipuler le comportement du modèle ou dégrader ses performances. Cette cyberattaque peut constituer une menace sérieuse pour les systèmes d'entraînement de ML. Pour protéger la validité et la qualité des données, adoptez des pratiques qui les protègent. Cette approche est essentielle pour garantir l'impartialité, la fiabilité et l'intégrité de votre modèle.

Pour suivre les comportements incohérents, les transformations ou les accès inattendus à vos données, configurez une surveillance et des alertes complètes pour les pipelines de données et de ML.

Les fonctionnalitésGoogle Cloud peuvent vous aider à mettre en œuvre davantage de protections contre l'empoisonnement des données :

  • Pour valider l'intégrité des données, tenez compte des points suivants :

    • Mettez en œuvre des contrôles de validation des données robustes avant d'utiliser les données pour l'entraînement. Vérifiez les formats de données, les plages et les distributions. Vous pouvez utiliser les fonctionnalités de qualité automatique des données dans Knowledge Catalog.
    • Utilisez Sensitive Data Protection avec Model Armor pour profiter de fonctionnalités complètes de protection contre la perte de données. Pour en savoir plus, consultez la présentation de Model Armor. Sensitive Data Protection avec Model Armor vous permet de détecter, de classer et de protéger les données sensibles telles que la propriété intellectuelle. Ces fonctionnalités peuvent vous aider à empêcher l'exposition non autorisée de données sensibles dans les interactions avec les LLM.
    • Pour détecter les anomalies dans vos données d'entraînement qui pourraient indiquer un empoisonnement des données, utilisez la détection d'anomalies dans BigQuery avec des méthodes statistiques ou des modèles de ML.

  • Pour préparer un entraînement robuste, procédez comme suit :

    • Utilisez des méthodes d'ensemble pour réduire l'impact des points de données empoisonnés. Entraînez plusieurs modèles sur différents sous-ensembles de données avec le réglage d'hyperparamètres.
    • Utilisez des techniques d'augmentation des données pour équilibrer la distribution des données entre les ensembles de données. Cette approche peut réduire l'impact de l'empoisonnement des données et vous permet d'ajouter des exemples antagonistes.

  • Pour intégrer l'examen humain aux données d'entraînement ou aux sorties du modèle, procédez comme suit :

    • Analysez les métriques d'évaluation du modèle pour détecter d'éventuels biais, anomalies ou comportements inattendus pouvant indiquer un empoisonnement des données. Pour en savoir plus, consultez Évaluation de modèle dans Agent Platform.
    • Tirez parti de l'expertise du domaine pour évaluer le modèle ou l'application, et identifier les schémas ou les points de données suspects que les méthodes automatisées pourraient ne pas détecter. Pour en savoir plus, consultez Présentation de Gen AI Evaluation Service.

Pour découvrir les bonnes pratiques de création de plates-formes de données axées sur la sécurité de l'infrastructure et des données, consultez le principe Implémenter la sécurité dès la conception dans le Well-Architected Framework.

Sécuriser les pipelines d'IA et les protéger contre la falsification

Votre code d'IA et de ML, ainsi que les pipelines définis par le code, sont des ressources essentielles. Un code non sécurisé peut être falsifié, ce qui peut entraîner des fuites de données, un non-respect de la conformité et une interruption des activités critiques de l'entreprise. La sécurisation de votre code d'IA et de ML permet de garantir l'intégrité et la valeur de vos modèles et de leurs sorties.

Pour sécuriser le code et les pipelines d'IA, tenez compte des recommandations suivantes.

Utiliser des pratiques de codage sécurisées

Pour éviter les failles, utilisez des pratiques de codage sécurisées lorsque vous développez vos modèles. Nous vous recommandons de mettre en œuvre une validation des entrées et des sorties spécifique à l'IA, de gérer toutes vos dépendances logicielles et d'intégrer systématiquement des principes de codage sécurisé dans votre développement. Intégrez la sécurité à chaque étape du cycle de vie de l'IA, du prétraitement des données au code final de votre application.

Pour mettre en œuvre une validation rigoureuse, tenez compte des éléments suivants :

  • Pour éviter toute manipulation du modèle ou exploitation du système, validez et nettoyez les entrées et les sorties dans votre code.

    • Utilisez Model Armor ou des LLM affinés pour filtrer automatiquement les prompts et les réponses afin de détecter les risques courants.
    • Implémentez la validation des données dans vos scripts d'ingestion et de prétraitement des données pour les types, formats et plages de données. Pour les pipelines Gemini Enterprise Agent Platform ou BigQuery, vous pouvez utiliser Python pour implémenter cette validation des données.
    • Utilisez des agents LLM d'assistance au codage, comme CodeMender, pour améliorer la sécurité du code. Gardez une intervention humaine pour valider les modifications proposées.

  • Pour gérer et sécuriser les points de terminaison de l'API de votre modèle d'IA, utilisez Apigee, qui inclut des fonctionnalités configurables telles que la validation des requêtes, le contrôle du trafic et l'authentification.

  • Pour limiter les risques tout au long du cycle de vie de l'IA, vous pouvez utiliser la protection de l'IA pour :

    • Découvrez l'inventaire de l'IA dans votre environnement.
    • Évaluer l'inventaire pour identifier les failles potentielles.
    • Sécurisez les éléments d'IA à l'aide de commandes, de règles et de protections.
    • Gérez les systèmes d'IA grâce à des fonctionnalités de détection, d'investigation et de réponse.

Pour sécuriser les dépendances de code et d'artefact dans votre pipeline CI/CD, tenez compte des points suivants :

  • Pour limiter les risques que les dépendances de bibliothèques Open Source peuvent introduire dans votre projet, utilisez Artifact Analysis avec Artifact Registry pour détecter les failles connues. Utiliser et gérer les versions approuvées des bibliothèques. Stockez vos packages de ML personnalisés et vos dépendances approuvées dans un dépôt Artifact Registry privé.
  • Pour intégrer l'analyse des dépendances dans vos pipelines MLOps Cloud Build, utilisez l'autorisation binaire. Appliquez des règles qui n'autorisent les déploiements que si les images de conteneurs de votre code réussissent les contrôles de sécurité.
  • Pour obtenir des informations de sécurité sur votre chaîne d'approvisionnement logicielle, utilisez les tableaux de bord de la console Google Cloud , qui fournissent des détails sur les sources, les builds, les artefacts, les déploiements et les environnements d'exécution. Ces informations incluent les failles dans les artefacts de compilation, la provenance du build et les listes de dépendances SBOM (Software Bill of Materials).
  • Pour évaluer le niveau de maturité de la sécurité de votre chaîne d'approvisionnement logicielle, utilisez le framework SLSA (Supply chain Levels for Software Artifacts).

Pour intégrer de manière cohérente les principes de codage sécurisé à chaque étape du développement, tenez compte des points suivants :

  • Pour éviter l'exposition de données sensibles lors des interactions avec le modèle, utilisez Logging avec Sensitive Data Protection. Lorsque vous utilisez ces produits ensemble, vous pouvez contrôler les données enregistrées par vos applications d'IA et vos composants de pipeline, et masquer les données sensibles.
  • Pour mettre en œuvre le principe du moindre privilège, assurez-vous que les comptes de service que vous utilisez pour vos jobs personnalisés, pipelines et modèles déployés Agent Platform ne disposent que des autorisations IAM minimales requises. Pour en savoir plus, consultez Implémenter des contrôles d'accès basés sur les rôles avec les principes du moindre privilège.
  • Pour sécuriser et protéger vos pipelines et vos artefacts de compilation, vous devez comprendre les configurations de sécurité (VPC et VPC Service Controls) de l'environnement dans lequel votre code s'exécute.

Protéger les pipelines et les artefacts de modèle contre les accès non autorisés

Vos artefacts et pipelines de modèle sont une propriété intellectuelle, et leurs données d'entraînement contiennent également des informations propriétaires. Pour protéger les pondérations, les fichiers et les configurations de déploiement des modèles contre les falsifications et les failles, stockez ces artefacts et accédez-y avec une sécurité renforcée. Implémentez différents niveaux d'accès pour chaque artefact en fonction des rôles et des besoins des utilisateurs.

Pour sécuriser vos artefacts de modèle, tenez compte des points suivants :

  • Pour protéger les artefacts de modèle et d'autres fichiers sensibles, chiffrez-les avec Cloud KMS. Ce chiffrement permet de protéger les données au repos et en transit, même si l'espace de stockage sous-jacent est compromis.
  • Pour sécuriser l'accès à vos fichiers, stockez-les dans Cloud Storage et configurez des contrôles d'accès.
  • Pour suivre les configurations incorrectes ou inadéquates et toute dérive par rapport aux normes que vous avez définies, utilisez Security Command Center pour configurer des stratégies de sécurité.
  • Pour activer le contrôle ultraprécis des accès et le chiffrement au repos, stockez vos artefacts de modèle dans Model Registry sur Gemini Enterprise Agent Platform. Pour plus de sécurité, créez une signature numérique pour les packages et les conteneurs produits lors des processus de compilation approuvés.
  • Pour bénéficier de la sécurité de niveau entreprise de Google Cloud, utilisez les modèles disponibles dans Model Garden. Model Garden fournit les modèles propriétaires de Google et propose des modèles tiers de partenaires sélectionnés.

  • Pour appliquer la gestion centralisée de tous les cycles de vie des utilisateurs et des groupes, et pour appliquer le principe du moindre privilège, utilisez IAM.

    • Créez et utilisez des comptes de service dédiés, basés sur le principe du moindre privilège, pour vos pipelines MLOps. Par exemple, le compte de service d'un pipeline d'entraînement est autorisé à lire les données d'un bucket Cloud Storage spécifique et à écrire des artefacts de modèle dans Model Registry.
    • Utilisez les conditions IAM pour appliquer un contrôle des accès conditionnel basé sur des attributs. Par exemple, une condition permet à un compte de service de déclencher un pipeline Agent Platform uniquement si la requête provient d'un déclencheur Cloud Build de confiance.

Pour sécuriser vos pipelines de déploiement, tenez compte des points suivants :

  • Pour gérer les étapes de MLOps sur les services et ressources Google Cloud , utilisez Agent Platform Pipelines, qui peut s'intégrer à d'autres services et fournir un contrôle des accès de bas niveau. Lorsque vous réexécutez les pipelines, veillez à effectuer des évaluations d'explicabilité (telles que les attributions de caractéristiques) et des vérifications d'IA responsable avant de déployer les artefacts du modèle. Ces vérifications peuvent vous aider à détecter ou à prévenir les problèmes de sécurité suivants :

    • Modifications non autorisées, qui peuvent indiquer une falsification du modèle.
    • Script intersites (XSS), qui peut indiquer des images de conteneurs ou des dépendances compromises.
    • Points de terminaison non sécurisés, qui peuvent indiquer une infrastructure de diffusion mal configurée.

  • Pour sécuriser les interactions du modèle lors de l'inférence, utilisez des points de terminaison privés basés sur Private Service Connect avec des conteneurs prédéfinis ou des conteneurs personnalisés. Créez des signatures de modèle avec un schéma d'entrée et de sortie prédéfini.

  • Pour automatiser le suivi des modifications de code, utilisez Git pour la gestion du code source et intégrez le contrôle des versions à des pipelines CI/CD robustes.

Pour en savoir plus, consultez Framework d'IA sécurisé (SAIF).

Appliquer la traçabilité et le suivi

Pour vous aider à respecter les exigences de conformité réglementaire auxquelles vous pourriez être soumis, appliquez la traçabilité et le suivi de vos éléments d'IA et de ML. La traçabilité et le suivi des données fournissent des enregistrements complets des modifications apportées aux données, aux modèles et au code. La provenance des modèles assure la transparence et la responsabilité tout au long du cycle de vie de l'IA et du ML.

Pour appliquer efficacement la traçabilité et le suivi dans Google Cloud, tenez compte des outils et services suivants :

  • Pour suivre la traçabilité des modèles, des ensembles de données et des artefacts qui sont automatiquement chiffrés au repos, utilisez Agent Platform ML Metadata. Enregistrez les métadonnées sur les sources de données, les transformations, les paramètres de modèle et les résultats des tests.
  • Pour suivre la traçabilité des artefacts de pipeline à partir d'Agent Platform Pipelines, et pour rechercher des ressources de modèles et d'ensembles de données, vous pouvez utiliser Knowledge Catalog. Suivez les artefacts de pipeline individuels lorsque vous souhaitez effectuer un débogage, un dépannage ou une analyse des causes principales. Pour suivre l'intégralité de votre pipeline MLOps, y compris la traçabilité des artefacts de pipeline, utilisez Agent Platform ML Metadata. Agent Platform ML Metadata vous permet également d'analyser les ressources et les exécutions. Model Registry applique et gère les versions de chaque modèle que vous stockez.
  • Pour suivre les appels d'API et les actions d'administration, activez les journaux d'audit pour Agent Platform. Analysez les journaux d'audit avec l'Analyse de l'observabilité pour savoir qui a accédé aux données et aux modèles, ou qui les a modifiés, et quand. Vous pouvez également acheminer les journaux vers des destinations tierces.

Déployer sur des systèmes sécurisés avec des outils et des artefacts sécurisés

Assurez-vous que votre code et vos modèles s'exécutent dans un environnement sécurisé. Cet environnement doit disposer d'un système de contrôle des accès robuste et fournir des garanties de sécurité pour les outils et les artefacts que vous déployez.

Pour déployer votre code sur des systèmes sécurisés, tenez compte des recommandations suivantes.

Entraîner et déployer des modèles dans un environnement sécurisé

Pour maintenir l'intégrité, la confidentialité et la disponibilité de vos systèmes d'IA et de ML, mettez en œuvre des contrôles d'accès stricts qui empêchent toute manipulation non autorisée des ressources. Cette défense vous aide à effectuer les opérations suivantes :

  • Limitez les risques de falsification du modèle, qui pourraient produire des résultats inattendus ou contradictoires.
  • Protégez vos données d'entraînement contre les violations de la confidentialité.
  • Maintenir le temps d'activité du service.
  • Maintenir la conformité réglementaire
  • Gagnez la confiance des utilisateurs.

Pour entraîner vos modèles de ML dans un environnement offrant une sécurité renforcée, utilisez des services gérés dans Google Cloud , tels que Cloud Run, Google Kubernetes Engine (GKE) et Managed Service pour Apache Spark. Vous pouvez également utiliser l'entraînement sans serveur Agent Platform.

Cette section fournit des recommandations pour vous aider à sécuriser davantage votre environnement d'entraînement et de déploiement.

Pour sécuriser votre environnement et vos périmètres, tenez compte des points suivants :

Pour sécuriser votre déploiement, tenez compte des points suivants :

  • Lorsque vous déployez des modèles, utilisez Model Registry. Si vous déployez des modèles dans des conteneurs, utilisez GKE Sandbox et Container-Optimized OS pour renforcer la sécurité et isoler les charges de travail. Restreignez l'accès aux modèles de Model Garden en fonction des rôles et des responsabilités des utilisateurs.
  • Pour sécuriser vos API de modèle, utilisez Apigee ou API Gateway. Pour éviter les abus, implémentez des clés API, l'authentification, l'autorisation et la limitation du débit. Pour contrôler l'accès aux API de modèle, utilisez des clés API et des mécanismes d'authentification.
  • Pour sécuriser l'accès aux modèles pendant la prédiction, utilisez l'inférence Gemini Enterprise Agent Platform. Pour empêcher l'exfiltration de données, utilisez des périmètres VPC Service Controls pour protéger les points de terminaison privés et régir l'accès aux modèles sous-jacents. Vous utilisez des points de terminaison privés pour autoriser l'accès aux modèles dans un réseau VPC. IAM n'est pas directement appliqué au point de terminaison privé, mais le service cible utilise IAM pour gérer l'accès aux modèles. Pour la prédiction en ligne, nous vous recommandons d'utiliser Private Service Connect.
  • Pour suivre les appels d'API liés au déploiement de modèles, activez Cloud Audit Logs pour Agent Platform. Les appels d'API pertinents incluent des activités telles que la création de points de terminaison, le déploiement de modèles et les mises à jour de configuration.
  • Pour étendre l'infrastructure Google Cloud aux emplacements périphériques, envisagez les solutions Google Distributed Cloud. Pour une solution entièrement déconnectée, vous pouvez utiliser Distributed Cloud sous air gap, qui ne nécessite pas de connectivité à Google Cloud.
  • Pour standardiser les déploiements et garantir la conformité avec les exigences réglementaires et de sécurité, utilisez Assured Workloads.

Suivre les consignes SLSA pour les artefacts d'IA

Suivez les consignes standards Supply-chain Levels for Software Artifacts (SLSA) pour vos artefacts spécifiques à l'IA, tels que les modèles et les packages logiciels.

SLSA est un framework de sécurité conçu pour vous aider à améliorer l'intégrité des artefacts logiciels et à empêcher les accès non autorisés. En respectant les consignes SLSA, vous pouvez renforcer la sécurité de votre pipeline d'IA et de ML, ainsi que des artefacts qu'il produit. Le respect de la spécification SLSA peut offrir les avantages suivants :

  • Confiance accrue dans vos artefacts d'IA et de ML : SLSA permet de s'assurer que vos modèles et packages logiciels ne sont pas altérés. Les utilisateurs peuvent également remonter à la source des modèles et des packages logiciels, ce qui renforce leur confiance dans l'intégrité et la fiabilité des artefacts.
  • Réduction du risque d'attaques de la chaîne d'approvisionnement : SLSA permet de limiter le risque d'attaques qui exploitent les failles de la chaîne d'approvisionnement logicielle, telles que les attaques qui injectent du code malveillant ou qui compromettent les processus de compilation.
  • Stratégie de sécurité améliorée : SLSA vous aide à renforcer la stratégie de sécurité globale de vos systèmes d'IA et de ML. Cette implémentation peut vous aider à réduire le risque d'attaques et à protéger vos ressources précieuses.

Pour implémenter SLSA pour vos artefacts d'IA et de ML sur Google Cloud, procédez comme suit :

  1. Comprendre les niveaux SLSA : familiarisez-vous avec les différents niveaux SLSA et leurs exigences. Plus le niveau augmente, plus l'intégrité qu'il fournit augmente également.
  2. Évaluez votre niveau actuel : évaluez vos pratiques actuelles par rapport au framework SLSA pour déterminer votre niveau actuel et identifier les points à améliorer.
  3. Définissez votre niveau cible : déterminez le niveau SLSA approprié à cibler en fonction de votre tolérance au risque, de vos exigences de sécurité et de la criticité de vos systèmes d'IA et de ML.

  4. Implémenter les exigences SLSA : pour atteindre votre niveau SLSA cible, implémentez les contrôles et les pratiques nécessaires, qui peuvent inclure les éléments suivants :

    • Contrôle de la source : utilisez un système de contrôle des versions comme Git pour suivre les modifications apportées à votre code et à vos configurations.
    • Processus de compilation : utilisez un service qui vous aide à sécuriser vos compilations, comme Cloud Build, et assurez-vous que votre processus de compilation est scripté ou automatisé.
    • Génération de provenance : générez des métadonnées de provenance qui capturent des détails sur la façon dont vos artefacts ont été créés, y compris le processus de compilation, le code source et les dépendances. Pour en savoir plus, consultez Suivre les métadonnées et Suivre les exécutions et les artefacts.
    • Signature d'artefacts : signez vos artefacts pour vérifier leur authenticité et leur intégrité.
    • Gestion des failles : analysez régulièrement vos artefacts et vos dépendances pour détecter les failles. Utilisez des outils tels qu'Artifact Analysis.
    • Sécurité du déploiement : mettez en œuvre des pratiques de déploiement qui contribuent à sécuriser vos systèmes, telles que celles décrites dans ce document.

  5. Amélioration continue : surveillez et améliorez votre implémentation SLSA pour faire face aux nouvelles menaces et failles, et efforcez-vous d'atteindre des niveaux SLSA plus élevés.

Utiliser des images de conteneurs prédéfinies validées

Pour éviter un point de défaillance unique pour vos étapes MLOps, isolez les tâches qui nécessitent une gestion des dépendances différente dans des conteneurs distincts. Par exemple, utilisez des conteneurs distincts pour l'extraction de caractéristiques, l'entraînement ou l'affinage, et les tâches d'inférence. Cette approche offre également aux ingénieurs en ML la flexibilité nécessaire pour contrôler et personnaliser leur environnement.

Pour promouvoir la cohérence du MLOps dans votre organisation, utilisez des conteneurs prédéfinis. Maintenez un répertoire central d'images de plate-forme de base validées et de confiance en suivant les bonnes pratiques suivantes :

  • Maintenez une équipe de plate-forme centralisée dans votre organisation qui crée et gère des conteneurs de base standardisés.
  • Étendez les images de conteneurs prédéfinies fournies par Agent Platform spécifiquement pour l'IA et le ML. Gérez les images de conteneurs dans un dépôt central au sein de votre organisation.

Agent Platform fournit divers conteneurs prédéfinis pour l'entraînement et l'inférence, et vous permet également d'utiliser des conteneurs personnalisés. Pour les modèles plus petits, vous pouvez réduire la latence d'inférence si vous chargez les modèles dans des conteneurs.

Pour améliorer la sécurité de la gestion de vos conteneurs, tenez compte des recommandations suivantes :

  • Utilisez Artifact Registry pour créer, stocker et gérer des dépôts d'images de conteneurs de différents formats. Artifact Registry gère le contrôle des accès avec IAM et intègre des fonctionnalités d'observabilité et d'évaluation des failles. Artifact Registry vous permet d'activer les fonctionnalités de sécurité des conteneurs, d'analyser les images de conteneurs et d'examiner les failles.
  • Exécutez les étapes d'intégration continue et créez des images de conteneurs avec Cloud Build. Les problèmes de dépendance peuvent être mis en évidence à ce stade. Si vous souhaitez déployer uniquement les images créées par Cloud Build, vous pouvez utiliser l'autorisation binaire. Pour éviter les attaques de la chaîne d'approvisionnement, déployez les images créées par Cloud Build dans Artifact Registry. Intégrez des outils de test automatisés tels que SonarQube, PyLint ou OWASP ZAP.
  • Utilisez une plate-forme de conteneurs comme GKE ou Cloud Run, optimisée pour les GPU ou les Cloud TPU pour les charges de travail d'IA et de ML. Envisagez les options d'analyse des failles pour les conteneurs dans les clusters GKE.

Envisager l'informatique confidentielle pour les GPU

Pour protéger les données utilisées, vous pouvez utiliser l'informatique confidentielle. Les mesures de sécurité conventionnelles protègent les données au repos et en transit, mais l'informatique confidentielle chiffre les données pendant leur traitement. Lorsque vous utilisez l'informatique confidentielle pour les GPU, vous contribuez à protéger les données d'entraînement et les paramètres de modèle sensibles contre les accès non autorisés. Vous pouvez également empêcher les accès non autorisés d'utilisateurs cloud privilégiés ou d'attaquants potentiels qui pourraient accéder à l'infrastructure sous-jacente.

Pour déterminer si vous avez besoin d'informatique confidentielle pour les GPU, tenez compte de la sensibilité des données, des exigences réglementaires et des risques potentiels.

Si vous configurez informatique confidentielle, tenez compte des options suivantes :

  • Pour les charges de travail d'IA à usage général et de ML, utilisez des instances Confidential VM avec des GPU NVIDIA T4. Ces instances de VM offrent un chiffrement matériel des données utilisées.
  • Pour les charges de travail conteneurisées, utilisez les nœuds Confidential Google Kubernetes Engine. Ces nœuds fournissent un environnement sécurisé et isolé pour vos pods.
  • Pour vous assurer que votre charge de travail s'exécute dans une enclave authentique et sécurisée, vérifiez les rapports d'attestation fournis par Confidential VM.
  • Pour suivre les performances, l'utilisation des ressources et les événements liés à la sécurité, surveillez vos ressources d'informatique confidentielle et vos nœuds Confidential GKE Node à l'aide de Monitoring et de Logging.

Vérifier et protéger les entrées

Traitez toutes les entrées de vos systèmes d'IA comme non fiables, qu'elles proviennent d'utilisateurs finaux ou d'autres systèmes automatisés. Pour sécuriser vos systèmes d'IA et vous assurer qu'ils fonctionnent comme prévu, vous devez détecter et nettoyer les vecteurs d'attaque potentiels dès le début.

Pour vérifier et protéger vos entrées, tenez compte des recommandations suivantes.

Mettre en œuvre des pratiques qui aident à sécuriser les systèmes d'IA générative

Traitez les prompts comme un composant d'application critique qui a la même importance pour la sécurité que le code. Mettez en œuvre une stratégie de défense en profondeur qui combine une conception proactive, un filtrage automatisé et une gestion rigoureuse du cycle de vie.

Pour sécuriser vos requêtes d'IA générative, vous devez les concevoir en tenant compte de la sécurité, les examiner avant de les utiliser et les gérer tout au long de leur cycle de vie.

Pour améliorer la sécurité de la conception et de l'ingénierie de vos requêtes, tenez compte des pratiques suivantes :

  • Structurez les prompts pour plus de clarté : concevez et testez tous vos prompts à l'aide des fonctionnalités de gestion des prompts d'Agent Studio sur Gemini Enterprise Agent Platform. Les prompts doivent avoir une structure claire et sans ambiguïté. Définissez un rôle, incluez des exemples few-shot et donnez des instructions spécifiques et limitées. Ces méthodes réduisent le risque que le modèle interprète mal une entrée utilisateur d'une manière qui crée une faille de sécurité.

  • Tester la robustesse et l'ancrage des entrées : testez tous vos systèmes de manière proactive par rapport aux entrées inattendues, incorrectes et malveillantes afin d'éviter les plantages ou les sorties non sécurisées. Utilisez les tests de la Red Team pour simuler des attaques réelles. Automatisez vos tests de robustesse en tant qu'étape standard de vos pipelines Agent Platform. Vous pouvez utiliser les techniques de test suivantes :

    • Tests de données aléatoires.
    • Testez directement les informations permettant d'identifier personnellement l'utilisateur, les entrées sensibles et les injections SQL.
    • Analyser les entrées multimodales pouvant contenir des logiciels malveillants ou enfreindre les règles relatives aux requêtes.

  • Mettre en œuvre une défense multicouche : utilisez plusieurs défenses et ne vous fiez jamais à une seule mesure défensive. Par exemple, pour une application basée sur la génération augmentée par récupération (RAG), utilisez un LLM distinct pour classer l'intention utilisateur entrante et rechercher des schémas malveillants. Ce LLM peut ensuite transmettre la requête au LLM principal plus puissant qui génère la réponse finale.

  • Nettoyer et valider les entrées : avant d'incorporer une entrée externe ou fournie par l'utilisateur dans une requête, filtrez et validez toutes les entrées dans le code de votre application. Cette validation est importante pour vous aider à éviter l'injection indirecte de prompts.

Pour le filtrage automatisé des requêtes et des réponses, tenez compte des pratiques suivantes :

  • Utilisez des services de sécurité complets : implémentez un service de sécurité dédié et indépendant du modèle, comme Model Armor, en tant que couche de protection obligatoire pour vos LLM. Model Armor inspecte les prompts et les réponses pour détecter les menaces telles que l'injection de prompt, les tentatives de jailbreaking et les contenus nuisibles. Pour vous assurer que vos modèles ne divulguent pas de données d'entraînement sensibles ni de propriété intellectuelle dans leurs réponses, utilisez l'intégration de Sensitive Data Protection avec Model Armor. Pour en savoir plus, consultez Filtres Model Armor.
  • Surveiller et consigner les interactions : conservez des journaux détaillés de toutes les requêtes et réponses pour vos points de terminaison de modèle. Utilisez Logging pour auditer ces interactions, identifier les schémas d'utilisation abusive et détecter les vecteurs d'attaque susceptibles d'émerger contre vos modèles déployés.

Pour sécuriser la gestion du cycle de vie des requêtes, tenez compte des pratiques suivantes :

  • Implémentez la gestion des versions pour les prompts : traitez tous vos prompts de production comme du code d'application. Utilisez un système de contrôle des versions comme Git pour créer un historique complet des modifications, appliquer des normes de collaboration et permettre le rollback vers des versions précédentes. Cette pratique essentielle du MLOps peut vous aider à maintenir des systèmes d'IA stables et sécurisés.
  • Centralisez la gestion des prompts : utilisez un répertoire central pour stocker, gérer et déployer tous vos prompts avec gestion des versions. Cette stratégie applique la cohérence entre les environnements et permet d'effectuer des mises à jour d'exécution sans avoir à redéployer l'application complète.
  • Effectuez des audits réguliers et des tests de la Red Team : testez en continu les défenses de votre système contre les failles connues, telles que celles listées dans le Top 10 de l'OWASP pour les applications LLM. En tant qu'ingénieur IA, vous devez être proactif et tester votre propre application en red teaming pour découvrir et corriger les failles avant qu'un pirate informatique ne puisse les exploiter.

Empêchez les requêtes malveillantes d'atteindre vos systèmes d'IA

En plus de l'authentification et de l'autorisation, abordées précédemment dans ce document, vous pouvez prendre d'autres mesures pour sécuriser vos systèmes d'IA contre les entrées malveillantes. Vous devez préparer vos systèmes d'IA aux scénarios post-authentification dans lesquels les pirates informatiques contournent les protocoles d'authentification et d'autorisation, puis tentent d'attaquer le système en interne.

Pour mettre en œuvre une stratégie complète permettant de protéger votre système contre les attaques post-authentification, appliquez les exigences suivantes :

  • Sécuriser les couches réseau et d'application : établissez une défense multicouche pour tous vos éléments d'IA.

    • Pour créer un périmètre de sécurité qui empêche l'exfiltration de données des modèles de Model Registry ou de données sensibles de BigQuery, utilisez VPC Service Controls. Utilisez toujours le mode dry run pour valider l'impact d'un périmètre avant de l'appliquer.
    • Pour protéger les outils Web tels que les notebooks, utilisez IAP.
    • Pour sécuriser tous les points de terminaison d'inférence, utilisez Apigee pour une sécurité et une gouvernance de niveau entreprise. Vous pouvez également utiliser API Gateway pour une authentification simple.

  • Surveillez les anomalies de schéma de requête : par exemple, un pirate informatique qui sonde un système pour détecter des failles peut envoyer des milliers de requêtes séquentielles légèrement différentes. Signalez les schémas de requête anormaux qui ne reflètent pas le comportement normal des utilisateurs.

  • Surveillez le volume de requêtes : un pic soudain du volume de requêtes indique fortement une attaque par déni de service (DoS) ou une attaque par vol de modèle, qui est une tentative de rétro-ingénierie du modèle. Utilisez la limitation du débit et la limitation pour contrôler le volume de requêtes provenant d'une seule adresse IP ou d'un seul utilisateur.

  • Surveiller et définir des alertes pour les anomalies géographiques et temporelles : établissez une référence pour les modèles d'accès normaux. Générez des alertes en cas d'activité soudaine provenant d'emplacements géographiques inhabituels ou à des heures inhabituelles. Par exemple, un pic massif de connexions depuis un nouveau pays à 3h du matin.

Surveiller, évaluer et se préparer à répondre aux résultats

Les systèmes d'IA sont utiles, car ils produisent des résultats qui améliorent, optimisent ou automatisent la prise de décision humaine. Pour préserver l'intégrité et la fiabilité de vos systèmes et applications d'IA, assurez-vous que les sorties sont sécurisées et respectent les paramètres attendus. Vous devez également disposer d'un plan de réponse aux incidents.

Pour gérer vos sorties, tenez compte des recommandations suivantes.

Évaluer les performances du modèle à l'aide de métriques et de mesures de sécurité

Pour vous assurer que vos modèles d'IA répondent aux benchmarks de performances, aux exigences de sécurité et aux normes d'équité et de conformité, évaluez-les minutieusement. Effectuez des évaluations avant le déploiement, puis continuez à évaluer régulièrement les modèles en production. Pour minimiser les risques et créer des systèmes d'IA fiables, mettez en œuvre une stratégie d'évaluation complète qui combine des métriques de performances et des évaluations de sécurité spécifiques à l'IA.

Pour évaluer la robustesse et la stratégie de sécurité du modèle, tenez compte des recommandations suivantes :

  • Implémenter la signature et la validation des modèles dans votre pipeline MLOps.

    • Pour les modèles conteneurisés, utilisez l'autorisation binaire pour valider les signatures.
    • Pour les modèles déployés directement sur des points de terminaison Agent Platform, utilisez des vérifications personnalisées dans vos scripts de déploiement pour la validation.
    • Pour n'importe quel modèle, utilisez Cloud Build pour la signature du modèle.

  • Évaluez la résilience de votre modèle face à des entrées inattendues ou contradictoires.

    • Pour tous vos modèles, testez-les pour détecter les corruptions de données courantes et les modifications de données potentiellement malveillantes. Pour orchestrer ces tests, vous pouvez utiliser l'entraînement géré Agent Platform ou Agent Platform Pipelines.
    • Pour les modèles critiques en termes de sécurité, effectuez des simulations d'attaques par requêtes antagonistes pour comprendre les failles potentielles.
    • Pour les modèles déployés dans des conteneurs, utilisez Artifact Analysis dans Artifact Registry pour analyser les images de base à la recherche de failles.

  • Utilisez Model Monitoring sur Gemini Enterprise Agent Platform pour détecter les dérives et les écarts des modèles déployés. Ensuite, réinjectez ces insights dans les cycles de réévaluation ou de réentraînement.

  • Utilisez les évaluations de modèle d'Agent Platform en tant que composant de pipeline avec Agent Platform Pipelines. Vous pouvez exécuter le composant d'évaluation de modèle seul ou avec d'autres composants de pipeline. Comparez les versions du modèle aux métriques et aux ensembles de données que vous avez définis. Enregistrez les résultats de l'évaluation dans les métadonnées de ML d'Agent Platform pour la traçabilité et le suivi.

  • Utilisez ou développez le service d'évaluation de l'IA générative pour évaluer les modèles que vous avez choisis ou pour mettre en œuvre des workflows d'évaluation humaine personnalisés.

Pour évaluer l'équité, les biais, l'explicabilité et la factualité, tenez compte des recommandations suivantes :

  • Définissez des mesures d'équité qui correspondent à vos cas d'utilisation, puis évaluez vos modèles pour détecter d'éventuels biais dans différentes tranches de données.
  • Comprendre quelles caractéristiques déterminent les prédictions du modèle afin de s'assurer que les caractéristiques et les prédictions qui en résultent sont conformes aux connaissances du domaine et aux consignes éthiques.
  • Utilisez des techniques d'explicabilité pour obtenir des attributions de caractéristiques pour vos modèles.
  • Utilisez le service d'évaluation de l'IA générative pour calculer les métriques. Pendant la phase de vérification de la source, la métrique d'ancrage du service vérifie la factualité par rapport au texte source fourni.
  • Activez l'ancrage pour la sortie de votre modèle afin de faciliter une deuxième couche de vérification de la source au niveau de l'utilisateur.
  • Examinez nos principes concernant l'IA et adaptez-les à vos applications d'IA.

Surveiller les sorties des modèles d'IA et de ML en production

Surveillez en continu vos modèles d'IA et de ML, ainsi que l'infrastructure qui les prend en charge en production. Il est important d'identifier et de diagnostiquer rapidement les dégradations de la qualité ou des performances des sorties du modèle, les failles de sécurité qui apparaissent et les écarts par rapport aux exigences de conformité. Cette surveillance vous aide à maintenir la sécurité, la fiabilité et la fiabilité du système.

Pour surveiller les résultats du système d'IA afin de détecter les anomalies, les menaces et la dégradation de la qualité, tenez compte des recommandations suivantes :

  • Utilisez Agent Platform Model Monitoring pour les sorties de votre modèle afin de suivre les changements inattendus dans les distributions de prédictions ou les pics de prédictions de modèle à faible confiance. Surveillez activement les sorties de votre modèle d'IA générative pour détecter les contenus générés dangereux, biaisés, hors sujet ou malveillants. Vous pouvez également utiliser Model Armor pour filtrer toutes les sorties de votre modèle.
  • Identifiez des schémas d'erreur spécifiques, capturez des indicateurs de qualité ou détectez des résultats nuisibles ou non conformes au niveau de l'application. Pour identifier ces problèmes, utilisez la surveillance personnalisée dans les tableaux de bord Monitoring et les métriques basées sur les journaux de Logging.

Pour surveiller les sorties afin de détecter les signaux spécifiques à la sécurité et les modifications non autorisées, tenez compte des recommandations suivantes :

  • Identifiez les tentatives d'accès non autorisées aux modèles d'IA, aux ensembles de données dans Cloud Storage ou BigQuery, ou aux composants de pipeline MLOps. En particulier, identifiez les modifications inattendues ou non autorisées des autorisations IAM pour les ressources d'IA. Pour suivre ces activités et les examiner afin de détecter des schémas suspects, utilisez les journaux d'audit des activités d'administration et des accès aux données dans Cloud Audit Logs. Intégrez les résultats de Security Command Center, qui peut signaler les erreurs de configuration de sécurité et les menaces potentielles liées à vos éléments d'IA.
  • Surveillez les sorties pour détecter les volumes élevés de requêtes ou les requêtes provenant de sources suspectes, qui pourraient indiquer des tentatives de rétro-ingénierie de modèles ou d'exfiltration de données. Vous pouvez également utiliser Sensitive Data Protection pour surveiller l'exfiltration de données potentiellement sensibles.
  • Intégrez les journaux à vos opérations de sécurité. Utilisez Google Security Operations pour détecter, orchestrer et répondre à toutes les cybermenaces provenant de vos systèmes d'IA.

Pour suivre l'état de fonctionnement et les performances de l'infrastructure qui diffuse vos modèles d'IA, tenez compte des recommandations suivantes :

  • Identifiez les problèmes opérationnels susceptibles d'avoir un impact sur la diffusion des services ou les performances du modèle.
  • Surveillez la latence, les taux d'erreur et les modèles de trafic des points de terminaison Agent Platform.
  • Surveiller l'état d'exécution et les erreurs des pipelines MLOps
  • Utilisez Monitoring, qui fournit des métriques prêtes à l'emploi. Vous pouvez également créer des tableaux de bord personnalisés pour vous aider à identifier des problèmes tels que des pannes de point de terminaison ou des défaillances de pipeline.

Mettre en œuvre des procédures d'alerte et de réponse aux incidents

Lorsque vous identifiez des problèmes potentiels de performances, de sécurité ou de conformité, il est essentiel d'y répondre efficacement. Pour garantir que les équipes appropriées sont averties en temps opportun, mettez en œuvre des mécanismes d'alerte robustes. Établissez et mettez en œuvre des procédures complètes de réponse aux incidents prenant en compte l'IA pour gérer, contenir et résoudre efficacement ces problèmes.

Pour établir des mécanismes d'alerte robustes pour les problèmes d'IA que vous identifiez, tenez compte des recommandations suivantes :

  • Configurez des alertes exploitables pour avertir les équipes concernées, en fonction des activités de surveillance de votre plate-forme. Par exemple, configurez des alertes pour qu'elles se déclenchent lorsque la surveillance de modèles sur Agent Platform détecte des anomalies de dérive, de décalage ou de prédiction importantes. Vous pouvez également configurer des alertes pour qu'elles se déclenchent lorsque Model Armor ou des règles de surveillance personnalisées signalent des entrées malveillantes ou des sorties non sécurisées.
  • Définissez des canaux de notification clairs, qui peuvent inclure Slack, les e-mails ou les SMS via des intégrations Pub/Sub. Personnalisez les canaux de notification en fonction de la gravité des alertes et des équipes responsables.

Élaborer et opérationnaliser un plan de réponse aux incidents prenant en compte l'IA Un plan de réponse aux incidents structuré est essentiel pour minimiser les impacts potentiels et assurer la récupération. Personnalisez ce plan pour gérer les risques spécifiques à l'IA, tels que la falsification de modèles, les prédictions incorrectes dues à la dérive, l'injection de prompt ou les résultats non sécurisés des modèles génératifs. Pour créer un plan efficace, incluez les phases clés suivantes :

  • Préparation : identifiez les ressources et leurs failles, développez des playbooks et assurez-vous que vos équipes disposent des droits appropriés. Cette phase comprend les tâches suivantes :

    • Identifiez les éléments d'IA critiques, tels que les modèles, les ensembles de données et les ressources Agent Platform spécifiques, comme les points de terminaison ou les instances Feature Store.
    • Identifiez les modes de défaillance ou les vecteurs d'attaque potentiels des éléments.

    • Développez des playbooks spécifiques à l'IA pour les incidents qui correspondent au modèle des menaces de votre organisation. Par exemple, les playbooks peuvent inclure les éléments suivants :

      • Un rollback de modèle qui utilise la gestion des versions dans Model Registry.
      • Un pipeline de réentraînement d'urgence sur Agent Platform Managed Training.
      • L'isolation d'une source de données compromise dans BigQuery ou Cloud Storage.

    • Utilisez IAM pour vous assurer que les équipes d'intervention disposent de l'accès avec privilèges minimum nécessaire aux outils requis lors d'un incident.

  • Identification et tri : utilisez les alertes configurées pour détecter et valider les incidents potentiels. Établissez des critères et des seuils clairs pour la manière dont votre organisation enquête sur un incident lié à l'IA ou le déclare. Pour une investigation détaillée et la collecte de preuves, utilisez Logging pour les journaux d'application et de service, et Cloud Audit Logs pour les activités d'administration et les modèles d'accès aux données. Les équipes de sécurité peuvent utiliser Google SecOps pour analyser plus en détail la télémétrie de sécurité.

  • Confinement : isolez les systèmes ou composants d'IA concernés pour éviter tout impact supplémentaire ou toute exfiltration de données. Cette phase peut inclure les tâches suivantes :

    • Désactivez un point de terminaison Agent Platform problématique.
    • Révoquez des autorisations IAM spécifiques.
    • Mettez à jour les règles de pare-feu ou les stratégies Google Cloud Armor.
    • Mettre en pause un pipeline Agent Platform qui ne fonctionne pas correctement.

  • Éradication : identifier et supprimer la cause principale de l'incident. Cette phase peut inclure les tâches suivantes :

    • Corriger le code vulnérable dans un conteneur de modèle personnalisé.
    • Supprimer les portes dérobées malveillantes identifiées d'un modèle.
    • Nettoyez les données empoisonnées avant de lancer un job de réentraînement sécurisé sur Agent Platform Managed Training.
    • Mettez à jour les configurations non sécurisées.
    • Affinez la logique de validation des entrées pour bloquer des techniques d'injection de prompt spécifiques.

  • Récupération et redéploiement sécurisé : restaurez les systèmes d'IA affectés à un état opérationnel connu, sûr et sécurisé. Cette phase peut inclure les tâches suivantes :

    • Déployez une version de modèle précédemment validée et approuvée à partir de Model Registry.
    • Veillez à rechercher et à appliquer tous les correctifs de sécurité pour les failles susceptibles d'être présentes dans votre code ou votre système.
    • Réinitialisez les autorisations IAM selon le principe du moindre privilège.

  • Activité post-incident et enseignements tirés : après avoir résolu les incidents d'IA importants, effectuez un examen post-incident approfondi. Cet examen implique toutes les équipes concernées, telles que les équipes d'IA et de ML, de MLOps, de sécurité et de data science. Comprendre le cycle de vie complet de l'incident. Utilisez ces insights pour affiner la conception du système d'IA, mettre à jour les contrôles de sécurité, améliorer les configurations de surveillance et optimiser le plan et les playbooks de réponse aux incidents d'IA.

Intégrez la réponse aux incidents d'IA aux frameworks organisationnels plus larges, tels que la gestion des incidents informatiques et de sécurité, pour un effort coordonné. Pour aligner votre réponse aux incidents spécifiques à l'IA sur les frameworks de votre organisation, tenez compte des points suivants :

  • Escalade : définissez des procédures claires pour escalader les incidents d'IA importants vers le SOC central, l'équipe informatique, le service juridique ou les unités commerciales concernées.
  • Communication : utilisez les canaux organisationnels établis pour tous les signalements d'incidents et les mises à jour internes et externes.
  • Outils et processus : utilisez les systèmes de gestion des incidents et de tickets d'entreprise existants pour les incidents liés à l'IA afin d'assurer un suivi et une visibilité cohérents.
  • Collaboration : prédéfinissez des protocoles de collaboration entre les équipes d'IA et de ML, de MLOps, de data science, de sécurité, juridiques et de conformité pour répondre efficacement aux incidents liés à l'IA.

Contributeurs

Auteurs :

Autres contributeurs :

Précédent
Excellence opérationnelle
Suivant
Fiabilité