Inspection d'images et masquage du contenu sensible

Ce document décrit les fonctionnalités d'inspection et de masquage d'images de Sensitive Data Protection.

À l'aide de détecteurs d'infoTypes, Sensitive Data Protection inspecte une image encodée en base64 et détecte les données sensibles qu'elle contient. Sensitive Data Protection peut ensuite renvoyer des informations sur l'emplacement des données sensibles dans l'image ou masquer les données sensibles en les masquant avec un rectangle opaque.

L'inspection et l'occultation sont deux opérations distinctes :

  • Inspection : Sensitive Data Protection inspecte l'image encodée en base64 envoyée pour les infoTypes spécifiés. Elle retourne ensuite une réponse incluant les infoTypes détectés, ainsi qu'un ou plusieurs groupes de valeurs (chaque groupe est composé d'un ensemble de coordonnées de pixels et de dimensions). Chaque ensemble de coordonnées de pixel et de valeurs de dimension indique respectivement l'angle inférieur gauche et les dimensions des cadres de délimitation. Chaque cadre de délimitation correspond à tout ou partie d'un résultat de Sensitive Data Protection.
  • Masquage : Sensitive Data Protection inspecte l'image encodée en base64 envoyée pour les infoTypes spécifiés. Sensitive Data Protection masque toutes les données sensibles détectées en les recouvrant de rectangles opaques. Elle renvoie l'image masquée encodée en base64 dans le même format d'image que l'image d'origine. Vous pouvez également configurer la couleur des cadres de masquage dans la requête.

Quand utiliser l'inspection et l'occultation d'images ?

Voici quelques cas d'utilisation courants :

  • Masquer les données sensibles dans les documents numérisés : masquez les permis de conduire, les cartes d'identité nationales et les numéros de carte de crédit des pièces jointes PDF ou image importées avant de les traiter dans les workflows en aval.
  • Nettoyer les importations du service client : masquez automatiquement les numéros de compte et les coordonnées personnelles dans les captures d'écran envoyées par les utilisateurs avant que les demandes ne soient transmises aux agents d'assistance.
  • Localiser des éléments sensibles dans les contenus multimédias numériques : inspectez les images pour récupérer les coordonnées de pixel du cadre de délimitation du texte détecté, ce qui permet aux applications personnalisées d'examiner ou de flouter de manière sélective les régions ciblées.
  • Préparer des ensembles de données visuels pour le machine learning : masquez les données à caractère personnel sensibles des corpus d'images d'entraînement pour respecter les consignes en matière de confidentialité tout en préservant le contexte visuel environnant.

Types d'images compatibles

Pour obtenir la liste des types d'images compatibles, consultez Types de fichiers compatibles avec les opérations d'inspection et d'anonymisation.

À propos de l'inspection des images

Le service d'inspection Sensitive Data Protection accepte une image encodée en base64, puis recherche dans l'image toutes les données correspondant à ses critères d'inspection. Sensitive Data Protection renvoie les emplacements des données sensibles qu'il détecte.

Prenons l'exemple suivant :

Image d'origine contenant des objets sensibles.
Image d'origine (cliquez pour agrandir).

Le processus d'inspection des images est le suivant :

  1. Vous envoyez une requête content.inspect à l'API DLP. La requête contient l'image encodée en base64 et la configuration d'inspection, qui contient vos critères de détection.
  2. Sensitive Data Protection analyse l'image à l'aide de la configuration d'inspection et identifie les correspondances.
  3. Sensitive Data Protection renvoie les coordonnées et les dimensions des régions de l'image dans lesquelles il a trouvé des données sensibles en fonction de vos critères de détection.

Les coordonnées renvoyées indiquent où se trouvent les données sensibles. Sachez que Sensitive Data Protection utilise souvent plusieurs cadres pour indiquer l'emplacement d'une seule instance de données sensibles dans l'image.

Si Sensitive Data Protection ne trouve aucune donnée dans l'image correspondant à vos critères de détection, il renvoie une réponse HTTP 200 vide et réussie.

À propos du masquage d'image

La suppression d'images est semblable à l'inspection d'images, avec une étape supplémentaire. Une fois que Sensitive Data Protection a identifié les emplacements des données sensibles dans l'image, au lieu de renvoyer les coordonnées des zones contenant les données, il place des rectangles opaques sur ces zones et renvoie une image masquée encodée en base64.

Image masquée avec les données sensibles obscurcies.
Image masquée (cliquez pour agrandir)

Le processus de masquage d'image est le suivant :

  1. Vous envoyez une requête image.redact à l'API DLP. La requête contient l'image encodée en base64 et la configuration de masquage de l'image, qui contient vos critères de détection.
  2. Sensitive Data Protection analyse l'image à l'aide de la configuration de masquage d'image et identifie les correspondances.
  3. Sensitive Data Protection masque toutes les données sensibles détectées en les recouvrant d'un rectangle opaque. Il encode ensuite l'image en base64 et renvoie l'image masquée dans la réponse à la requête.

Si Sensitive Data Protection ne trouve aucune donnée dans l'image correspondant à vos critères de détection, il renvoie l'image encodée en base64 sans modification.

Fonctionnalités de détection d'images

Cette section décrit les fonctionnalités de détection d'images que vous pouvez appliquer à vos opérations d'inspection et de masquage. Pour toutes ces fonctionnalités, vous devez effectuer l'analyse dans un emplacement compatible avec l'analyse d'images.

Détectez du texte dans des images

Sensitive Data Protection utilise la reconnaissance optique des caractères (OCR) pour détecter le texte dans les images. Sensitive Data Protection analyse le texte détecté de la même manière qu'il analyse un corps de texte.

Pour détecter du texte dans des images, spécifiez n'importe quel infoType textuel, tel que PERSON_NAME et CREDIT_CARD_NUMBER, dans votre configuration d'inspection ou de suppression.

Reconnaître des objets et des thèmes dans des images

Sensitive Data Protection peut analyser les pixels et les caractéristiques des images qui ne sont pas principalement basées sur du texte. Sensitive Data Protection utilise cette technique pour les fonctionnalités suivantes.

Détection d'objets

Sensitive Data Protection peut classer et masquer des objets dans des images. Par exemple, vous pouvez configurer vos analyses pour détecter les pièces d'identité avec photo, les personnes et les plaques d'immatriculation dans les images.

Pour détecter des objets dans des images, spécifiez des infoTypes d'objets dans votre configuration d'inspection ou de masquage.

Pour en savoir plus, consultez les ressources suivantes :

Classification de la sécurité des images

Sensitive Data Protection peut classer et masquer des images en fonction de leur contenu thématique. Cette fonctionnalité vous aide à identifier les images contenant des sujets sensibles ou dangereux selon des catégories de sécurité prédéfinies.

Sensitive Data Protection analyse le contexte et la signification d'une image pour déterminer si elle appartient à des catégories telles que le contenu à caractère sexuel explicite ou violent. Vous pouvez utiliser cette fonctionnalité pour faciliter la modération du contenu et appliquer les règles d'utilisation acceptable.

Lors de la classification de la sécurité des images, Sensitive Data Protection analyse l'intégralité de l'image. Contrairement à la détection d'objets, qui identifie des éléments spécifiques dans une image, cette fonctionnalité évalue le sujet de l'image dans son ensemble. Si vous configurez l'occultation en fonction de la sécurité de l'image, cette fonctionnalité occulte l'intégralité de l'image.

Pour effectuer une classification de sécurité des images, spécifiez les infoTypes de contexte d'image dans votre configuration d'inspection ou de masquage.

Limites concernant les images générées

Les modèles utilisés par Sensitive Data Protection pour la classification de la sécurité des images sont principalement entraînés et évalués sur des images réelles. Bien que ces modèles puissent être utiles pour analyser les images générées par l'IA, leur efficacité à détecter tous les types de contenus non conformes aux règles dans les images générées par l'IA peut varier.

Si vous utilisez des infoTypes de contexte d'image sur des images générées par l'IA, il est possible que les éléments suivants ne soient pas détectés :

  • Contenu nuancé ou subtil
  • Scénarios dépendant du contexte, tels que les paramètres privés
  • Représentations non explicites de thèmes sensibles

Les performances de ces classificateurs sur les images générées par l'IA peuvent ne pas correspondre à celles observées avec des images naturelles. Nous vous recommandons de tester minutieusement vos cas d'utilisation spécifiques de l'IA générative pour vous assurer que les résultats répondent à vos exigences de sécurité. Ne vous fiez pas uniquement à ces classificateurs pour garantir la sécurité des applications d'IA générative à haut risque.

Étapes suivantes