Cette rubrique explique en détail comment créer un job d'inspection Sensitive Data Protection et comment planifier des jobs d'inspection récurrents en créant un déclencheur de job. Pour savoir rapidement comment créer un déclencheur de job à l'aide de l'interface utilisateur de Sensitive Data Protection, consultez la section Guide de démarrage rapide : Créer un déclencheur de job Sensitive Data Protection.
À propos des jobs d'inspection et des déclencheurs de jobs
Lorsque Sensitive Data Protection effectue une analyse d'inspection pour identifier les données sensibles, chaque analyse s'exécute en tant que job. Sensitive Data Protection crée et exécute une ressource de job chaque fois que vous lui demandez d'inspecter vos dépôts de stockage Google Cloud , y compris les buckets Cloud Storage, les tables BigQuery, les types Datastore et les données externes.
Vous pouvez planifier des jobs d'analyse d'inspection Sensitive Data Protection en créant des déclencheurs de jobs. Un déclencheur de job automatise la création de jobs Sensitive Data Protection de manière périodique. Il peut également être exécuté à la demande.
Pour en savoir plus sur les jobs et les déclencheurs de jobs dans Sensitive Data Protection, consultez la page conceptuelle Jobs et déclencheurs de jobs.
Créer un job d'inspection
Pour créer un job d'inspection Sensitive Data Protection :
Console
Dans la section Sensitive Data Protection de la console Google Cloud , accédez à la page Créer un job ou un déclencheur de job.
Accéder à la page "Créer un job ou un déclencheur de job"
La page Créer un job ou un déclencheur de jobs contient les sections suivantes :
Choisir les données d'entrée
Nom
Saisissez un nom pour la tâche. Vous pouvez utiliser des lettres, des chiffres et des traits d'union. Nommer votre tâche est facultatif Si vous ne saisissez pas de nom, Sensitive Data Protection attribue un identifiant numérique unique au job.
Emplacement
Dans le menu Type de stockage, choisissez le type de dépôt qui stockera les données que vous souhaitez analyser :
- Cloud Storage : saisissez l'URL du bucket que vous souhaitez analyser, ou sélectionnez Inclure/Exclure dans le menu Type d'emplacement, puis cliquez sur Parcourir pour accéder au bucket ou au sous-dossier à analyser. Cochez la case Analyser le dossier de manière récursive pour analyser le répertoire spécifié et tous les répertoires contenus. Ne cochez pas la case si vous ne souhaitez analyser que le répertoire spécifié.
- BigQuery : saisissez les identifiants du projet, de l'ensemble de données et de la table à analyser.
- Datastore : saisissez les identifiants du projet, de l'espace de noms (facultatif) et du genre à analyser.
- Hybride : vous pouvez ajouter des étiquettes obligatoires, des étiquettes facultatives et des options de gestion des données tabulaires. Pour en savoir plus, consultez Types de métadonnées que vous pouvez fournir.
Échantillonnage
L'échantillonnage est une méthode facultative permettant d'économiser des ressources si vous disposez d'une très grande quantité de données.
Sous Sampling (Échantillonnage), vous pouvez choisir d'analyser toutes les données sélectionnées ou d'échantillonner les données en analysant un certain pourcentage. L'échantillonnage fonctionne différemment selon le type de dépôt de stockage utilisé pour l'analyse :
- Pour BigQuery, vous pouvez échantillonner un sous-ensemble du nombre total de lignes sélectionnées, correspondant au pourcentage spécifié de fichiers à inclure dans l'analyse.
- Pour Cloud Storage, si un fichier dépasse la taille spécifiée dans Taille maximale d'octets à analyser par fichier, Sensitive Data Protection l'analyse jusqu'à cette taille maximale, puis passe au fichier suivant.
Pour activer l'échantillonnage, choisissez l'une des options suivantes dans le premier menu :
- Commencer l'échantillonnage à partir du début : Sensitive Data Protection commence l'analyse partielle au début des données. Pour BigQuery, l'analyse démarre à la première ligne. Pour Cloud Storage, l'analyse commence au début de chaque fichier et s'arrête une fois que Sensitive Data Protection a analysé la taille de fichier maximale spécifiée.
- Commencer l'échantillonnage à partir d'un point de départ aléatoire : Sensitive Data Protection commence l'analyse partielle à un emplacement aléatoire dans les données. Pour BigQuery, l'analyse se lance sur une ligne au hasard. Pour Cloud Storage, ce paramètre ne s'applique qu'aux fichiers qui dépassent une taille maximale spécifiée. Sensitive Data Protection analyse l'intégralité des fichiers dont la taille est inférieure à la taille maximale, et analyse les fichiers dont la taille est supérieure à la taille maximale jusqu'à la taille maximale.
Pour effectuer une analyse partielle, vous devez également choisir le pourcentage de données que vous souhaitez analyser. Utilisez le curseur pour définir le pourcentage.
Vous pouvez également limiter les fichiers ou les enregistrements à analyser par date. Pour savoir comment procéder, consultez la section Planification plus loin dans ce sujet.
Configuration avancée
Lorsque vous créez une tâche pour une analyse de buckets Cloud Storage ou de tables BigQuery, vous pouvez affiner votre recherche en spécifiant une configuration avancée. Plus précisément, vous pouvez configurer les éléments suivants :
- Fichiers (Cloud Storage seulement) : types de fichiers à analyser, y compris les fichiers texte, les fichiers binaires et les fichiers image.
- Champs d'identification (BigQuery uniquement) : identifiants de ligne uniques dans la table.
- Pour Cloud Storage, si un fichier dépasse la taille spécifiée dans Taille maximale d'octets à analyser par fichier, Sensitive Data Protection l'analyse jusqu'à cette taille maximale, puis passe au fichier suivant.
Pour activer l'échantillonnage, choisissez le pourcentage de données à analyser. Utilisez le curseur pour définir le pourcentage. Sélectionnez ensuite l'une des options suivantes dans le premier menu :
- Commencer l'échantillonnage à partir du début : Sensitive Data Protection commence l'analyse partielle au début des données. Pour BigQuery, l'analyse démarre à la première ligne. Pour Cloud Storage, l'analyse commence au début de chaque fichier et s'arrête une fois que Sensitive Data Protection a analysé la taille de fichier maximale spécifiée (voir ci-dessus).
- Commencer l'échantillonnage à partir d'un point de départ aléatoire : Sensitive Data Protection commence l'analyse partielle à un emplacement aléatoire dans les données. Pour BigQuery, l'analyse se lance sur une ligne au hasard. Pour Cloud Storage, ce paramètre ne s'applique qu'aux fichiers qui dépassent une taille maximale spécifiée. Sensitive Data Protection analyse l'intégralité des fichiers dont la taille est inférieure à la taille maximale, et analyse les fichiers dont la taille est supérieure à la taille maximale jusqu'à la taille maximale.
Fichiers
Pour les fichiers stockés dans Cloud Storage, l'onglet Files (Fichiers) permet de spécifier les types à inclure dans l'analyse.
Vous pouvez choisir parmi les fichiers binaires, texte, image, CSV, TSV, Microsoft Word, Microsoft Excel, Microsoft PowerPoint, PDF et Apache Avro. Pour obtenir la liste exhaustive des extensions de fichiers que Sensitive Data Protection peut analyser dans les buckets Cloud Storage, consultez FileType.
Si vous choisissez Binaire, Sensitive Data Protection analyse les fichiers de types non reconnus.
Champs d'identification
Pour les tables dans BigQuery, dans le champ Champs d'identification, vous pouvez demander à Sensitive Data Protection d'inclure les valeurs des colonnes de clé primaire de la table dans les résultats. Cela vous permet d'associer les résultats aux lignes du tableau qui les contiennent.
Saisissez les noms des colonnes qui identifient de manière unique chaque ligne de la table. Si nécessaire, utilisez la notation par points pour spécifier des champs imbriqués. Vous pouvez ajouter autant de champs que vous le souhaitez.
Vous devez également activer l'action Enregistrer dans BigQuery pour exporter les résultats vers BigQuery. Lorsque les résultats sont exportés vers BigQuery, chaque résultat contient les valeurs respectives des champs d'identification. Pour en savoir plus, consultez la page sur la méthode identifyingFields.
Configurer la détection
La section Configurer la détection vous permet de spécifier les types de données sensibles que vous souhaitez analyser. Cette section est facultative. Si vous ignorez cette section, Sensitive Data Protection analysera vos données pour un ensemble d'infoTypes par défaut.
Modèle
Vous pouvez éventuellement utiliser un modèle Sensitive Data Protection pour réutiliser les informations de configuration que vous avez spécifiées précédemment.
Si vous avez déjà créé un modèle que vous souhaitez utiliser, cliquez sur le champ Nom du modèle pour afficher une liste des modèles d'inspection existants. Choisissez ou saisissez le nom du modèle que vous souhaitez utiliser.
Pour en savoir plus sur la création de modèles, consultez Créer des modèles d'inspection Sensitive Data Protection.
InfoTypes
Les détecteurs d'infoType trouvent des données sensibles d'un certain type. Par exemple, le détecteur d'infoTypes intégré US_SOCIAL_SECURITY_NUMBER de Sensitive Data Protection recherche les numéros de sécurité sociale américains. En plus des détecteurs d'infoTypes intégrés, vous pouvez créer vos propres détecteurs d'infoTypes personnalisés.
Sous InfoTypes, choisissez le détecteur d'infoType qui correspond au type de données que vous souhaitez analyser. Nous vous déconseillons de laisser cette section vide. Dans ce cas, Sensitive Data Protection analyse vos données avec un ensemble d'infoTypes par défaut, qui peut inclure des infoTypes dont vous n'avez pas besoin. Pour en savoir plus sur chaque détecteur, consultez la documentation de référence sur les détecteurs d'infoTypes.
Pour en savoir plus sur la gestion des infoTypes intégrés et personnalisés dans cette section, consultez Gérer les infoTypes via la console Google Cloud .
Ensembles de règles d'inspection
Les ensembles de règles d'inspection vous permettent de personnaliser les détecteurs d'infoTypes intégrés et les détecteurs d'infoTypes personnalisés à l'aide de règles de contexte. Les types de règles d'inspection sont les suivants :
- Règles d'exclusion, qui permettent d'exclure les résultats faux ou indésirables.
- Règles relatives aux mots clés, qui permettent de détecter des résultats supplémentaires.
- Règles d'ajustement, qui ajustent la probabilité des résultats en fonction du contexte dans lequel ils apparaissent.
Pour ajouter un ensemble de règles, commencez par spécifier un ou plusieurs détecteurs d'infoTypes intégrés ou personnalisés dans la section InfoTypes. Sélectionnez tous les détecteurs d'infoTypes que vos ensembles de règles modifient (les infoTypes cibles) ou utilisent pour l'évaluation (les infoTypes de contexte). Ensuite, procédez comme suit :
- Cliquez sur Ajouter un ensemble de règles.
- Dans le champ Choisir des infoTypes cibles, sélectionnez les infoTypes que l'ensemble de règles modifie si les règles sont respectées.
- Cliquez sur Ajouter une règle pour ouvrir un menu d'options, y compris Règle relative aux mots clés, Règle d'exclusion et Règle d'ajustement.
Pour créer une règle relative aux mots clés, sélectionnez Règle relative aux mots clés. Ensuite, procédez comme suit :
- Dans le champ Mot clé, saisissez une expression régulière que Sensitive Data Protection doit rechercher.
- Dans le menu Proximité du mot clé, indiquez si le mot clé que vous avez saisi se trouve avant ou après l'infoType choisi.
- Dans Distance du mot clé par rapport à l'infoType, saisissez le nombre approximatif de caractères entre le mot clé et l'infoType choisi.
- Dans Ajustement du niveau de confiance, indiquez si vous souhaitez attribuer aux correspondances un niveau de probabilité fixe, ou augmenter ou diminuer le niveau de probabilité par défaut d'un certain montant.
Pour créer une règle d'exclusion, sélectionnez Règle d'exclusion et le type de règle d'exclusion à créer, par exemple Expression régulière. Ensuite, procédez comme suit :
- Selon le type de règle d'exclusion que vous avez sélectionné, saisissez l'expression régulière, l'expression, le mot clé ou l'infoType de contexte qui doit être trouvé pour que la règle s'applique.
- Selon le type de règle d'exclusion que vous avez sélectionné, définissez le type de correspondance ou le type de confinement d'image :
- Si vous avez sélectionné une règle d'exclusion basée sur du texte, sélectionnez l'un des types de correspondance suivants :
- Correspondance complète : le résultat doit correspondre complètement au texte ou à l'infoType contextuel que vous avez fourni.
- Correspondance partielle : une sous-chaîne du résultat doit correspondre à l'infoType de texte ou de contexte que vous avez fourni.
- Correspondance inverse : le résultat ne doit pas correspondre au texte ou à l'infoType contextuel que vous avez fourni.
- Si vous avez sélectionné une règle d'exclusion basée sur une image, sélectionnez la relation spatiale requise entre les infoTypes cible et de contexte. Par exemple, si vous sélectionnez Contient, le résultat de contexte doit contenir le résultat cible pour que la règle s'applique.
Pour créer une règle d'ajustement, sélectionnez Règle d'ajustement et le type de règle d'ajustement, par exemple Ajuster en fonction des résultats de l'image. Ensuite, procédez comme suit :
- Dans le champ InfoTypes de contexte, sélectionnez les détecteurs d'infoTypes qui fournissent le contexte du résultat cible. Sensitive Data Protection utilise des infoTypes de contexte pour évaluer s'il doit ajuster l'infoType cible.
- Dans le champ Probabilité minimale, sélectionnez le niveau de probabilité le plus bas que les infoTypes de contexte peuvent avoir et qui déclenche toujours la règle d'ajustement. Si la valeur de probabilité d'un résultat de contexte détecté est inférieure à cette valeur, Sensitive Data Protection n'ajuste pas la probabilité du résultat cible.
- Pour les résultats d'image, dans le champ Type de confinement d'image, sélectionnez la relation spatiale requise entre les infoTypes cible et de contexte. Par exemple, si vous sélectionnez Englobe, le résultat de contexte doit englober le résultat cible pour que la règle s'applique.
- Dans le champ Probabilité, sélectionnez le nouveau niveau de probabilité à attribuer au résultat cible.
Vous pouvez ajouter d'autres ensembles de règles pour affiner davantage les résultats de l'analyse.
Seuil de confiance
Chaque fois que Sensitive Data Protection détecte une correspondance potentielle pour des données sensibles, il lui attribue une valeur de probabilité sur une échelle allant de "Très peu probable" à "Très probable". Lorsque vous définissez une valeur de probabilité ici, vous demandez à Sensitive Data Protection de ne faire correspondre que les données qui correspondent à cette valeur de probabilité ou à une valeur supérieure.
La valeur par défaut "Possible" est suffisante dans la plupart des cas. Si vous obtenez régulièrement des correspondances trop larges lorsque vous utilisez ce modèle, déplacez le curseur vers le haut. Si vous obtenez trop peu de correspondances, déplacez le curseur vers le bas.
Lorsque vous avez terminé, cliquez sur Continuer.
Ajouter des actions
Dans le champ Ajouter des actions, sélectionnez une ou plusieurs actions que Sensitive Data Protection doit effectuer une fois le job terminé. Pour en savoir plus, consultez Activer les actions d'inspection ou d'analyse des risques.
Après avoir sélectionné des actions, cliquez sur Continuer.
Récapitulatif
La section Examen contient un résumé au format JSON des paramètres de tâche que vous venez de spécifier.
Cliquez sur Créer pour créer la tâche (si vous n'avez pas spécifié de programmation) et exécuter la tâche une fois. La page d'informations de la tâche apparaît, qui contient son état et d'autres informations. Si la tâche est en cours d'exécution, vous pouvez cliquer sur le bouton Annuler pour l'arrêter. Vous pouvez également supprimer la tâche en cliquant sur Supprimer.
Pour revenir à la page principale de Sensitive Data Protection, cliquez sur la flèche Retour dans la console Google Cloud .
C#
Pour savoir comment installer et utiliser la bibliothèque cliente pour Sensitive Data Protection, consultez Bibliothèques clientes Sensitive Data Protection.
Pour vous authentifier auprès de Sensitive Data Protection, configurez les Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour un environnement de développement local.
Go
Pour savoir comment installer et utiliser la bibliothèque cliente pour Sensitive Data Protection, consultez Bibliothèques clientes Sensitive Data Protection.
Pour vous authentifier auprès de Sensitive Data Protection, configurez les Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour un environnement de développement local.
Java
Pour savoir comment installer et utiliser la bibliothèque cliente pour Sensitive Data Protection, consultez Bibliothèques clientes Sensitive Data Protection.
Pour vous authentifier auprès de Sensitive Data Protection, configurez les Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour un environnement de développement local.
Node.js
Pour savoir comment installer et utiliser la bibliothèque cliente pour Sensitive Data Protection, consultez Bibliothèques clientes Sensitive Data Protection.
Pour vous authentifier auprès de Sensitive Data Protection, configurez les Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour un environnement de développement local.
PHP
Pour savoir comment installer et utiliser la bibliothèque cliente pour Sensitive Data Protection, consultez Bibliothèques clientes Sensitive Data Protection.
Pour vous authentifier auprès de Sensitive Data Protection, configurez les Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour un environnement de développement local.
Python
Pour savoir comment installer et utiliser la bibliothèque cliente pour Sensitive Data Protection, consultez Bibliothèques clientes Sensitive Data Protection.
Pour vous authentifier auprès de Sensitive Data Protection, configurez les Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour un environnement de développement local.
REST
Une tâche est représentée dans l'API DLP par la ressource DlpJobs. Vous pouvez créer un job à l'aide de la méthode de la ressource DlpJob.
Cet exemple de code JSON peut être envoyé dans une requête POST au point de terminaison REST Sensitive Data Protection spécifié. Cet exemple de code JSON montre comment créer un job dans Sensitive Data Protection. La tâche est une analyse d'inspection Datastore.
Pour l'essayer rapidement, vous pouvez utiliser l'explorateur d'API intégré ci-dessous. N'oubliez pas que la requête aboutit, même une requête créée dans l'explorateur d'API, créera une tâche. Pour obtenir des informations générales sur l'utilisation de JSON pour envoyer des requêtes à l'API DLP, consultez le guide de démarrage rapide JSON.
Entrée JSON :
{
"inspectJob": {
"storageConfig": {
"bigQueryOptions": {
"tableReference": {
"projectId": "bigquery-public-data",
"datasetId": "san_francisco_sfpd_incidents",
"tableId": "sfpd_incidents"
}
},
"timespanConfig": {
"startTime": "2020-01-01T00:00:01Z",
"endTime": "2020-01-31T23:59:59Z",
"timestampField": {
"name": "timestamp"
}
}
},
"inspectConfig": {
"infoTypes": [
{
"name": "PERSON_NAME"
},
{
"name": "STREET_ADDRESS"
}
],
"excludeInfoTypes": false,
"includeQuote": true,
"minLikelihood": "LIKELY"
},
"actions": [
{
"saveFindings": {
"outputConfig": {
"table": {
"projectId": "[PROJECT-ID]",
"datasetId": "[DATASET-ID]"
}
}
}
}
]
}
}
Sortie JSON :
La sortie suivante indique que la tâche a été créé avec succès.
{
"name": "projects/[PROJECT-ID]/dlpJobs/[JOB-ID]",
"type": "INSPECT_JOB",
"state": "PENDING",
"inspectDetails": {
"requestedOptions": {
"snapshotInspectTemplate": {},
"jobConfig": {
"storageConfig": {
"bigQueryOptions": {
"tableReference": {
"projectId": "bigquery-public-data",
"datasetId": "san_francisco_sfpd_incidents",
"tableId": "sfpd_incidents"
}
},
"timespanConfig": {
"startTime": "2020-01-01T00:00:01Z",
"endTime": "2020-01-31T23:59:59Z",
"timestampField": {
"name": "timestamp"
}
}
},
"inspectConfig": {
"infoTypes": [
{
"name": "PERSON_NAME"
},
{
"name": "STREET_ADDRESS"
}
],
"minLikelihood": "LIKELY",
"limits": {},
"includeQuote": true
},
"actions": [
{
"saveFindings": {
"outputConfig": {
"table": {
"projectId": "[PROJECT-ID]",
"datasetId": "[DATASET-ID]",
"tableId": "[TABLE-ID]"
}
}
}
}
]
}
},
"result": {}
},
"createTime": "2020-07-10T07:26:33.643Z"
}
Créer un déclencheur de job :
Pour créer un déclencheur de job Sensitive Data Protection :
Console
Dans la section Sensitive Data Protection de la console Google Cloud , accédez à la page Créer un job ou un déclencheur de job.
Accéder à la page "Créer un job ou un déclencheur de job"
La page Créer un job ou un déclencheur de jobs contient les sections suivantes :
Choisir les données d'entrée
Nom
Saisissez un nom pour le déclencheur de tâche. Vous pouvez utiliser des lettres, des chiffres et des traits d'union. Nommer votre déclencheur de tâche est facultatif. Si vous ne saisissez pas de nom, Sensitive Data Protection attribue un identifiant numérique unique au déclencheur de job.
Emplacement
Dans le menu Type de stockage, choisissez le type de dépôt qui stockera les données que vous souhaitez analyser :
- Cloud Storage : saisissez l'URL du bucket que vous souhaitez analyser, ou sélectionnez Inclure/Exclure dans le menu Type d'emplacement, puis cliquez sur Parcourir pour accéder au bucket ou au sous-dossier à analyser. Cochez la case Analyser le dossier de manière récursive pour analyser le répertoire spécifié et tous les répertoires contenus. Ne cochez pas la case si vous ne souhaitez analyser que le répertoire spécifié.
- BigQuery : saisissez les identifiants du projet, de l'ensemble de données et de la table à analyser.
- Datastore : saisissez les identifiants du projet, de l'espace de noms (facultatif) et du genre à analyser.
Échantillonnage
L'échantillonnage est une méthode facultative permettant d'économiser des ressources si vous disposez d'une très grande quantité de données.
Sous Sampling (Échantillonnage), vous pouvez choisir d'analyser toutes les données sélectionnées ou d'échantillonner les données en analysant un certain pourcentage. L'échantillonnage fonctionne différemment selon le type de dépôt de stockage utilisé pour l'analyse :
- Pour BigQuery, vous pouvez échantillonner un sous-ensemble du nombre total de lignes sélectionnées, correspondant au pourcentage spécifié de fichiers à inclure dans l'analyse.
- Pour Cloud Storage, si un fichier dépasse la taille spécifiée dans Taille maximale d'octets à analyser par fichier, Sensitive Data Protection l'analyse jusqu'à cette taille maximale, puis passe au fichier suivant.
Pour activer l'échantillonnage, choisissez l'une des options suivantes dans le premier menu :
- Commencer l'échantillonnage à partir du début : Sensitive Data Protection commence l'analyse partielle au début des données. Pour BigQuery, l'analyse démarre à la première ligne. Pour Cloud Storage, l'analyse commence au début de chaque fichier et s'arrête une fois que Sensitive Data Protection a analysé la taille de fichier maximale spécifiée (voir ci-dessus).
- Commencer l'échantillonnage à partir d'un point de départ aléatoire : Sensitive Data Protection commence l'analyse partielle à un emplacement aléatoire dans les données. Pour BigQuery, l'analyse se lance sur une ligne au hasard. Pour Cloud Storage, ce paramètre ne s'applique qu'aux fichiers qui dépassent une taille maximale spécifiée. Sensitive Data Protection analyse l'intégralité des fichiers dont la taille est inférieure à la taille maximale, et analyse les fichiers dont la taille est supérieure à la taille maximale jusqu'à la taille maximale.
Pour effectuer une analyse partielle, vous devez également choisir le pourcentage de données que vous souhaitez analyser. Utilisez le curseur pour définir le pourcentage.
Configuration avancée
Lorsque vous créez un déclencheur de tâche pour une analyse des buckets Cloud Storage ou des tables BigQuery, vous pouvez affiner votre recherche en spécifiant une configuration avancée. Plus précisément, vous pouvez configurer les éléments suivants :
- Fichiers (Cloud Storage seulement) : types de fichiers à analyser, y compris les fichiers texte, les fichiers binaires et les fichiers image.
- Champs d'identification (BigQuery uniquement) : identifiants de ligne uniques dans la table.
- Pour Cloud Storage, si un fichier dépasse la taille spécifiée dans Taille maximale d'octets à analyser par fichier, Sensitive Data Protection l'analyse jusqu'à cette taille maximale, puis passe au fichier suivant.
Pour activer l'échantillonnage, choisissez le pourcentage de données à analyser. Utilisez le curseur pour définir le pourcentage. Sélectionnez ensuite l'une des options suivantes dans le premier menu :
- Commencer l'échantillonnage à partir du début : Sensitive Data Protection commence l'analyse partielle au début des données. Pour BigQuery, l'analyse démarre à la première ligne. Pour Cloud Storage, l'analyse commence au début de chaque fichier et s'arrête une fois que Sensitive Data Protection a analysé la taille de fichier maximale spécifiée (voir ci-dessus).
- Commencer l'échantillonnage à partir d'un point de départ aléatoire : Sensitive Data Protection commence l'analyse partielle à un emplacement aléatoire dans les données. Pour BigQuery, l'analyse se lance sur une ligne au hasard. Pour Cloud Storage, ce paramètre ne s'applique qu'aux fichiers qui dépassent une taille maximale spécifiée. Sensitive Data Protection analyse l'intégralité des fichiers dont la taille est inférieure à la taille maximale, et analyse les fichiers dont la taille est supérieure à la taille maximale jusqu'à la taille maximale.
Fichiers
Pour les fichiers stockés dans Cloud Storage, l'onglet Files (Fichiers) permet de spécifier les types à inclure dans l'analyse.
Vous pouvez choisir entre des fichiers binaires, texte, image, Microsoft Word, Microsoft Excel, Microsoft Powerpoint, PDF et Apache Avro. Pour obtenir la liste exhaustive des extensions de fichiers que Sensitive Data Protection peut analyser dans les buckets Cloud Storage, consultez FileType.
Si vous choisissez Binaire, Sensitive Data Protection analyse les fichiers de types non reconnus.
Champs d'identification
Pour les tables dans BigQuery, dans le champ Champs d'identification, vous pouvez demander à Sensitive Data Protection d'inclure les valeurs des colonnes de clé primaire de la table dans les résultats. Cela vous permet d'associer les résultats aux lignes du tableau qui les contiennent.
Saisissez les noms des colonnes qui identifient de manière unique chaque ligne de la table. Si nécessaire, utilisez la notation par points pour spécifier des champs imbriqués. Vous pouvez ajouter autant de champs que vous le souhaitez.
Vous devez également activer l'action Enregistrer dans BigQuery pour exporter les résultats vers BigQuery. Lorsque les résultats sont exportés vers BigQuery, chaque résultat contient les valeurs respectives des champs d'identification. Pour en savoir plus, consultez la page sur la méthode identifyingFields.
Configurer la détection
La section Configurer la détection vous permet de spécifier les types de données sensibles que vous souhaitez analyser. Cette section est facultative. Si vous ignorez cette section, Sensitive Data Protection analysera vos données pour un ensemble d'infoTypes par défaut.
Modèle
Vous pouvez éventuellement utiliser un modèle Sensitive Data Protection pour réutiliser les informations de configuration que vous avez spécifiées précédemment.
Si vous avez déjà créé un modèle que vous souhaitez utiliser, cliquez sur le champ Nom du modèle pour afficher une liste des modèles d'inspection existants. Choisissez ou saisissez le nom du modèle que vous souhaitez utiliser.
Pour en savoir plus sur la création de modèles, consultez Créer des modèles d'inspection Sensitive Data Protection.
InfoTypes
Les détecteurs d'infoType trouvent des données sensibles d'un certain type. Par exemple, le détecteur d'infoTypes intégré US_SOCIAL_SECURITY_NUMBER de Sensitive Data Protection recherche les numéros de sécurité sociale américains. En plus des détecteurs d'infoType intégrés, vous pouvez créer vos propres détecteurs d'infoType personnalisés.
Sous InfoTypes, choisissez le détecteur d'infoType qui correspond au type de données que vous souhaitez analyser. Vous pouvez également laisser ce champ vide pour rechercher tous les infoTypes par défaut. Vous trouverez plus d'informations sur chaque détecteur dans la documentation de référence sur les détecteurs d'infoType.
Vous pouvez également ajouter des détecteurs d'infoType personnalisés dans la section InfoTypes personnalisés, et personnaliser les détecteurs d'infoType intégrés et personnalisés dans la section Ensembles de règles d'inspection.
InfoTypes personnalisés
Pour ajouter des infoTypes personnalisés, consultez Ajouter des infoTypes personnalisés.
Ensembles de règles d'inspection
Les ensembles de règles d'inspection vous permettent de personnaliser les détecteurs d'infoTypes intégrés et les détecteurs d'infoTypes personnalisés à l'aide de règles de contexte. Les types de règles d'inspection sont les suivants :
- Règles d'exclusion, qui permettent d'exclure les résultats faux ou indésirables.
- Règles relatives aux mots clés, qui permettent de détecter des résultats supplémentaires.
- Règles d'ajustement, qui ajustent la probabilité des résultats en fonction du contexte dans lequel ils apparaissent.
Pour ajouter un ensemble de règles, commencez par spécifier un ou plusieurs détecteurs d'infoTypes intégrés ou personnalisés dans la section InfoTypes. Sélectionnez tous les détecteurs d'infoTypes que vos ensembles de règles modifient (les infoTypes cibles) ou utilisent pour l'évaluation (les infoTypes de contexte). Ensuite, procédez comme suit :
- Cliquez sur Ajouter un ensemble de règles.
- Dans le champ Choisir des infoTypes cibles, sélectionnez les infoTypes que l'ensemble de règles modifie si les règles sont respectées.
- Cliquez sur Ajouter une règle pour ouvrir un menu d'options, y compris Règle relative aux mots clés, Règle d'exclusion et Règle d'ajustement.
Pour créer une règle relative aux mots clés, sélectionnez Règle relative aux mots clés. Ensuite, procédez comme suit :
- Dans le champ Mot clé, saisissez une expression régulière que Sensitive Data Protection doit rechercher.
- Dans le menu Proximité du mot clé, indiquez si le mot clé que vous avez saisi se trouve avant ou après l'infoType choisi.
- Dans Distance du mot clé par rapport à l'infoType, saisissez le nombre approximatif de caractères entre le mot clé et l'infoType choisi.
- Dans Ajustement du niveau de confiance, indiquez si vous souhaitez attribuer aux correspondances un niveau de probabilité fixe, ou augmenter ou diminuer le niveau de probabilité par défaut d'un certain montant.
Pour créer une règle d'exclusion, sélectionnez Règle d'exclusion et le type de règle d'exclusion à créer, par exemple Expression régulière. Ensuite, procédez comme suit :
- Selon le type de règle d'exclusion que vous avez sélectionné, saisissez l'expression régulière, l'expression, le mot clé ou l'infoType de contexte qui doit être trouvé pour que la règle s'applique.
- Selon le type de règle d'exclusion que vous avez sélectionné, définissez le type de correspondance ou le type de confinement d'image :
- Si vous avez sélectionné une règle d'exclusion basée sur du texte, sélectionnez l'un des types de correspondance suivants :
- Correspondance complète : le résultat doit correspondre complètement au texte ou à l'infoType contextuel que vous avez fourni.
- Correspondance partielle : une sous-chaîne du résultat doit correspondre à l'infoType de texte ou de contexte que vous avez fourni.
- Correspondance inverse : le résultat ne doit pas correspondre au texte ou à l'infoType contextuel que vous avez fourni.
- Si vous avez sélectionné une règle d'exclusion basée sur une image, sélectionnez la relation spatiale requise entre les infoTypes cible et de contexte. Par exemple, si vous sélectionnez Contient, le résultat de contexte doit contenir le résultat cible pour que la règle s'applique.
Pour créer une règle d'ajustement, sélectionnez Règle d'ajustement et le type de règle d'ajustement, par exemple Ajuster en fonction des résultats de l'image. Ensuite, procédez comme suit :
- Dans le champ InfoTypes de contexte, sélectionnez les détecteurs d'infoTypes qui fournissent le contexte du résultat cible. Sensitive Data Protection utilise des infoTypes de contexte pour évaluer s'il doit ajuster l'infoType cible.
- Dans le champ Probabilité minimale, sélectionnez le niveau de probabilité le plus bas que les infoTypes de contexte peuvent avoir et qui déclenche toujours la règle d'ajustement. Si la valeur de probabilité d'un résultat de contexte détecté est inférieure à cette valeur, Sensitive Data Protection n'ajuste pas la probabilité du résultat cible.
- Pour les résultats d'image, dans le champ Type de confinement d'image, sélectionnez la relation spatiale requise entre les infoTypes cible et de contexte. Par exemple, si vous sélectionnez Englobe, le résultat de contexte doit englober le résultat cible pour que la règle s'applique.
- Dans le champ Probabilité, sélectionnez le nouveau niveau de probabilité à attribuer au résultat cible.
Vous pouvez ajouter d'autres ensembles de règles pour affiner davantage les résultats de l'analyse.
Seuil de confiance
Chaque fois que Sensitive Data Protection détecte une correspondance potentielle pour des données sensibles, il lui attribue une valeur de probabilité sur une échelle allant de "Très peu probable" à "Très probable". Lorsque vous définissez une valeur de probabilité ici, vous demandez à Sensitive Data Protection de ne faire correspondre que les données qui correspondent à cette valeur de probabilité ou à une valeur supérieure.
La valeur par défaut "Possible" est suffisante dans la plupart des cas. Si vous obtenez régulièrement des correspondances trop larges lorsque vous utilisez ce modèle, déplacez le curseur vers le haut. Si vous obtenez trop peu de correspondances, déplacez le curseur vers le bas.
Lorsque vous avez terminé, cliquez sur Continuer.
Ajouter des actions
Dans le champ Ajouter des actions, sélectionnez une ou plusieurs actions que Sensitive Data Protection doit effectuer une fois le job terminé. Pour en savoir plus, consultez Activer les actions d'inspection ou d'analyse des risques.
Après avoir sélectionné des actions, cliquez sur Continuer.
Programmer
Dans la section Programmation, vous disposez de deux options :
- Specify timespan (Spécifier l'intervalle de temps) : cette option limite par date le nombre de fichiers ou de lignes à analyser. Cliquez sur Heure de début pour spécifier l'horodatage de fichier le plus ancien à inclure. Laissez cette valeur vide pour spécifier tous les fichiers. Cliquez sur Heure de fin pour spécifier le dernier horodatage de fichier à inclure. Laissez cette valeur vide pour ne spécifier aucune limite d'horodatage postérieure.
Créer un déclencheur pour exécuter le job selon une programmation régulière : cette option transforme le job en déclencheur de job qui s'exécute selon une programmation régulière. Si vous ne spécifiez pas de planification, vous créez une tâche unique qui démarre immédiatement et s'exécute une seule fois. Pour créer un déclencheur de job qui s'exécute régulièrement, vous devez définir cette option.
La valeur par défaut est également la valeur minimale, soit 24 heures. La valeur maximale est de 60 jours.
Si vous souhaitez que Sensitive Data Protection n'analyse que les nouveaux fichiers ou lignes, sélectionnez Limiter les analyses au nouveau contenu. Pour l'inspection BigQuery, seules les lignes datant d'au moins trois heures sont incluses dans l'analyse. Consultez le problème connu lié à cette opération.
Récapitulatif
La section Examen contient un résumé au format JSON des paramètres de tâche que vous venez de spécifier.
Cliquez sur Créer pour créer le déclencheur de tâche (si vous avez spécifié une programmation). La page d'informations du déclencheur de tâche apparaît, qui contient l'état et d'autres informations. Si la tâche est en cours d'exécution, vous pouvez cliquer sur le bouton Annuler pour l'arrêter. Vous pouvez également supprimer le déclencheur de tâche en cliquant sur Supprimer.
Pour revenir à la page principale de Sensitive Data Protection, cliquez sur la flèche Retour dans la console Google Cloud .
C#
Pour savoir comment installer et utiliser la bibliothèque cliente pour Sensitive Data Protection, consultez Bibliothèques clientes Sensitive Data Protection.
Pour vous authentifier auprès de Sensitive Data Protection, configurez les Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour un environnement de développement local.
Go
Pour savoir comment installer et utiliser la bibliothèque cliente pour Sensitive Data Protection, consultez Bibliothèques clientes Sensitive Data Protection.
Pour vous authentifier auprès de Sensitive Data Protection, configurez les Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour un environnement de développement local.
Java
Pour savoir comment installer et utiliser la bibliothèque cliente pour Sensitive Data Protection, consultez Bibliothèques clientes Sensitive Data Protection.
Pour vous authentifier auprès de Sensitive Data Protection, configurez les Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour un environnement de développement local.
Node.js
Pour savoir comment installer et utiliser la bibliothèque cliente pour Sensitive Data Protection, consultez Bibliothèques clientes Sensitive Data Protection.
Pour vous authentifier auprès de Sensitive Data Protection, configurez les Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour un environnement de développement local.
PHP
Pour savoir comment installer et utiliser la bibliothèque cliente pour Sensitive Data Protection, consultez Bibliothèques clientes Sensitive Data Protection.
Pour vous authentifier auprès de Sensitive Data Protection, configurez les Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour un environnement de développement local.
Python
Pour savoir comment installer et utiliser la bibliothèque cliente pour Sensitive Data Protection, consultez Bibliothèques clientes Sensitive Data Protection.
Pour vous authentifier auprès de Sensitive Data Protection, configurez les Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour un environnement de développement local.
REST
Un déclencheur de tâche est représenté dans l'API DLP par la ressource JobTrigger. Pour créer un déclencheur de job, vous pouvez utiliser la méthode de la ressource JobTrigger.
Cet exemple de code JSON peut être envoyé dans une requête POST au point de terminaison REST Sensitive Data Protection spécifié. Cet exemple JSON montre comment créer un déclencheur de job dans Sensitive Data Protection. La tâche lancée par ce déclencheur est une analyse d'inspection Cloud Datastore. Le déclencheur de tâche créé est exécuté toutes les 86 400 secondes (soit toutes les 24 heures).
Pour l'essayer rapidement, vous pouvez utiliser l'explorateur d'API intégré ci-dessous. Gardez à l'esprit qu'une requête réussie, même dans l'API Explorer, entraînera la création d'un déclencheur de tâche planifiée. Pour obtenir des informations générales sur l'utilisation de JSON pour envoyer des requêtes à l'API DLP, consultez le guide de démarrage rapide JSON.
Entrée JSON :
{
"jobTrigger":{
"displayName":"JobTrigger1",
"description":"Starts an inspection of a Datastore kind",
"triggers":[
{
"schedule":{
"recurrencePeriodDuration":"86400s"
}
}
],
"status":"HEALTHY",
"inspectJob":{
"storageConfig":{
"datastoreOptions":{
"kind":{
"name":"Example-Kind"
},
"partitionId":{
"projectId":"[PROJECT_ID]",
"namespaceId":"[NAMESPACE_ID]"
}
}
},
"inspectConfig":{
"infoTypes":[
{
"name":"PHONE_NUMBER"
}
],
"excludeInfoTypes":false,
"includeQuote":true,
"minLikelihood":"LIKELY"
},
"actions":[
{
"saveFindings":{
"outputConfig":{
"table":{
"projectId":"[PROJECT_ID]",
"datasetId":"[BIGQUERY_DATASET_NAME]",
"tableId":"[BIGQUERY_TABLE_NAME]"
}
}
}
}
]
}
}
}
Sortie JSON :
La sortie suivante indique que le déclencheur de tâche a été créé avec succès.
{
"name":"projects/[PROJECT_ID]/jobTriggers/[JOB_TRIGGER_NAME]",
"displayName":"JobTrigger1",
"description":"Starts an inspection of a Datastore kind",
"inspectJob":{
"storageConfig":{
"datastoreOptions":{
"partitionId":{
"projectId":"[PROJECT_ID]",
"namespaceId":"[NAMESPACE_ID]"
},
"kind":{
"name":"Example-Kind"
}
}
},
"inspectConfig":{
"infoTypes":[
{
"name":"PHONE_NUMBER"
}
],
"minLikelihood":"LIKELY",
"limits":{
},
"includeQuote":true
},
"actions":[
{
"saveFindings":{
"outputConfig":{
"table":{
"projectId":"[PROJECT_ID]",
"datasetId":"[BIGQUERY_DATASET_NAME]",
"tableId":"[BIGQUERY_TABLE_NAME]"
}
}
}
}
]
},
"triggers":[
{
"schedule":{
"recurrencePeriodDuration":"86400s"
}
}
],
"createTime":"2018-11-30T01:52:41.171857Z",
"updateTime":"2018-11-30T01:52:41.171857Z",
"status":"HEALTHY"
}
Répertorier toutes les tâches
Pour répertorier toutes les tâches du projet en cours, procédez comme suit :
Console
Dans la console Google Cloud , accédez à la page Sensitive Data Protection.
Cliquez sur l'onglet Inspection, puis sur le sous-onglet Jobs d'inspection.
La console affiche la liste de toutes les tâches du projet en cours, avec leur identifiant, leur état, leur date de création et leur heure de fin. Vous pouvez obtenir plus d'informations sur une tâche (et consulter un résumé de ses résultats) en cliquant sur son identifiant.
C#
Pour savoir comment installer et utiliser la bibliothèque cliente pour Sensitive Data Protection, consultez Bibliothèques clientes Sensitive Data Protection.
Pour vous authentifier auprès de Sensitive Data Protection, configurez les Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour un environnement de développement local.
Go
Pour savoir comment installer et utiliser la bibliothèque cliente pour Sensitive Data Protection, consultez Bibliothèques clientes Sensitive Data Protection.
Pour vous authentifier auprès de Sensitive Data Protection, configurez les Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour un environnement de développement local.
Java
Pour savoir comment installer et utiliser la bibliothèque cliente pour Sensitive Data Protection, consultez Bibliothèques clientes Sensitive Data Protection.
Pour vous authentifier auprès de Sensitive Data Protection, configurez les Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour un environnement de développement local.
Node.js
Pour savoir comment installer et utiliser la bibliothèque cliente pour Sensitive Data Protection, consultez Bibliothèques clientes Sensitive Data Protection.
Pour vous authentifier auprès de Sensitive Data Protection, configurez les Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour un environnement de développement local.
PHP
Pour savoir comment installer et utiliser la bibliothèque cliente pour Sensitive Data Protection, consultez Bibliothèques clientes Sensitive Data Protection.
Pour vous authentifier auprès de Sensitive Data Protection, configurez les Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour un environnement de développement local.
Python
Pour savoir comment installer et utiliser la bibliothèque cliente pour Sensitive Data Protection, consultez Bibliothèques clientes Sensitive Data Protection.
Pour vous authentifier auprès de Sensitive Data Protection, configurez les Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour un environnement de développement local.
REST
La ressource DlpJob possède une méthode projects.dlpJobs.list qui vous permet de répertorier toutes les tâches.
Pour répertorier toutes les tâches actuellement définies dans votre projet, envoyez une requête GET au point de terminaison dlpJobs, comme indiqué ici :
URL :
GET https://dlp.googleapis.com/v2/projects/[PROJECT-ID]/dlpJobs
Le résultat JSON suivant répertorie l'une des tâches renvoyées. Notez que la structure de la tâche reflète celle de la ressource DlpJob.
Sortie JSON :
{
"jobs":[
{
"name":"projects/[PROJECT-ID]/dlpJobs/i-5270277269264714623",
"type":"INSPECT_JOB",
"state":"DONE",
"inspectDetails":{
"requestedOptions":{
"snapshotInspectTemplate":{
},
"jobConfig":{
"storageConfig":{
"cloudStorageOptions":{
"fileSet":{
"url":"[CLOUD-STORAGE-URL]"
},
"fileTypes":[
"FILE_TYPE_UNSPECIFIED"
],
"filesLimitPercent":100
},
"timespanConfig":{
"startTime":"2019-09-08T22:43:16.623Z",
"enableAutoPopulationOfTimespanConfig":true
}
},
"inspectConfig":{
"infoTypes":[
{
"name":"US_SOCIAL_SECURITY_NUMBER"
},
{
"name":"CANADA_SOCIAL_INSURANCE_NUMBER"
}
],
"minLikelihood":"LIKELY",
"limits":{
},
"includeQuote":true
},
"actions":[
{
"saveFindings":{
"outputConfig":{
"table":{
"projectId":"[PROJECT-ID]",
"datasetId":"[DATASET-ID]",
"tableId":"[TABLE-ID]"
}
}
}
}
]
}
},
"result":{
...
}
},
"createTime":"2019-09-09T22:43:16.918Z",
"startTime":"2019-09-09T22:43:16.918Z",
"endTime":"2019-09-09T22:43:53.091Z",
"jobTriggerName":"projects/[PROJECT-ID]/jobTriggers/sample-trigger2"
},
...
]
}
Pour l'essayer rapidement, vous pouvez utiliser l'explorateur d'API intégré ci-dessous. Pour obtenir des informations générales sur l'utilisation de JSON pour envoyer des requêtes à l'API DLP, consultez le guide de démarrage rapide JSON.
Répertorier tous les déclencheurs de tâche
Pour répertorier tous les déclencheurs de tâche du projet en cours, procédez comme suit :
Console
Dans la console Google Cloud , accédez à la page Sensitive Data Protection.
Accéder à Sensitive Data Protection
Dans l'onglet Inspection, sous l'onglet Déclencheurs de jobs, la console affiche la liste de tous les déclencheurs de jobs du projet actuel.
C#
Pour savoir comment installer et utiliser la bibliothèque cliente pour Sensitive Data Protection, consultez Bibliothèques clientes Sensitive Data Protection.
Pour vous authentifier auprès de Sensitive Data Protection, configurez les Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour un environnement de développement local.
Go
Pour savoir comment installer et utiliser la bibliothèque cliente pour Sensitive Data Protection, consultez Bibliothèques clientes Sensitive Data Protection.
Pour vous authentifier auprès de Sensitive Data Protection, configurez les Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour un environnement de développement local.
Java
Pour savoir comment installer et utiliser la bibliothèque cliente pour Sensitive Data Protection, consultez Bibliothèques clientes Sensitive Data Protection.
Pour vous authentifier auprès de Sensitive Data Protection, configurez les Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour un environnement de développement local.
Node.js
Pour savoir comment installer et utiliser la bibliothèque cliente pour Sensitive Data Protection, consultez Bibliothèques clientes Sensitive Data Protection.
Pour vous authentifier auprès de Sensitive Data Protection, configurez les Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour un environnement de développement local.
PHP
Pour savoir comment installer et utiliser la bibliothèque cliente pour Sensitive Data Protection, consultez Bibliothèques clientes Sensitive Data Protection.
Pour vous authentifier auprès de Sensitive Data Protection, configurez les Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour un environnement de développement local.
Python
Pour savoir comment installer et utiliser la bibliothèque cliente pour Sensitive Data Protection, consultez Bibliothèques clientes Sensitive Data Protection.
Pour vous authentifier auprès de Sensitive Data Protection, configurez les Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour un environnement de développement local.
REST
La ressource JobTrigger possède une méthode projects.jobTriggers.list qui vous permet de répertorier tous les déclencheurs de tâche.
Pour répertorier tous les déclencheurs de tâche actuellement définis dans votre projet, envoyez une requête GET au point de terminaison jobTriggers, comme indiqué ici :
URL :
GET https://dlp.googleapis.com/v2/projects/[PROJECT-ID]/jobTriggers
La sortie JSON suivante indique la présence du déclencheur de tâche que nous avons créé dans la section précédente. Notez que la structure du déclencheur de tâche reflète celle de la ressource JobTrigger.
Sortie JSON :
{
"jobTriggers":[
{
"name":"projects/[PROJECT_ID]/jobTriggers/[JOB_TRIGGER_NAME]",
"displayName":"JobTrigger1",
"description":"Starts an inspection of a Datastore kind",
"inspectJob":{
"storageConfig":{
"datastoreOptions":{
"partitionId":{
"projectId":"[PROJECT_ID]",
"namespaceId":"[NAMESPACE_ID]"
},
"kind":{
"name":"Example-Kind"
}
}
},
"inspectConfig":{
"infoTypes":[
{
"name":"PHONE_NUMBER"
}
],
"minLikelihood":"LIKELY",
"limits":{
},
"includeQuote":true
},
"actions":[
{
"saveFindings":{
"outputConfig":{
"table":{
"projectId":"[PROJECT_ID]",
"datasetId":"[BIGQUERY_DATASET_NAME]",
"tableId":"[BIGQUERY_TABLE_NAME]"
}
}
}
}
]
},
"triggers":[
{
"schedule":{
"recurrencePeriodDuration":"86400s"
}
}
],
"createTime":"2018-11-30T01:52:41.171857Z",
"updateTime":"2018-11-30T01:52:41.171857Z",
"status":"HEALTHY"
},
...
],
"nextPageToken":"KkwKCQjivJ2UpPreAgo_Kj1wcm9qZWN0cy92ZWx2ZXR5LXN0dWR5LTE5NjEwMS9qb2JUcmlnZ2Vycy8xNTA5NzEyOTczMDI0MDc1NzY0"
}
Pour l'essayer rapidement, vous pouvez utiliser l'explorateur d'API intégré ci-dessous. Pour obtenir des informations générales sur l'utilisation de JSON pour envoyer des requêtes à l'API DLP, consultez le guide de démarrage rapide JSON.
Supprimer un job
Pour supprimer une tâche de votre projet, y compris ses résultats, procédez comme suit : Tous les résultats enregistrés en externe (dans BigQuery, par exemple) ne sont pas modifiés par cette opération.
Console
Dans la console Google Cloud , accédez à la page Sensitive Data Protection.
Cliquez sur l'onglet Inspection, puis sur le sous-onglet Jobs d'inspection. La console Google Cloud affiche la liste de tous les jobs du projet en cours.
Dans la colonne Actions associée au déclencheur de tâche que vous souhaitez supprimer, cliquez sur le menu Autres actions (représenté par trois points disposés verticalement) , puis cliquez sur Delete (Supprimer).
Vous pouvez également cliquer sur l'identifiant de la tâche à supprimer dans la liste des tâches. Sur la page d'informations de la tâche, cliquez sur Delete (Supprimer).
C#
Pour savoir comment installer et utiliser la bibliothèque cliente pour Sensitive Data Protection, consultez Bibliothèques clientes Sensitive Data Protection.
Pour vous authentifier auprès de Sensitive Data Protection, configurez les Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour un environnement de développement local.
Go
Pour savoir comment installer et utiliser la bibliothèque cliente pour Sensitive Data Protection, consultez Bibliothèques clientes Sensitive Data Protection.
Pour vous authentifier auprès de Sensitive Data Protection, configurez les Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour un environnement de développement local.
Java
Pour savoir comment installer et utiliser la bibliothèque cliente pour Sensitive Data Protection, consultez Bibliothèques clientes Sensitive Data Protection.
Pour vous authentifier auprès de Sensitive Data Protection, configurez les Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour un environnement de développement local.
Node.js
Pour savoir comment installer et utiliser la bibliothèque cliente pour Sensitive Data Protection, consultez Bibliothèques clientes Sensitive Data Protection.
Pour vous authentifier auprès de Sensitive Data Protection, configurez les Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour un environnement de développement local.
PHP
Pour savoir comment installer et utiliser la bibliothèque cliente pour Sensitive Data Protection, consultez Bibliothèques clientes Sensitive Data Protection.
Pour vous authentifier auprès de Sensitive Data Protection, configurez les Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour un environnement de développement local.
Python
Pour savoir comment installer et utiliser la bibliothèque cliente pour Sensitive Data Protection, consultez Bibliothèques clientes Sensitive Data Protection.
Pour vous authentifier auprès de Sensitive Data Protection, configurez les Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour un environnement de développement local.
REST
Pour supprimer une tâche du projet en cours, envoyez une requête DELETE au point de terminaison dlpJobs, comme indiqué ici. Remplacez le champ [JOB-IDENTIFIER] par l'identifiant de la tâche, qui commence par i-.
URL :
DELETE https://dlp.googleapis.com/v2/projects/[PROJECT-ID]/dlpJobs/[JOB-IDENTIFIER]
Si la requête aboutit, l'API DLP renvoie une réponse positive. Pour vérifier que la tâche a bien été supprimée, répertoriez toutes les tâches.
Pour l'essayer rapidement, vous pouvez utiliser l'explorateur d'API intégré ci-dessous. Pour obtenir des informations générales sur l'utilisation de JSON pour envoyer des requêtes à l'API DLP, consultez le guide de démarrage rapide JSON.
Supprimer un déclencheur de tâche
Console
Dans la console Google Cloud , accédez à la page Sensitive Data Protection.
Accéder à Sensitive Data Protection
Dans l'onglet Inspection, sous l'onglet Déclencheurs de jobs, la console affiche la liste de tous les déclencheurs de jobs du projet actuel.
Dans la colonne Actions associée au déclencheur de tâche que vous souhaitez supprimer, cliquez sur le menu Autres actions (représenté par trois points disposés verticalement) , puis cliquez sur Delete (Supprimer).
Sinon, dans la liste des déclencheurs de tâche, cliquez sur le nom de la tâche que vous souhaitez supprimer. Sur la page d'informations du déclencheur de tâche, cliquez sur Supprimer.
C#
Pour savoir comment installer et utiliser la bibliothèque cliente pour Sensitive Data Protection, consultez Bibliothèques clientes Sensitive Data Protection.
Pour vous authentifier auprès de Sensitive Data Protection, configurez les Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour un environnement de développement local.
Go
Pour savoir comment installer et utiliser la bibliothèque cliente pour Sensitive Data Protection, consultez Bibliothèques clientes Sensitive Data Protection.
Pour vous authentifier auprès de Sensitive Data Protection, configurez les Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour un environnement de développement local.
Java
Pour savoir comment installer et utiliser la bibliothèque cliente pour Sensitive Data Protection, consultez Bibliothèques clientes Sensitive Data Protection.
Pour vous authentifier auprès de Sensitive Data Protection, configurez les Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour un environnement de développement local.
Node.js
Pour savoir comment installer et utiliser la bibliothèque cliente pour Sensitive Data Protection, consultez Bibliothèques clientes Sensitive Data Protection.
Pour vous authentifier auprès de Sensitive Data Protection, configurez les Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour un environnement de développement local.
PHP
Pour savoir comment installer et utiliser la bibliothèque cliente pour Sensitive Data Protection, consultez Bibliothèques clientes Sensitive Data Protection.
Pour vous authentifier auprès de Sensitive Data Protection, configurez les Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour un environnement de développement local.
Python
Pour savoir comment installer et utiliser la bibliothèque cliente pour Sensitive Data Protection, consultez Bibliothèques clientes Sensitive Data Protection.
Pour vous authentifier auprès de Sensitive Data Protection, configurez les Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour un environnement de développement local.
REST
Pour supprimer un déclencheur de tâche du projet en cours, envoyez une requête DELETE au point de terminaison jobTriggers, comme indiqué ici. Remplacez le champ [JOB-TRIGGER-NAME] par le nom du déclencheur de tâche.
URL :
DELETE https://dlp.googleapis.com/v2/projects/[PROJECT-ID]/jobTriggers/[JOB-TRIGGER-NAME]
Si la requête aboutit, l'API DLP renvoie une réponse positive. Pour vérifier que le déclencheur de tâche a bien été supprimé, répertoriez tous les déclencheurs de tâche.
Pour l'essayer rapidement, vous pouvez utiliser l'explorateur d'API intégré ci-dessous. Pour obtenir des informations générales sur l'utilisation de JSON pour envoyer des requêtes à l'API DLP, consultez le guide de démarrage rapide JSON.
Obtenir une tâche
Pour obtenir une tâche à partir de votre projet, ainsi que ses résultats, procédez comme suit : Tous les résultats enregistrés en externe (dans BigQuery, par exemple) ne sont pas modifiés par cette opération.
C#
Pour savoir comment installer et utiliser la bibliothèque cliente pour Sensitive Data Protection, consultez Bibliothèques clientes Sensitive Data Protection.
Pour vous authentifier auprès de Sensitive Data Protection, configurez les Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour un environnement de développement local.
Go
Pour savoir comment installer et utiliser la bibliothèque cliente pour Sensitive Data Protection, consultez Bibliothèques clientes Sensitive Data Protection.
Pour vous authentifier auprès de Sensitive Data Protection, configurez les Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour un environnement de développement local.
Java
Pour savoir comment installer et utiliser la bibliothèque cliente pour Sensitive Data Protection, consultez Bibliothèques clientes Sensitive Data Protection.
Pour vous authentifier auprès de Sensitive Data Protection, configurez les Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour un environnement de développement local.
Node.js
Pour savoir comment installer et utiliser la bibliothèque cliente pour Sensitive Data Protection, consultez Bibliothèques clientes Sensitive Data Protection.
Pour vous authentifier auprès de Sensitive Data Protection, configurez les Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour un environnement de développement local.
PHP
Pour savoir comment installer et utiliser la bibliothèque cliente pour Sensitive Data Protection, consultez Bibliothèques clientes Sensitive Data Protection.
Pour vous authentifier auprès de Sensitive Data Protection, configurez les Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour un environnement de développement local.
Python
Pour savoir comment installer et utiliser la bibliothèque cliente pour Sensitive Data Protection, consultez Bibliothèques clientes Sensitive Data Protection.
Pour vous authentifier auprès de Sensitive Data Protection, configurez les Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour un environnement de développement local.
REST
Pour obtenir une tâche à partir du projet actuel, envoyez une requête GET au point de terminaison dlpJobs, comme indiqué ici. Remplacez le champ [JOB-IDENTIFIER] par l'identifiant de la tâche, qui commence par i-.
URL :
GET https://dlp.googleapis.com/v2/projects/[PROJECT-ID]/dlpJobs/[JOB-IDENTIFIER]
Si la requête aboutit, l'API DLP renvoie une réponse positive.
Pour l'essayer rapidement, vous pouvez utiliser l'explorateur d'API intégré ci-dessous. Pour obtenir des informations générales sur l'utilisation de JSON pour envoyer des requêtes à l'API DLP, consultez le guide de démarrage rapide JSON.
Forcer l'exécution immédiate d'un déclencheur de job
Une fois qu'un déclencheur de job est créé, vous pouvez forcer son exécution immédiate à des fins de test en l'activant. Pour ce faire, exécutez la commande suivante :
curl --request POST \
-H "Content-Type: application/json" \
-H "Accept: application/json" \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "X-Goog-User-Project: PROJECT_ID" \
'https://dlp.googleapis.com/v2/JOB_TRIGGER_NAME:activate'
Remplacez les éléments suivants :
- PROJECT_ID : ID du projet Google Cloud à facturer pour les frais d'accès associés à la requête.
- JOB_TRIGGER_NAME : nom complet de la ressource du déclencheur de job (par exemple,
projects/my-project/locations/global/jobTriggers/123456789).
Mettre à jour un déclencheur de job existant
En plus de créer, répertorier et supprimer des déclencheurs de job, vous pouvez également les mettre à jour. Pour modifier la configuration d'un déclencheur de tâche existant, procédez comme suit :
Console
Dans la console Google Cloud , accédez à la page Sensitive Data Protection.
Cliquez sur l'onglet Inspection, puis sur le sous-onglet Déclencheurs de jobs.
La console affiche une liste de tous les déclencheurs de tâche du projet en cours.
Dans la colonne Actions du déclencheur de tâche que vous souhaitez supprimer, cliquez sur Plus more_vert, puis sur Afficher les détails
Sur la page de détail du déclencheur de tâche, cliquez sur Modifier.
Sur la page de modification du déclencheur, vous pouvez modifier l'emplacement des données d'entrée, les détails de détection (modèles, info-types ou probabilités), les actions post-analyse et la programmation. Une fois les modifications terminées, cliquez sur Enregistrer.
C#
Pour savoir comment installer et utiliser la bibliothèque cliente pour Sensitive Data Protection, consultez Bibliothèques clientes Sensitive Data Protection.
Pour vous authentifier auprès de Sensitive Data Protection, configurez les Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour un environnement de développement local.
Go
Pour savoir comment installer et utiliser la bibliothèque cliente pour Sensitive Data Protection, consultez Bibliothèques clientes Sensitive Data Protection.
Pour vous authentifier auprès de Sensitive Data Protection, configurez les Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour un environnement de développement local.
Java
Pour savoir comment installer et utiliser la bibliothèque cliente pour Sensitive Data Protection, consultez Bibliothèques clientes Sensitive Data Protection.
Pour vous authentifier auprès de Sensitive Data Protection, configurez les Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour un environnement de développement local.
Node.js
Pour savoir comment installer et utiliser la bibliothèque cliente pour Sensitive Data Protection, consultez Bibliothèques clientes Sensitive Data Protection.
Pour vous authentifier auprès de Sensitive Data Protection, configurez les Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour un environnement de développement local.
PHP
Pour savoir comment installer et utiliser la bibliothèque cliente pour Sensitive Data Protection, consultez Bibliothèques clientes Sensitive Data Protection.
Pour vous authentifier auprès de Sensitive Data Protection, configurez les Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour un environnement de développement local.
Python
Pour savoir comment installer et utiliser la bibliothèque cliente pour Sensitive Data Protection, consultez Bibliothèques clientes Sensitive Data Protection.
Pour vous authentifier auprès de Sensitive Data Protection, configurez les Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour un environnement de développement local.
REST
Utilisez la méthode projects.jobTriggers.patch pour envoyer de nouvelles valeurs JobTrigger à l'API DLP afin de mettre à jour ces valeurs dans un déclencheur de tâche spécifié.
Par exemple, considérons le déclencheur de tâche simple ci-après. Ce code JSON représente le déclencheur de tâche et a été renvoyé après l'envoi d'une requête GET au point de terminaison du déclencheur de tâche du projet actuel.
Sortie JSON :
{
"name":"projects/[PROJECT_ID]/jobTriggers/[JOB_TRIGGER_NAME]",
"inspectJob":{
"storageConfig":{
"cloudStorageOptions":{
"fileSet":{
"url":"gs://dlptesting/*"
},
"fileTypes":[
"FILE_TYPE_UNSPECIFIED"
],
"filesLimitPercent":100
},
"timespanConfig":{
"enableAutoPopulationOfTimespanConfig":true
}
},
"inspectConfig":{
"infoTypes":[
{
"name":"US_SOCIAL_SECURITY_NUMBER"
}
],
"minLikelihood":"POSSIBLE",
"limits":{
}
},
"actions":[
{
"jobNotificationEmails":{
}
}
]
},
"triggers":[
{
"schedule":{
"recurrencePeriodDuration":"86400s"
}
}
],
"createTime":"2019-03-06T21:19:45.774841Z",
"updateTime":"2019-03-06T21:19:45.774841Z",
"status":"HEALTHY"
}
Le code JSON suivant, lorsqu'il est envoyé avec une requête PATCH au point de terminaison spécifié, met à jour le déclencheur de tâche considéré avec un nouvel infoType à analyser, ainsi qu'une nouvelle valeur minimale de probabilité. Notez que vous devez également spécifier l'attribut updateMask avec une valeur au format FieldMask.
Entrée JSON :
PATCH https://dlp.googleapis.com/v2/projects/[PROJECT_ID]/jobTriggers/[JOB_TRIGGER_NAME]
{
"jobTrigger": {
"inspectJob": {
"inspectConfig": {
"infoTypes": [
{
"name": "US_INDIVIDUAL_TAXPAYER_IDENTIFICATION_NUMBER"
}
],
"minLikelihood": "LIKELY"
}
}
},
"updateMask": "inspectJob.inspectConfig.infoTypes,inspectJob.inspectConfig.minLikelihood"
}
Une fois que vous avez envoyé ce code JSON à l'URL spécifiée, les lignes ci-dessous représentant le déclencheur de tâche mis à jour sont renvoyées. Notez que les valeurs d'infoType et de probabilité d'origine ont été remplacées par les nouvelles valeurs.
Sortie JSON :
{
"name":"projects/[PROJECT_ID]/jobTriggers/[JOB_TRIGGER_NAME]",
"inspectJob":{
"storageConfig":{
"cloudStorageOptions":{
"fileSet":{
"url":"gs://dlptesting/*"
},
"fileTypes":[
"FILE_TYPE_UNSPECIFIED"
],
"filesLimitPercent":100
},
"timespanConfig":{
"enableAutoPopulationOfTimespanConfig":true
}
},
"inspectConfig":{
"infoTypes":[
{
"name":"US_INDIVIDUAL_TAXPAYER_IDENTIFICATION_NUMBER"
}
],
"minLikelihood":"LIKELY",
"limits":{
}
},
"actions":[
{
"jobNotificationEmails":{
}
}
]
},
"triggers":[
{
"schedule":{
"recurrencePeriodDuration":"86400s"
}
}
],
"createTime":"2019-03-06T21:19:45.774841Z",
"updateTime":"2019-03-06T21:27:01.650183Z",
"lastRunTime":"1970-01-01T00:00:00Z",
"status":"HEALTHY"
}
Pour l'essayer rapidement, vous pouvez utiliser l'explorateur d'API intégré ci-dessous. Pour obtenir des informations générales sur l'utilisation de JSON pour envoyer des requêtes à l'API DLP, consultez le guide de démarrage rapide JSON.
Latence des jobs
Aucun objectif de niveau de service (SLO) n'est garanti pour les jobs et les déclencheurs de jobs. La latence est affectée par plusieurs facteurs, y compris la quantité de données à analyser, le dépôt de stockage analysé, le type et le nombre d'infoTypes que vous recherchez, la région où le job est traité et les ressources de calcul disponibles dans cette région. Par conséquent, la latence des jobs d'inspection ne peut pas être déterminée à l'avance.
Pour réduire la latence des tâches, essayez les solutions suivantes :
- Si l'échantillonnage est disponible pour votre job ou votre déclencheur de job, activez-le.
Évitez d'activer les infoTypes dont vous n'avez pas besoin. Bien que les infoTypes suivants soient utiles dans certains scénarios, ils peuvent ralentir considérablement l'exécution des requêtes par rapport à celles qui ne les incluent pas :
PERSON_NAMEFEMALE_NAMEMALE_NAMEFIRST_NAMELAST_NAMEDATE_OF_BIRTHLOCATIONSTREET_ADDRESSORGANIZATION_NAME
Spécifiez toujours les infoTypes explicitement. N'utilisez pas de liste d'infoTypes vide.
Si possible, utilisez une autre région de traitement.
Si vous rencontrez toujours des problèmes de latence avec les jobs après avoir essayé ces techniques, envisagez d'utiliser des requêtes content.inspect ou content.deidentify au lieu de jobs. Ces méthodes sont couvertes par le contrat de niveau de service. Pour en savoir plus, consultez le contrat de niveau de service de Sensitive Data Protection.
Limiter les analyses au nouveau contenu
Vous pouvez configurer votre déclencheur de job pour qu'il définisse automatiquement la date de la période pour les fichiers stockés dans Cloud Storage ou BigQuery. Lorsque vous définissez l'objet TimespanConfig sur "saisir automatiquement", Sensitive Data Protection n'analyse que les données ajoutées ou modifiées depuis la dernière exécution du déclencheur :
...
timespan_config {
enable_auto_population_of_timespan_config: true
}
...
Pour l'inspection BigQuery, seules les lignes datant d'au moins trois heures sont incluses dans l'analyse. Consultez le problème connu lié à cette opération.
Déclencher des tâches en cas d'importation de fichiers
En plus de la compatibilité avec les déclencheurs de jobs, qui est intégrée à Sensitive Data Protection,Google Cloud propose également d'autres composants que vous pouvez utiliser pour intégrer ou déclencher des jobs Sensitive Data Protection. Par exemple, vous pouvez utiliser les fonctions Cloud Run pour déclencher une analyse Sensitive Data Protection chaque fois qu'un fichier est importé dans Cloud Storage.
Pour savoir comment configurer cette opération, consultez Automatiser la classification des données importées sur Cloud Storage.
Jobs réussis sans données inspectées
Un job peut s'exécuter correctement même si aucune donnée n'a été analysée. Les exemples de scénarios suivants peuvent provoquer ce problème :
- Le job est configuré pour inspecter un élément de données spécifique, tel qu'un fichier, qui existe, mais qui est vide.
- Le job est configuré pour inspecter un élément de données qui n'existe pas ou n'existe plus.
- Le job est configuré pour inspecter un bucket Cloud Storage vide.
- Le job est configuré pour inspecter un bucket, et l'analyse récursive est désactivée. Au niveau supérieur, le bucket ne contient que des dossiers qui, à leur tour, contiennent les fichiers.
- Le job est configuré pour inspecter uniquement un type de fichier spécifique dans un bucket, mais celui-ci ne contient aucun fichier de ce type.
- Le job est configuré pour inspecter uniquement le nouveau contenu, mais aucune mise à jour n'a été effectuée depuis la dernière exécution du job.
Dans la console Google Cloud , sur la page Détails du job, le champ Octets analysés indique la quantité de données inspectées par le job. Dans l'API DLP, le champ processedBytes spécifie la quantité de données inspectées.
Étapes suivantes
- Découvrez comment créer une copie anonymisée des données stockées.