En esta página, se describe cómo inspeccionar un recurso de Cloud Storage y crear copias desidentificadas de los datos con la API de Cloud Data Loss Prevention.
Esta operación ayuda a garantizar que los archivos que usas en tus procesos empresariales no contengan datos sensibles, como información de identificación personal (IIP). Sensitive Data Protection puede inspeccionar archivos en un bucket de Cloud Storage en busca de datos sensibles y crear copias desidentificadas de esos archivos en un bucket separado. Luego, puedes usar las copias desidentificadas en tus procesos empresariales.
Para obtener más información sobre esta función, consulta Desidentificación de datos sensibles en Cloud Storage.
Antes de comenzar
En esta página, se supone lo siguiente:
Ya habilitaste la facturación.
Habilitaste Sensitive Data Protection.
Tienes un bucket de Cloud Storage con datos que deseas desidentificar.
Sabes cómo enviar una solicitud HTTP a la API de DLP. Para obtener más información, consulta Inspecciona texto sensible con la API de DLP.
Obtén información sobre las limitaciones y los puntos de consideración para esta operación.
La inspección de almacenamiento requiere el siguiente permiso de OAuth:
https://www.googleapis.com/auth/cloud-platform. Para obtener más información, consulta
Autenticación en la API de DLP.
Roles de IAM obligatorios
Si todos los recursos de esta operación se encuentran en el mismo proyecto, el
rol de agente de servicio de la API de DLP (roles/dlp.serviceAgent) en el
agente de servicio es suficiente. Con ese rol, puedes hacer lo siguiente:
- Crea el trabajo de inspección
- Lee los archivos del directorio de entrada.
- Escribe los archivos desidentificados en el directorio de salida
- Escribe los detalles de la transformación en una tabla de BigQuery
Los recursos pertinentes incluyen el trabajo de inspección, las plantillas de desidentificación, el bucket de entrada, el bucket de salida y la tabla de detalles de la transformación.
Si debes tener los recursos en proyectos separados, asegúrate de que el agente de servicio de tu proyecto también tenga los siguientes roles:
- El rol de visualizador de objetos de Storage (
roles/storage.objectViewer) en el bucket de entrada o el proyecto que lo contiene. - El rol de creador de objetos de Storage
(
roles/storage.objectCreator) en el bucket de salida o en el proyecto que lo contiene. - El rol de Editor de datos de BigQuery (
roles/bigquery.dataEditor) en la tabla de detalles de transformación o el proyecto que la contiene.
Para otorgar un rol al agente de servicio, consulta Otorga un solo rol. También puedes controlar el acceso en los siguientes niveles:
Descripción general de la API
Para crear copias desidentificadas del contenido almacenado en Cloud Storage,
configura un trabajo de inspección
que busque datos sensibles
según los criterios que especifiques. Luego, dentro del trabajo de inspección, proporcionas instrucciones de desidentificación en forma de una acción Deidentify.
Si solo quieres analizar un subconjunto de los archivos de tu bucket, puedes
limitar los archivos que analiza el trabajo. Las opciones admitidas para los trabajos con
desidentificación son el filtrado de archivos por tipo (FileType) y la expresión
regular (FileSet).
Cuando habilitas la acción Deidentify, de forma predeterminada, Sensitive Data Protection
crea copias desidentificadas (transformadas) de todos los tipos de archivos compatibles
incluidos en el análisis. Sin embargo, puedes configurar el trabajo para que transforme solo un
subconjunto de los tipos de archivos admitidos.
Opcional: Crea plantillas de desidentificación
Si quieres controlar cómo se transforman los hallazgos, crea las siguientes plantillas. Estas plantillas proporcionan instrucciones para transformar los hallazgos en archivos estructurados, archivos no estructurados y en imágenes.
Plantilla de desidentificación: Es un
DeidentifyTemplatepredeterminado que se usará para archivos no estructurados, como archivos de texto de formato libre. Este tipo deDeidentifyTemplateno puede contener un objetoRecordTransformations, que solo se admite para contenido estructurado. Si no está presente, Sensitive Data Protection usa el métodoReplaceWithInfoTypeConfigpara transformar los archivos no estructurados.Plantilla de desidentificación estructurada: Es un
DeidentifyTemplateque se usará para archivos estructurados, como archivos CSV. EsteDeidentifyTemplatepuede contenerRecordTransformations. Si esta plantilla no está presente, Sensitive Data Protection usa la plantilla de desidentificación predeterminada que creaste. Si tampoco está presente, Sensitive Data Protection usa el métodoReplaceWithInfoTypeConfigpara transformar archivos estructurados.Plantilla de ocultamiento en imágenes: Es un
DeidentifyTemplateque se usará para las imágenes. Esta plantilla debe contener un objetoImageTransformations. Si esta plantilla no está presente, Sensitive Data Protection oculta todos los hallazgos en imágenes con un cuadro negro.
Obtén más información para crear una plantilla de desidentificación.
Crea un trabajo de inspección que tenga una acción de desidentificación
El objeto DlpJob proporciona instrucciones sobre qué inspeccionar, qué tipos de datos marcar como sensibles y qué hacer con los hallazgos.
Para desidentificar datos sensibles en un directorio de Cloud Storage, tu
DlpJob debe definir, al menos, lo siguiente:
- Un objeto
StorageConfig, que especifica el directorio de Cloud Storage que se inspeccionará. - Un objeto
InspectConfig, que contiene los tipos de datos que se deben buscar y las instrucciones de inspección adicionales para encontrar los datos sensibles. Una acción
Deidentifyque contiene lo siguiente:Un objeto
TransformationConfig, que especifica cualquier plantilla que hayas creado para desidentificar datos en archivos estructurados y no estructurados. También puedes incluir la configuración para ocultar datos sensibles de las imágenes.Si no incluyes un objeto
TransformationConfig, Sensitive Data Protection reemplaza los datos sensibles en el texto por su tipo de información. En las imágenes, cubre los datos sensibles con un cuadro negro.Un objeto
TransformationDetailsStorageConfig, que especifica una tabla de BigQuery en la que Sensitive Data Protection debe almacenar detalles sobre cada transformación. Para cada transformación, los detalles incluyen una descripción, un código de éxito o código de error, cualquier detalle del error, la cantidad de bytes transformados, la ubicación del contenido transformado y el nombre del trabajo de inspección en el que Sensitive Data Protection realizó la transformación. Esta tabla no almacena el contenido desidentificado real.
Cuando se escriben datos en una tabla de BigQuery, el uso de cuotas y la facturación se aplican al proyecto que contiene la tabla de destino.
Una vez que se desidentifica el contenido copiado, finaliza el trabajo de
desidentificación. El trabajo contiene un resumen de cuántas veces se aplicaron las transformaciones especificadas, que puedes recuperar con el método projects.dlpJobs.get en DlpJob. El DlpJob que se devuelve incluye un objeto DeidentifyDataSourceDetails y un objeto InspectDataSourceDetails. Esos objetos contienen los resultados de una acción Deidentify y el
trabajo de inspección, respectivamente.
Si incluiste un objeto TransformationDetailsStorageConfig
en tu DlpJob, se creará una tabla de BigQuery
con metadatos sobre los detalles de la transformación. Por cada
transformación que se produce, Sensitive Data Protection escribe una fila de metadatos
en la tabla. Para obtener más información sobre el contenido de la tabla,
consulta la referencia de detalles de la transformación.
Ejemplos de código
En los siguientes ejemplos, se muestra cómo usar la API de DLP para crear copias desidentificadas de archivos de Cloud Storage.
Método HTTP y URL
POST https://dlp.googleapis.com/v2/projects/PROJECT_ID/dlpJobs
C#
Para obtener información sobre cómo instalar y usar la biblioteca cliente de Sensitive Data Protection, consulta las bibliotecas cliente de Sensitive Data Protection.
Para autenticarte en Sensitive Data Protection, configura las credenciales predeterminadas de la aplicación. Para obtener más información, consulta Configura la autenticación para un entorno de desarrollo local.
Go
Para obtener información sobre cómo instalar y usar la biblioteca cliente de Sensitive Data Protection, consulta las bibliotecas cliente de Sensitive Data Protection.
Para autenticarte en Sensitive Data Protection, configura las credenciales predeterminadas de la aplicación. Para obtener más información, consulta Configura la autenticación para un entorno de desarrollo local.
Java
Para obtener información sobre cómo instalar y usar la biblioteca cliente de Sensitive Data Protection, consulta las bibliotecas cliente de Sensitive Data Protection.
Para autenticarte en Sensitive Data Protection, configura las credenciales predeterminadas de la aplicación. Para obtener más información, consulta Configura la autenticación para un entorno de desarrollo local.
Node.js
Para obtener información sobre cómo instalar y usar la biblioteca cliente de Sensitive Data Protection, consulta las bibliotecas cliente de Sensitive Data Protection.
Para autenticarte en Sensitive Data Protection, configura las credenciales predeterminadas de la aplicación. Para obtener más información, consulta Configura la autenticación para un entorno de desarrollo local.
PHP
Para obtener información sobre cómo instalar y usar la biblioteca cliente de Sensitive Data Protection, consulta las bibliotecas cliente de Sensitive Data Protection.
Para autenticarte en Sensitive Data Protection, configura las credenciales predeterminadas de la aplicación. Para obtener más información, consulta Configura la autenticación para un entorno de desarrollo local.
Python
Para obtener información sobre cómo instalar y usar la biblioteca cliente de Sensitive Data Protection, consulta las bibliotecas cliente de Sensitive Data Protection.
Para autenticarte en Sensitive Data Protection, configura las credenciales predeterminadas de la aplicación. Para obtener más información, consulta Configura la autenticación para un entorno de desarrollo local.
REST
Entrada JSON{
"inspectJob": {
"storageConfig": {
"cloudStorageOptions": {
"fileSet": {
"url": "INPUT_DIRECTORY"
}
}
},
"inspectConfig": {
"infoTypes": [
{
"name": "PERSON_NAME"
}
]
},
"actions": [
{
"deidentify": {
"cloudStorageOutput": "OUTPUT_DIRECTORY",
"transformationConfig": {
"deidentifyTemplate": "DEIDENTIFY_TEMPLATE_NAME",
"structuredDeidentifyTemplate": "STRUCTURED_DEIDENTIFY_TEMPLATE_NAME",
"imageRedactTemplate": "IMAGE_REDACTION_TEMPLATE_NAME"
},
"transformationDetailsStorageConfig": {
"table": {
"projectId": "TRANSFORMATION_DETAILS_PROJECT_ID",
"datasetId": "TRANSFORMATION_DETAILS_DATASET_ID",
"tableId": "TRANSFORMATION_DETAILS_TABLE_ID"
}
},
"fileTypesToTransform": ["IMAGE", "CSV", "TEXT_FILE"]
}
}
]
}
}
Reemplaza lo siguiente:
PROJECT_ID: Es el ID del proyecto en el que deseas almacenar el trabajo de inspección.INPUT_DIRECTORY: Es el directorio de Cloud Storage que deseas inspeccionar, por ejemplo,gs://input-bucket/folder1/folder1a. Si la URL termina en una barra diagonal, no se analizan los subdirectorios dentro deINPUT_DIRECTORY.OUTPUT_DIRECTORY: Es el directorio de Cloud Storage en el que deseas almacenar los archivos desidentificados. Este directorio no debe estar en el mismo bucket de Cloud Storage queINPUT_DIRECTORY.DEIDENTIFY_TEMPLATE_NAME: Es el nombre completo del recurso de la plantilla de desidentificación predeterminada (para archivos no estructurados y estructurados), si creaste una. Este valor debe tener el formatoprojects/projectName/(locations/locationId)/deidentifyTemplates/templateName.STRUCTURED_DEIDENTIFY_TEMPLATE_NAME: Es el nombre completo del recurso de la plantilla de desidentificación para archivos estructurados, si creaste una. Este valor debe tener el formatoprojects/projectName/(locations/locationId)/deidentifyTemplates/templateName.IMAGE_REDACTION_TEMPLATE_NAME: Es el nombre completo del recurso de la plantilla de ocultamiento de imágenes si creaste una. Este valor debe tener el formatoprojects/projectName/(locations/locationId)/deidentifyTemplates/templateName.TRANSFORMATION_DETAILS_PROJECT_ID: Es el ID del proyecto en el que deseas almacenar los detalles de la transformación.TRANSFORMATION_DETAILS_DATASET_ID: Es el ID del conjunto de datos de BigQuery en el que deseas almacenar los detalles de la transformación. Si no proporcionas un ID de tabla, el sistema creará uno de forma automática.TRANSFORMATION_DETAILS_TABLE_ID: Es el ID de la tabla de BigQuery en la que deseas almacenar los detalles de la transformación.
Ten en cuenta los siguientes objetos:
inspectJob: Es el objeto de configuración del trabajo (DlpJob). Este objeto contiene la configuración para las etapas de inspección y desidentificación.storageConfig: Es la ubicación del contenido que se inspeccionará (StorageConfig). En este ejemplo, se especifica un bucket de Cloud StorageCloudStorageOptions.inspectConfig: Información sobre los datos confidenciales que desea inspeccionar (InspectConfig). Este ejemplo inspecciona el contenido que coincide con el InfotipoPERSON_NAMEintegrado.actions: Son las acciones que se deben realizar después de que se complete la parte de inspección del trabajo (Action).deidentify: Especificar esta acción le indica a Sensitive Data Protection que desidentifique los datos sensibles que coincidan según la configuración especificada en el interior (Deidentify).cloudStorageOutput: Especifica la URL del directorio de Cloud Storage en el que deseas almacenar los archivos desidentificados.transformationConfig: Especifica cómo Sensitive Data Protection debe desidentificar los datos sensibles en archivos estructurados, archivos no estructurados y en imágenes (TransformationConfig).Si no incluyes un objeto
TransformationConfig, Sensitive Data Protection reemplaza los datos sensibles en el texto por su tipo de información. En las imágenes, cubre los datos sensibles con un cuadro negro.transformationDetailsStorageConfig: Especifica que Sensitive Data Protection debe almacenar metadatos sobre cada transformación que realiza para este trabajo. Además, especifica la ubicación y el nombre de la tabla en la que Sensitive Data Protection debe almacenar esos metadatos (TransformationDetailsStorageConfig).fileTypesToTransform: Limita la operación de desidentificación solo a los tipos de archivos que enumeres. Si no configuras este campo, todos los tipos de archivos compatibles incluidos en la operación de inspección también se incluyen en la operación de desidentificación. En este ejemplo, Sensitive Data Protection desidentifica solo archivos de imagen, CSV y texto, incluso si configuraste elDlpJobpara inspeccionar todos los tipos de archivos admitidos.
Crea un trabajo de inspección a través de la API de REST
Para crear el trabajo de inspección (DlpJob), envía una solicitud
projects.dlpJobs.create. Para enviar la solicitud con cURL, guarda el ejemplo de REST
anterior como un archivo JSON y ejecuta el
siguiente comando:
curl -s \
-H "Content-Type: application/json" \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "X-Goog-User-Project: PROJECT_ID" \
https://dlp.googleapis.com/v2/projects/PROJECT_ID/dlpJobs \
-d @PATH_TO_JSON_FILE
Reemplaza lo siguiente:
PROJECT_ID: Es el ID del proyecto en el que almacenaste elDlpJob.PATH_TO_JSON_FILE: Es la ruta de acceso al archivo JSON que contiene el cuerpo de la solicitud.
Sensitive Data Protection devuelve el identificador del DlpJob recién creado, su estado y una instantánea de la configuración de inspección que estableciste.
{
"name": "projects/PROJECT_ID/dlpJobs/JOB_ID",
"type": "INSPECT_JOB",
"state": "PENDING",
...
}
Recupera los resultados del trabajo de inspección
Para recuperar los resultados de DlpJob, envía una solicitud
projects.dlpJobs.get:
curl -s \
-H "Content-Type: application/json" \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "X-Goog-User-Project: PROJECT_ID" \
https://dlp.googleapis.com/v2/projects/PROJECT_ID/dlpJobs/JOB_ID
Reemplaza lo siguiente:
PROJECT_ID: Es el ID del proyecto en el que almacenaste elDlpJob.JOB_ID: Es el ID del trabajo que se devolvió cuando creaste elDlpJob.
Si la operación se completa, recibirás una respuesta similar a la siguiente:
{
"name": "projects/PROJECT_ID/dlpJobs/JOB_ID",
"type": "INSPECT_JOB",
"state": "DONE",
"inspectDetails": {
"requestedOptions": {
"snapshotInspectTemplate": {},
"jobConfig": {
"storageConfig": {
"cloudStorageOptions": {
"fileSet": {
"url": "INPUT_DIRECTORY"
}
}
},
"inspectConfig": {
"infoTypes": [
{
"name": "PERSON_NAME"
}
],
"limits": {}
},
"actions": [
{
"deidentify": {
"transformationDetailsStorageConfig": {
"table": {
"projectId": "TRANSFORMATION_DETAILS_PROJECT_ID",
"datasetId": "TRANSFORMATION_DETAILS_DATASET_ID",
"tableId": "TRANSFORMATION_DETAILS_TABLE_ID"
}
},
"transformationConfig": {
"deidentifyTemplate": "DEIDENTIFY_TEMPLATE_NAME",
"structuredDeidentifyTemplate": "STRUCTURED_DEIDENTIFY_TEMPLATE_NAME",
"imageRedactTemplate": "IMAGE_REDACTION_TEMPLATE_NAME"
},
"fileTypesToTransform": [
"IMAGE",
"CSV",
"TEXT_FILE"
],
"cloudStorageOutput": "OUTPUT_DIRECTORY"
}
}
]
}
},
"result": {
"processedBytes": "25242",
"totalEstimatedBytes": "25242",
"infoTypeStats": [
{
"infoType": {
"name": "PERSON_NAME"
},
"count": "114"
}
]
}
},
"createTime": "2022-06-09T23:00:53.380Z",
"startTime": "2022-06-09T23:01:27.986383Z",
"endTime": "2022-06-09T23:02:00.443536Z",
"actionDetails": [
{
"deidentifyDetails": {
"requestedOptions": {
"snapshotDeidentifyTemplate": {
"name": "DEIDENTIFY_TEMPLATE_NAME",
"createTime": "2022-06-09T17:46:34.208923Z",
"updateTime": "2022-06-09T17:46:34.208923Z",
"deidentifyConfig": {
"infoTypeTransformations": {
"transformations": [
{
"primitiveTransformation": {
"characterMaskConfig": {
"maskingCharacter": "*",
"numberToMask": 25
}
}
}
]
}
}
},
"snapshotStructuredDeidentifyTemplate": {
"name": "STRUCTURED_DEIDENTIFY_TEMPLATE_NAME",
"createTime": "2022-06-09T20:51:12.411456Z",
"updateTime": "2022-06-09T21:07:53.633149Z",
"deidentifyConfig": {
"recordTransformations": {
"fieldTransformations": [
{
"fields": [
{
"name": "Name"
}
],
"primitiveTransformation": {
"replaceConfig": {
"newValue": {
"stringValue": "[redacted]"
}
}
}
}
]
}
}
},
"snapshotImageRedactTemplate": {
"name": "IMAGE_REDACTION_TEMPLATE_NAME",
"createTime": "2022-06-09T20:52:25.453564Z",
"updateTime": "2022-06-09T20:52:25.453564Z",
"deidentifyConfig": {}
}
},
"deidentifyStats": {
"transformedBytes": "3972",
"transformationCount": "110"
}
}
}
]
}
¿Qué sigue?
- Obtén más información sobre el proceso de desidentificación de datos en el almacenamiento.
- Aprende a desidentificar datos en el almacenamiento con la consola de Google Cloud .
- Trabaja en el codelab Crea una copia desidentificada de los datos en Cloud Storage.
- Obtén más información sobre las transformaciones de desidentificación.
- Obtén información para inspeccionar el almacenamiento en busca de datos sensibles.