Auf dieser Seite wird beschrieben, wie Sie eine Cloud Storage-Ressource prüfen und mit der Cloud Data Loss Prevention API de-identifizierte Kopien der Daten erstellen.
Mit diesem Vorgang können Sie sicherstellen, dass die Dateien, die Sie in Ihren Geschäftsprozessen verwenden, keine sensiblen Daten wie personenidentifizierbare Informationen enthalten. Mit Sensitive Data Protection können Dateien in einem Cloud Storage-Bucket auf sensible Daten geprüft und de-identifizierte Kopien dieser Dateien in einem separaten Bucket erstellt werden. Anschließend können Sie die de-identifizierten Kopien in Ihren Geschäftsprozessen verwenden.
Weitere Informationen zu dieser Funktion finden Sie unter Sensible Daten in Cloud Storage de-identifizieren.
Hinweis
Auf dieser Seite wird Folgendes vorausgesetzt:
Sie haben die Abrechnung aktiviert.
Sie haben Sensitive Data Protection aktiviert.
Sie haben einen Cloud Storage-Bucket mit Daten, die Sie de-identifizieren möchten.
Sie wissen, wie Sie eine HTTP-Anfrage an die DLP API senden. Weitere Informationen finden Sie unter Vertraulichen Text mit der DLP API prüfen.
Informationen zu den Einschränkungen und Überlegungen für diesen Vorgang
Für die Speicherprüfung ist der folgende OAuth-Bereich erforderlich: https://www.googleapis.com/auth/cloud-platform. Weitere Informationen finden Sie unter Bei der DLP API authentifizieren.
Erforderliche IAM-Rollen
Wenn sich alle Ressourcen für diesen Vorgang im selben Projekt befinden, reicht die Rolle „DLP API-Dienst-Agent“ (roles/dlp.serviceAgent) für den Dienst-Agent aus. Mit dieser Rolle können Sie Folgendes tun:
- Inspektionsjob erstellen
- Dateien im Eingabeverzeichnis lesen
- De‑identifizierte Dateien in das Ausgabeverzeichnis schreiben
- Transformationsdetails in eine BigQuery-Tabelle schreiben
Zu den relevanten Ressourcen gehören der Inspektionsjob, De-Identifikationsvorlagen, der Eingabe-Bucket, der Ausgabe-Bucket und die Tabelle mit den Transformationsdetails.
Wenn Sie die Ressourcen in separaten Projekten haben müssen, achten Sie darauf, dass der Dienst-Agent Ihres Projekts auch die folgenden Rollen hat:
- Die Rolle „Storage-Objekt-Betrachter“ (
roles/storage.objectViewer) für den Eingabe-Bucket oder das Projekt, das ihn enthält. - Die Rolle „Storage-Objekt-Ersteller“ (
roles/storage.objectCreator) für den Ausgabe-Bucket oder das Projekt, das ihn enthält. - Die Rolle „BigQuery-Datenbearbeiter“ (
roles/bigquery.dataEditor) für die Tabelle mit den Transformationsdetails oder das Projekt, das sie enthält.
Informationen zum Zuweisen einer Rolle für den Dienst-Agent finden Sie unter Einzelne Rolle zuweisen. Sie können den Zugriff auch auf den folgenden Ebenen steuern:
API-Übersicht
Wenn Sie de-identifizierte Kopien von Inhalten erstellen möchten, die in Cloud Storage gespeichert sind, konfigurieren Sie einen Inspektionsjob, der nach sensiblen Daten gemäß den von Ihnen angegebenen Kriterien sucht. Anschließend geben Sie im Inspektionsjob Anweisungen zur De-Identifikation in Form einer Deidentify-Aktion an.
Wenn Sie nur einen Teil der Dateien in Ihrem Bucket scannen möchten, können Sie die vom Job gescannten Dateien einschränken. Die unterstützten Optionen für Jobs mit De-Identifikation sind die Dateifilterung nach Typ (FileType) und regulärem Ausdruck (FileSet).
Wenn Sie die Aktion Deidentify aktivieren, erstellt Sensitive Data Protection standardmäßig de-identifizierte (transformierte) Kopien aller unterstützten Dateitypen, die im Scan enthalten sind. Sie können den Job jedoch so konfigurieren, dass nur eine Teilmenge der unterstützten Dateitypen transformiert wird.
Optional: De-Identifikationsvorlagen erstellen
Wenn Sie steuern möchten, wie die Ergebnisse transformiert werden, erstellen Sie die folgenden Vorlagen. Diese Vorlagen enthalten Anleitungen zum Transformieren von Ergebnissen in strukturierten Dateien, unstrukturierten Dateien und Bildern.
De-Identifikationsvorlage: Eine Standard-
DeidentifyTemplate, die für unstrukturierte Dateien wie Freiformtextdateien verwendet werden soll. Dieser Typ vonDeidentifyTemplatedarf keinRecordTransformations-Objekt enthalten, das nur für strukturierte Inhalte unterstützt wird. Wenn diese Vorlage nicht vorhanden ist, verwendet Sensitive Data Protection die MethodeReplaceWithInfoTypeConfig, um unstrukturierte Dateien zu transformieren.Strukturierte De-Identifikationsvorlage: Eine
DeidentifyTemplate, die für strukturierte Dateien wie CSV-Dateien verwendet werden soll. DieseDeidentifyTemplatekannRecordTransformationsenthalten. Wenn diese Vorlage nicht vorhanden ist, verwendet Sensitive Data Protection die von Ihnen erstellte Standard-De-Identifikationsvorlage. Wenn auch diese nicht vorhanden ist, verwendet Sensitive Data Protection die MethodeReplaceWithInfoTypeConfig, um strukturierte Dateien zu transformieren.Vorlage zur Bildentfernung: Eine
DeidentifyTemplate, die für Bilder verwendet werden soll. Diese Vorlage muss einImageTransformations-Objekt enthalten. Wenn diese Vorlage nicht vorhanden ist, werden alle Ergebnisse in Bildern mit einem schwarzen Feld entfernt.
Weitere Informationen zum Erstellen einer De-Identifikationsvorlage
Inspektionsjob mit einer De‑Identifikationsaktion erstellen
Das Objekt DlpJob enthält Anweisungen dazu, was geprüft werden soll, welche Datentypen als sensibel gekennzeichnet werden sollen und was mit den Ergebnissen geschehen soll.
Wenn Sie sensible Daten in einem Cloud Storage-Verzeichnis de-identifizieren möchten, muss Ihre DlpJob mindestens Folgendes definieren:
- Ein
StorageConfig-Objekt, das das zu prüfende Cloud Storage-Verzeichnis angibt. - Ein
InspectConfig-Objekt, das die zu suchenden Datentypen und zusätzliche Prüfanweisungen zum Suchen der sensiblen Daten enthält. Eine
Deidentify-Aktion, die Folgendes enthält:Ein
TransformationConfig-Objekt, das alle von Ihnen erstellten Vorlagen für die De-Identifikation von Daten in strukturierten und unstrukturierten Dateien angibt. Sie können auch eine Konfiguration zum Entfernen sensibler Daten aus Bildern einfügen.Wenn Sie kein
TransformationConfig-Objekt angeben, ersetzt Sensitive Data Protection sensible Daten im Text durch den entsprechenden infoType. In Bildern werden sensible Daten mit einem schwarzen Kästchen abgedeckt.Ein
TransformationDetailsStorageConfig-Objekt, das eine BigQuery-Tabelle angibt, in der Sensitive Data Protection Details zu jeder Transformation speichern muss. Zu den Details jeder Transformation gehören eine Beschreibung, ein Erfolgs- oder Fehlercode, Fehlerdetails, die Anzahl der transformierten Byte, der Speicherort des transformierten Inhalts und der Name des Inspektionsjobs, in dem Sensitive Data Protection die Transformation vorgenommen hat. In dieser Tabelle werden die tatsächlichen de-identifizierten Inhalte nicht gespeichert.
Wenn Daten in eine BigQuery-Tabelle geschrieben werden, werden die Abrechnung und Kontingentnutzung dem Projekt zugeschrieben, das die Zieltabelle enthält.
Nachdem die kopierten Inhalte de-identifiziert wurden, ist der De-Identifikationsjob abgeschlossen. Der Job enthält eine Zusammenfassung, wie oft die angegebenen Transformationen angewendet wurden. Diese können Sie mit der Methode projects.dlpJobs.get für DlpJob abrufen. Der zurückgegebene DlpJob enthält sowohl ein DeidentifyDataSourceDetails- als auch ein InspectDataSourceDetails-Objekt. Diese Objekte enthalten die Ergebnisse einer Deidentify-Aktion bzw. des Inspektionsjobs.
Wenn Sie ein TransformationDetailsStorageConfig-Objekt in Ihre DlpJob aufgenommen haben, wird eine BigQuery-Tabelle mit Metadaten zu den Transformationsdetails erstellt. Für jede Transformation, die stattfindet, schreibt Sensitive Data Protection eine Zeile mit Metadaten in die Tabelle. Weitere Informationen zum Inhalt der Tabelle finden Sie in der Referenz zu Transformationsdetails.
Codebeispiele
In den folgenden Beispielen wird gezeigt, wie Sie mit der DLP API de-identifizierte Kopien von Cloud Storage-Dateien erstellen.
HTTP-Methode und URL
POST https://dlp.googleapis.com/v2/projects/PROJECT_ID/dlpJobs
C#
Informationen zum Installieren und Verwenden der Clientbibliothek für Sensitive Data Protection finden Sie unter Sensitive Data Protection-Clientbibliotheken.
Richten Sie die Standardanmeldedaten für Anwendungen ein, um sich bei Sensitive Data Protection zu authentifizieren. Weitere Informationen finden Sie unter Authentifizierung für eine lokale Entwicklungsumgebung einrichten.
Go
Informationen zum Installieren und Verwenden der Clientbibliothek für Sensitive Data Protection finden Sie unter Sensitive Data Protection-Clientbibliotheken.
Richten Sie die Standardanmeldedaten für Anwendungen ein, um sich bei Sensitive Data Protection zu authentifizieren. Weitere Informationen finden Sie unter Authentifizierung für eine lokale Entwicklungsumgebung einrichten.
Java
Informationen zum Installieren und Verwenden der Clientbibliothek für Sensitive Data Protection finden Sie unter Sensitive Data Protection-Clientbibliotheken.
Richten Sie die Standardanmeldedaten für Anwendungen ein, um sich bei Sensitive Data Protection zu authentifizieren. Weitere Informationen finden Sie unter Authentifizierung für eine lokale Entwicklungsumgebung einrichten.
Node.js
Informationen zum Installieren und Verwenden der Clientbibliothek für Sensitive Data Protection finden Sie unter Sensitive Data Protection-Clientbibliotheken.
Richten Sie die Standardanmeldedaten für Anwendungen ein, um sich bei Sensitive Data Protection zu authentifizieren. Weitere Informationen finden Sie unter Authentifizierung für eine lokale Entwicklungsumgebung einrichten.
PHP
Informationen zum Installieren und Verwenden der Clientbibliothek für Sensitive Data Protection finden Sie unter Sensitive Data Protection-Clientbibliotheken.
Richten Sie die Standardanmeldedaten für Anwendungen ein, um sich bei Sensitive Data Protection zu authentifizieren. Weitere Informationen finden Sie unter Authentifizierung für eine lokale Entwicklungsumgebung einrichten.
Python
Informationen zum Installieren und Verwenden der Clientbibliothek für Sensitive Data Protection finden Sie unter Sensitive Data Protection-Clientbibliotheken.
Richten Sie die Standardanmeldedaten für Anwendungen ein, um sich bei Sensitive Data Protection zu authentifizieren. Weitere Informationen finden Sie unter Authentifizierung für eine lokale Entwicklungsumgebung einrichten.
REST
JSON-Eingabe{
"inspectJob": {
"storageConfig": {
"cloudStorageOptions": {
"fileSet": {
"url": "INPUT_DIRECTORY"
}
}
},
"inspectConfig": {
"infoTypes": [
{
"name": "PERSON_NAME"
}
]
},
"actions": [
{
"deidentify": {
"cloudStorageOutput": "OUTPUT_DIRECTORY",
"transformationConfig": {
"deidentifyTemplate": "DEIDENTIFY_TEMPLATE_NAME",
"structuredDeidentifyTemplate": "STRUCTURED_DEIDENTIFY_TEMPLATE_NAME",
"imageRedactTemplate": "IMAGE_REDACTION_TEMPLATE_NAME"
},
"transformationDetailsStorageConfig": {
"table": {
"projectId": "TRANSFORMATION_DETAILS_PROJECT_ID",
"datasetId": "TRANSFORMATION_DETAILS_DATASET_ID",
"tableId": "TRANSFORMATION_DETAILS_TABLE_ID"
}
},
"fileTypesToTransform": ["IMAGE", "CSV", "TEXT_FILE"]
}
}
]
}
}
Ersetzen Sie Folgendes:
PROJECT_ID: die ID des Projekts, in dem Sie den Inspektionsjob speichern möchten.INPUT_DIRECTORY: das Cloud Storage-Verzeichnis, das Sie prüfen möchten, z. B.gs://input-bucket/folder1/folder1a. Wenn die URL mit einem Schrägstrich endet, werden keine Unterverzeichnisse inINPUT_DIRECTORYgescannt.OUTPUT_DIRECTORY: das Cloud Storage-Verzeichnis, in dem Sie die de-identifizierten Dateien speichern möchten. Dieses Verzeichnis darf sich nicht im selben Cloud Storage-Bucket wieINPUT_DIRECTORYbefinden.DEIDENTIFY_TEMPLATE_NAME: der vollständige Ressourcenname der Standardvorlage für die De-Identifikation (für unstrukturierte und strukturierte Dateien), falls Sie eine erstellt haben. Dieser Wert muss das Formatprojects/projectName/(locations/locationId)/deidentifyTemplates/templateNamehaben.STRUCTURED_DEIDENTIFY_TEMPLATE_NAME: der vollständige Ressourcenname der Vorlage für die De-Identifikation strukturierter Dateien, falls Sie eine erstellt haben. Dieser Wert muss das Formatprojects/projectName/(locations/locationId)/deidentifyTemplates/templateNamehaben.IMAGE_REDACTION_TEMPLATE_NAME: der vollständige Ressourcenname der Vorlage für die Bildbearbeitung, falls Sie eine erstellt haben. Dieser Wert muss das Formatprojects/projectName/(locations/locationId)/deidentifyTemplates/templateNamehaben.TRANSFORMATION_DETAILS_PROJECT_ID: die ID des Projekts, in dem Sie die Transformationsdetails speichern möchten.TRANSFORMATION_DETAILS_DATASET_ID: die ID des BigQuery-Datasets, in dem Sie die Transformationsdetails speichern möchten. Wenn Sie keine Tabellen-ID angeben, wird automatisch eine erstellt.TRANSFORMATION_DETAILS_TABLE_ID: die ID der BigQuery-Tabelle, in der Sie die Transformationsdetails speichern möchten.
Beachten Sie die folgenden Objekte:
inspectJob: Das Konfigurationsobjekt für den Job (DlpJob). Dieses Objekt enthält die Konfiguration für die Prüf- und De-Identifikationsphasen.storageConfig: Der Speicherort des zu prüfenden Inhalts (StorageConfig). In diesem Beispiel wird ein Cloud Storage-BucketCloudStorageOptionsangegeben.inspectConfig: Informationen zu den sensiblen Daten, die Sie prüfen möchten (InspectConfig). In diesem Beispiel wird nach Inhalten gesucht, die dem integrierten InfoTypePERSON_NAMEentsprechen.actions: Die Aktionen, die nach Abschluss des Prüfungsabschnitts des Jobs ausgeführt werden sollen (Action).deidentify: Wenn Sie diese Aktion angeben, wird Sensitive Data Protection angewiesen, die übereinstimmenden sensiblen Daten gemäß der darin angegebenen Konfiguration (Deidentify) zu de-identifizieren.cloudStorageOutput: Gibt die URL des Cloud Storage-Verzeichnisses an, in dem Sie die de-identifizierten Dateien speichern möchten.transformationConfig: Gibt an, wie Sensitive Data Protection sensible Daten in strukturierten Dateien, unstrukturierten Dateien und Bildern de-identifizieren muss (TransformationConfig).Wenn Sie kein
TransformationConfig-Objekt angeben, ersetzt Sensitive Data Protection sensible Daten im Text durch den entsprechenden infoType. In Bildern werden sensible Daten mit einem schwarzen Kästchen abgedeckt.transformationDetailsStorageConfig: Gibt an, dass Sensitive Data Protection Metadaten zu jeder Transformation speichern muss, die für diesen Job ausgeführt wird. Außerdem werden der Speicherort und der Name der Tabelle angegeben, in der Sensitive Data Protection diese Metadaten speichern muss (TransformationDetailsStorageConfig).fileTypesToTransform: Beschränkt den De-Identifizierungsvorgang auf die von Ihnen aufgeführten Dateitypen. Wenn Sie dieses Feld nicht festlegen, werden alle unterstützten Dateitypen, die in der Prüfung enthalten sind, auch in die De-Identifizierung einbezogen. In diesem Beispiel de-identifiziert Sensitive Data Protection nur Bild-, CSV- und Textdateien, auch wenn Sie denDlpJobso konfiguriert haben, dass alle unterstützten Dateitypen geprüft werden.
Inspektionsjob über die REST API erstellen
Senden Sie eine projects.dlpJobs.create-Anfrage, um den Inspektionsjob (DlpJob) zu erstellen. Wenn Sie die Anfrage mit cURL senden möchten, speichern Sie das vorherige REST-Beispiel als JSON-Datei und führen Sie den folgenden Befehl aus:
curl -s \
-H "Content-Type: application/json" \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "X-Goog-User-Project: PROJECT_ID" \
https://dlp.googleapis.com/v2/projects/PROJECT_ID/dlpJobs \
-d @PATH_TO_JSON_FILE
Ersetzen Sie Folgendes:
PROJECT_ID: die ID des Projekts, in dem Sie dieDlpJobgespeichert haben.PATH_TO_JSON_FILE: der Pfad zur JSON-Datei, die den Anfragetext enthält.
Sensitive Data Protection gibt die Kennung des neu erstellten DlpJob, seinen Status und einen Snapshot der von Ihnen festgelegten Prüfkonfiguration zurück.
{
"name": "projects/PROJECT_ID/dlpJobs/JOB_ID",
"type": "INSPECT_JOB",
"state": "PENDING",
...
}
Ergebnisse des Inspektionsjobs abrufen
Senden Sie eine projects.dlpJobs.get-Anfrage, um die Ergebnisse des DlpJob abzurufen:
curl -s \
-H "Content-Type: application/json" \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "X-Goog-User-Project: PROJECT_ID" \
https://dlp.googleapis.com/v2/projects/PROJECT_ID/dlpJobs/JOB_ID
Ersetzen Sie Folgendes:
PROJECT_ID: die ID des Projekts, in dem Sie dieDlpJobgespeichert haben.JOB_ID: die ID des Jobs, die beim Erstellen desDlpJobzurückgegeben wurde.
Wenn der Vorgang abgeschlossen ist, erhalten Sie eine Antwort ähnlich der folgenden:
{
"name": "projects/PROJECT_ID/dlpJobs/JOB_ID",
"type": "INSPECT_JOB",
"state": "DONE",
"inspectDetails": {
"requestedOptions": {
"snapshotInspectTemplate": {},
"jobConfig": {
"storageConfig": {
"cloudStorageOptions": {
"fileSet": {
"url": "INPUT_DIRECTORY"
}
}
},
"inspectConfig": {
"infoTypes": [
{
"name": "PERSON_NAME"
}
],
"limits": {}
},
"actions": [
{
"deidentify": {
"transformationDetailsStorageConfig": {
"table": {
"projectId": "TRANSFORMATION_DETAILS_PROJECT_ID",
"datasetId": "TRANSFORMATION_DETAILS_DATASET_ID",
"tableId": "TRANSFORMATION_DETAILS_TABLE_ID"
}
},
"transformationConfig": {
"deidentifyTemplate": "DEIDENTIFY_TEMPLATE_NAME",
"structuredDeidentifyTemplate": "STRUCTURED_DEIDENTIFY_TEMPLATE_NAME",
"imageRedactTemplate": "IMAGE_REDACTION_TEMPLATE_NAME"
},
"fileTypesToTransform": [
"IMAGE",
"CSV",
"TEXT_FILE"
],
"cloudStorageOutput": "OUTPUT_DIRECTORY"
}
}
]
}
},
"result": {
"processedBytes": "25242",
"totalEstimatedBytes": "25242",
"infoTypeStats": [
{
"infoType": {
"name": "PERSON_NAME"
},
"count": "114"
}
]
}
},
"createTime": "2022-06-09T23:00:53.380Z",
"startTime": "2022-06-09T23:01:27.986383Z",
"endTime": "2022-06-09T23:02:00.443536Z",
"actionDetails": [
{
"deidentifyDetails": {
"requestedOptions": {
"snapshotDeidentifyTemplate": {
"name": "DEIDENTIFY_TEMPLATE_NAME",
"createTime": "2022-06-09T17:46:34.208923Z",
"updateTime": "2022-06-09T17:46:34.208923Z",
"deidentifyConfig": {
"infoTypeTransformations": {
"transformations": [
{
"primitiveTransformation": {
"characterMaskConfig": {
"maskingCharacter": "*",
"numberToMask": 25
}
}
}
]
}
}
},
"snapshotStructuredDeidentifyTemplate": {
"name": "STRUCTURED_DEIDENTIFY_TEMPLATE_NAME",
"createTime": "2022-06-09T20:51:12.411456Z",
"updateTime": "2022-06-09T21:07:53.633149Z",
"deidentifyConfig": {
"recordTransformations": {
"fieldTransformations": [
{
"fields": [
{
"name": "Name"
}
],
"primitiveTransformation": {
"replaceConfig": {
"newValue": {
"stringValue": "[redacted]"
}
}
}
}
]
}
}
},
"snapshotImageRedactTemplate": {
"name": "IMAGE_REDACTION_TEMPLATE_NAME",
"createTime": "2022-06-09T20:52:25.453564Z",
"updateTime": "2022-06-09T20:52:25.453564Z",
"deidentifyConfig": {}
}
},
"deidentifyStats": {
"transformedBytes": "3972",
"transformationCount": "110"
}
}
}
]
}
Nächste Schritte
- Weitere Informationen zum De-Identifizieren von Daten im Speicher
- Daten im Speicher mit der Google Cloud Console de-identifizieren
- Arbeiten Sie das Codelab De-identifizierte Kopie von Daten in Cloud Storage erstellen durch.
- Weitere Informationen zu Transformationen zur De-Identifikation
- Speicher auf sensible Daten prüfen