Cloud Data Fusion verschlüsselt ruhende Kundeninhalte standardmäßig. Die Verschlüsselung wird von Cloud Data Fusion übernommen. Weitere Maßnahmen Ihrerseits sind nicht erforderlich. Diese Option heißt Google-Standardverschlüsselung.
Wenn Sie Ihre Verschlüsselungsschlüssel selbst verwalten möchten, können Sie kundenverwaltete Verschlüsselungsschlüssel (CMEKs, Customer-Managed Encryption Keys) in Cloud KMS mit CMEK-integrierten Diensten wie Cloud Data Fusion verwenden. Mit Cloud KMS-Schlüsseln haben Sie die Kontrolle über Schutzlevel, Speicherort, Rotationszeitplan, Nutzungs- und Zugriffsberechtigungen sowie über kryptografische Grenzen. Mit Cloud KMS können Sie außerdem Audit-Logs aufrufen und den Lebenszyklus von Schlüsseln steuern. Statt es Google zu überlassen, die symmetrischen Schlüsselverschlüsselungsschlüssel (Key Encryption Keys, KEKs) zum Schutz Ihrer Daten zu besitzen und zu verwalten, können Sie diese auch über Cloud KMS steuern und verwalten.
Nachdem Sie Ihre Ressourcen mit CMEKs eingerichtet haben, ähnelt der Zugriff auf Ihre Cloud Data Fusion-Ressourcen der Verwendung der standardmäßigen Google-Verschlüsselung. Weitere Informationen zu Ihren Verschlüsselungsoptionen finden Sie unter Kundenverwaltete Verschlüsselungsschlüssel (CMEK).
Cloud Data Fusion unterstützt das Tracking der Cloud KMS-Schlüsselnutzung für die Ressource Instance.
Mit CMEK können Sie die Daten steuern, die in interne Google-Ressourcen in Mandantenprojekten geschrieben werden, sowie die Daten, die von Cloud Data Fusion-Pipelines geschrieben werden, einschließlich:
- Pipelinelogs und -metadaten
- Metadaten für Managed Service for Apache Spark-Cluster
- Verschiedene Datensenken, Aktionen und Quellen für Cloud Storage, BigQuery, Pub/Sub und Spanner
Cloud Data Fusion-Ressourcen
Eine Liste der Cloud Data Fusion-Plug-ins, die CMEK unterstützen, finden Sie unter Unterstützte Plug-ins.
Cloud Data Fusion unterstützt CMEK für Managed Service for Apache Spark-Cluster. Cloud Data Fusion erstellt einen temporären Managed Service for Apache Spark-Cluster für die Verwendung in der Pipeline und löscht den Cluster, wenn die Pipeline abgeschlossen ist. CMEK schützt die Clustermetadaten, die in Folgendes geschrieben werden:
- Nichtflüchtige Speicher (PD), die an Cluster-VMs angehängt sind
- Jobtreiberausgabe und andere Metadaten, die in den automatisch oder vom Nutzer erstellten Staging-Bucket von Managed Service for Apache Spark geschrieben werden
CMEK einrichten
Cloud KMS-Schlüssel erstellen
Erstellen Sie einen Cloud KMS-Schlüssel im Projekt Google Cloud , das die Cloud Data Fusion-Instanz enthält, oder in einem separaten Nutzerprojekt. Der Speicherort des Cloud KMS-Schlüsselbunds muss mit der Region übereinstimmen, in der Sie die Instanz erstellen. Ein multiregionaler oder globaler Schlüssel ist auf Instanzebene nicht zulässig, da Cloud Data Fusion immer mit einer bestimmten Region verknüpft ist.
Ressourcennamen für den Schlüssel abrufen
REST API
Rufen Sie den Ressourcennamen des Schlüssels ab, den Sie mit dem folgenden Befehl erstellt haben:
projects/PROJECT_ID/locations/REGION/keyRings/KEY_RING_NAME/cryptoKeys/KEY_NAME
Dabei gilt:
- PROJECT_ID ist das Kundenprojekt, das die Cloud Data Fusion-Instanz hostet
- REGION ist eine Google Cloud-Region, die sich in der Nähe Ihres Standorts befindet, z. B.
us-east1 - KEY_RING_NAME ist der Name des Schlüsselbunds, in dem die kryptografischen Schlüssel gruppiert werden
- KEY_NAME ist der Cloud KMS-Schlüsselname
Console
Rufen Sie die Seite Schlüsselverwaltung auf.
Klicken Sie neben Ihrem Schlüssel auf Mehr .
Wählen Sie Ressourcenname kopieren aus, um den Ressourcennamen in die Zwischenablage zu kopieren.
Dienstkonten Ihres Projekts zur Verwendung des Schlüssels aktualisieren
Richten Sie die Dienstkonten Ihres Projekts zur Verwendung Ihres Schlüssels ein:
Erforderlich: Weisen Sie dem Cloud Data Fusion-Dienst-Agent die Rolle „Cloud KMS CryptoKey-Verschlüsseler/Entschlüsseler“ (
roles/cloudkms.cryptoKeyEncrypterDecrypter) zu (siehe Einem Dienstkonto Rollen für bestimmte Ressourcen zuweisen). Dieses Konto hat folgendes Format:service-PROJECT_NUMBER@gcp-sa-datafusion.Wenn Sie dem Cloud Data Fusion-Dienst-Agent die Rolle „Cloud KMS CryptoKey-Verschlüsseler/Entschlüsseler” zuweisen, kann Cloud Data Fusion mithilfe von CMEK alle Kundendaten in Mandantenprojekten verschlüsseln.
Erforderlich: Weisen Sie dem Compute Engine-Dienst-Agent die Rolle „Cloud KMS CryptoKey-Verschlüsseler/Entschlüsseler” zu (siehe Cloud KMS-Schlüssel einem Cloud Storage-Dienstkonto zuweisen). Diesem Konto wird standardmäßig die Compute Engine-Dienst-Agent-Rolle in dieser Form zugewiesen:
service-PROJECT_NUMBER@compute-system.Wenn Sie dem Compute Engine-Dienst-Agenten die Rolle „Cloud KMS CryptoKey Encrypter/Decrypter“ zuweisen, kann Cloud Data Fusion CMEK verwenden, um Metadaten von nichtflüchtigem Speicher (PD) zu verschlüsseln, die vom Managed Service for Apache Spark-Cluster geschrieben werden, der in Ihrer Pipeline ausgeführt wird.
Erforderlich: Gewähren Sie die Rolle „Cloud KMS CryptoKey Verschlüsseler-/Entschlüsseler“ dem Cloud Storage-Dienst-Agent (siehe Cloud Storage-Dienst-Agent einen Cloud KMS-Schlüssel zuweisen). Dieser Dienst-Agent hat das folgende Format:
service-PROJECT_NUMBER@gs-project-accounts.Wenn Sie dem Cloud Storage-Dienst-Agent diese Rolle zuweisen, kann Cloud Data Fusion CMEK verwenden, um den Cloud Storage-Bucket zu verschlüsseln, in dem Pipelineinformationen und Daten gespeichert und im Cache gespeichert werden, die in den Managed Service for Apache Spark-Cluster-Staging-Bucket und alle anderen Cloud Storage-Buckets in Ihrem Projekt geschrieben werden, die von Ihrer Pipeline verwendet werden.
Erforderlich: Weisen Sie dem Google Cloud Dataproc-Dienst-Agenten die Rolle „Cloud KMS CryptoKey Encrypter/Decrypter“ zu. Dieser Dienst-Agent hat das folgende Format:
service-PROJECT_NUMBER@dataproc-accounts.Optional: Wenn Ihre Pipeline BigQuery-Ressourcen verwendet, gewähren Sie die Rolle „Cloud KMS CryptoKey-Verschlüsseler/Entschlüsseler” an das BigQuery-Dienstkonto (siehe Verschlüsselungs- und Entschlüsselungsberechtigungen gewähren). Dieses Konto hat das folgende Format:
bq-PROJECT_NUMBER@bigquery-encryption.Optional: Wenn Ihre Pipeline Pub/Sub-Ressourcen verwendet, weisen Sie dem Pub/Sub-Dienstkonto die Rolle „Cloud KMS CryptoKey-Verschlüsseler/Entschlüsseler” zu (siehe Kundenverwaltete Verschlüsselungsschlüssel verwenden). Dieses Konto hat das folgende Format:
service-PROJECT_NUMBER@gcp-sa-pubsub.Optional: Wenn Ihre Pipeline Spanner-Ressourcen verwendet, weisen Sie dem Spanner-Dienstkonto die Rolle „Cloud KMS CryptoKey-Verschlüsseler/Entschlüsseler” zu. Dieses Konto hat das folgende Format:
service-PROJECT_NUMBER@gcp-sa-spanner.
Cloud Data Fusion-Instanz mit CMEK erstellen
CMEK ist in allen Versionen von Cloud Data Fusion ab Version 6.5.0 verfügbar.
REST API
Wenn Sie eine Instanz mit einem kundenverwalteten Verschlüsselungsschlüssel erstellen möchten, legen Sie die folgenden Umgebungsvariablen fest:
export PROJECT=PROJECT_ID export LOCATION=REGION export INSTANCE=INSTANCE_ID export DATA_FUSION_API_NAME=datafusion.googleapis.com export KEY=KEY_NAMEErsetzen Sie Folgendes:
- PROJECT_ID: das Kundenprojekt, in dem die Cloud Data Fusion-Instanz gehostet wird
- REGION: eine Google Cloud -Region in der Nähe Ihres Standorts, z. B.
us-east1 - INSTANCE_ID ist der Name der Cloud Data Fusion-Instanz
- KEY_NAME ist der vollständige Ressourcenname des CMEK-Schlüssels
Führen Sie den folgenden Befehl aus, um eine Cloud Data Fusion-Instanz zu erstellen:
curl -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" https://$DATA_FUSION_API_NAME/v1/projects/$PROJECT/locations/$LOCATION/instances?instance_id=INSTANCE -X POST -d '{"description": "CMEK-enabled CDF instance created through REST.", "type": "BASIC", "cryptoKeyConfig": {"key_reference": "$KEY"} }'
Console
Rufen Sie die Cloud Data Fusion-Seite auf.
Klicken Sie auf Instanzen und dann auf Instanz erstellen.
Wählen Sie unter Erweiterte Optionen die Option Vom Kunden verwalteten Verschlüsselungsschlüssel (CMEK) verwenden aus.
Wählen Sie im Feld Vom Kunden verwalteten Schlüssel auswählen den Ressourcennamen für den Schlüssel aus.

Nachdem Sie alle Instanzdetails eingegeben haben, klicken Sie auf Erstellen. Wenn die Instanz einsatzbereit ist, wird sie auf der Seite Instanzen angezeigt.
Prüfen, ob CMEK für eine Instanz aktiviert ist
Console
Rufen Sie die Instanzdetails auf:
Rufen Sie in der Google Cloud Console die Seite „Cloud Data Fusion“ auf.
Klicken Sie auf Instanzen und dann auf den Namen der Instanz, um die Seite Instanzdetails aufzurufen.
Wenn CMEK aktiviert ist, wird das Feld Verschlüsselungsschlüssel als Verfügbar angezeigt.
Wenn CMEK deaktiviert ist, wird im Feld Verschlüsselungsschlüssel die Option Nicht verfügbar angezeigt.
CMEK mit unterstützten Plug-ins verwenden
Verwenden Sie das folgende Format, wenn Sie den Namen des Verschlüsselungsschlüssels festlegen:
projects/PROJECT_ID/locations/REGION/keyRings/KEY_RING_NAME/cryptoKeys/KEY_NAME

In der folgenden Tabelle wird das Verhalten des Schlüssels in den Cloud Data Fusion-Plug-ins beschrieben, die CMEK unterstützen.
| Unterstützte Plug-ins | Verhalten des Schlüssels |
|---|---|
| Cloud Data Fusion-Senken: | |
| Cloud Storage | Verschlüsselt Daten, die in jeden vom Plug-in erstellten Bucket geschrieben wurden. Wenn der Bucket bereits vorhanden ist, wird dieser Wert ignoriert. |
| Cloud Storage multi-file | Verschlüsselt Daten, die in jeden vom Plug-in erstellten Bucket geschrieben wurden. |
| BigQuery | Verschlüsselung von Daten, die in beliebige vom Plug-in erstellte Buckets, Datasets oder Tabellen geschrieben werden. |
| BigQuery-Multi-Tabelle | Verschlüsselung von Daten, die in beliebige vom Plug-in erstellte Buckets, Datasets oder Tabellen geschrieben werden. |
| Pub/Sub | Verschlüsselt Daten, die in beliebige vom Plug-in erstellte Themen geschrieben wurden. Wenn das Thema bereits vorhanden ist, wird dieser Wert ignoriert. |
| Spanner | Verschlüsselung von Daten, die in eine vom Plug-in erstellte Datenbank geschrieben werden. Wenn die Datenbank bereits vorhanden ist, wird dieser Wert ignoriert. |
| Cloud Data Fusion-Aktionen: | |
|
Cloud Storage erstellen Cloud Storage kopieren Cloud Storage verschieben Dateimarkierung für Cloud Storage abgeschlossen |
Verschlüsselt Daten, die in jeden vom Plug-in erstellten Bucket geschrieben wurden. Wenn der Bucket bereits vorhanden ist, wird dieser Wert ignoriert. |
| BigQuery Execute | Verschlüsselt Daten, die in das Dataset oder die Tabelle geschrieben werden, die das Plug-in zum Speichern der Abfrageergebnisse erstellt. Sie ist nur anwendbar, wenn Sie die Abfrageergebnisse in einer BigQuery-Tabelle speichern. |
| Cloud Data Fusion-Quellen | |
| BigQuery Source | Verschlüsselt Daten, die in jeden vom Plug-in erstellten Bucket geschrieben wurden. Wenn der Bucket bereits vorhanden ist, wird dieser Wert ignoriert. |
| Cloud Data Fusion-SQL-Engine | |
| BigQuery Pushdown Engine | Verschlüsselung von Daten, die in beliebige vom Plug-in erstellte Buckets, Datasets oder Tabellen geschrieben werden. |
CMEK mit Managed Service for Apache Spark-Clustermetadaten verwenden
Die vordefinierten Compute-Profile verwenden den bei der Instanzerstellung angegebenen CMEK-Schlüssel, um die Persistent Disk (PD) und die Metadaten des Staging-Buckets zu verschlüsseln, die vom Managed Service for Apache Spark-Cluster geschrieben werden, der in Ihrer Pipeline ausgeführt wird. Sie können einen anderen Schlüssel mithilfe von einem der folgenden Schritte ändern:
- Empfohlen: Erstellen Sie ein neues Managed Service for Apache Spark-Computing-Profil (nur Enterprise-Version).
- Vorhandenes Managed Service for Apache Spark-Computing-Profil bearbeiten (Developer, Basic oder Enterprise Edition).
Console
Öffnen Sie die Cloud Data Fusion-Instanz:
在 Google Cloud 控制台中,前往 Cloud Data Fusion 页面。
如需在 Cloud Data Fusion Studio 中打开实例,请点击实例,然后点击查看实例。
Klicken Sie auf Systemadministrator > Konfiguration.
Klicken Sie auf das Drop-down-Menü System Compute-Profiles.
Klicken Sie auf Neues Profil erstellen und wählen Sie Managed Service for Apache Spark aus.
Geben Sie ein Profillabel, einen Profilnamen und eine Beschreibung ein.
Standardmäßig erstellt Managed Service for Apache Spark Staging- und temporäre Buckets, wenn ein sitzungsspezifischer Cluster von Cloud Data Fusion erstellt wird. Cloud Data Fusion unterstützt die Übergabe des Managed Service for Apache Spark-Staging-Buckets als Argument im Compute-Profil. Wenn Sie den Staging-Bucket verschlüsseln möchten, erstellen Sie einen CMEK-fähigen Bucket und übergeben Sie ihn im Compute-Profil als Argument an Managed Service for Apache Spark.
Standardmäßig erstellt Cloud Data Fusion automatisch einen Cloud Storage-Bucket, um Abhängigkeiten zu speichern, die von Managed Service for Apache Spark verwendet werden. Wenn Sie einen Cloud Storage-Bucket verwenden möchten, der bereits in Ihrem Projekt vorhanden ist, gehen Sie so vor:
Geben Sie im Abschnitt Allgemeine Einstellungen Ihren vorhandenen Cloud Storage-Bucket in das Feld Cloud Storage-Bucket ein.
Fügen Sie Ihren Cloud KMS-Schlüssel dem Cloud Storage-Bucket hinzu.
Rufen Sie die Ressourcen-ID Ihres Cloud KMS-Schlüssels ab. Geben Sie im Abschnitt Allgemeine Einstellungen Ihre Ressourcen-ID in das Feld Name des Verschlüsselungsschlüssels ein.
Klicken Sie auf Erstellen.
Wenn im Abschnitt System-Computing-Profile des Tabs Konfiguration mehr als ein Profil aufgeführt ist, legen Sie das neue Managed Service for Apache Spark-Profil als Standardprofil fest. Bewegen Sie dazu den Mauszeiger auf das Feld mit dem Profilnamen und klicken Sie auf den angezeigten Stern.
CMEK mit anderen Ressourcen verwenden
Der bereitgestellte CMEK-Schlüssel wird während der Erstellung der Cloud Data Fusion-Instanz auf die Systemeinstellung festgelegt. Er wird verwendet, um Daten zu verschlüsseln, die in Pipeline-Senken wie Cloud Storage-, BigQuery-, Pub/Sub- oder Spanner-Senken in neu erstellte Ressourcen geschrieben werden.
Dieser Schlüssel gilt nur für neu erstellte Ressourcen. Wenn die Ressource bereits vor der Pipelineausführung vorhanden ist, sollten Sie den CMEK-Schlüssel manuell auf diese vorhandenen Ressourcen anwenden.
Sie können den CMEK-Schlüssel mit einem der folgenden Schritte ändern:
- Ein Laufzeitargument verwenden
- Eine Systemeinstellung in Cloud Data Fusion festlegen
Laufzeitargument
- Klicken Sie auf der Cloud Data Fusion-Seite Pipeline Studio rechts neben der Schaltfläche Ausführen auf den Drop-down-Pfeil.
- Geben Sie im Feld Name
gcp.cmek.key.nameein. - Geben Sie im Feld Wert die Ressourcen-ID Ihres Schlüssels ein.

Klicken Sie auf Speichern.
Das hier festgelegte Laufzeitargument gilt nur für die Ausführung der aktuellen Pipeline.
Einstellung
- Klicken Sie in der Benutzeroberfläche von Cloud Data Fusion auf SYSTEMADMINISTRATOR.
- Klicken Sie auf den Tab Configuration (Konfiguration).
- Klicken Sie auf das Drop-down-Menü Systemeinstellungen.
- Klicken Sie auf Systemeinstellungen bearbeiten.
- Geben Sie im Feld Schlüssel
gcp.cmek.key.nameein. - Geben Sie im Feld Wert die Ressourcen-ID Ihres Schlüssels ein.

- Klicken Sie auf Speichern & schließen.