Mit der auf Dienstkonten basierenden sicheren Mandantenfähigkeit von Managed Service for Apache Spark können Sie einen Cluster für mehrere Nutzer freigeben. Dabei wird beim Erstellen des Clusters eine Reihe von Nutzerkonten Dienstkonten zugeordnet. Nutzer können interaktive Arbeitslasten wie Jupyter-Notebooks an Kernel senden, die auf dem mehrmandantenfähigen Cluster mit isolierten Nutzerumgebungen ausgeführt werden.
Wenn ein Nutzer einen Job an den mehrmandantenfähigen Cluster sendet:
Der Job wird als bestimmter Betriebssystemnutzer mit einem bestimmten Kerberos-Hauptkonto ausgeführt.
Der Job greift über ein zugeordnetes Dienstkonto auf Ressourcen von Google Cloud zu.
In diesem Dokument erfahren Sie, wie Sie einen mandantenfähigen Managed Service for Apache Spark-Cluster erstellen und dann ein Jupyter-Notebook starten und mit einem PySpark-Kernel verbinden, der im Cluster ausgeführt wird.
Überlegungen und Einschränkungen
Wenn Sie einen mehrmandantenfähigen Cluster erstellen:
Der Cluster ist nur für Google-Kontonutzer mit zugeordneten Dienstkonten verfügbar. Google-Gruppen können nicht zugeordnet werden. Nicht zugeordnete Nutzer können keine Jobs im Cluster ausführen.
Kerberos ist auf dem Cluster für eine sichere Intra-Cluster-Kommunikation aktiviert und konfiguriert. Die Endnutzerauthentifizierung über Kerberos wird nicht unterstützt.
Der direkte SSH-Zugriff auf den Cluster und Compute Engine-Features wie die Möglichkeit, Startskripts auf Cluster-VMs auszuführen, wird blockiert. Außerdem können Jobs nicht mit
sudo-Berechtigungen ausgeführt werden.Workflows von Managed Service for Apache Spark werden nicht unterstützt.
Mehrmandantencluster erstellen
Sie aktivieren das Mehrmandanten-Feature, wenn Sie einen Managed Service for Apache Spark-Cluster erstellen.
Console
So erstellen Sie einen Cluster mit der Google Cloud Console:
- Rufen Sie in der Google Cloud Console die Seite Cluster erstellen auf.
- Klicken Sie auf Zusätzliche Konfiguration, um den Bereich zu maximieren.
- Bearbeiten Sie Optionale Komponenten.
- Klicken Sie das Kästchen Komponenten in der UI aktivieren an, um Komponenten-UIs zu aktivieren, und wählen Sie dann das Kästchen für Jupyter Kernel Gateway aus.
- Klicken Sie auf Speichern.
- Bearbeiten Sie Anpassung und Sonstiges.
- Wenn Sie das Hinzufügen oder Entfernen von Mehrmandanten-Nutzern ohne Neuerstellung des Clusters zulassen möchten (siehe Mehrmandanten-Cluster-Nutzer aktualisieren), klicken Sie im Abschnitt Cluster-Attribute auf + Attribute hinzufügen.
- Fügen Sie die folgende Property hinzu: Präfix:
dataproc, Schlüssel:dataproc.dynamic.multi.tenancy.enabled, Wert:trueEmpfehlung: Da YARN für jeden Notebook-Kernel, der auf einem mehrmandantenfähigen Cluster ausgeführt wird, erhebliche Clusterressourcen verbraucht, sollten Sie Spark- und YARN-Attribute hinzufügen, um die Ressourcenzuweisung zu erhöhen.
Beispiel:
Präfix Schlüssel Wert spark spark.driver.memory 5g spark spark.executor.memory 5g spark spark.executor.cores 2 capacity-scheduler yarn.scheduler.capacity.maximum-am-resource-percent 0,5 - Klicken Sie auf Speichern.
- Bearbeiten Sie die Sicherheit.
- Klicken Sie unter Projektzugriff das Kästchen Cloud-Platform-Bereich für diesen Cluster aktivieren an.
- Wählen Sie unter Sichere Mehrmandantenfähigkeit die Option Aktivieren aus.
- Klicken Sie unter Zuordnung für Mandantenfähigkeit auf Zuordnung für Mandantenfähigkeit hinzufügen, um Nutzerkonten Dienstkonten zuzuordnen.
- Klicken Sie auf Speichern.
- Bestätigen Sie die anderen Einstellungen und klicken Sie dann auf Cluster erstellen.
gcloud
Verwenden Sie gcloud dataproc clusters create command mit dem Flag --secure-multi-tenancy-user-mapping, um eine Liste von Zuordnungen zwischen Nutzerkonten und Dienstkonten anzugeben.
gcloud dataproc clusters create CLUSTER_NAME \ --region=REGION \ --secure-multi-tenancy-user-mapping=USER_MAPPINGS: \ --properties "dataproc:dataproc.dynamic.multi.tenancy.enabled=true" \ --service-account=CLUSTER_SERVICE_ACCOUNT@ \ --scopes=https://www.googleapis.com/auth/iam \ --optional-components=JUPYTER_KERNEL_GATEWAY \ --enable-component-gateway \ other args ...
Hinweise:
USER_MAPPINGS: Geben Sie eine durch Kommas getrennte Liste an, in der Nutzerkonten Dienstkonten zugeordnet werden.
YAML-Zuordnungsdatei verwenden: Anstatt das Flag--secure-multi-tenancy-user-mapping=UserA@my-company.com:SERVICE_ACCOUNT_FOR_USERA@,UserB@my-company.com:SERVICE_ACCOUNT_FOR_USERB@,UserC@my-company.com:SERVICE_ACCOUNT_FOR_USERC@
--secure-multi-tenancy-user-mappingzu verwenden, um die Zuordnungen von Nutzerkonten zu Dienstkonten anzugeben, können Sie das Flag--identity-config-fileverwenden, um eine lokale oder Cloud Storage-YAML-Datei anzugeben, die die Zuordnungen enthält. In jeder Zeile der Zuordnungsdatei wird ein Nutzerkonto einem Dienstkonto zugeordnet. Die erste Zeile enthält den Header--identity-config-file=LOCAL_FILE or gs://BUCKET/FOLDER/FILENAME
user_service_account_mapping:.user_service_account_mapping: UserA@my-company.com:SERVICE_ACCOUNT_FOR_USERA@ UserB@my-company.com:SERVICE_ACCOUNT_FOR_USERB@ UserC@my-company.com:SERVICE_ACCOUNT_FOR_USERC@
--properties "dataproc:dataproc.dynamic.multi.tenancy.enabled=true": Mit diesem Attribut können Sie Nutzer eines mehrmandantenfähigen Clusters hinzufügen oder entfernen, ohne den Cluster neu erstellen zu müssen (siehe Nutzer eines mehrmandantenfähigen Clusters aktualisieren).Empfehlung: Da YARN für jeden Notebook-Kernel, der auf einem mehrmandantenfähigen Cluster ausgeführt wird, erhebliche Clusterressourcen verbraucht, sollten Sie Spark- und YARN-Attribute hinzufügen, um die Ressourcenzuweisung zu erhöhen.
Beispiel:
--properties=" \ spark:spark.driver.memory=5g,\ spark:spark.executor.memory=5g,\ spark:spark.executor.cores=200, \ capacity-scheduler:yarn.scheduler.capacity.maximum-am-resource-percent=0.5"
CLUSTER_SERVICE_ACCOUNT (optional): Sie können mit
--service-account flagein benutzerdefiniertes VM-Dienstkonto für den Cluster angeben. Wenn Sie dieses Flag weglassen, wird das Standard-VM-Dienstkonto des Clusters,PROJECT_NUMBER-compute@, verwendet.Empfehlung: Verwenden Sie für verschiedene Cluster unterschiedliche Clusterdienstkonten, damit jedes Cluster-VM-Dienstkonto nur die Identität einer begrenzten Gruppe von zugeordneten Nutzerdienstkonten übernehmen kann.
--scopes=https://www.googleapis.com/auth/iamist erforderlich, damit das Clusterdienstkonto die Identität übernehmen kann.--enable-component-gatewayund--optional-components=JUPYTER_KERNEL_GATEWAY: Wenn Sie das Component Gateway für Managed Service for Apache Spark und das Jupyter Kernel Gateway aktivieren, können mehrere Nutzer ihre Jupyter-Notebooks mit dem mandantenfähigen Cluster verbinden.
API
Verwenden Sie SecurityConfig.IdentityConfig.userServiceAccountMapping field, um eine Liste von Zuordnungen zwischen Nutzerkonten und Dienstkonten anzugeben.
IAM-Berechtigungen (Identity and Access Management) zuweisen
Damit Nutzer-Notebooks mit Notebook-Kernels verbunden werden können, die auf einem mehrmandantenfähigen Cluster ausgeführt werden, müssen zugeordnete Nutzer, zugeordnete Dienstkonten und das Cluster-VM-Dienstkonto die erforderlichen IAM-Berechtigungen für den Zugriff auf Ressourcen haben.
Zugeordnete Nutzerberechtigungen
Jeder zugeordnete Nutzer muss die Berechtigungen dataproc.clusters.get und dataproc.clusters.use haben, die für den Zugriff auf und die Verbindung zu Notebook-Kernels erforderlich sind, die auf dem mehrmandantenfähigen Cluster ausgeführt werden. Sie können die Rolle Managed Service for Apache Spark Editor (roles/dataproc.editor) zuweisen, die diese Berechtigungen enthält (siehe Einzelne IAM-Rolle zuweisen), oder eine benutzerdefinierte Rolle mit diesen Berechtigungen erstellen.
Zugeordnete Dienstkontoberechtigungen
Jedes zugeordnete Dienstkonto muss die Berechtigungen haben, die für die Notebook-Anwendung des zugeordneten Nutzers erforderlich sind, z. B. Zugriff auf einen Cloud Storage-Bucket oder Zugriff auf eine BigQuery-Tabelle (siehe Zugriff auf Dienstkonten verwalten).
Berechtigungen für VM-Dienstkonten
Das VM-Dienstkonto des mehrmandantenfähigen Clusters muss für jedes zugeordnete Dienstkonto die Berechtigung iam.serviceAccounts.getAccessToken haben. Sie können die Rolle Ersteller von Dienstkonto-Tokens (roles/iam.serviceAccountTokenCreator) zuweisen, die diese Berechtigung enthält (siehe Zugriff auf Dienstkonten verwalten), oder eine benutzerdefinierte Rolle mit dieser Berechtigung erstellen.
Informationen zu anderen VM-Dienstkontorollen finden Sie unter VM-Dienstkonto für Managed Service for Apache Spark.
Jupyter-Notebooks mit einem mehrmandantenfähigen Clusterkernel verbinden
Zugeordnete Nutzer eines mehrmandantenfähigen Clusters können ihr Vertex AI Workbench- oder nutzerverwaltetes Jupyter-Notebook mit den auf dem mehrmandantenfähigen Cluster installierten Kernels verbinden.
Vertex AI-Notebook
So erstellen Sie ein Jupyter-Notebook und verbinden es mit dem mehrmandantenfähigen Cluster:
- Vertex AI Workbench-Instanz erstellen
- Klicken Sie auf dem Tab Workbench-Instanzen auf den Link JupyterLab öffnen für Ihre Instanz.
- Klicken Sie unter Dataproc Cluster Notebooks auf die Karte PySpark (YARN Cluster) on
MULTI_TENANCY_CLUSTER_NAME, um eine Verbindung zu einem neuen Jupyter PySpark-Notebook herzustellen und es zu starten.
Nutzerverwaltetes Notebook
Wenn Sie ein nutzerverwaltetes Jupyter-Notebook erstellen und mit Ihrem mandantenfähigen Managed Service for Apache Spark-Cluster verbinden möchten, folgen Sie der Anleitung zum Installieren der JupyterLab-Erweiterung auf Ihrer nutzerverwalteten VM.
Nutzer von mehrmandantenfähigen Clustern aktualisieren (Vorabversion)
Wenn Sie die Clustereigenschaft dataproc:dataproc.dynamic.multi.tenancy.enabled beim Erstellen eines mehrmandantenfähigen Clusters auf true festgelegt haben, können Sie nach der Clustererstellung Nutzer des mehrmandantenfähigen Clusters hinzufügen, entfernen oder ersetzen.
Nutzer hinzufügen
Im folgenden Aktualisierungsbefehl wird das Flag --add-user-mappings verwendet, um dem sicheren mehrmandantenfähigen Cluster zwei neue Zuordnungen von Nutzerkonten zu Dienstkonten hinzuzufügen.
gcloud dataproc clusters update CLUSTER_NAME \ --region=REGION \ --add-user-mappings=new-user1@my-company.com=SERVICE_ACCOUNT_FOR_NEW_USER1@,new-user2@my-company.com=SERVICE_ACCOUNT_FOR_NEW_USER2@
Nutzer entfernen
Im folgenden Aktualisierungsbefehl wird das Flag --remove-user-mappings verwendet, um zwei Nutzer aus dem mehrmandantenfähigen Cluster zu entfernen. Das Flag akzeptiert die Nutzerkonten der zu entfernenden Nutzer.
gcloud dataproc clusters update CLUSTER_NAME \ --region=REGION \ --remove-user-mappings=UserB@my-company.com,UserC@my-company.com
Nutzer ersetzen
Mit dem Update-Befehl und dem Flag --identity-config-file können Sie die vorhandene Gruppe von Nutzern durch eine neue Gruppe ersetzen. Dieses Flag ist nützlich, um Nutzer mit einem einzigen Aktualisierungsbefehl sowohl hinzuzufügen als auch zu entfernen.
gcloud dataproc clusters update CLUSTER_NAME \ --region=REGION \ --identity-config-file=identity-config.yaml
Hinweise:
--identity-config-file: Geben Sie eine lokale oder Cloud Storage-YAML-Datei an, die die neuen Zuordnungen von Nutzerkonten zu Dienstkonten enthält. In jeder Zeile der Zuordnungsdatei wird ein Nutzerkonto einem Dienstkonto zugeordnet. Die erste Zeile enthält den Header--identity-config-file=LOCAL_FILE or gs://BUCKET/FOLDER/FILENAME
user_service_account_mapping:.user_service_account_mapping: new-user1@my-company.com:SERVICE_ACCOUNT_FOR_NEW_USER1@ new-user2@my-company.com:SERVICE_ACCOUNT_FOR_NEW_USER2@