La protezione multi-tenancy basata su service account di Managed Service for Apache Spark consente di condividere un cluster con più utenti, con un insieme di account utente mappati ai service account al momento della creazione del cluster. Gli utenti possono inviare workload interattivi, come i notebook Jupyter, ai kernel in esecuzione sul cluster multi-tenant con ambienti utente isolati.
Quando un utente invia un job al cluster multi-tenant:
Il job viene eseguito come utente del sistema operativo specifico con un'entità Kerberos specifica.
Il job accede alle risorse Google Cloud utilizzando un account di servizio mappato.
Questo documento mostra come creare un cluster multi-tenant Managed Service for Apache Spark, quindi avviare e connettere un blocco note Jupyter a un kernel PySpark in esecuzione sul cluster.
Considerazioni e limitazioni
Quando crei un cluster multi-tenant:
Il cluster è disponibile solo per gli utenti dell'Account Google con service account mappati. I gruppi Google non possono essere mappati. Gli utenti non mappati non possono eseguire job sul cluster.
Kerberos è abilitato e configurato sul cluster per una comunicazione sicura all'interno del cluster. L'autenticazione dell'utente finale tramite Kerberos non è supportata.
L'accesso SSH diretto al cluster e alle funzionalità di Compute Engine, come la possibilità di eseguire script di avvio sulle VM del cluster, è bloccato. Inoltre, i job non possono essere eseguiti con i privilegi
sudo.I flussi di lavoro di Managed Service for Apache Spark non sono supportati.
Crea un cluster multi-tenant
Puoi attivare la funzionalità multi-tenant quando crei un cluster Managed Service for Apache Spark.
Console
Crea un cluster utilizzando la console Google Cloud , come segue:
- Nella console Google Cloud , vai alla pagina Crea cluster.
- Fai clic su Configurazione aggiuntiva per espandere la sezione.
- Modifica i componenti facoltativi.
- Seleziona la casella di controllo Abilita i componenti nell'UI per abilitare le UI dei componenti, quindi seleziona la casella di controllo Gateway kernel Jupyter.
- Fai clic su Salva.
- Modifica Personalizzazione e altro.
- Per consentire l'aggiunta o la rimozione di utenti multi-tenant senza ricreare il cluster (consulta Aggiorna gli utenti del cluster multi-tenant), nella sezione Proprietà cluster, fai clic su + Aggiungi proprietà.
- Aggiungi la seguente proprietà: Prefisso:
dataproc, Chiave:dataproc.dynamic.multi.tenancy.enabled, Valore:trueSuggerimento: poiché YARN consuma risorse del cluster significative per ogni kernel del blocco note in esecuzione su un cluster multi-tenant, aggiungi le proprietà Spark e YARN per aumentare l'allocazione delle risorse.
Esempio:
Prefisso Chiave Valore spark spark.driver.memory 5g spark spark.executor.memory 5g spark spark.executor.cores 2 capacity-scheduler yarn.scheduler.capacity.maximum-am-resource-percent 0,5 - Fai clic su Salva.
- Modifica Sicurezza.
- In Accesso al progetto, seleziona la casella di controllo Abilita l'ambito della piattaforma cloud per questo cluster.
- In Multi-tenancy sicura, seleziona Abilita.
- In Mappatura multi-tenancy, fai clic su Aggiungi mappatura multi-tenancy per mappare gli account utente ai service account.
- Fai clic su Salva.
- Conferma le altre impostazioni, quindi fai clic su Crea cluster.
gcloud
Utilizza gcloud dataproc clusters create command con il flag --secure-multi-tenancy-user-mapping per specificare un elenco di mappature tra account utente e service account.
gcloud dataproc clusters create CLUSTER_NAME \ --region=REGION \ --secure-multi-tenancy-user-mapping=USER_MAPPINGS: \ --properties "dataproc:dataproc.dynamic.multi.tenancy.enabled=true" \ --service-account=CLUSTER_SERVICE_ACCOUNT@ \ --scopes=https://www.googleapis.com/auth/iam \ --optional-components=JUPYTER_KERNEL_GATEWAY \ --enable-component-gateway \ other args ...
Note:
USER_MAPPINGS: specifica un elenco separato da virgole che mappa gli account utente ai service account.
Utilizza un file di mappatura YAML: anziché utilizzare il flag--secure-multi-tenancy-user-mapping=UserA@my-company.com:SERVICE_ACCOUNT_FOR_USERA@,UserB@my-company.com:SERVICE_ACCOUNT_FOR_USERB@,UserC@my-company.com:SERVICE_ACCOUNT_FOR_USERC@
--secure-multi-tenancy-user-mappingper specificare le mappature tra account utente e account di servizio, puoi utilizzare il flag--identity-config-fileper specificare un file YAML locale o di Cloud Storage che contiene le mappature. Ogni riga del file di mappatura mappa un account utente a un account di servizio. La prima riga contiene l'intestazione--identity-config-file=LOCAL_FILE or gs://BUCKET/FOLDER/FILENAME
user_service_account_mapping:.user_service_account_mapping: UserA@my-company.com:SERVICE_ACCOUNT_FOR_USERA@ UserB@my-company.com:SERVICE_ACCOUNT_FOR_USERB@ UserC@my-company.com:SERVICE_ACCOUNT_FOR_USERC@
--properties "dataproc:dataproc.dynamic.multi.tenancy.enabled=true"Suggerimento: poiché YARN consuma risorse del cluster significative per ogni kernel del blocco note in esecuzione su un cluster multi-tenant, aggiungi le proprietà Spark e YARN per aumentare l'allocazione delle risorse.
Esempio:
--properties=" \ spark:spark.driver.memory=5g,\ spark:spark.executor.memory=5g,\ spark:spark.executor.cores=200, \ capacity-scheduler:yarn.scheduler.capacity.maximum-am-resource-percent=0.5"
CLUSTER_SERVICE_ACCOUNT (Facoltativo): puoi utilizzare
--service-account flagper specificare un service account VM personalizzato per il cluster. Se ometti questo flag, viene utilizzato il service account VM del cluster predefinito,PROJECT_NUMBER-compute@.Suggerimento: utilizza service account cluster diversi per cluster diversi per consentire a ogni account di servizio VM del cluster di assumere l'identità solo di un gruppo limitato di service account utente mappati.
--scopes=https://www.googleapis.com/auth/iamè necessario affinché il account di servizio del cluster possa eseguire la simulazione dell'identità.--enable-component-gatewaye--optional-components=JUPYTER_KERNEL_GATEWAY: l'attivazione del gateway dei componenti di Managed Service for Apache Spark e del gateway del kernel Jupyter consente a più utenti di connettere i propri notebook Jupyter al cluster multi-tenant.
API
Utilizza SecurityConfig.IdentityConfig.userServiceAccountMapping field
per specificare un elenco di mappature tra account utente e account di servizio.
Concedi le autorizzazioni di Identity and Access Management
Per connettere i notebook utente ai kernel dei notebook in esecuzione su un cluster multi-tenant, gli utenti mappati, i service account mappati e il service account VM del cluster devono disporre delle autorizzazioni IAM necessarie per accedere alle risorse.
Autorizzazioni dell'utente mappate
Ogni utente mappato deve disporre delle autorizzazioni dataproc.clusters.get e dataproc.clusters.use, necessarie per accedere e connettersi ai kernel dei blocchi note in esecuzione nel cluster multi-tenant. Puoi concedere il ruolo Managed Service for Apache Spark Editor (roles/dataproc.editor), che contiene queste autorizzazioni (vedi Concedi un singolo ruolo IAM), oppure creare un ruolo personalizzato con queste autorizzazioni.
Autorizzazioni mappate del account di servizio
Ogni account di servizio mappato deve disporre delle autorizzazioni necessarie per l'applicazione notebook dell'utente mappato, ad esempio l'accesso a un bucket Cloud Storage o a una tabella BigQuery (consulta Gestisci l'accesso ai service account).
Autorizzazioni del account di servizio VM
Il service account VM del cluster multi-tenant deve disporre dell'autorizzazione iam.serviceAccounts.getAccessToken su ogni account di servizio mappato. Puoi concedere il ruolo Creatore token account di servizio (roles/iam.serviceAccountTokenCreator), che contiene questa autorizzazione (vedi Gestisci l'accesso ai service account), oppure creare un ruolo personalizzato con questa autorizzazione.
Per informazioni su altri ruoli dei service account VM, consulta Service account VM di Managed Service for Apache Spark.
Connetti i notebook Jupyter a un kernel del cluster multi-tenant
Gli utenti del cluster multi-tenant mappati possono connettere il proprio notebook Jupyter di Vertex AI Workbench o gestito dall'utente ai kernel installati sul cluster multi-tenant.
Notebook di Vertex AI
Per creare e connettere un notebook Jupyter al cluster multi-tenant, segui questi passaggi:
- Crea un'istanza di Vertex AI Workbench.
- Nella scheda Istanze di Workbench, fai clic sul link Apri JupyterLab per la tua istanza.
- In Notebook del cluster Dataproc, fai clic sulla scheda PySpark (cluster YARN) su
MULTI_TENANCY_CLUSTER_NAMEper connetterti e avviare un nuovo notebook Jupyter PySpark.
blocco note gestito dall'utente
Per creare e connettere un blocco note Jupyter gestito dall'utente al cluster multi-tenant Managed Service for Apache Spark, segui i passaggi per installare l'estensione JupyterLab sulla VM gestita dall'utente.
Aggiorna gli utenti del cluster multi-tenant (anteprima)
Se hai impostato la proprietà del cluster dataproc:dataproc.dynamic.multi.tenancy.enabled su true quando hai creato un cluster multi-tenant, puoi aggiungere, rimuovere o sostituire gli utenti del cluster multi-tenant dopo la creazione del cluster.
Aggiungi utenti
Il seguente comando di aggiornamento utilizza il flag --add-user-mappings per aggiungere due nuove mappature di account utente ad account di servizio al cluster multi-tenant sicuro.
gcloud dataproc clusters update CLUSTER_NAME \ --region=REGION \ --add-user-mappings=new-user1@my-company.com=SERVICE_ACCOUNT_FOR_NEW_USER1@,new-user2@my-company.com=SERVICE_ACCOUNT_FOR_NEW_USER2@
Rimuovi utenti
Il seguente comando di aggiornamento utilizza il flag --remove-user-mappings per rimuovere due utenti dal cluster multi-tenant. Il flag accetta gli account utente degli utenti da rimuovere.
gcloud dataproc clusters update CLUSTER_NAME \ --region=REGION \ --remove-user-mappings=UserB@my-company.com,UserC@my-company.com
Sostituisci utenti
Puoi utilizzare il comando update con il flag --identity-config-file
per sostituire l'insieme di utenti esistente con un nuovo insieme. Questo flag è utile per aggiungere e rimuovere utenti con un unico comando di aggiornamento.
gcloud dataproc clusters update CLUSTER_NAME \ --region=REGION \ --identity-config-file=identity-config.yaml
Note:
--identity-config-file: specifica un file YAML locale o di Cloud Storage contenente le nuove mappature degli account utente ai account di servizio. Ogni riga del file di mappatura mappa un account utente a un account di servizio. La prima riga contiene l'intestazione--identity-config-file=LOCAL_FILE or gs://BUCKET/FOLDER/FILENAME
user_service_account_mapping:.user_service_account_mapping: new-user1@my-company.com:SERVICE_ACCOUNT_FOR_NEW_USER1@ new-user2@my-company.com:SERVICE_ACCOUNT_FOR_NEW_USER2@