Componente Jupyter facoltativo di Managed Service per Apache Spark

Il componente facoltativo Jupyter consente di eseguire notebook di analisi dei dati interattivi su un cluster Managed Service for Apache Spark. Il componente fornisce un ambiente per notebook Jupyter basato sul web per un singolo utente che supporta l'interfaccia utente web di JupyterLab.

Alternative ai notebook multiutente

Per fornire i notebook a più utenti, crea un'istanza di Vertex AI Workbench abilitata per Managed Service for Apache Spark. In alternativa, installa il plug-in JupyterLab di Managed Service for Apache Spark su una VM.

Configurazione

Configura Jupyter. Jupyter può essere configurato fornendo le proprietà del cluster dataproc:jupyter. Per ridurre il rischio di esecuzione di codice remoto su API del server del blocco note non protette, l'impostazione predefinita della proprietà del cluster dataproc:jupyter.listen.all.interfaces è false, che limita le connessioni a localhost (127.0.0.1) quando il gateway dei componenti è attivato (l'attivazione del gateway dei componenti è obbligatoria durante l'installazione del componente Jupyter).

Il notebook Jupyter fornisce un kernel Python per eseguire il codice Spark e un kernel PySpark. Per impostazione predefinita, i blocchi note vengono salvati in Cloud Storage nel bucket di gestione temporanea di Managed Service for Apache Spark, specificato dall'utente o creato automaticamente al momento della creazione del cluster. La località può essere modificata al momento della creazione del cluster utilizzando la proprietà del cluster dataproc:jupyter.notebook.gcs.dir.

Lavora con i file di dati. Puoi utilizzare un notebook Jupyter per lavorare con i file di dati che sono stati caricati su Cloud Storage. Poiché il connettore Cloud Storage è preinstallato su un cluster Managed Service for Apache Spark, puoi fare riferimento ai file direttamente nel tuo notebook. Ecco un esempio di accesso ai file CSV in Cloud Storage:

df = spark.read.csv("gs://bucket/path/file.csv")
df.show()

Per esempi di PySpark, consulta Funzioni di caricamento e salvataggio generiche.

Installa Jupyter

Installa il componente quando crei un cluster Managed Service for Apache Spark. Il componente Jupyter richiede l'attivazione del gateway dei componenti di Managed Service for Apache Spark.

ConsoleGoogle Cloud

  1. Nella console Google Cloud , apri la pagina Crea cluster.
  2. Fai clic su Configurazione aggiuntiva per espandere la sezione.
  3. Modifica i componenti facoltativi.
  4. Nel riquadro che si apre, seleziona la casella di controllo per Jupyter Notebook, quindi fai clic su Salva.

gcloud CLI

Per creare un cluster Managed Service for Apache Spark che includa il componente Jupyter, utilizza il comando gcloud dataproc clusters create cluster-name con il flag --optional-components.

Esempio di versione immagine predefinita più recente

L'esempio seguente installa il componente Jupyter su un cluster che utilizza l'ultima versione immagine predefinita.

gcloud dataproc clusters create cluster-name \
    --optional-components=JUPYTER \
    --region=region \
    --enable-component-gateway \
    ... other flags

API REST

Il componente Jupyter può essere installato tramite l'API Dataproc utilizzando SoftwareConfig.Component come parte di una richiesta clusters.create.

Apri le UI di Jupyter e JupyterLab

Fai clic sui link del gateway dei componenti della consoleGoogle Cloud per aprire nel browser locale il blocco note Jupyter o l'interfaccia utente di JupyterLab in esecuzione sul nodo master del cluster.

Seleziona "GCS" o "Disco locale" per creare un nuovo blocco note Jupyter in una delle due posizioni.

Collega le GPU ai nodi master e worker

Puoi aggiungere GPU ai nodi master e worker del cluster quando utilizzi un blocco note Jupyter per:

  1. Pre-elabora i dati in Spark, quindi raccogli un DataFrame sul master ed esegui TensorFlow
  2. Utilizza Spark per orchestrare le esecuzioni di TensorFlow in parallelo
  3. Esegui TensorFlow su YARN
  4. Utilizzo con altri scenari di machine learning che utilizzano GPU