Componente opcional de Jupyter de Managed Service for Apache Spark

El componente opcional de Jupyter te permite ejecutar notebooks de análisis de datos interactivos en un clúster de Managed Service para Apache Spark. El componente proporciona un entorno de notebook de Jupyter para un solo usuario basado en la Web que admite la IU web de JupyterLab.

Alternativas de notebooks multiusuario

Para entregar notebooks a varios usuarios, crea una instancia de Vertex AI Workbench habilitada para Managed Service para Apache Spark. Como alternativa, instala el complemento de JupyterLab de Managed Service para Apache Spark en una VM.

Configuración

Configura Jupyter. Jupyter se puede configurar proporcionando dataproc:jupyter propiedades del clúster. Para reducir el riesgo de ejecución de código remota en las APIs de servidor de notebooks no seguras, el parámetro de configuración predeterminado de la propiedad del clúster dataproc:jupyter.listen.all.interfaces es false, lo que restringe las conexiones a localhost (127.0.0.1) cuando la puerta de enlace de componentes está habilitada (se requiere la activación de la puerta de enlace de componentes cuando se instala el componente de Jupyter).

El notebook de Jupyter proporciona un kernel de Python para ejecutar código de Spark y un kernel de PySpark. De forma predeterminada, los notebooks se guardan en Cloud Storage en el bucket de etapa de pruebas de Managed Service para Apache Spark, que el usuario especifica o que se crea de forma automática junto con el clúster. La ubicación se puede cambiar en el momento de la creación del clúster con la propiedad de clúster dataproc:jupyter.notebook.gcs.dir.

Trabajar con archivos de datos Puedes usar un notebook de Jupyter para trabajar con archivos de datos que se subieron a Cloud Storage. Como el conector de Cloud Storage está preinstalado en un clúster de Managed Service para Apache Spark, puedes hacer referencia a los archivos directamente en tu notebook. Este es un ejemplo en el que se accede a archivos CSV en Cloud Storage:

df = spark.read.csv("gs://bucket/path/file.csv")
df.show()

Consulta Funciones genéricas de carga y guardado para ver ejemplos de PySpark.

Instala Jupyter

Instala el componente cuando crees un clúster de Managed Service para Apache Spark. El componente de Jupyter requiere la activación de la puerta de enlace de componentes de Managed Service para Apache Spark.

Consola deGoogle Cloud

  1. En la consola de Google Cloud , abre la página Crear clúster.
  2. Haz clic en Configuración adicional para expandir esa sección.
  3. Edita los componentes opcionales.
  4. En el panel que se abre, selecciona la casilla de verificación de Jupyter Notebook y, luego, haz clic en Guardar.

gcloud CLI

Para crear un clúster de Managed Service para Apache Spark que incluya el componente de Jupyter, usa el comando gcloud dataproc clusters create cluster-name con la marca --optional-components.

Ejemplo de la versión de imagen predeterminada más reciente

En el siguiente ejemplo, se instala el componente de Jupyter en un clúster que usa la versión más reciente de la imagen predeterminada.

gcloud dataproc clusters create cluster-name \
    --optional-components=JUPYTER \
    --region=region \
    --enable-component-gateway \
    ... other flags

API de REST

El componente de Jupyter se puede instalar a través de la API de Dataproc con SoftwareConfig.Component como parte de una solicitud clusters.create.

Abre las IU de Jupyter y JupyterLab

Haz clic en los vínculos de la puerta de enlace del componente de la consola deGoogle Cloud para abrir en tu navegador local el notebook de Jupyter o la IU de JupyterLab que se ejecutan en el nodo instancia principal del clúster.

Selecciona "GCS" o "Disco Local" para crear un nuevo notebook de Jupyter en cualquier ubicación.

Conecta GPU a los nodos principales y trabajadores

Puedes agregar GPUs a los nodos trabajadores y principales de tu clúster cuando usas un notebook de Jupyter para lo siguiente:

  1. Preprocesa los datos en Spark, recopila un DataFrame en el nodo principal y ejecuta TensorFlow
  2. Usa Spark para organizar las ejecuciones de TensorFlow en paralelo
  3. Ejecuta Tensorflow-on-YARN
  4. Uso con otras situaciones de aprendizaje automático que usan GPU