Componente opcional do Jupyter do Managed Service for Apache Spark

O componente opcional do Jupyter permite executar notebooks interativos de análise de dados em um cluster do Serviço Gerenciado para Apache Spark. O componente fornece um ambiente de notebook Jupyter baseado na Web para um único usuário que é compatível com a UI da Web do JupyterLab.

Alternativas de notebooks multiusuário

Para disponibilizar notebooks para vários usuários, crie uma instância do Vertex AI Workbench com o Managed Service para Apache Spark ativado. Como alternativa, instale o plug-in do Serviço Gerenciado para Apache Spark JupyterLab em uma VM.

Configuração

Configure o Jupyter. O Jupyter pode ser configurado fornecendo dataproc:jupyter propriedades do cluster. Para reduzir o risco de execução de código remoto em APIs de servidor de notebook não seguras, a configuração padrão da propriedade de cluster dataproc:jupyter.listen.all.interfaces é false, que restringe as conexões a localhost (127.0.0.1) quando o Gateway de componentes está ativado (a ativação do Gateway de componentes é necessária ao instalar o componente do Jupyter).

O notebook do Jupyter fornece um kernel do Python para executar o código do Spark e um kernel do PySpark. Por padrão, os notebooks são salvos no Cloud Storage no bucket de preparo do Serviço Gerenciado para Apache Spark, que é especificado pelo usuário ou criado automaticamente quando o cluster é criado. O local pode ser alterado no momento da criação do cluster usando a propriedade de cluster dataproc:jupyter.notebook.gcs.dir.

Trabalhar com arquivos de dados. É possível usar um notebook do Jupyter para trabalhar com arquivos de dados que foram enviados para o Cloud Storage. Como o conector do Cloud Storage está pré-instalado em um cluster do Serviço Gerenciado para Apache Spark, é possível referenciar os arquivos diretamente no notebook. Veja um exemplo que acessa arquivos CSV no Cloud Storage:

df = spark.read.csv("gs://bucket/path/file.csv")
df.show()

Consulte Funções genéricas de carregamento e salvamento para ver exemplos do PySpark.

Instalar o Jupyter

Instale o componente ao criar um cluster do Serviço Gerenciado para Apache Spark. O componente Jupyter exige a ativação do gateway de componentes do Serviço Gerenciado para Apache Spark.

Console doGoogle Cloud

  1. No console do Google Cloud , abra a página Criar cluster.
  2. Clique em Configuração adicional para abrir a seção.
  3. Edite os Componentes opcionais.
  4. No painel que abrir, marque a caixa de seleção do Notebook do Jupyter e clique em Salvar.

CLI da gcloud

Para criar um cluster do Serviço Gerenciado para Apache Spark que inclua o componente do Jupyter, use o comando gcloud dataproc clusters create cluster-name com a flag --optional-components.

Exemplo da versão de imagem padrão mais recente

O exemplo a seguir instala o componente do Jupyter em um cluster que usa a versão de imagem padrão mais recente.

gcloud dataproc clusters create cluster-name \
    --optional-components=JUPYTER \
    --region=region \
    --enable-component-gateway \
    ... other flags

API REST

O componente Jupyter pode ser instalado pela API Dataproc usando SoftwareConfig.Component como parte de uma solicitação clusters.create.

Abrir as IUs do Jupyter e do JupyterLab

Clique nos links do gateway de componentes do console doGoogle Cloud para abrir no navegador local o notebook do Jupyter ou a IU do JupyterLab em execução no nó mestre do cluster.

Selecione "GCS" ou "Disco local" para criar um novo Jupyter Notebook em um local ou em outro.

Anexar GPUs aos nós mestre e de trabalho

É possível adicionar GPUs aos nós mestre e de trabalho do cluster ao usar um notebook do Jupyter para:

  1. Pré-processe os dados no Spark, colete um DataFrame no mestre e execute o TensorFlow.
  2. Usar o Spark para orquestrar execuções do TensorFlow em paralelo
  3. Execute Tensorflow-on-YARN
  4. Usar com outros cenários de machine learning que usam GPUs