Componente opcional Zeppelin do Managed Service for Apache Spark

O componente opcional Apache Zeppelin permite executar análises de dados interativas baseadas na Web nos clusters. É possível instalar o Zeppelin ao criar um cluster do Serviço Gerenciado para Apache Spark usando componentes opcionais para executar cargas de trabalho do Spark e visualizar dados em notebooks compartilhados.

• Configure o Zeppelin fornecendo as propriedades de cluster prefixadas zeppelin e zeppelin-env.
  • Para reduzir o risco de execução remota de código em APIs de servidor de notebook não seguras, a configuração padrão da propriedade de cluster zeppelin:zeppelin.server.addr para versões de imagem 1.3+ é 127.0.0.1, que restringe as conexões com localhost quando o Gateway de componentes está ativado.

O componente Zeppelin Notebook é um notebook baseado na Web para análise de dados interativa. A IU da Web do Zeppelin está disponível na porta 8080 do primeiro nó mestre do cluster.

Por padrão, os notebooks são salvos no Cloud Storage no bucket de preparo do Serviço Gerenciado para Apache Spark, que é especificado pelo usuário ou criado automaticamente quando o cluster é criado. O local pode ser alterado no momento da criação do cluster por meio da propriedade zeppelin:zeppelin.notebook.gcs.dir.

Instalar o componente

Instale o componente ao criar um cluster do Serviço Gerenciado para Apache Spark. Os componentes podem ser adicionados a clusters criados com o Serviço Gerenciado para Apache Spark versão 1.3 e posterior.

Consulte Versões compatíveis do Dataproc para saber qual versão do componente está incluída em cada versão de imagem do Serviço Gerenciado para Apache Spark.

Console doGoogle Cloud

1. No console do Google Cloud , abra a página Criar cluster.
2. Clique em Configuração adicional para abrir a seção.
3. Edite os Componentes opcionais.
4. No painel que será aberto, marque a caixa de seleção Notebook do Zeppelin e clique em Salvar.

CLI da gcloud

Para criar um cluster do Serviço Gerenciado para Apache Spark que inclua o componente Zeppelin, use o comando gcloud dataproc clusters create cluster-name com a flag --optional-components.

Ao criar o cluster (versão de imagem 1.3.29 ou posterior), use o comando gcloud dataproc clusters create com a sinalização --enable-component-gateway conforme mostrado abaixo para ativar a conexão com a IU da Web do notebook do Zeppelin usando o Gateway de componentes.

gcloud dataproc clusters create cluster-name \
    --optional-components=ZEPPELIN \
    --region=region \
    --enable-component-gateway \
    ... other flags

API REST

O componente Zeppelin pode ser especificado pela API Dataproc usando SoftwareConfig.Component como parte de uma solicitação clusters.create.

Use a API Dataproc v1 para definir a propriedade EndpointConfig.enableHttpPortAccess com true, como parte da solicitação clusters.create para ativar a conexão com a IU da Web do notebook Zeppelins usando o Gateway de componentes.

Abrir o notebook Zeppelin

Consulte Como visualizar e acessar URLs do gateway de componentes para clicar nos links do gateway de componentes no console do Google Cloud e abrir a interface do notebook do Zeppelin em execução no nó mestre do cluster no navegador local.