Componentes do Serviço Gerenciado para Apache Spark

O Serviço Gerenciado para Apache Spark permite personalizar ambientes de cluster com as ferramentas e os serviços necessários para suas cargas de trabalho de Big Data. Esses componentes são categorizados como instalados, opcionais ou de ação de inicialização.

Tipos de componentes

Os clusters do Serviço Gerenciado para Apache Spark têm os seguintes tipos de componentes:

• Componentes instalados: componentes instalados na imagem e ativados quando o cluster é criado.

• Componentes opcionais: componentes que você seleciona para instalar e usar no cluster ao criá-lo. O Serviço Gerenciado para Apache Spark instala e ativa componentes opcionais dependendo da versão da imagem do cluster, da seguinte maneira:

  • 2.2 e versões de imagem anteriores: os componentes opcionais são instalados automaticamente. Os componentes opcionais selecionados são ativados, e os não selecionados são desinstalados na criação do cluster.

  • 2.3 e versões de imagem posteriores: todos os componentes opcionais são instalados durante a criação do cluster, exceto os componentes opcionais Jupyter, Iceberg e Delta Lake, que são pré-instalados em 2.3 e versões de imagem posteriores. Os componentes opcionais pré-instalados são removidos de um cluster de versão de imagem 2.3 ou posterior se não estiverem ativados quando o cluster for criado. Para mais informações, consulte Versões de lançamento do Serviço Gerenciado para Apache Spark 2.3.x.

    Para evitar o aumento do tempo de inicialização de clusters de versão de imagem 2.3 e posteriores, crie uma imagem personalizada com componentes opcionais pré-instalados. Para isso, execute generate_custom_image.py com a flag --optional-components.

• Componentes de ação de inicialização: componentes instalados em um cluster como parte de uma ação de inicialização especificada ao criar um cluster.

Os componentes opcionais são instalados em um cluster antes que as ações de inicialização sejam executadas nele.

As páginas de versão de imagem do Serviço Gerenciado para Apache Spark listam os componentes e os tipos de componentes disponíveis nas versões mais recentes da imagem do Serviço Gerenciado para Apache Spark.

Os componentes opcionais têm as seguintes vantagens em relação às ações de inicialização usadas para instalar componentes:

• Os componentes opcionais são testados para verificar a compatibilidade com versões específicas do Serviço Gerenciado para Apache Spark.
• Os componentes opcionais são ativados com um parâmetro de criação de cluster, enquanto as ações de inicialização exigem um script.

Componentes opcionais disponíveis

Componente opcional	Nome do componente nos comandos da Google Cloud CLI e nas solicitações de API	Versão de imagem	Etapa da versão
Delta Lake	DELTA	2.2.46 e mais recentes	GA
Docker	DOCKER	1.5 ou superior	GA
Flink	FLINK	1.5 ou superior	GA
HBase	HBASE	1.5 e mais recentes (não disponível na versão 2.1 e mais recentes)	Descontinuado
Hive WebHCat	HIVE_WEBHCAT	1.3 ou superior	GA
Hudi	HUDI	1.5 ou superior	GA
Iceberg	ICEBERG	2.2 e mais recentes	GA
Jupyter Notebook	JUPYTER	1.3 ou superior	GA
Pig	PIG	1.5^* e mais recentes	GA
Presto	PRESTO	1.3 e mais recentes (não disponível na 2.1 e mais recentes)	GA
Ranger	RANGER	1.3 ou superior	GA
Solr	SOLR	1.3 ou superior	GA
Trino	TRINO	2.1 e mais recentes	GA
Zeppelin Notebook	ZEPPELIN	1.3 ou superior	GA
ZooKeeper	ZOOKEEPER	1.0 ou superior	GA

Observações:

• O Apache Pig é um componente opcional nas versões de imagem 2.3 e posteriores. Ele era pré-instalado nas versões de imagem 2.2 e anteriores.

Consulte Interfaces da Web do cluster para se conectar às interfaces da Web de componentes em execução nos clusters. Consulte também o gateway de componentes do Serviço Gerenciado para Apache Spark, que permite se conectar às interfaces da Web dos componentes principais e opcionais do Serviço Gerenciado para Apache Spark, incluindo as interfaces do YARN, HDFS, Jupyter e Zeppelin, sem precisar usar túneis SSH ou modificar regras de firewall para permitir o tráfego de entrada.

Adicionar componentes opcionais

Observação: os exemplos de uso a seguir se aplicam aos componentes de disponibilidade geral (GA).

Console doGoogle Cloud

1. No console do Google Cloud , abra a página Criar cluster.
2. Clique em Configuração adicional para abrir a seção.
3. Edite os Componentes opcionais.
4. No painel que é aberto, marque as caixas de seleção dos componentes opcionais que você quer instalar no cluster e clique em Salvar.

CLI da gcloud

Para criar um cluster do Serviço Gerenciado para Apache Spark e instalar um ou mais componentes opcionais nele, use o comando gcloud beta dataproc clusters create cluster-name com a flag --optional-components.

gcloud dataproc clusters create CLUSTER_NAME \
  --optional-components=COMPONENT-NAME(s) \
  ... other flags

API REST

Os componentes opcionais podem ser especificados pela API Dataproc usando SoftwareConfig.Component como parte de uma solicitação clusters.create.