"Managed Service for Apache Spark" is the new name for the product formerly known as "Dataproc on Compute Engine" (cluster deployment) and "Google Cloud Serverless for Apache Spark" (serverless deployment).

O Google usa tecnologia de IA na tradução de conteúdos para seu idioma de preferência. As traduções com IA podem ter erros.

Componente Docker opcional do Managed Service for Apache Spark

Para executar contêineres do Docker nos nós do cluster do Serviço Gerenciado para Apache Spark, ative o componente opcional do Docker durante a criação do cluster. Neste documento, explicamos como instalar e configurar o componente do Docker no Serviço Gerenciado para Apache Spark.

Para saber mais sobre outros componentes opcionais disponíveis no Serviço Gerenciado para Apache Spark, consulte Componentes opcionais disponíveis.

Como funciona o componente do Docker

Quando você ativa o componente do Docker do Serviço Gerenciado para Apache Spark, ele instala um daemon do Docker em cada nó do cluster. Ele também configura um usuário e um grupo do Linux, ambos chamados "docker", em cada nó para executar o daemon do Docker. Além disso, o componente cria o serviço "docker" systemd para executar o serviço dockerd. Use esse serviço systemd para gerenciar o ciclo de vida do serviço do Docker.

Instalar o componente

Instale o componente ao criar um cluster do Serviço Gerenciado para Apache Spark. O componente do Docker pode ser instalado em clusters criados com o Serviço Gerenciado para Apache Spark versão de imagem 1.5 ou posterior.

Consulte Versões compatíveis do Serviço Gerenciado para Apache Spark para saber qual versão do componente está incluída em cada versão da imagem do Serviço Gerenciado para Apache Spark.

Console doGoogle Cloud

No console do Google Cloud , abra a página Criar cluster.
Clique em Configuração adicional para abrir a seção.
Edite os Componentes opcionais.
No painel que será aberto, marque a caixa de seleção Docker e clique em Salvar.

CLI da gcloud

Para criar um cluster do Serviço Gerenciado para Apache Spark que inclua o componente do Docker, use o comando gcloud dataproc clusters create cluster-name com a flag --optional-components.

gcloud dataproc clusters create cluster-name \
    --optional-components=DOCKER \
    --region=region \
    --image-version=1.5 \
    ... other flags

API REST

Para especificar o componente do Docker por meio da API Dataproc, use o SoftwareConfig.Component como parte de uma solicitação clusters.create.

Ativar o Docker no YARN

Consulte Personalizar o ambiente de execução do job do Spark com o Docker no YARN para usar uma imagem Docker personalizada com o YARN.

Geração de registros do Docker

Por padrão, o componente do Docker do Serviço Gerenciado para Apache Spark grava registros no Cloud Logging definindo o gcplogs driver. Consulte Como visualizar seus registros.

Registro do Docker

O componente do Docker do Serviço Gerenciado para Apache Spark configura o Docker para usar o Container Registry, além dos registros padrão do Docker. O Docker usará o auxiliar de credenciais do Docker para fazer a autenticação com o Container Registry.

Usar o componente do Docker em um cluster do Kerberos

É possível instalar o componente opcional do Docker em um cluster que está sendo criado com a segurança do Kerberos ativada.