"Managed Service for Apache Spark" is the new name for the product formerly known as "Dataproc on Compute Engine" (cluster deployment) and "Google Cloud Serverless for Apache Spark" (serverless deployment).

O Google usa tecnologia de IA na tradução de conteúdos para seu idioma de preferência. As traduções com IA podem ter erros.

Resolver problemas de criação de cluster

Neste documento, explicamos as mensagens de erro comuns de criação de cluster e fornecemos dicas sobre como resolver problemas de criação de cluster.

Mensagens de erro comuns na criação de clusters

Usuário não autorizado a atuar como conta de serviço

Causa: o principal que está tentando criar o cluster do Serviço Gerenciado para Apache Spark não tem as permissões necessárias para usar a conta de serviço especificada. Os usuários do Serviço Gerenciado para Apache Spark precisam ter a permissão ActAs da conta de serviço para implantar recursos do Serviço Gerenciado para Apache Spark. Essa permissão está incluída no papel de usuário da conta de serviço (roles/iam.serviceAccountUser) (consulte Papéis do Serviço Gerenciado para Apache Spark).

Solução: identifique o usuário ou a conta de serviço que está tentando criar o cluster do Serviço Gerenciado para Apache Spark. Conceda a esse principal o papel de Usuário da conta de serviço (roles/iam.serviceAccountUser) na conta de serviço que o cluster está configurado para usar (normalmente, a conta de serviço da VM do Serviço Gerenciado para Apache Spark).
Tempo limite da operação: apenas 0 dos 2 nós de dados/gerenciadores de nós mínimos necessários estão em execução.

Causa: o nó do controlador não consegue criar o cluster porque não pode se comunicar com os nós de trabalho.

Solução:
- Verifique os avisos de regras de firewall.
- Verifique se as regras de firewall corretas estão em vigor. Para mais informações, consulte Visão geral das regras de firewall padrão do Serviço Gerenciado para Apache Spark.
- Realizar um teste de conectividade no console do Google Cloud para determinar o que está bloqueando a comunicação entre o controlador e os nós de trabalho.
Permissão compute.subnetworks.use necessária para projects/{projectId}/regions/{region}/subnetworks/{subnetwork}

Causa: esse erro pode ocorrer quando você tenta configurar um cluster do Serviço Gerenciado para Apache Spark usando uma rede VPC em outro projeto e a conta de serviço do agente de serviço do Serviço Gerenciado para Apache Spark não tem as permissões necessárias no projeto de VPC compartilhada que hospeda a rede.

Solução: siga as etapas listadas em Criar um cluster que usa uma rede VPC em outro projeto.
A zona projects/zones/{zone} não tem recursos suficientes disponíveis para atender à solicitação (resource type:compute)

Causa: a zona usada para criar o cluster não tem recursos suficientes.

Solução:
- Use o recurso de posicionamento automático de zona do Serviço Gerenciado para Apache Spark para criar o cluster em qualquer uma das zonas de uma região com recursos disponíveis.
- Crie o cluster em uma zona diferente.
Erros de cota excedida

Cota insuficiente de CPUs/CPUS_ALL_REGIONS
Cota insuficiente de "DISKS_TOTAL_GB"
Cota insuficiente "IN_USE_ADDRESSES"

Causa: sua solicitação de CPU, disco ou endereço IP excede a cota disponível.

Solução: solicite mais cota no console doGoogle Cloud .
Falha na ação de inicialização

Causa: a ação de inicialização fornecida durante a criação do cluster não foi instalada.

Solução:
- Consulte as considerações e diretrizes sobre ações de inicialização.
- Analise os registros de saída. A mensagem de erro precisa fornecer um link para os registros no Cloud Storage.
Falha ao inicializar o nó CLUSTER-NAME-m. ... Confira a saída em: <gs://PATH_TO_STARTUP_SCRIPT_OUTPUT>

Causa: falha ao inicializar o nó do controlador do cluster do Serviço Gerenciado para Apache Spark.

Solução:
- Analise os registros de saída do script de inicialização listados na mensagem de erro (gs://PATH_TO_STARTUP_SCRIPT_OUTPUT) e verifique a causa da falha na inicialização do nó.
- As causas podem incluir problemas de configuração de rede do cluster do Serviço Gerenciado para Apache Spark e falha na instalação de dependências de pacotes do Python.
- Se o problema não for resolvido depois de analisar os registros do script de inicialização, corrija os problemas do lado do usuário e tente novamente com espera exponencial. Entre em contato com o suporte do Google Cloud.
Falha na criação do cluster: espaço de endereço IP esgotado

Causa: o espaço de endereço IP necessário para provisionar os nós do cluster solicitados está indisponível.

Solução:
- Criar um cluster com menos nós de trabalho, mas um tipo de máquina maior.
- Crie um cluster em uma sub-rede ou rede diferente.
- Reduza o uso na rede para liberar espaço de endereço IP.
- Aguarde até que haja espaço de IP suficiente disponível na rede.

Mensagem de erro do script de inicialização: o repositório REPO_NAME não tem mais um arquivo de lançamento

Causa: o repositório de backports oldstable do Debian foi removido.

Solução:

Adicione o código a seguir antes do código que executa apt-get no script de inicialização.

oldstable=$(curl -s https://deb.debian.org/debian/dists/oldstable/Release | awk '/^Codename/ {print $2}');
stable=$(curl -s https://deb.debian.org/debian/dists/stable/Release | awk '/^Codename/ {print $2}');

matched_files="$(grep -rsil '\-backports' /etc/apt/sources.list*)"
if [[ -n "$matched_files" ]]; then
  for filename in "$matched_files"; do
    grep -e "$oldstable-backports" -e "$stable-backports" "$filename" || \
      sed -i -e 's/^.*-backports.*$//' "$filename"
  done
fi

Tempo limite aguardando a instância DATAPROC_CLUSTER_VM_NAME informar ou A rede está inacessível: dataproccontrol-REGION.googleapis.com

Causa: essas mensagens de erro indicam que a configuração de rede do cluster do Serviço Gerenciado para Apache Spark está incompleta: talvez esteja faltando a rota para o gateway de Internet padrão ou as regras de firewall.

Solução:

Para resolver esse problema, crie os seguintes Testes de Conectividade:
- Crie um teste de conectividade entre duas VMs de cluster do Serviço Gerenciado para Apache Spark. O resultado desse teste vai ajudar você a entender se as regras de firewall de permissão de entrada ou saída da sua rede se aplicam corretamente às VMs do cluster.
- Crie um teste de conectividade entre uma VM de cluster do Serviço Gerenciado para Apache Spark e um endereço IP atual da API de controle do Serviço Gerenciado para Apache Spark. Para receber um endereço IP atual da API de controle do Serviço Gerenciado para Apache Spark, use o seguinte comando:
```
dig dataproccontrol-REGION.googleapis.com A
```
Use qualquer um dos endereços IPv4 na seção de resposta da saída.

O resultado do teste de conectividade vai ajudar você a entender se a rota para o gateway de Internet padrão e o firewall de permissão de saída estão configurados corretamente.

Com base nos resultados dos Testes de Conectividade:
- Adicione uma rota para a Internet à rede VPC do cluster: 0.0.0.0/0 para IPv4 e ::/0 para IPv6 com --next-hop-gateway=default-internet-gateway.
- Adicione regras de firewall para controle de acesso.
Erro devido a uma atualização

Causa: o cluster aceitou um job enviado ao Serviço Gerenciado para Apache Spark, mas não conseguiu fazer escalonar verticalmente ou horizontal de forma manual ou automática. Esse erro também pode ser causado por uma configuração de cluster não padrão.

Solução:
- Redefinição do cluster: abra um tíquete de suporte, inclua um arquivo tar de diagnóstico e peça para o cluster ser redefinido para o estado EM EXECUÇÃO.
- Novo cluster: recrie o cluster com a mesma configuração. Essa solução pode ser mais rápida do que uma redefinição fornecida pelo suporte.

Dicas de solução de problemas de cluster

Nesta seção, fornecemos mais orientações sobre como resolver problemas comuns que podem impedir a criação de clusters do Serviço Gerenciado para Apache Spark.

Quando um cluster do Serviço Gerenciado para Apache Spark não é provisionado, ele geralmente produz uma mensagem de erro genérica ou informa um status PENDING ou PROVISIONING antes de falhar. A chave para diagnosticar e resolver problemas de falha de cluster é examinar os registros do cluster e avaliar os pontos de falha comuns.

Sintomas comuns

Veja a seguir os sintomas comuns associados a falhas na criação de clusters:

O status do cluster permanece PENDING ou PROVISIONING por um período prolongado.
O cluster faz a transição para o estado ERROR.
Erros genéricos de API durante a criação do cluster, como Operation timed out.
Mensagens de erro registradas ou de resposta da API, como:
- RESOURCE_EXHAUSTED: relacionadas a cotas de CPU, disco ou endereço IP.
- Instance failed to start
- Permission denied
- Unable to connect to service_name.googleapis.com ou Could not reach required Google APIs
- Connection refused ou network unreachable
- Erros relacionados a falhas nas ações de inicialização, como erros de execução de script e arquivo não encontrado.

Analisar registros de cluster

Uma etapa inicial importante ao diagnosticar falhas na criação de clusters é analisar os registros detalhados de clusters disponíveis no Cloud Logging.

Acesse a Análise de registros: abra a Análise de registros no console do Google Cloud .
Filtre os clusters do Serviço Gerenciado para Apache Spark:
- No menu suspenso Recurso, selecione Cloud Managed Service for Apache Spark Cluster.
- Insira seu cluster_name e project_id. Também é possível filtrar por location (região).
Analisar entradas de registro:
- Procure mensagens de nível ERROR ou WARNING que ocorrem perto do momento da falha na criação do cluster.
- Preste atenção aos registros dos componentes master-startup, worker-startup e agent para receber insights sobre problemas no nível da VM ou no agente do Serviço Gerenciado para Apache Spark.
- Para entender os problemas de tempo de inicialização da VM, filtre os registros por resource.type="gce_instance" e procure mensagens dos nomes de instância associados aos nós do cluster, como CLUSTER_NAME-m ou CLUSTER_NAME-w-0. Os registros do console serial podem revelar problemas de configuração de rede, problemas de disco e falhas de script que ocorrem no início do ciclo de vida da VM.

Causas comuns de falha de cluster e dicas de solução de problemas

Nesta seção, descrevemos os motivos comuns para falhas na criação de clusters do Serviço Gerenciado para Apache Spark e oferecemos dicas para resolver problemas de cluster.

Permissões do IAM insuficientes

A conta de serviço da VM usada pelo cluster do Serviço Gerenciado para Apache Spark precisa ter os papéis do IAM adequados para provisionar instâncias do Compute Engine, acessar buckets do Cloud Storage, gravar registros e interagir com outros serviços do Google Cloud .

Papel de worker obrigatório: verifique se a conta de serviço da VM tem o papel de worker do Serviço Gerenciado para Apache Spark (roles/dataproc.worker). Esse papel tem as permissões mínimas necessárias para que o Serviço Gerenciado para Apache Spark gerencie os recursos do cluster.
Permissões de acesso a dados: se os jobs lerem ou gravarem no Cloud Storage ou no BigQuery, a conta de serviço precisará de papéis relacionados, como Storage Object Viewer, Storage Object Creator ou Storage Object Admin para o Cloud Storage, ou BigQuery Data Viewer ou BigQuery Editor para o BigQuery.
Permissões de geração de registros: a conta de serviço precisa ter um papel com as permissões necessárias para gravar registros no Cloud Logging, como o papel Logging Writer.