Depois de criar um cluster, será possível interrompê-lo e reiniciá-lo quando precisar dele. A interrupção de um cluster inativo evita a cobrança e evita ter de excluir um cluster inativo e criar um cluster com a mesma configuração posteriormente.
Observações:
- O recurso de início e interrupção de cluster está disponível em clusters criados com
imagens lançadas nas seguintes versões de imagem ou posteriores:
- 1.4.35-debian10/ubuntu18
- 1.5.10-debian10/ubuntu18
- 2.0.0-RC6-debian10/ubuntu18
- Não é recomendável interromper os nós de cluster individuais porque o status de uma VM interrompida talvez não esteja sincronizado com o status do cluster e isso resulta em erros.
- Os clusters que usam VMs flexíveis não podem usar o recurso de início e parada.
Como interromper um cluster
A interrupção de um cluster interrompe todas as VMs do cluster do Compute Engine. Você não paga pelas VMs enquanto elas estão interrompidas. No entanto, você continuará pagando por todos os recursos de cluster associados, como discos permanentes.
Observações:
- Operações em execução: se um cluster tiver operações em execução, como operações de atualização ou diagnóstico, a solicitação de interrupção vai falhar.
- Jobs em execução: se um cluster tiver jobs em execução, a solicitação de parada será concluída: as VMs serão interrompidas e os jobs em execução vão falhar.
- Resposta de parada: quando a solicitação de parada retorna uma operação de parada,
o cluster fica em um estado
STOPPING, e nenhum outro job pode ser enviado (as solicitaçõesSubmitJobfalham). - Escalonamento automático: se você interromper um cluster com o escalonamento automático ativado, o escalonador automático do Serviço Gerenciado para Apache Spark vai parar de escalonar o cluster. Ele vai retomar o escalonamento do cluster quando ele for reiniciado. Se você ativar o escalonamento automático em um cluster interrompido, a política de escalonamento automático entrará em vigor quando o cluster for reiniciado.
Como monitorar a operação de interrupção
Execute
gcloud dataproc operations describe operation-id
para monitorar a operação de longa duração de interrupção do cluster. Use o comando
gcloud dataproc clusters describe cluster-name
para monitorar a transição do status do cluster de
RUNNING para STOPPING e para STOPPED.
Limitações
Não é possível interromper:
- clusters com workers secundários
- clusters com ssds locais
Quando um cluster é interrompido, não é possível:
- atualizar o cluster
- enviar jobs para o cluster
- acessar notebooks em execução no cluster usando o gateway de componentes do Serviço Gerenciado para Apache Spark
Como iniciar um cluster
Quando você reinicia um cluster interrompido, as ações de inicialização não são executadas novamente. As ações de inicialização só são executadas nos nós do cluster quando o cluster é criado ou quando os nós são adicionados quando o cluster é escalonado verticalmente.
Após a conclusão da operação de início, será possível enviar jobs imediatamente ao cluster. No entanto, a execução dos jobs pode ser atrasada em aproximadamente 30 segundos para permitir que o HDFS e o YARN entrem em operação.
Como interromper e iniciar um cluster
É possível interromper e iniciar um cluster usando o Google Cloud console, a CLI gcloud ou a API Serviço Gerenciado para Apache Spark.
Console doGoogle Cloud
- Clique no nome do cluster na página Clusters no console do Google Cloud .
- Na página de detalhes do cluster que será aberta, clique em PARAR para interromper o cluster. Quando estiver tudo pronto para retomar as operações do cluster, clique em INICIAR para reiniciar o cluster.
CLI da gcloud
Interromper um cluster
gcloud dataproc clusters stop CLUSTER_NAME \ --region=REGION
Iniciar um cluster
gcloud dataproc clusters start CLUSTER_NAME \ --region=REGION
API REST
Interromper um cluster
Envie uma solicitação clusters.stop.
Iniciar um cluster
Envie uma solicitação clusters.start.