Cotas de cluster do Serviço Gerenciado para Apache Spark

Nesta página, listamos os limites de cota da API Serviço Gerenciado para Apache Spark, que são aplicados no nível do projeto e da região. As cotas são redefinidas a cada 60 segundos (um minuto).

Para estratégias de otimização de cluster que ajudam a evitar problemas de disponibilidade de cotas e recursos, consulte Disponibilidade de recursos e estratégias de zona.

Se você executar cargas de trabalho do Serviço Gerenciado para Apache Spark, consulte Cotas do Serviço Gerenciado para Apache Spark. Importante: o esgotamento da cota do Serviço Gerenciado para Apache Spark pode resultar em falhas na criação de lotes e sessões. Para mais informações, consulte Solução de problemas de falhas na criação de sessões e lotes do Serviço Gerenciado para Apache Spark.

Como lidar com erros de cota do Serviço Gerenciado para Apache Spark: se você exceder um limite de cota do Serviço Gerenciado para Apache Spark, um erro RESOURCE_EXHAUSTED (código HTTP 429) será gerado, e a solicitação de API correspondente do Serviço Gerenciado para Apache Spark vai falhar. No entanto, como a cota do Serviço Gerenciado para Apache Spark do seu projeto é atualizada a cada 60 segundos, você pode tentar novamente um minuto após a falha.

A tabela a seguir lista os tipos de cota de API, os limites de cota e os métodos específicos e padrão por projeto do Managed Service for Apache Spark a que eles se aplicam.

Tipo de cota	Limite	Métodos de API aplicáveis
AutoscalingOperationRequestsPerMinutePerProjectPerRegion	400	CreateAutoscalingPolicy, GetAutoscalingPolicy, ListAutoscalingPolicies, UpdateAutoscalingPolicy e DeleteAutoscalingPolicy
ClusterOperationRequestsPerMinutePerProjectPerRegion	200	CreateCluster, DeleteCluster, UpdateCluster, StopCluster, StartCluster, DiagnoseCluster, RepairCluster
NodeGroupOperationRequestsPerMinutePerProjectPerRegion	600	CreateNodeGroup, DeleteNodeGroup, ResizeNodeGroup, RepairNodeGroup, UpdateLabelsNodeGroup, StartNodeGroup, StopNodeGroup
GetJobRequestsPerMinutePerProjectPerRegion	7.500	GetJob
JobOperationRequestsPerMinutePerProjectPerRegion	400	SubmitJob, UpdateJob, CancelJob e DeleteJob
WorkflowOperationRequestsPerMinutePerProjectPerRegion	400	CreateWorkflowTemplate, InstantiateWorkflowTemplate, InstantiateInlineWorkflowTemplate, UpdateWorkflowTemplate, DeleteWorkflowTemplate
DefaultRequestsPerMinutePerProjectPerRegion	7.500	Todas as outras operações (principalmente operações Get)

Como aumentar os limites de cota de recursos: abra a página Google Cloud IAM e administrador→Cotas e selecione os recursos que você quer modificar. Em seguida, clique em Editar cotas na parte de cima da página para iniciar o processo de aumento de cota. Se os recursos que você está tentando aumentar não forem exibidos na página e a filtragem atual for "Cotas com uso", mude a filtragem para "Todas as cotas" alternando o menu suspenso "Tipo de cota".

A tabela a seguir lista outros limites para o total de operações e jobs ativos no nível do projeto e da região.

Tipo da cota	Limite	Descrição
ActiveOperationsPerProjectPerRegion	5000	Limite do número total de operações ativas simultâneas de todos os tipos em um único projeto em um único banco de dados regional
ActiveJobsPerProjectPerRegion	5000	Limite do número total de jobs ativos no estado NON_TERMINAL em um único projeto em um único banco de dados regional

Aumentar os limites do total de operações e jobs ativos: abra um tíquete de suporte do Google.

Outras cotas do Google Cloud

Os clusters do Serviço Gerenciado para Apache Spark usam outros produtos do Google Cloud . Esses produtos têm cotas para envolvidos no projeto, que incluem cotas que se aplicam ao uso do Serviço Gerenciado para Apache Spark. Alguns serviços são obrigatórios para usar o Serviço Gerenciado para Apache Spark, como o Compute Engine e o Cloud Storage. Outros serviços, como o BigQuery e o Bigtable, podem opcionalmente usar o Serviço Gerenciado para Apache Spark.

Serviços de cluster necessários

Os serviços a seguir, que aplicam limites de cota, são necessários para criar clusters do Serviço Gerenciado para Apache Spark.

Compute Engine

Os clusters do Serviço Gerenciado para Apache Spark usam máquinas virtuais do Compute Engine. As cotas do Compute Engine são divididas em limites regionais e globais. Esses limites se aplicam aos clusters que você cria. Por exemplo, a criação de um cluster com um nó n1-standard-4 -m e dois nós n1-standard-4 -w usa 12 CPUs virtuais (4 * 3). Esse uso do cluster é contabilizado no limite de cota regional de 24 CPUs virtuais.

Cotas de teste sem custo financeiro: se você usar o teste sem custo financeiro do Compute Engine, seu projeto terá um limite de 8 CPUs. Para aumentar esse limite, é preciso ativar o faturamento no projeto.

Recursos de clusters padrão

Quando você cria um cluster do Serviço Gerenciado para Apache Spark com as configurações padrão, os seguintes recursos do Compute Engine são usados.

Recurso	Uso
CPUs virtuais	12
Instâncias de máquina virtual (VM)	3
Disco permanente	1.500 GB

Cloud Logging

O Serviço Gerenciado para Apache Spark salva a saída do driver e os registros do cluster no Cloud Logging. A cota do Logging se aplica aos clusters do Serviço Gerenciado para Apache Spark.

Serviços opcionais de cluster

Se quiser, use os seguintes serviços, que têm limites de cota, com clusters do Serviço Gerenciado para Apache Spark.

BigQuery

Ao ler ou gravar dados no BigQuery, a cota do BigQuery é aplicada.

Bigtable

Ao ler ou gravar dados no Bigtable, a cota do Bigtable é aplicada.

Disponibilidade de recursos e estratégias de zona

Para otimizar os clusters para disponibilidade de recursos e reduzir possíveis erros de falta de estoque, considere as seguintes estratégias:

• Posicionamento de zona automático: ao criar clusters, use o posicionamento de zona automático. Isso permite que o Serviço Gerenciado para Apache Spark selecione uma zona ideal na região especificada, aumentando as chances de criação do cluster.

• Cotas regionais: verifique se as cotas regionais do Compute Engine são suficientes, já que elas podem ser esgotadas mesmo com a seleção automática de zona se a capacidade regional total for insuficiente para suas solicitações.

• Flexibilidade do tipo de máquina: se você tiver falta de estoque persistente com um tipo de máquina específico, use um tipo de máquina diferente e mais disponível para o cluster.