O Serviço Gerenciado para Apache Spark tem limites de cota de API que são aplicados no nível do projeto e da região. As cotas são redefinidas a cada 60 segundos (1 minuto).

A tabela a seguir lista os tipos de cota de API específicos e padrão por projeto do Serviço Gerenciado para Apache Spark, os limites de cota e os métodos a que se aplicam.

Tipo de cota Limite Métodos ou descrição da API
ClusterOperationRequestsPerMinutePerProjectPerRegion 200 CancelOperation (a cota de cancelamento de operação em lote é compartilhada com a cota de cancelamento de operação de cluster).
BatchOperationRequestsPerMinutePerProjectPerRegion 200 CreateBatch, DeleteBatch
SessionOperationRequestsPerMinutePerProjectPerRegion 200 CreateSession, DeleteSession, TerminateSession
DefaultRequestsPerMinutePerProjectPerRegion 7.500 GetBatch, ListBatches, GetSession, ListSessions
ActiveOperationsPerProjectPerRegion 5.000 Limite do número total de operações ativas simultâneas de todos os tipos em um projeto em uma região.

Cota de DCU sem servidor do Serviço Gerenciado para Apache Spark

A partir da versão 4.0 do ambiente de execução sem servidor do Serviço Gerenciado para Apache Spark, a cota de unidade de computação de dados (DCU) de um projeto (dataproc.googleapis.com/data_compute_units), em vez da cota do Compute Engine, gerencia e limita o uso de recursos de computação da carga de trabalho em lote sem servidor e da sessão interativa do Serviço Gerenciado para Apache Spark. O uso da cota do Compute Engine é redirecionado para um projeto de produtor dedicado do Serviço Gerenciado para Apache Spark.

É possível conferir e ajustar sua cota de DCU na página Cotas do Google Cloud console do na API Dataproc. Ative o ajustador de cotas para aumentar sua cota de DCU quando o uso se aproximar do limite.

Calcular o consumo de DCU

O uso de DCU é calculado por nó com base no formato da VM, usando a mesma fórmula dos preços de DCU do Serviço Gerenciado para Apache Spark sem servidor:

  • 0,6 DCU por vCPU.
  • 0,1 DCU por GB de memória, até 8 GB por vCPU.
  • 0,2 DCU por GB de memória acima de 8 GB por vCPU (memória estendida).
  • Os nós do nível Premium contam 1,5x as DCUs do mesmo formato no nível padrão.

As DCUs de um pool de nós são arredondadas para cima para o número inteiro mais próximo:

DCUs = ceiling(nodes × DCUs per node)

Exemplo: um nó de nível padrão com 4 vCPUs e 16 GB de memória usa 4 × 0.6 + 16 × 0.1 = 4 DCUs. Um lote com 1 driver e 10 executores desse formato usa 44 DCUs. O mesmo lote no nível Premium usa 66 DCUs.

Limitações

As seguintes limitações se aplicam às cotas de DCU:

  • Versões do ambiente de execução: as cotas de DCU se aplicam à versão 4.0 e posteriores do ambiente de execução sem servidor do Serviço Gerenciado para Apache Spark. As cargas de trabalho que usam versões de ambiente de execução anteriores a 4.0 não consomem a cota de DCU e continuam consumindo a cota do Compute Engine de um projeto.
  • Cotas não compatíveis: as cotas de GPU, reserva e globais do Compute Engine não são compatíveis com o modelo de cota de DCU.

Outras cotas do Google Cloud

Os lotes do Serviço Gerenciado para Apache Spark usam outros produtos do Google Cloud . Esses produtos têm cotas para envolvidos no projeto, que incluem cotas que se aplicam ao uso do Serviço Gerenciado para Apache Spark. Alguns serviços são obrigatórios para usar o Serviço Gerenciado para Apache Spark, como o Compute Engine e o Cloud Storage. Outros serviços, como o BigQuery e o Bigtable, podem ser usados opcionalmente com o Serviço Gerenciado para Apache Spark.

Serviços obrigatórios

Os serviços a seguir, que aplicam limites de cota, são necessários para criar lotes do Serviço Gerenciado para Apache Spark.

Compute Engine

As cargas de trabalho em lote do Serviço Gerenciado para Apache Spark podem selecionar vários recursos do Compute Engine:

  • Para reduzir os problemas de disponibilidade com CPUs e discos, o Serviço Gerenciado para Apache Spark é compatível com o fallback em várias famílias de máquinas e tipos de disco. Por exemplo, no nível Premium, uma carga de trabalho em lote pode usar N2 com SSD permanente, N2D com SSD local, N2D com disco permanente, N4 com Hyperdisk Balanced ou N4D com Hyperdisk Balanced.

  • Uma carga de trabalho em lote falhará se não tiver cota suficiente para consumir os recursos de seleção de substituição.

A tabela a seguir lista as cotas de recursos do Compute Engine que se aplicam às cargas de trabalho em lote do Serviço Gerenciado para Apache Spark.

Nível de computação Cota
Padrão CPUS
Premium
  • N2_CPUS
  • N2D_CPUS
  • CPUS_PER_VM_FAMILY com a família de VMs N4
  • CPUS_PER_VM_FAMILY com a família de VMs N4D
Nível do disco Cota
Padrão DISKS_TOTAL_GB
Premium
  • DISKS_TOTAL_GB
  • LOCAL_SSD_TOTAL_GB_PER_VM_FAMILY com famílias de VMs N2 e N2D
  • SSD-TOTAL-GB ou Persistent Disk SSD (GB)
  • HDB-TOTAL-GB ou Hyperdisk Balanced Capacity (GB)
Acelerador de GPU Cota
L4 NVIDIA_L4_GPUS
A100 40 GB NVIDIA_A100_GPUS
A100 80 GB NVIDIA_A100_80GB_GPUS

As cotas do Compute Engine se dividem em limites regionais e globais. Esses limites se aplicam aos lotes que você cria. Por exemplo, para executar um lote do Spark com quatro núcleos de driver (spark.driver.cores=4) e dois executores com quatro núcleos cada (spark.executor.cores=4), use 12 CPUs virtuais (4 * 3). Esse uso de lote é contabilizado no limite de cota regional de 24 CPUs virtuais.

Recursos de lote padrão

Quando você cria um lote com as configurações padrão, os seguintes recursos do Compute Engine são usados:

Item Recursos usados
CPUs virtuais 12
Instâncias de máquina virtual (VM) 3
Disco permanente 1.200 GiB

Logging

O Serviço Gerenciado para Apache Spark salva a saída e os registros em lote no Cloud Logging. A cota do Logging se aplica aos lotes do Serviço Gerenciado para Apache Spark.

Serviços opcionais

Os serviços a seguir, que têm limites de cota, podem ser usados com lotes do Serviço Gerenciado para Apache Spark.

BigQuery

Ao ler ou gravar dados no BigQuery, a cota do BigQuery é aplicada.

Bigtable

Ao ler ou gravar dados no Bigtable, a cota do Bigtable é aplicada.

Identificar cargas de trabalho com limitações de cota ou endereço IP

Use as seguintes consultas do Logging para identificar as cargas de trabalho do Serviço Gerenciado para Apache Spark que atingiram sua cota ou não puderam ser escalonadas devido ao esgotamento de endereços IP.

Consulta de cota:

jsonPayload.@type="type.googleapis.com/google.cloud.dataproc.logging.AutoscalerLog"