O Serviço Gerenciado para Apache Spark tem limites de cota de API que são aplicados no nível do projeto e da região. As cotas são redefinidas a cada 60 segundos (1 minuto).
A tabela a seguir lista os tipos de cota de API específicos e padrão por projeto do Serviço Gerenciado para Apache Spark, os limites de cota e os métodos a que se aplicam.
| Tipo de cota | Limite | Métodos ou descrição da API |
|---|---|---|
| ClusterOperationRequestsPerMinutePerProjectPerRegion | 200 | CancelOperation (a cota de cancelamento de operação em lote é compartilhada com a cota de cancelamento de operação de cluster). |
| BatchOperationRequestsPerMinutePerProjectPerRegion | 200 | CreateBatch, DeleteBatch |
| SessionOperationRequestsPerMinutePerProjectPerRegion | 200 | CreateSession, DeleteSession, TerminateSession |
| DefaultRequestsPerMinutePerProjectPerRegion | 7.500 | GetBatch, ListBatches, GetSession, ListSessions |
| ActiveOperationsPerProjectPerRegion | 5.000 | Limite do número total de operações ativas simultâneas de todos os tipos em um projeto em uma região. |
Cota de DCU sem servidor do Serviço Gerenciado para Apache Spark
A partir da versão 4.0 do ambiente de execução sem servidor do Serviço Gerenciado para Apache Spark, a
cota de unidade de computação de dados (DCU) de um projeto
(dataproc.googleapis.com/data_compute_units), em vez da
cota do Compute Engine, gerencia e limita
o uso de recursos de computação da carga de trabalho em lote sem servidor e da sessão interativa
do Serviço Gerenciado para Apache Spark. O uso da cota do Compute Engine é
redirecionado para um projeto de produtor dedicado do Serviço Gerenciado para Apache Spark.
É possível conferir e ajustar sua cota de DCU na página Cotas do Google Cloud console do na API Dataproc. Ative o ajustador de cotas para aumentar sua cota de DCU quando o uso se aproximar do limite.
Calcular o consumo de DCU
O uso de DCU é calculado por nó com base no formato da VM, usando a mesma fórmula dos preços de DCU do Serviço Gerenciado para Apache Spark sem servidor:
- 0,6 DCU por vCPU.
- 0,1 DCU por GB de memória, até 8 GB por vCPU.
- 0,2 DCU por GB de memória acima de 8 GB por vCPU (memória estendida).
- Os nós do nível Premium contam 1,5x as DCUs do mesmo formato no nível padrão.
As DCUs de um pool de nós são arredondadas para cima para o número inteiro mais próximo:
DCUs = ceiling(nodes × DCUs per node)
Exemplo: um nó de nível padrão com 4 vCPUs e 16 GB de memória usa
4 × 0.6 + 16 × 0.1 = 4 DCUs. Um lote com 1 driver e 10 executores desse
formato usa 44 DCUs. O mesmo lote no nível Premium usa 66 DCUs.
Limitações
As seguintes limitações se aplicam às cotas de DCU:
- Versões do ambiente de execução: as cotas de DCU se aplicam à
versão
4.0e posteriores do ambiente de execução sem servidor do Serviço Gerenciado para Apache Spark. As cargas de trabalho que usam versões de ambiente de execução anteriores a4.0não consomem a cota de DCU e continuam consumindo a cota do Compute Engine de um projeto. - Cotas não compatíveis: as cotas de GPU, reserva e globais do Compute Engine não são compatíveis com o modelo de cota de DCU.
Outras cotas do Google Cloud
Os lotes do Serviço Gerenciado para Apache Spark usam outros produtos do Google Cloud . Esses produtos têm cotas para envolvidos no projeto, que incluem cotas que se aplicam ao uso do Serviço Gerenciado para Apache Spark. Alguns serviços são obrigatórios para usar o Serviço Gerenciado para Apache Spark, como o Compute Engine e o Cloud Storage. Outros serviços, como o BigQuery e o Bigtable, podem ser usados opcionalmente com o Serviço Gerenciado para Apache Spark.
Serviços obrigatórios
Os serviços a seguir, que aplicam limites de cota, são necessários para criar lotes do Serviço Gerenciado para Apache Spark.
Compute Engine
As cargas de trabalho em lote do Serviço Gerenciado para Apache Spark podem selecionar vários recursos do Compute Engine:
Para reduzir os problemas de disponibilidade com CPUs e discos, o Serviço Gerenciado para Apache Spark é compatível com o fallback em várias famílias de máquinas e tipos de disco. Por exemplo, no nível Premium, uma carga de trabalho em lote pode usar
N2com SSD permanente,N2Dcom SSD local,N2Dcom disco permanente,N4com Hyperdisk Balanced ouN4Dcom Hyperdisk Balanced.Uma carga de trabalho em lote falhará se não tiver cota suficiente para consumir os recursos de seleção de substituição.
A tabela a seguir lista as cotas de recursos do Compute Engine que se aplicam às cargas de trabalho em lote do Serviço Gerenciado para Apache Spark.
| Nível de computação | Cota |
|---|---|
| Padrão | CPUS |
| Premium |
|
| Nível do disco | Cota |
| Padrão | DISKS_TOTAL_GB |
| Premium |
|
| Acelerador de GPU | Cota |
| L4 | NVIDIA_L4_GPUS |
| A100 40 GB | NVIDIA_A100_GPUS |
| A100 80 GB | NVIDIA_A100_80GB_GPUS |
As cotas do Compute Engine se dividem em limites regionais e globais. Esses limites se aplicam aos lotes que você cria. Por exemplo, para executar um lote do Spark com quatro
núcleos de driver (spark.driver.cores=4) e dois executores com quatro núcleos cada
(spark.executor.cores=4), use 12 CPUs virtuais (4 * 3). Esse uso de lote
é contabilizado no limite de cota regional de 24 CPUs virtuais.
Recursos de lote padrão
Quando você cria um lote com as configurações padrão, os seguintes recursos do Compute Engine são usados:
| Item | Recursos usados |
|---|---|
| CPUs virtuais | 12 |
| Instâncias de máquina virtual (VM) | 3 |
| Disco permanente | 1.200 GiB |
Logging
O Serviço Gerenciado para Apache Spark salva a saída e os registros em lote no Cloud Logging. A cota do Logging se aplica aos lotes do Serviço Gerenciado para Apache Spark.
Serviços opcionais
Os serviços a seguir, que têm limites de cota, podem ser usados com lotes do Serviço Gerenciado para Apache Spark.
BigQuery
Ao ler ou gravar dados no BigQuery, a cota do BigQuery é aplicada.
Bigtable
Ao ler ou gravar dados no Bigtable, a cota do Bigtable é aplicada.
Identificar cargas de trabalho com limitações de cota ou endereço IP
Use as seguintes consultas do Logging para identificar as cargas de trabalho do Serviço Gerenciado para Apache Spark que atingiram sua cota ou não puderam ser escalonadas devido ao esgotamento de endereços IP.
Consulta de cota:
jsonPayload.@type="type.googleapis.com/google.cloud.dataproc.logging.AutoscalerLog"