In questa pagina sono elencati i limiti delle quote dell'API Managed Service for Apache Spark, che vengono applicati a livello di progetto e di regione. Le quote vengono reimpostate ogni sessanta secondi (un minuto).
Per le strategie di ottimizzazione dei cluster che aiutano a evitare problemi di disponibilità delle risorse e delle quote, consulta Disponibilità delle risorse e strategie per le zone.
La tabella seguente elenca i tipi di quota, i limiti di quota e i metodi a cui si applicano le quote dell'API Managed Service for Apache Spark specifiche e predefinite per progetto.
| Tipo di quota | Limite | Metodi API applicabili |
|---|---|---|
| AutoscalingOperationRequestsPerMinutePerProjectPerRegion | 400 | CreateAutoscalingPolicy, GetAutoscalingPolicy, ListAutoscalingPolicies, UpdateAutoscalingPolicy, DeleteAutoscalingPolicy |
| ClusterOperationRequestsPerMinutePerProjectPerRegion | 200 | CreateCluster, DeleteCluster, UpdateCluster, StopCluster, StartCluster, DiagnoseCluster, RepairCluster |
| NodeGroupOperationRequestsPerMinutePerProjectPerRegion | 600 | CreateNodeGroup, DeleteNodeGroup, ResizeNodeGroup, RepairNodeGroup, UpdateLabelsNodeGroup, StartNodeGroup, StopNodeGroup |
| GetJobRequestsPerMinutePerProjectPerRegion | 7500 | GetJob |
| JobOperationRequestsPerMinutePerProjectPerRegion | 400 | SubmitJob, UpdateJob, CancelJob, DeleteJob |
| WorkflowOperationRequestsPerMinutePerProjectPerRegion | 400 | CreateWorkflowTemplate, InstantiateWorkflowTemplate, InstantiateInlineWorkflowTemplate, UpdateWorkflowTemplate, DeleteWorkflowTemplate |
| DefaultRequestsPerMinutePerProjectPerRegion | 7500 | Tutte le altre operazioni (principalmente operazioni Get) |
La tabella seguente elenca i limiti aggiuntivi per il numero totale di operazioni e job attivi a livello di progetto e regione.
| Tipo di quota | Limite | Descrizione |
|---|---|---|
| ActiveOperationsPerProjectPerRegion | 5000 | Limite al numero totale di operazioni attive simultanee di tutti i tipi in un singolo progetto in un singolo database regionale |
| ActiveJobsPerProjectPerRegion | 5000 | Limite del numero totale di job attivi nello stato NON_TERMINAL in un singolo progetto in un singolo database regionale |
Altre Google Cloud quote
I cluster Managed Service for Apache Spark utilizzano altri prodotti Google Cloud . Questi prodotti hanno quote a livello di progetto, incluse quelle che si applicano all'utilizzo di Managed Service for Apache Spark. Alcuni servizi sono obbligatori per utilizzare Managed Service for Apache Spark, ad esempio Compute Engine e Cloud Storage. Altri servizi, come BigQuery e Bigtable, possono facoltativamente utilizzare Managed Service for Apache Spark.
Servizi cluster obbligatori
Per creare cluster Managed Service for Apache Spark, sono necessari i seguenti servizi, che applicano i limiti di quota.
Compute Engine
I cluster Managed Service for Apache Spark utilizzano le macchine virtuali di Compute Engine. Le
quote di Compute Engine sono suddivise in limiti regionali e globali. Questi limiti si applicano ai cluster che crei. Ad esempio, la creazione di un cluster con un nodo n1-standard-4 -m e due nodi n1-standard-4 -w utilizza 12 CPU virtuali (4 * 3). Questo utilizzo del cluster viene conteggiato ai fini del limite di quota regionale di 24 CPU virtuali.
Risorse dei cluster predefiniti
Quando crei un cluster Managed Service for Apache Spark con le impostazioni predefinite, vengono utilizzate le seguenti risorse Compute Engine.
| Risorsa | Utilizzo |
|---|---|
| CPU virtuali | 12 |
| Istanze di macchine virtuali (VM) | 3 |
| Persistent Disk | 1500 GB |
Cloud Logging
Managed Service for Apache Spark salva l'output del driver e i log del cluster in Cloud Logging. La quota di Logging si applica ai cluster Managed Service for Apache Spark.
Servizi facoltativi del cluster
Se vuoi, puoi utilizzare i seguenti servizi, che hanno limiti di quota, con i cluster Managed Service for Apache Spark.
BigQuery
Quando leggi o scrivi dati in BigQuery, si applica la quota di BigQuery.
Bigtable
Quando leggi o scrivi dati in Bigtable, si applica la quota di Bigtable.
Disponibilità delle risorse e strategie per le zone
Per ottimizzare i cluster per la disponibilità delle risorse e mitigare i potenziali errori di esaurimento delle risorse, prendi in considerazione le seguenti strategie:
Posizionamento automatico delle zone: quando crei i cluster, utilizza il posizionamento automatico delle zone. In questo modo, Managed Service for Apache Spark può selezionare una zona ottimale all'interno della regione specificata, migliorando le possibilità di creare correttamente il cluster.
Quote regionali: verifica che le quote di Compute Engine regionali siano sufficienti, poiché le quote possono essere esaurite anche con il posizionamento automatico della zona se la capacità regionale totale non è sufficiente per le tue richieste.
Flessibilità del tipo di macchina: se si verificano esaurimenti di scorte persistenti con un tipo di macchina specifico, utilizza un tipo di macchina diverso e più facilmente disponibile per il tuo cluster.