Auf dieser Seite sind die Kontingentlimits für die Managed Service for Apache Spark API aufgeführt, die auf Projekt- und Regionsebene erzwungen werden. Die Kontingente werden alle 60 Sekunden (eine Minute) zurückgesetzt.
Informationen zu Strategien zur Clusteroptimierung, mit denen Sie Probleme mit der Kontingent- und Ressourcenverfügbarkeit vermeiden können, finden Sie unter Ressourcenverfügbarkeit und Zonenstrategien.
In der folgenden Tabelle sind die spezifischen und standardmäßigen API-Kontingenttypen, Kontingentlimits und die Methoden aufgeführt, für die sie gelten, für Managed Service for Apache Spark pro Projekt.
| Kontingenttyp | Limit | Betroffene API-Methoden |
|---|---|---|
| AutoscalingOperationRequestsPerMinutePerProjectPerRegion | 400 | CreateAutoscalingPolicy, GetAutoscalingPolicy, ListAutoscalingPolicies, UpdateAutoscalingPolicy, DeleteAutoscalingPolicy |
| ClusterOperationRequestsPerMinutePerProjectPerRegion | 200 | CreateCluster, DeleteCluster, UpdateCluster, StopCluster, StartCluster, DiagnoseCluster, RepairCluster |
| NodeGroupOperationRequestsPerMinutePerProjectPerRegion | 600 | CreateNodeGroup, DeleteNodeGroup, ResizeNodeGroup, RepairNodeGroup, UpdateLabelsNodeGroup, StartNodeGroup, StopNodeGroup |
| GetJobRequestsPerMinutePerProjectPerRegion | 7.500 | getJob |
| JobOperationRequestsPerMinutePerProjectPerRegion | 400 | SubmitJob, UpdateJob, CancelJob, DeleteJob |
| WorkflowOperationRequestsPerMinutePerProjectPerRegion | 400 | CreateWorkflowTemplate, InstantiateWorkflowTemplate, InstantiateInlineWorkflowTemplate, UpdateWorkflowTemplate, DeleteWorkflowTemplate |
| DefaultRequestsPerMinutePerProjectPerRegion | 7.500 | Alle anderen Vorgänge, vor allem Get-Vorgänge |
In der folgenden Tabelle sind zusätzliche Limits für die Gesamtzahl der aktiven Vorgänge und Jobs auf Projekt- und Regionsebene aufgeführt.
| Kontingenttyp | Limit | Beschreibung |
|---|---|---|
| ActiveOperationsPerProjectPerRegion | 5.000 | Beschränkung der Gesamtzahl gleichzeitiger aktiver Vorgänge aller Typen in einem einzelnen Projekt in einer einzelnen regionalen Datenbank |
| ActiveJobsPerProjectPerRegion | 5.000 | Limit für die Gesamtzahl der aktiven Jobs im Status NON_TERMINAL in einem einzelnen Projekt in einer einzelnen regionalen Datenbank |
Andere Google Cloud Kontingente
Managed Service for Apache Spark-Cluster verwenden andere Produkte von Google Cloud . Diese Produkte haben Kontingente auf Projektebene, einschließlich Kontingenten, die für die Nutzung von Managed Service for Apache Spark gelten. Einige Dienste sind für die Verwendung von Managed Service for Apache Spark erforderlich, z. B. Compute Engine und Cloud Storage. Andere Dienste wie BigQuery und Bigtable können optional Managed Service for Apache Spark verwenden.
Erforderliche Clusterdienste
Die folgenden Dienste, für die Kontingentlimits gelten, sind zum Erstellen von Managed Service for Apache Spark-Clustern erforderlich.
Compute Engine
Managed Service for Apache Spark-Cluster verwenden virtuelle Compute Engine-Maschinen. Die Compute Engine-Kontingente sind in regionale und globale Limits unterteilt. Diese Limits gelten für Cluster, die Sie erstellen. Beispiel: Für die Erstellung eines Clusters mit einem n1-standard-4-m-Knoten und zwei n1-standard-4-w-Knoten werden 12 virtuelle CPUs (4 * 3) verwendet. Diese Clusternutzung wird auf das regionale Kontingentlimit von 24 virtuellen CPUs angerechnet.
Standard-Clusterressourcen
Wenn Sie einen Managed Service for Apache Spark-Cluster mit Standardeinstellungen erstellen, werden die folgenden Compute Engine-Ressourcen verwendet.
| Ressource | Nutzung |
|---|---|
| Virtuelle CPUs | 12 |
| VM-Instanzen | 3 |
| Nichtflüchtiger Speicher | 1.500 GB |
Cloud Logging
Managed Service for Apache Spark speichert Treiberausgaben und Clusterlogs in Cloud Logging. Das Logging-Kontingent gilt für Managed Service for Apache Spark-Cluster.
Optionale Clusterdienste
Sie können optional die folgenden Dienste, für die Kontingentlimits gelten, mit Managed Service for Apache Spark-Clustern verwenden.
BigQuery
Beim Lesen oder Schreiben von Daten in BigQuery gilt das BigQuery-Kontingent.
Bigtable
Beim Lesen oder Schreiben von Daten in Bigtable gilt das Bigtable-Kontingent.
Ressourcenverfügbarkeit und Zonenstrategien
Wenn Sie Cluster für die Ressourcenverfügbarkeit optimieren und potenzielle Stockout-Fehler minimieren möchten, sollten Sie die folgenden Strategien in Betracht ziehen:
Automatische Zonenplatzierung: Verwenden Sie beim Erstellen von Clustern die automatische Zonenplatzierung. So kann Managed Service for Apache Spark eine optimale Zone in der angegebenen Region auswählen, was die Wahrscheinlichkeit einer erfolgreichen Clustererstellung erhöht.
Regionale Kontingente: Prüfen Sie, ob Ihre regionalen Compute Engine-Kontingente ausreichen, da Kontingente auch bei automatischer Zonenplatzierung erschöpft sein können, wenn die gesamte regionale Kapazität für Ihre Anfragen nicht ausreicht.
Flexibilität bei Maschinentypen: Wenn Sie bei einem bestimmten Maschinentyp dauerhaft mit Engpässen konfrontiert sind, verwenden Sie einen anderen, besser verfügbaren Maschinentyp für Ihren Cluster.