Cette page liste les limites de quota de l'API Managed Service pour Apache Spark, qui sont appliquées au niveau du projet et de la région. Les quotas sont réinitialisés toutes les 60 secondes (une minute).
Pour découvrir des stratégies d'optimisation de cluster permettant d'éviter les problèmes de disponibilité des ressources et de quotas, consultez Disponibilité des ressources et stratégies de zone.
Le tableau suivant liste les types de quotas d'API Managed Service pour Apache Spark spécifiques et par défaut par projet, les limites de quota et les méthodes auxquelles ils s'appliquent.
| Type de quota | Limite | Méthodes API applicables |
|---|---|---|
| AutoscalingOperationRequestsPerMinutePerProjectPerRegion | 400 | CreateAutoscalingPolicy, GetAutoscalingPolicy, ListAutoscalingPolicies, UpdateAutoscalingPolicy, DeleteAutoscalingPolicy |
| ClusterOperationRequestsPerMinutePerProjectPerRegion | 200 | CreateCluster, DeleteCluster, UpdateCluster, StopCluster, StartCluster, DiagnoseCluster, RepairCluster |
| NodeGroupOperationRequestsPerMinutePerProjectPerRegion | 600 | CreateNodeGroup, DeleteNodeGroup, ResizeNodeGroup, RepairNodeGroup, UpdateLabelsNodeGroup, StartNodeGroup, StopNodeGroup |
| GetJobRequestsPerMinutePerProjectPerRegion | 7 500 | GetJob |
| JobOperationRequestsPerMinutePerProjectPerRegion | 400 | SubmitJob, UpdateJob, CancelJob, DeleteJob |
| WorkflowOperationRequestsPerMinutePerProjectPerRegion | 400 | CreateWorkflowTemplate, InstantiateWorkflowTemplate, InstantiateInlineWorkflowTemplate, UpdateWorkflowTemplate, DeleteWorkflowTemplate |
| DefaultRequestsPerMinutePerProjectPerRegion | 7 500 | Toutes les autres opérations (principalement des opérations Get) |
Le tableau suivant liste les limites supplémentaires concernant le nombre total d'opérations et de jobs actifs au niveau du projet et de la région.
| Type de quota | Limite | Description |
|---|---|---|
| ActiveOperationsPerProjectPerRegion | 5000 | Limite du nombre total d'opérations actives simultanées de tous types dans un même projet et une même base de données régionale |
| ActiveJobsPerProjectPerRegion | 5000 | Limite du nombre total de jobs actifs à l'état NON_TERMINAL dans un même projet et une même base de données régionale |
Autres Google Cloud quotas
Les clusters Managed Service pour Apache Spark utilisent d'autres produits Google Cloud . Ces produits ont des quotas au niveau du projet, y compris des quotas associés à l'utilisation de Managed Service pour Apache Spark. Certains services sont requis pour utiliser Managed Service pour Apache Spark, comme Compute Engine et Cloud Storage. D'autres services, tels que BigQuery et Bigtable, peuvent éventuellement utiliser Managed Service pour Apache Spark.
Services de cluster requis
Les services suivants, qui appliquent des limites de quota, sont requis pour créer des clusters Managed Service pour Apache Spark.
Compute Engine
Les clusters Managed Service pour Apache Spark utilisent des machines virtuelles Compute Engine. Les quotas Compute Engine sont divisés en limites régionales et mondiales. Ces limites s'appliquent aux clusters que vous créez. Par exemple, la création d'un cluster avec un nœud n1-standard-4 -m et deux nœuds n1-standard-4 -w utilise 12 processeurs virtuels (4 * 3). Cette utilisation du cluster est comptabilisée dans la limite de quota régional de 24 processeurs virtuels.
Ressources de clusters par défaut
Lorsque vous créez un cluster Managed Service pour Apache Spark avec les paramètres par défaut, les ressources Compute Engine suivantes sont utilisées.
| Ressource | Utilisation |
|---|---|
| Processeurs virtuels | 12 |
| Instances de machines virtuelles (VM) | 3 |
| Disque persistant | 1 500 Go |
Cloud Logging
Managed Service pour Apache Spark enregistre la sortie du pilote et les journaux du cluster dans Cloud Logging. Le quota Logging s'applique aux clusters Managed Service pour Apache Spark.
Services de cluster facultatifs
Vous pouvez éventuellement utiliser les services suivants, qui sont soumis à des limites de quota, avec les clusters Managed Service pour Apache Spark.
BigQuery
Lors de la lecture ou de l'écriture de données dans BigQuery, le quota BigQuery s'applique.
Bigtable
Lors de la lecture ou de l'écriture de données dans Bigtable, le quota Bigtable s'applique.
Disponibilité des ressources et stratégies de zone
Pour optimiser les clusters en fonction de la disponibilité des ressources et limiter les erreurs potentielles liées à une indisponibilité, envisagez les stratégies suivantes :
Sélection de zone automatique : lors de la création de clusters, utilisez la sélection de zone automatique. Cela permet à Managed Service pour Apache Spark de sélectionner une zone optimale dans la région que vous avez spécifiée, ce qui augmente les chances de réussite de la création du cluster.
Quotas régionaux : vérifiez que vos quotas Compute Engine régionaux sont suffisants, car ils peuvent être épuisés même avec la sélection de zone automatique si la capacité régionale totale est insuffisante pour vos requêtes.
Flexibilité du type de machine : si vous rencontrez des ruptures de stock persistantes avec un type de machine spécifique, utilisez un type de machine différent et plus facilement disponible pour votre cluster.