Managed Service pour Apache Spark applique des limites de quota d'API au niveau du projet et de la région. Les quotas sont réinitialisés toutes les 60 secondes (1 minute).

Le tableau suivant répertorie les types de quotas, les limites de quotas et les méthodes auxquelles ils s'appliquent, par défaut et par projet, pour l'API Managed Service pour Apache Spark.

Type de quota Limite Méthodes ou description de l'API
ClusterOperationRequestsPerMinutePerProjectPerRegion 200 CancelOperation (le quota d'annulation d'opérations par lot est partagé avec le quota d'annulation d'opérations de cluster).
BatchOperationRequestsPerMinutePerProjectPerRegion 200 CreateBatch, DeleteBatch
SessionOperationRequestsPerMinutePerProjectPerRegion 200 CreateSession, DeleteSession, TerminateSession
DefaultRequestsPerMinutePerProjectPerRegion 7 500 GetBatch, ListBatches, GetSession, ListSessions
ActiveOperationsPerProjectPerRegion 5 000 Limite du nombre total d'opérations actives simultanées de tous types dans un projet d'une région.

Quota de DCU sans serveur Managed Service pour Apache Spark

À partir de la version d'exécution sans serveur 4.0 de Managed Service pour Apache Spark, le quota d'unités de calcul de données (DCU) d'un projet (dataproc.googleapis.com/data_compute_units), au lieu du quota Compute Engine, gère et limite l'utilisation des ressources de calcul pour les charges de travail par lot et les sessions interactives sans serveur de Managed Service pour Apache Spark (l'utilisation du quota Compute Engine sous-jacent est redirigée vers un projet producteur Managed Service pour Apache Spark dédié).

Vous pouvez afficher et ajuster votre quota de DCU sur la page Quotas de la console Google Cloud dans l'API Dataproc. Vous pouvez activer l'outil d'ajustement des quotas pour augmenter votre quota de DCU lorsque votre utilisation approche de sa limite.

Calculer la consommation de DCU

L'utilisation des DCU est calculée par nœud à partir de la forme de la VM, en utilisant la même formule que la tarification des DCU de Managed Service pour Apache Spark sans serveur :

  • 0,6 DCU par vCPU.
  • 0,1 DCU par Go de mémoire, jusqu'à 8 Go par vCPU.
  • 0,2 DCU par Go de mémoire au-delà de 8 Go par vCPU (extension de mémoire).
  • Les nœuds de niveau Premium comptent pour 1,5 fois les DCU de la même forme sur le niveau Standard.

Les DCU d'un pool de nœuds sont arrondis à l'entier supérieur le plus proche :

DCUs = ceiling(nodes × DCUs per node)

Exemple : Un nœud de niveau standard avec 4 vCPU et 16 Go de mémoire utilise 4 × 0.6 + 16 × 0.1 = 4 DCU. Un lot avec un pilote et 10 exécuteurs de cette forme utilise 44 DCU. Le même lot sur le niveau Premium utilise 66 DCU.

Limites

Les limites suivantes s'appliquent aux quotas de DCU :

  • Versions d'exécution : les quotas de DCU s'appliquent à la version d'exécution sans serveur 4.0 et ultérieures de Managed Service pour Apache Spark. Les charges de travail qui utilisent des versions d'exécution antérieures à 4.0 ne consomment pas de quota de DCU et continuent de consommer le quota Compute Engine d'un projet.
  • Quotas non compatibles : les quotas de GPU, de réservation et de Compute Engine globaux ne sont pas compatibles avec le modèle de quota DCU.

Autres Google Cloud quotas

Les lots Managed Service pour Apache Spark utilisent d'autres produits Google Cloud . Ces produits ont des quotas au niveau du projet, y compris des quotas qui s'appliquent à l'utilisation de Managed Service pour Apache Spark. Certains services sont requis pour utiliser Managed Service pour Apache Spark, tels que Compute Engine et Cloud Storage. D'autres services, tels que BigQuery et Bigtable, peuvent éventuellement être utilisés avec Managed Service pour Apache Spark.

Services requis

Les services suivants, qui appliquent des limites de quota, sont requis pour créer des lots Managed Service pour Apache Spark.

Compute Engine

Les charges de travail par lot Managed Service pour Apache Spark peuvent sélectionner différentes ressources Compute Engine :

  • Pour limiter les problèmes d'obtention des processeurs et des disques, Managed Service pour Apache Spark est compatible avec le remplacement sur plusieurs familles de machines et types de disques. Par exemple, au niveau Premium, une charge de travail par lot peut basculer vers N2 avec un disque SSD persistant, N2D avec un disque SSD local, N2D avec un disque persistant, N4 avec un Hyperdisk Balanced ou N4D avec un Hyperdisk Balanced.

  • Une charge de travail par lot échoue si son quota est insuffisant pour consommer les ressources de sélection de remplacement.

Le tableau suivant répertorie les quotas de ressources Compute Engine qui s'appliquent aux charges de travail par lot Managed Service pour Apache Spark.

Niveau de calcul Quota
Standard CPUS
Premium
  • N2_CPUS
  • N2D_CPUS
  • CPUS_PER_VM_FAMILY avec la famille de VM N4
  • CPUS_PER_VM_FAMILY avec la famille de VM N4D
Niveau de disque Quota
Standard DISKS_TOTAL_GB
Premium
  • DISKS_TOTAL_GB
  • LOCAL_SSD_TOTAL_GB_PER_VM_FAMILY avec les familles de VM N2 et N2D
  • SSD-TOTAL-GB ou Persistent Disk SSD (GB)
  • HDB-TOTAL-GB ou Hyperdisk Balanced Capacity (GB)
Accélérateur GPU Quota
L4 NVIDIA_L4_GPUS
A100 40 Go NVIDIA_A100_GPUS
A100 80 Go NVIDIA_A100_80GB_GPUS

Les quotas Compute Engine sont divisés en quotas régionaux ou mondiaux, Ces limites s'appliquent aux lots que vous créez. Par exemple, pour exécuter un lot Spark avec quatre cœurs de pilote (spark.driver.cores=4) et deux exécuteurs avec quatre cœurs chacun (spark.executor.cores=4), vous utilisez 12 processeurs virtuels (4 * 3). Cette utilisation par lot est comptabilisée dans la limite de quota régional de 24 processeurs virtuels.

Ressources de lot par défaut

Lorsque vous créez un lot avec les paramètres par défaut, les ressources Compute Engine suivantes sont utilisées :

Élément Ressources utilisées
Processeurs virtuels 12
Instances de machines virtuelles (VM) 3
Disque persistant 1 200 Gio

Journalisation

Managed Service pour Apache Spark enregistre les résultats et les journaux des traitements par lot dans Cloud Logging. Le quota Logging s'applique à vos lots Managed Service pour Apache Spark.

Services optionnels

Les services suivants, qui sont soumis à des limites de quota, peuvent éventuellement être utilisés avec les lots Managed Service pour Apache Spark.

BigQuery

Lors de la lecture ou de l'écriture de données dans BigQuery, le quota BigQuery s'applique.

Bigtable

Lors de la lecture ou de l'écriture de données dans Bigtable, le quota Bigtable s'applique.

Identifier les charges de travail présentant des limites de quota ou d'adresse IP

Vous pouvez utiliser les requêtes Logging suivantes pour identifier les charges de travail Managed Service pour Apache Spark qui ont atteint votre quota ou qui n'ont pas pu évoluer en raison de l'épuisement des adresses IP.

Requête de quota :

jsonPayload.@type="type.googleapis.com/google.cloud.dataproc.logging.AutoscalerLog"