Dataform utilise des quotas et des limites système pour maintenir une allocation équitable des ressources, éviter les surcharges de service et vous aider à gérer l'utilisation des ressources.
Les quotas et les limites du système sont similaires, mais diffèrent sur les points suivants :
- Les quotas ont des valeurs par défaut, mais vous pouvez généralement demander des ajustements.
- Les limites système sont des valeurs fixes qui ne peuvent pas être modifiées.
Google Cloud utilise des quotas pour garantir l'équité et réduire les pics d'utilisation et de disponibilité des ressources. Un quota limite la quantité d'une ressourceGoogle Cloud que votre projet Google Cloud peut utiliser. Les quotas s'appliquent à différents types de ressources, y compris les composants matériels, logiciels et réseau. Par exemple, ils peuvent limiter le nombre d'appels d'API à un service, le nombre d'équilibreurs de charge utilisés simultanément par votre projet ou le nombre de projets que vous pouvez créer. Ils protègent la communauté des utilisateurs deGoogle Cloud en empêchant la surcharge des services. Les quotas vous aident également à gérer vos propres ressources Google Cloud .
Le système Cloud Quotas permet d'effectuer les opérations suivantes :
- Surveiller votre consommation de produits et services Google Cloud
- Limiter votre consommation de ces ressources
- Demander des modifications de la valeur du quota et automatiser les ajustements de quota
Dans la plupart des cas, lorsque vous tentez d'utiliser une ressource plus que son quota ne le permet, le système bloque l'accès à la ressource et la tâche que vous essayez d'effectuer échoue.
Les quotas s'appliquent généralement au niveau du projet Google Cloud . Votre utilisation d'une ressource dans un projet n'affecte pas votre quota disponible dans un autre projet. Dans un projet Google Cloud , les quotas sont partagés entre toutes les applications et adresses IP.
Pour en savoir plus, consultez la présentation des quotas Cloud.
Des limites système s'appliquent également aux ressources Dataform. Elles ne peuvent pas être modifiées.
Renouvellement de quota
Les quotas quotidiens sont réapprovisionnés à intervalles réguliers tout au long de la journée, ce qui reflète leur intention de guider les comportements de limitation du débit. Une actualisation intermittente est également effectuée pour éviter de longues interruptions lorsque le quota est épuisé. En général, le quota est augmenté en quelques minutes plutôt que d'être réapprovisionné une fois par jour.
Demander une augmentation du quota
Pour demander une augmentation ou une diminution de la plupart des quotas, utilisez la console Google Cloud . Pour en savoir plus, consultez Demander un ajustement de quota.
Limiter l'utilisation des quotas
Pour savoir comment limiter l'utilisation d'une ressource particulière en spécifiant un quota inférieur à celui défini par défaut, consultez la section Limiter l'utilisation des ressources.
Autorisations requises
Pour afficher et mettre à jour vos quotas Dataform dans la consoleGoogle Cloud , vous avez besoin des mêmes autorisations que pour tout quota Google Cloud. Pour en savoir plus, consultez Autorisations de quota.
Dépannage
Pour en savoir plus sur la résolution des erreurs liées aux quotas et aux limites Dataform, consultez Dépannage.
Quotas Dataform
Dataform est soumis aux quotas d'API suivants :
| Quotas | Limite |
|---|---|
| Nombre total de requêtes par projet et par région | 6000/minute/project/region |
| Requêtes de compilation par projet et par région | 120/minute/project/region |
| Requêtes d'accès aux fichiers par projet et par région | 120/minute/project/region |
| Requêtes d'installation de packages par projet et par région | 120/minute/project/region |
| Requêtes de déplacement de dossier par projet et par région | 6/minute/project/region |
| Requêtes de déplacement de fichiers par projet et par région | 60/minute/project/region |
| Requêtes de suppression d'arborescence de dossiers par projet et par région | 20/minute/project/region |
| Requêtes d'appel de workflow par projet et par région | 60/minute/project/region |
| Actions de workflow par exécution | 5000 |
Quotas pour les services utilisés par Dataform
Dataform utilise d'autres services Google Cloud . Ces services ont des quotas au niveau du projet, qui s'appliquent lorsque vous utilisez Dataform.
Dataform utilise les services Google Cloud suivants, qui ont leurs propres limites de quota :
Limites de ressources de compilation Dataform
Dataform applique les limites d'utilisation suivantes aux ressources de compilation :
| Limite d'utilisation | Valeur |
|---|---|
| Nombre maximal d'actions par compilation de dépôt | 5000 |
| Nombre maximal de dépendances par action dans le graphique compilé | 50 |
| Taille maximale totale des données sérialisées du graphe d'actions compilé | 20 Mo |
| Temps CPU maximal du processus de compilation | 8 secondes |
| Durée d'exécution maximale du processus de compilation | 30 seconds |
| Utilisation maximale du RSS par le processus de compilation | 200 Mo |
| Taille maximale des dépendances NPM | 200 Mo |
| Taille maximale d'un dépôt chiffré par CMEK | 512 Mo |
| Taille maximale d'un espace de travail dans un dépôt chiffré par CMEK | 512 Mo |
De plus, Dataform impose des limites sur l'utilisation du processeur et de la mémoire pendant la compilation. Si ces limites sont dépassées lors de la compilation de votre code, la compilation échoue et Dataform génère une erreur de compilation.
Pour estimer l'utilisation des ressources de compilation de votre dépôt, consultez Estimer l'utilisation des ressources de compilation de votre dépôt.
Votre dépôt peut dépasser les limites d'utilisation pour les raisons suivantes :
- Un bug de boucle infinie dans le code du dépôt.
- Un bug de fuite de mémoire dans le code du dépôt.
- Taille de dépôt importante, environ plus de 1 000 nœuds de workflow.
- Grand nombre de requêtes simultanées.
Pour en savoir plus sur la taille des dépôts dans Dataform, consultez Présentation de la taille des dépôts.