Dataform verwendet Kontingente und Systemlimits, um eine faire Ressourcenverteilung zu gewährleisten, Dienstüberlastungen zu vermeiden und Ihnen bei der Verwaltung der Ressourcennutzung zu helfen.
Kontingente und Systemlimits sind ähnlich, unterscheiden sich aber in folgenden Punkten:
- Kontingente haben Standardwerte, aber Sie können in der Regel Anpassungen anfordern.
- Systemlimits sind feste Werte, die nicht geändert werden können.
Google Cloud nutzt Kontingente, um für Fairness zu sorgen und Spitzen bei der Ressourcennutzung und ‑verfügbarkeit zu reduzieren. Ein Kontingent schränkt ein, wie viel von einerGoogle Cloud Ressource Ihr Google Cloud Projekt nutzen kann. Kontingente gelten für eine Reihe von Ressourcentypen, einschließlich Hardware, Software und Netzwerkkomponenten. Mit Kontingenten können Sie beispielsweise die Anzahl der API-Aufrufe an einen Dienst, die Anzahl der von Ihrem Projekt nebenläufig verwendeten Load Balancer oder die Anzahl der Projekte begrenzen, die Sie erstellen können. Kontingente sollen eine Überlastung von Diensten verhindern und dadurch die Community derGoogle Cloud Nutzer schützen. Sie helfen Ihnen auch bei der Verwaltung Ihrer eigenen Google Cloud Ressourcen.
Das Cloud-Kontingentsystem tut Folgendes:
- Es überwacht Ihren Verbrauch von Google Cloud Produkten und Diensten.
- Es schränkt Ihren Verbrauch dieser Ressourcen ein.
- Es bietet eine Möglichkeit, Änderungen am Kontingentwert zu beantragen und Kontingentanpassungen zu automatisieren.
Wenn Sie versuchen, mehr von einer Ressource zu verbrauchen, als das Kontingent zulässt, blockiert das System in den meisten Fällen den Zugriff auf die Ressource. Die Aufgabe, die Sie auszuführen versuchen, schlägt dann fehl.
Kontingente gelten in der Regel auf Google Cloud Projektebene. Die Nutzung einer Ressource in einem Projekt hat keinen Einfluss auf das verfügbare Kontingent in einem anderen Projekt. Innerhalb eines Google Cloud Projekts werden die Kontingente für alle Anwendungen und IP-Adressen gemeinsam genutzt.
Weitere Informationen finden Sie unter Cloud-Kontingente – Übersicht.
Für Dataform-Ressourcen gelten außerdem Systemlimits. Systemlimits können nicht geändert werden.
Kontingentauffüllung
Die täglichen Kontingente werden den ganzen Tag über in regelmäßigen Intervallen aufgefüllt, um das Verhalten von Ratenbegrenzungen zu steuern. Eine unregelmäßige Aktualisierung wird auch durchgeführt, um lange Unterbrechungen zu vermeiden, wenn das Kontingent erschöpft ist. Zusätzliches Kontingent wird in der Regel innerhalb von Minuten zur Verfügung gestellt, anstatt einmal täglich global aufgefüllt zu werden.
Kontingenterhöhung anfordern
Verwenden Sie zur Erhöhung/Verringerung der meisten Kontingente die Google Cloud Console. Weitere Informationen finden Sie unter Kontingentanpassung anfordern.
Kontingentnutzung einschränken
Informationen zum Einschränken der Nutzung einer bestimmten Ressource durch Angabe eines kleineren Kontingents als die Standardeinstellung finden Sie unter Nutzung einschränken.
Erforderliche Berechtigungen
Zum Anzeigen und Aktualisieren Ihrer Dataform-Kontingente in derGoogle Cloud Console benötigen Sie die gleichen Berechtigungen wie für alle Google Cloud-Kontingente. Weitere Informationen finden Sie unter Kontingentberechtigungen.
Fehlerbehebung
Informationen zur Fehlerbehebung bei Fehlern im Zusammenhang mit Dataform-Kontingenten und -Limits finden Sie unter Fehlerbehebung.
Dataform-Kontingente
Für Dataform gelten die folgenden API-Kontingente:
| Kontingente | Limit |
|---|---|
| Gesamtzahl der Anfragen pro Projekt und Region | 6000/minute/project/region |
| Kompilierungsanfragen pro Projekt und Region | 120/minute/project/region |
| Dateizugriffsanfragen pro Projekt und Region | 120/minute/project/region |
| Anfragen zur Paketinstallation pro Projekt und Region | 120/minute/project/region |
| Anfragen zum Verschieben von Ordnern pro Projekt und Region | 6/minute/project/region |
| Anfragen zum Verschieben von Dateien pro Projekt und Region | 60/minute/project/region |
| Anfragen zum Löschen von Ordnerbäumen pro Projekt und Region | 20/minute/project/region |
| Anfragen zum Aufrufen von Workflows pro Projekt und Region | 60/minute/project/region |
| Workflowaktionen pro Ausführung | 5.000 |
Kontingente für von Dataform verwendete Dienste
Dataform verwendet andere Google Cloud -Dienste. Diese Dienste haben Kontingente auf Projektebene, die gelten, wenn Sie Dataform verwenden.
Dataform verwendet die folgenden Google Cloud -Dienste, die eigene Kontingentlimits haben:
Ressourcenlimits für die Dataform-Kompilierung
Dataform erzwingt die folgenden Nutzungslimits für Kompilierungsressourcen:
| Nutzungslimit | Wert |
|---|---|
| Maximale Anzahl von Aktionen pro Repository-Kompilierung | 5.000 |
| Maximale Anzahl von Abhängigkeiten pro Aktion im kompilierten Graphen | 50 |
| Maximale serialisierte Datengröße des kompilierten Aktionsgraphen insgesamt | 20 MB |
| Maximale CPU-Zeit des Kompilierungsprozesses | 8 Sekunden |
| Maximale Echtzeit des Kompilierungsprozesses | 30 Sekunden |
| Maximale RSS-Nutzung des Kompilierungsprozesses | 200 MB |
| Maximale Größe von NPM-Abhängigkeiten | 200 MB |
| Maximale Größe eines CMEK-verschlüsselten Repositorys | 512 MB |
| Maximale Größe eines Arbeitsbereichs in einem CMEK-verschlüsselten Repository | 512 MB |
Außerdem gelten für Dataform Limits für die CPU- und Speichernutzung während der Kompilierung. Wenn diese Limits beim Kompilieren des Codes überschritten werden, schlägt die Kompilierung fehl und Dataform gibt einen Kompilierungsfehler aus.
Informationen zum Schätzen der Nutzung von Kompilierungsressourcen Ihres Repositorys finden Sie unter Nutzung von Kompilierungsressourcen Ihres Repositorys schätzen.
Ihr Repository überschreitet die Nutzungslimits möglicherweise aus folgenden Gründen:
- Ein Endlosschleifenfehler im Repository-Code.
- Ein Speicherleckfehler im Repository-Code.
- Große Repository-Größe, ungefähr mehr als 1.000 Workflow-Knoten.
- Große Anzahl gleichzeitiger Abfragen.
Weitere Informationen zur Repository-Größe in Dataform finden Sie unter Übersicht über die Repository-Größe.