In diesem Abschnitt werden Google Cloud Optionen beschrieben, mit denen Sie Workflows planen können.
Dataproc-Workflowvorlagen
Workflowvorlagen von Managed Service for Apache Spark bieten einen flexiblen und nutzerfreundlichen Mechanismus zum Verwalten und Ausführen von Workflows. Eine Workflowvorlage ist eine wiederverwendbare Workflowkonfiguration, die Jobs in einer Grafik definiert und Informationen dazu enthält, wo diese Jobs ausgeführt werden sollen.
Cloud Scheduler
Cloud Scheduler ist ein vollständig verwalteter Cronjob-Planer für Unternehmen. Sie können damit praktisch jeden Job planen, einschließlich Batchjobs, Big Data-Jobs und Cloud-Infrastrukturvorgängen. Cloud Scheduler bietet eine einfache zeitbasierte Planung, z. B. täglich oder stündlich, ohne dass Sie Code schreiben müssen.
Vorteile:
Aktiviert die zeitbasierte Instanziierung von Workflowvorlagen basierend auf vertrauten Cron-Ausdrücken
Kein Code muss geschrieben werden
Anleitung: Workflow mit Cloud Scheduler
Cloud Functions
Cloud Run Functions ist eine einfache Computing-Lösung, mit der Sie zweckgebundene, eigenständige Funktionen erstellen können, die auf Cloud-Ereignisse reagieren, ohne dass Sie eine Server- oder Laufzeitumgebung verwalten müssen. Sie können Cloud Run Functions verwenden, um Workflows als Reaktion auf Pub/Sub-Ereignisse oder Dateiänderungen in Cloud Storage zu starten. Sie können Cloud Run-Funktionen mit Cloud Scheduler für Workflows verwenden, die die Berechnung zeitbasierter Parameter erfordern.
Vorteile:
Aktiviert die Workflowinstanziierung als Reaktion auf Datenereignisse, z. B. neue Dateien in Cloud Storage oder Pub/Sub-Ereignisse.
Minimaler Programmieraufwand mit den Clientbibliotheken für Go, Node.js oder Python von Managed Service for Apache Spark
Workflows und Workflowparameter dynamisch generieren
Anleitung: Workflow mit Cloud Run-Funktionen
Cloud Composer
Managed Airflow ist ein verwalteter Apache Airflow-Dienst, mit dem Sie Workflows erstellen, planen, überwachen und verwalten können.
Vorteile:
Unterstützt zeit- und ereignisbasierter Planung
Vereinfachte Aufrufe von Managed Service for Apache Spark mithilfe von Operatoren
Workflows und Workflowparameter dynamisch generieren
Datenflüsse erstellen, die sich über mehrere Google Cloud -Produkte erstrecken