Cette section décrit les options Google Cloud que vous pouvez utiliser pour planifier des workflows.
Modèles de workflows Dataproc
Les modèles de workflows Managed Service pour Apache Spark offrent un procédé souple et convivial pour gérer et exécuter des workflows. Un modèle de workflow est une configuration de workflow réutilisable. Il définit un graphe des tâches avec des informations sur leur emplacement d'exécution.
Cloud Scheduler
Cloud Scheduler est un planificateur de job Cron entièrement géré de niveau entreprise. Il vous permet de planifier pratiquement n'importe quelle tâche, y compris les tâches par lots, celles de big data et les opérations d'infrastructure cloud. Il permet une planification temporelle simple, par jour ou par heure, sans avoir à écrire de code.
Avantages :
Permet l'instanciation temporelle des modèles de workflow basés sur des expressions Cron familières
Aucun code à écrire
Tutoriel : Workflow utilisant Cloud Scheduler
Cloud Functions
Cloud Run Functions est une solution de calcul légère que vous pouvez utiliser pour créer des fonctions autonomes à usage unique qui répondent aux événements Cloud, sans avoir à gérer de serveur ni d'environnement d'exécution. Vous pouvez utiliser les fonctions Cloud Run pour lancer des workflows en réponse à des événements Pub/Sub ou à des modifications de fichiers dans Cloud Storage. Vous pouvez utiliser Cloud Run Functions avec Cloud Scheduler pour les workflows qui nécessitent le calcul de paramètres temporels.
Avantages :
Permet d'instancier les workflows en réponse à des événements de données, tels que de nouveaux fichiers dans Cloud Storage ou des événements Pub/Sub.
Codage minimal requis à l'aide des bibliothèques clientes Go, Node.js ou Python de Managed Service pour Apache Spark
Génère dynamiquement des workflows et des paramètres de workflow
Tutoriel : Workflow utilisant Cloud Run Functions
Cloud Composer
Managed Airflow est un service Apache Airflow géré que vous pouvez utiliser pour créer, planifier, surveiller et gérer des workflows.
Avantages :
Compatible avec la planification basée sur l'heure et sur des événements
Appels simplifiés à Managed Service pour Apache Spark à l'aide d'opérateurs
Génère dynamiquement des workflows et des paramètres de workflow
Créer des flux de données couvrant plusieurs produits Google Cloud
Tutoriel : Workflow utilisant Managed Service pour Apache Airflow