Lorsque vous exécutez votre pipeline à l'aide de Dataflow, vous pouvez afficher la tâche correspondante et toute autre tâche au moyen de l'interface de surveillance Dataflow. L'interface de surveillance vous permet de voir vos tâches Dataflow et d'interagir avec.
Vous pouvez accéder à l'interface de surveillance Dataflow dans la Google Cloud console.
Voici quelques-unes des tâches que vous pouvez effectuer à l'aide de l'interface de surveillance :
- Afficher la liste des tâches en cours d'exécution, terminées et ayant échoué.
- Afficher une représentation graphique des étapes d'une tâche et de la progression de chaque étape.
- Afficher des graphiques des métriques de tâche, telles que la fraîcheur des données, l'utilisation des ressources et les requêtes d'E/S.
- Surveiller le coût estimé d'une tâche.
- Afficher les journaux de pipeline.
- Identifier les étapes susceptibles de causer un retard de pipeline.
- Identifier les causes de latence dans vos sources et récepteurs.
- Comprendre les erreurs de pipeline.
Composants de l'interface de surveillance
L'interface de surveillance contient les visualisateurs et graphiques suivants :
- Tableau de bord de surveillance des projets
- Tableau de bord qui surveille vos tâches Dataflow au niveau du projet.
- Tâches
- Liste de toutes les tâches Dataflow en cours d'exécution et de toutes celles exécutées au cours des 30 derniers jours, ainsi que leur état, leur région, le temps écoulé et d'autres informations.
- Graphique de la tâche
- Représentation graphique d'un pipeline. Le graphique de la tâche fournit également un résumé de la tâche, un journal de tâche et des informations sur chaque étape du pipeline.
- Détails de l'exécution
- Affiche les étapes d'exécution d'une tâche, la fraîcheur des données pour les tâches de streaming et la progression des nœuds de calcul pour les tâches par lot.
- Métriques de la tâche
- Graphiques qui affichent des métriques sur la durée d'une tâche.
- Coût estimé
- Coût estimé de votre tâche Dataflow, basé sur les métriques d'utilisation des ressources.
- Recommandations
- Recommandations pour améliorer les performances des tâches, réduire les coûts et résoudre les erreurs.
- Autoscaling
- Ensemble de graphiques qui vous aident à comprendre le comportement d'autoscaling des tâches de streaming.
- Alertes prêtes à l'emploi
- Règles d'alerte préconfigurées pour les tâches de streaming qui surveillent le temps de traitement du backlog et l'utilisation des ressources.
- Journaux de pipeline
- Journaux émis par votre pipeline et par le service Dataflow.
- Échantillonnage de données
- Outil qui vous permet d'observer les données échantillonnées à chaque étape d'un pipeline.
Étape suivante
- Activer les alertes prêtes à l'emploi pour la surveillance automatisée des tâches de streaming Dataflow
- Utiliser Cloud Monitoring pour créer des alertes personnalisées et afficher les métriques Dataflow
- Découvrir comment créer des pipelines de données prêts pour la production
- Découvrir comment résoudre les problèmes liés à votre pipeline