Quando esegui la pipeline utilizzando Dataflow, puoi visualizzare il job e tutti gli altri utilizzando l'interfaccia di monitoraggio di Dataflow. L'interfaccia di monitoraggio ti consente di visualizzare e interagire con i job Dataflow.
Puoi accedere all'interfaccia di monitoraggio di Dataflow in the Google Cloud console.
Le attività che puoi eseguire utilizzando l'interfaccia di monitoraggio includono le seguenti:
- Visualizzare un elenco di job in esecuzione, completati e non riusciti.
- Visualizzare una rappresentazione grafica delle fasi di un job e dell'avanzamento di ogni fase
- Visualizzare i grafici delle metriche dei job, come l'aggiornamento dei dati, l'utilizzo delle risorse e le richieste di I/O.
- Monitorare il costo stimato di un job.
- Visualizzare i log della pipeline.
- Identificare i passaggi che potrebbero causare il ritardo della pipeline.
- Identificare le cause della latenza nelle origini e nei sink.
- Comprendere gli errori della pipeline.
Componenti dell'interfaccia di monitoraggio
L'interfaccia di monitoraggio contiene i seguenti visualizzatori e grafici:
- Dashboard di monitoraggio del progetto
- Una dashboard che monitora i job Dataflow a livello di progetto.
- Elenco dei job
- Un elenco di tutti i job Dataflow in esecuzione e di tutti i job eseguiti negli ultimi 30 giorni, insieme a stato, regione, tempo trascorso e altre informazioni.
- Grafico dei job
- Una rappresentazione grafica di una pipeline. Il grafico dei job fornisce anche un riepilogo dei job, un log dei job e informazioni su ogni passaggio della pipeline.
- Dettagli di esecuzione
- Mostra le fasi di esecuzione di un job, l'aggiornamento dei dati per i job di streaming e l'avanzamento dei worker per i job in batch.
- Metriche dei job
- Grafici che mostrano le metriche durante la durata di un job.
- Costo stimato
- Il costo stimato del job Dataflow, in base alle metriche di utilizzo delle risorse.
- Consigli
- Consigli per migliorare le prestazioni dei job, ridurre i costi e risolvere gli errori.
- Scalabilità automatica
- Un insieme di grafici che ti aiutano a comprendere il comportamento di scalabilità automatica dei job di streaming.
- Avvisi chiavi in mano
- Policy di avviso preconfigurate per i job di streaming che monitorano il tempo di elaborazione del backlog e l'utilizzo delle risorse.
- Log della pipeline
- Log emessi dalla pipeline e dal servizio Dataflow.
- Campionamento dei dati
- Uno strumento che ti consente di osservare i dati campionati in ogni passaggio di una pipeline.
Passaggi successivi
- Attivare gli avvisi chiavi in mano per il monitoraggio automatico dei job di streaming Dataflow
- Utilizzare Cloud Monitoring per creare avvisi personalizzati e visualizzare le metriche di Dataflow
- Scopri di più sulla creazione di pipeline di dati pronte per la produzione
- Scopri come risolvere i problemi relativi alla pipeline