In questa pagina viene descritto come utilizzare la scheda Dettagli esecuzione nell'interfaccia di monitoraggio di Dataflow.
Panoramica
Quando Dataflow esegue un job, converte i passaggi della pipeline in fasi. Mentre ogni passaggio rappresenta una singola trasformazione, una fase rappresenta una singola unità di lavoro eseguita da Dataflow. Per ottimizzare la pipeline, Dataflow potrebbe unire più passaggi in una singola fase.
La scheda Dettagli esecuzione nell'interfaccia di monitoraggio di Dataflow mostra informazioni sulle fasi di un job. Puoi utilizzare la scheda Dettagli esecuzione per risolvere i problemi di prestazioni, ad esempio:
- Fasi lente che causano colli di bottiglia nelle prestazioni
- Fasi bloccate che non avanzano
- VM worker in ritardo rispetto ad altri worker
Visualizzare i dettagli dell'esecuzione
Per visualizzare i dettagli dell'esecuzione di un job, segui questi passaggi:
Nella Google Cloud console, vai alla pagina Dataflow > Job.
Seleziona un job.
Fai clic sulla scheda Dettagli esecuzione.
Seleziona una delle seguenti visualizzazioni:
- Avanzamento fase
- Workflow fase
- Avanzamento worker (solo job in batch)
Le sezioni seguenti descrivono ognuna di queste visualizzazioni.
Visualizzazione avanzamento fase
La visualizzazione Avanzamento fase consente di osservare l'avanzamento complessivo del job e confrontare l'avanzamento relativo tra le fasi. Il layout della visualizzazione Avanzamento fase varia a seconda che si tratti di job in batch o in streaming.
Avanzamento fase per i job in batch
Per i job in batch, la visualizzazione Avanzamento fase mostra le fasi del job in ordine di ora di inizio. Per ogni fase, vengono visualizzati i seguenti elementi:
- Una barra che mostra l'ora di inizio e di fine.
- Un grafico a linee che mostra l'avanzamento della fase nel tempo come percentuale del lavoro totale della fase.
- Il tempo totale trascorso nella fase.
Per filtrare le fasi visualizzate, fai clic su Filtra fasi. Per visualizzare il percorso critico, attiva/disattiva l'opzione Percorso critico. Il percorso critico è la sequenza di fasi che contribuiscono al runtime complessivo del job. Ad esempio, esclude i rami che sono terminati prima del job complessivo e gli input che non hanno ritardato l'elaborazione downstream.
Il riquadro Informazioni fase mostra informazioni più dettagliate su una fase. Per visualizzare i dettagli di una fase, fai clic sulla barra di avanzamento della fase. Il riquadro Informazioni fase mostra le seguenti informazioni su una fase:
- Stato
- Avanzamento in percentuale
- Ora di inizio e di fine
- I passaggi della pipeline che questa fase comprende
- I passaggi più lenti per tempo totale di esecuzione
- Dettagli sugli elementi in ritardo
Se il riquadro non è visibile, fai clic su Attiva/disattiva il riquadro "Informazioni fase".
Avanzamento fase per i job in streaming
Per i job in streaming, la visualizzazione Avanzamento fase presenta due visualizzazioni dell'aggiornamento dei dati. L'aggiornamento dei dati è la differenza tra il timestamp di un elemento di dati e il momento in cui l'elemento viene elaborato. Valori più elevati indicano che la pipeline impiega più tempo per elaborare i dati di input.
La prima visualizzazione mostra l'aggiornamento dei dati per fase come grafico a linee. Per visualizzare l'aggiornamento dei dati in un momento specifico, tieni il puntatore sopra il grafico. Per selezionare l'intervallo di tempo, utilizza il selettore di tempo oppure fai clic sul grafico e trascina il puntatore per selezionare l'intervallo. Per filtrare le fasi visualizzate, fai clic su Filtra fasi.
Il grafico evidenzia anche le anomalie nei dati:
- Potenziale lentezza: l'aggiornamento dei dati supera il 95° percentile per la finestra temporale selezionata.
- Potenziale blocco: l'aggiornamento dei dati supera il 99° percentile per la finestra temporale selezionata.
La seconda visualizzazione mostra le fasi come una serie di barre. Le fasi sono disposte in ordine topologico. Le fasi senza discendenti vengono mostrate per prime, seguite dai relativi discendenti. La lunghezza delle barre rappresenta l'aggiornamento dei dati. Per visualizzare i valori di aggiornamento dei dati in un punto specifico, fai clic sul grafico. Le barre vengono aggiornate per mostrare l'aggiornamento dei dati all'ora selezionata.
L'immagine seguente mostra un job con quattro fasi. Al timestamp selezionato, l'aggiornamento dei dati varia da 9 a 13 secondi.
L'immagine successiva mostra lo stesso job con un timestamp diverso selezionato. A questo punto, l'aggiornamento dei dati per tutte le fasi supera i 4 minuti, il che indica che la pipeline potrebbe essere bloccata.
Il riquadro Informazioni fase mostra informazioni più dettagliate su una fase. Per visualizzare i dettagli di una fase, fai clic sulla barra di avanzamento della fase. Il riquadro Informazioni fase mostra le seguenti informazioni su una fase:
- Stato
- Ritardo sistema: il tempo massimo di attesa per l'elaborazione di un elemento di dati
- Watermark dati: il tempo di completamento stimato dell'input di dati per questa fase
- Dettagli sugli elementi in ritardo
- I passaggi della pipeline che questa fase comprende
Se il riquadro non è visibile, fai clic su Attiva/disattiva il riquadro "Informazioni fase".
Workflow fase
La visualizzazione Workflow fase mostra le fasi del job come un grafico del flusso di lavoro. Per visualizzare i dettagli di una fase, fai clic sulla casella della fase.
Per i job in batch, fai clic su Percorso critico per visualizzare solo le fasi che contribuiscono direttamente al runtime complessivo del job.
Avanzamento worker
Per i job in batch, la visualizzazione Avanzamento worker mostra i worker per una determinata fase. Questa visualizzazione non è disponibile per i job in streaming. Per accedere a questa visualizzazione, seleziona Avanzamento worker e seleziona la fase in Filtra worker per fase. In alternativa, puoi attivare questa visualizzazione dalla visualizzazione Avanzamento fase nel seguente modo:
- Nella visualizzazione Avanzamento fase, individua la fase che vuoi visualizzare.
- Tieni il puntatore sopra la barra della fase.
- Nella scheda Fase, fai clic su Visualizza worker. Viene visualizzata la visualizzazione Avanzamento worker con la fase preselezionata.
Ogni barra viene mappata a un elemento di lavoro pianificato per un worker. Con ogni worker è presente un grafico sparkline che tiene traccia dell'utilizzo della CPU su un worker, semplificando l'individuazione dei problemi di sottoutilizzo.
Passaggi successivi
- Scopri di più su come risolvere i problemi delle pipeline di Dataflow.
- Scopri di più sui diversi componenti dell'interfaccia utente di monitoraggio basata sul web di Dataflow.