Visualizzare i log avanzati della pipeline in Cloud Logging

L'abilitazione di Cloud Logging per i cluster Managed Service for Apache Spark di Cloud Data Fusion ti consente di accedere a record di esecuzione granulari oltre alle metriche standard della pipeline. Puoi utilizzare questi log avanzati per risolvere i problemi di esecuzione, esaminare il comportamento di driver ed esecutori ed eseguire il debug di trasformazioni di dati complesse.

Abilita Cloud Logging per Managed Service for Apache Spark

Per visualizzare i problemi relativi a pipeline e cluster in Cloud Logging, abilita i log avanzati nelle istanze Cloud Data Fusion nuove o esistenti. Per attivare i log avanzati in un'istanza esistente, segui questi passaggi:

  1. Nella console Google Cloud , vai alla pagina Istanze di Cloud Data Fusion.

    Vai a Istanze

  2. Fai clic sul nome dell'istanza.

  3. Nella sezione Monitoraggio e logging avanzati, per Cloud Logging di Dataproc, fai clic su Modifica.

  4. Nella finestra Cloud Logging, seleziona la casella di controllo Abilita Cloud Logging.

  5. Fai clic su Salva.

Visualizza i log

A ogni esecuzione della pipeline di Cloud Data Fusion viene assegnato un RunID univoco. Dopo aver eseguito il deployment e l'esecuzione della pipeline, individua il relativo RunID. Poi, in Logging, utilizza RunID per visualizzare i log della pipeline.

Ottieni il RunID della pipeline

  1. Vai alla tua istanza:

    1. Nella Google Cloud console, vai alla pagina Cloud Data Fusion.

    2. Per aprire l'istanza in Cloud Data Fusion Studio, fai clic su Istanze e poi su Visualizza istanza.

      Vai a Istanze

  2. Fai clic su Elenco.
  3. Fai clic sulla pipeline per cui vuoi ottenere l'ID esecuzione.
  4. Fai clic su Riepilogo.
  5. Nella sezione Cronologia esecuzioni, fai clic su Tabella.
  6. Per copiare l'ID esecuzione, fai clic con il tasto destro del mouse su RunID e poi su Copia.

Visualizza i log in Esplora log

  1. Nella console Google Cloud , vai alla pagina Cloud Logging > Esplora log:

    Vai a Esplora log

  2. Nel menu a discesa Tutte le risorse, seleziona Cluster Cloud Dataproc > cdap-PIPELINE_NAME-YOUR_RUNID.

(Facoltativo) Filtra i log

Utilizza i menu dei filtri per filtrare i log. Puoi filtrare in base a vari livelli di gravità dei log o in base a componenti come datafusion-pipeline-logs.

(Facoltativo) Scarica i log

Fai clic su Scarica log.

Per saperne di più, consulta la sezione sul download delle voci di log.

Passaggi successivi