Cloud Data Fusion-Logs ansehen

Mit Cloud Data Fusion-Pipeline- und -Dienstlogs können Sie den Ausführungszustand überwachen und Fehler bei fehlgeschlagenen Pipelineausführungen oder Dienstproblemen beheben. Ab Cloud Data Fusion-Version 6.11 sind diese Logs in Cloud Logging verfügbar.

Logtypen

Cloud Data Fusion generiert verschiedene Arten von Logs, um die Überwachung und Fehlerbehebung von Datenintegrationsprozessen zu unterstützen:

Pipeline-Logs
Diese Logs enthalten detaillierte Informationen zu einzelnen Pipelineausführungen, einschließlich Vorschauausführungen. Sie decken alle Phasen einer Pipelineausführung ab, z. B. die Einrichtung vor der Ausführung, die Jobausführung und die Aktivitäten nach der Ausführung.

Dienstprotokolle
Diese Logs enthalten detaillierte Informationen zu Cloud Data Fusion-Systemdiensten wie AppFabric und AppFabric-Prozessor.

Audit-Logs
Cloud Data Fusion generiert Audit-Logs, z. B. Audit-Logs für Administratoraktivitäten. Weitere Informationen finden Sie unter Audit-Logging für Cloud Data Fusion.

Erweiterte Pipeline-Logs
Diese Logs enthalten detaillierte Informationen zu einzelnen Pipelineausführungen. Diese Logs sind besonders nützlich für die Fehlerbehebung bei Pipelinefehlern, da sie Informationen erfassen, noch bevor die Bereitstellung des Managed Service for Apache Spark-Clusters abgeschlossen ist. So können Clusterprobleme oder Verzögerungen erkannt werden. Weitere Informationen finden Sie unter Erweiterte Pipeline-Logs in Cloud Logging ansehen.

Preise

Für die Nutzung von Cloud Logging und Cloud Monitoring fallen Gebühren an. Weitere Informationen finden Sie unter Google Cloud Observability-Preise.

Optional: Cloud Data Fusion Logging-Dashboard importieren

Wenn Sie Pipeline- und Dienstprotokolle über das Cloud Data Fusion-Logging-Dashboard aufrufen möchten, importieren Sie das Dashboard:

  1. Rufen Sie in der Google Cloud Console die Seite Dashboards von Cloud Monitoring auf.

    Dashboards aufrufen

  2. Klicken Sie auf Dashboard-Vorlagen aufrufen.

  3. Suchen Sie nach Cloud Data Fusion Logging und wählen Sie das Dashboard aus.

  4. Klicken Sie auf Cloud Data Fusion Logging-Dashboard in Liste aufnehmen.

Pipeline-Logs ansehen

Sie können Pipeline-Logs über das Cloud Data Fusion-Logging-Dashboard oder direkt im Log-Explorer aufrufen.

Pipeline-Logs über das Dashboard ansehen

  1. Importieren Sie das Dashboard Cloud Data Fusion Logging, falls noch nicht geschehen.

  2. Klicken Sie im Abschnitt Meine Dashboards auf Cloud Data Fusion Logging.

  3. Im Abschnitt Pipeline-Logs finden Sie eine Liste der Pipeline-Logs. Sie können die Logs nach Schweregrad, Feldnamen und Werten filtern.

    Wenn Sie Ihre Suche mithilfe von Abfragen verfeinern möchten, verwenden Sie den Log-Explorer.

Pipeline-Logs im Log-Explorer ansehen

  1. Rufen Sie in der Google Cloud Console die Seite Log-Explorer auf.

    Zum Log-Explorer

  2. Geben Sie die folgende Abfrage ein:

    resource.type="datafusion.googleapis.com/PipelineV2"
    

    Dadurch wird die Liste der Pipeline-Logs angezeigt. Sie können die Ergebnisse mithilfe von Filtern eingrenzen.

Pipeline-Logs filtern

Sie können Pipeline-Logs nach Ausführungs-ID, Instanz-ID, Pipeline-ID, Standort, Namespace oder benutzerdefinierten Labels filtern.

Jeder Cloud Data Fusion-Pipelineausführung wird eine eindeutige RunID zugewiesen. Nachdem Sie Ihre Pipeline bereitgestellt und ausgeführt haben, können Sie die RunID Ihrer Pipeline ermitteln und die entsprechenden Pipeline-Logs aufrufen.

So filtern Sie Pipeline-Logs nach RunID:

  1. RunID der Pipeline abrufen

  2. Rufen Sie in der Google Cloud Console die Seite Log-Explorer auf.

  3. Geben Sie die folgende Abfrage ein:

    resource.type="datafusion.googleapis.com/PipelineV2" resource.labels.run_id=RUN_ID
    

Dienstprotokolle ansehen

Sie können Dienstprotokolle im Cloud Data Fusion-Logging-Dashboard oder im Log-Explorer aufrufen.

Dienstprotokolle über das Dashboard ansehen

  1. Importieren Sie das Dashboard Cloud Data Fusion Logging, falls noch nicht geschehen.

  2. Klicken Sie im Abschnitt Meine Dashboards auf Cloud Data Fusion Logging.

  3. Im Abschnitt Dienstprotokolle finden Sie eine Liste der Dienstprotokolle. Sie können die Logs nach Schweregrad, Feldnamen und Werten filtern.

    Wenn Sie Ihre Suche mithilfe von Abfragen verfeinern möchten, verwenden Sie den Log-Explorer.

Dienstprotokolle im Log-Explorer ansehen

Ab Cloud Data Fusion-Version 6.11.1.1 verwenden Systemdienstprotokolle standardmäßig die überwachte Ressource InstanceV3 (datafusion.googleapis.com/InstanceV3). Diese Logs verwenden das Suffix services-v3 für den Lognamen und enthalten nicht die Labels org_id oder namespace, die in der vorherigen Version vorhanden waren. Die Ausgabe von InstanceV2-Logs ist für neue und aktualisierte Instanzen standardmäßig deaktiviert. Sie können das InstanceV2-Logging jedoch mit der Cloud Data Fusion REST API wieder aktivieren, wenn Ihre Vorgänge auf den Legacy -Labels basieren.

So rufen Sie Dienstprotokolle im Log-Explorer auf:

  1. Rufen Sie in der Google Cloud Console die Seite Log-Explorer auf.

    Zum Log-Explorer

  2. Suchen Sie nach den Dienstprotokollen, indem Sie die entsprechende Abfrage für den Dienst eingeben.

    Dienstname Logabfrage für InstanceV2 Logabfrage für InstanceV3
    Appfabric
    resource.type="datafusion.googleapis.com/InstanceV2"
    labels.".serviceId"="appfabric"
    
    resource.type="datafusion.googleapis.com/InstanceV3"
    labels.".serviceId"="appfabric"
    
    AppFabric-Prozessor
    resource.type="datafusion.googleapis.com/InstanceV2"
    labels.".serviceId"="appfabric.processor"
    
    resource.type="datafusion.googleapis.com/InstanceV3"
    labels.".serviceId"="appfabric.processor"
    
    Dataset-Executor
    resource.type="datafusion.googleapis.com/InstanceV2"
    labels.".serviceId"="dataset.executor"
    
    resource.type="datafusion.googleapis.com/InstanceV3"
    labels.".serviceId"="dataset.executor"
    
    Log-Saver
    resource.type="datafusion.googleapis.com/InstanceV2"
    labels.".serviceId"="log.saver"
    
    resource.type="datafusion.googleapis.com/InstanceV3"
    labels.".serviceId"="log.saver"
    
    Metadatendienst
    resource.type="datafusion.googleapis.com/InstanceV2"
    labels.".serviceId"="metadata.service"
    
    resource.type="datafusion.googleapis.com/InstanceV3"
    labels.".serviceId"="metadata.service"
    
    Messwerte
    resource.type="datafusion.googleapis.com/InstanceV2"
    labels.".serviceId"="metrics"
    
    resource.type="datafusion.googleapis.com/InstanceV3"
    labels.".serviceId"="metrics"
    
    Pipeline Studio
    resource.type="datafusion.googleapis.com/InstanceV2" 
    resource.labels.namespace="system"
    labels.".userserviceid"="studio"
    
    resource.type="datafusion.googleapis.com/InstanceV3"
    labels.".userserviceid"="studio"
    
    Laufzeit
    resource.type="datafusion.googleapis.com/InstanceV2"
    labels.".serviceId"="runtime"
    
    resource.type="datafusion.googleapis.com/InstanceV3"
    labels.".serviceId"="runtime"
    
    Wrangler-Dienst
    resource.type="datafusion.googleapis.com/InstanceV2"
    resource.labels.namespace="system"
    labels.".applicationId"="dataprep"
    labels.".userserviceid"="service"
    
    resource.type="datafusion.googleapis.com/InstanceV3"
    labels.".applicationId"="dataprep"
    labels.".userserviceid"="service"
    

InstanceV2-Logs aktivieren

Standardmäßig ist das Logging von InstanceV2 für Cloud Data Fusion-Instanzen mit Version 6.11.1.1 oder höher deaktiviert. Wenn Ihre Vorgänge das vorherige Logging-Format erfordern (z. B. wenn Sie die Labels org_id oder namespace verwenden), können Sie InstanceV2-Logs mit der Cloud Data Fusion REST API wieder aktivieren.

Verwenden Sie die Methode instances.patch, wobei enable_instance_v2_logs auf true gesetzt ist, um InstanceV2-Logs zu aktivieren. Mit dieser Einstellung werden sowohl InstanceV2- als auch InstanceV3-Logs ausgegeben.

   curl -X PATCH \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  -H "X-GFE-SSL: yes" \
  -H "Host: datafusion.googleapis.com" \
  -d '{"loggingConfig": {"enable_instance_v2_logs": true}}' \
  "https://datafusion.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/instances/INSTANCE_ID?updateMask=loggingConfig"

Ersetzen Sie Folgendes:

  • PROJECT_ID: die Google Cloud Projekt-ID
  • LOCATION: der Standort Ihrer Instanz
  • INSTANCE_ID: die ID Ihrer Cloud Data Fusion-Instanz

Konfigurierbares Logging in Cloud Data Fusion

Cloud Data Fusion 6.11.0 bietet konfigurierbares Logging, wobei Cloud Logging standardmäßig aktiviert ist. Cloud Logging kann zwar deaktiviert werden, es wird jedoch dringend empfohlen, es aktiviert zu lassen, damit Sie Zugriff auf wichtige Pipeline- und Instanzlogs haben.

Führen Sie den folgenden Befehl aus, um Cloud Logging zu deaktivieren:

echo '{ "loggingConfig": {"instance_cloud_logging_disabled": "true"}}' | curl -X POST \
    -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    -H "Content-Type: application/json" \
    --data @- \
    "https://datafusion.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/instances?instanceId=$INSTANCE_ID?updateMask=logging_config"

Ersetzen Sie Folgendes:

  • PROJECT_ID: die Google Cloud Projekt-ID
  • LOCATION: der Standort Ihrer Instanz
  • INSTANCE_ID: die ID Ihrer Cloud Data Fusion-Instanz

Nächste Schritte