Mit Cloud Data Fusion-Pipeline- und -Dienstlogs können Sie den Ausführungszustand überwachen und Fehler bei fehlgeschlagenen Pipelineausführungen oder Dienstproblemen beheben. Ab Cloud Data Fusion-Version 6.11 sind diese Logs in Cloud Logging verfügbar.
Logtypen
Cloud Data Fusion generiert verschiedene Arten von Logs, um die Überwachung und Fehlerbehebung von Datenintegrationsprozessen zu unterstützen:
Preise
Für die Nutzung von Cloud Logging und Cloud Monitoring fallen Gebühren an. Weitere Informationen finden Sie unter Google Cloud Observability-Preise.
Optional: Cloud Data Fusion Logging-Dashboard importieren
Wenn Sie Pipeline- und Dienstprotokolle über das Cloud Data Fusion-Logging-Dashboard aufrufen möchten, importieren Sie das Dashboard:
Rufen Sie in der Google Cloud Console die Seite Dashboards von Cloud Monitoring auf.
Klicken Sie auf Dashboard-Vorlagen aufrufen.
Suchen Sie nach Cloud Data Fusion Logging und wählen Sie das Dashboard aus.
Klicken Sie auf Cloud Data Fusion Logging-Dashboard in Liste aufnehmen.
Pipeline-Logs ansehen
Sie können Pipeline-Logs über das Cloud Data Fusion-Logging-Dashboard oder direkt im Log-Explorer aufrufen.
Pipeline-Logs über das Dashboard ansehen
Importieren Sie das Dashboard Cloud Data Fusion Logging, falls noch nicht geschehen.
Klicken Sie im Abschnitt Meine Dashboards auf Cloud Data Fusion Logging.
Im Abschnitt Pipeline-Logs finden Sie eine Liste der Pipeline-Logs. Sie können die Logs nach Schweregrad, Feldnamen und Werten filtern.
Wenn Sie Ihre Suche mithilfe von Abfragen verfeinern möchten, verwenden Sie den Log-Explorer.
Pipeline-Logs im Log-Explorer ansehen
Rufen Sie in der Google Cloud Console die Seite Log-Explorer auf.
Geben Sie die folgende Abfrage ein:
resource.type="datafusion.googleapis.com/PipelineV2"Dadurch wird die Liste der Pipeline-Logs angezeigt. Sie können die Ergebnisse mithilfe von Filtern eingrenzen.
Pipeline-Logs filtern
Sie können Pipeline-Logs nach Ausführungs-ID, Instanz-ID, Pipeline-ID, Standort, Namespace oder benutzerdefinierten Labels filtern.
Jeder Cloud Data Fusion-Pipelineausführung wird eine eindeutige RunID zugewiesen.
Nachdem Sie Ihre Pipeline bereitgestellt und ausgeführt haben, können Sie die RunID Ihrer Pipeline ermitteln und die entsprechenden Pipeline-Logs aufrufen.
So filtern Sie Pipeline-Logs nach RunID:
Rufen Sie in der Google Cloud Console die Seite Log-Explorer auf.
Geben Sie die folgende Abfrage ein:
resource.type="datafusion.googleapis.com/PipelineV2" resource.labels.run_id=RUN_ID
Dienstprotokolle ansehen
Sie können Dienstprotokolle im Cloud Data Fusion-Logging-Dashboard oder im Log-Explorer aufrufen.
Dienstprotokolle über das Dashboard ansehen
Importieren Sie das Dashboard Cloud Data Fusion Logging, falls noch nicht geschehen.
Klicken Sie im Abschnitt Meine Dashboards auf Cloud Data Fusion Logging.
Im Abschnitt Dienstprotokolle finden Sie eine Liste der Dienstprotokolle. Sie können die Logs nach Schweregrad, Feldnamen und Werten filtern.
Wenn Sie Ihre Suche mithilfe von Abfragen verfeinern möchten, verwenden Sie den Log-Explorer.
Dienstprotokolle im Log-Explorer ansehen
Ab Cloud Data Fusion-Version 6.11.1.1 verwenden Systemdienstprotokolle standardmäßig die überwachte Ressource InstanceV3 (datafusion.googleapis.com/InstanceV3). Diese Logs verwenden das Suffix services-v3 für den Lognamen und enthalten nicht die Labels org_id oder namespace, die in der vorherigen Version vorhanden waren. Die
Ausgabe von InstanceV2-Logs ist für neue und aktualisierte Instanzen
standardmäßig deaktiviert. Sie können das InstanceV2-Logging jedoch mit der
Cloud Data Fusion REST API wieder aktivieren, wenn Ihre Vorgänge auf den Legacy
-Labels basieren.
So rufen Sie Dienstprotokolle im Log-Explorer auf:
Rufen Sie in der Google Cloud Console die Seite Log-Explorer auf.
Suchen Sie nach den Dienstprotokollen, indem Sie die entsprechende Abfrage für den Dienst eingeben.
Dienstname Logabfrage für InstanceV2 Logabfrage für InstanceV3 Appfabric resource.type="datafusion.googleapis.com/InstanceV2" labels.".serviceId"="appfabric"
resource.type="datafusion.googleapis.com/InstanceV3" labels.".serviceId"="appfabric"
AppFabric-Prozessor resource.type="datafusion.googleapis.com/InstanceV2" labels.".serviceId"="appfabric.processor"
resource.type="datafusion.googleapis.com/InstanceV3" labels.".serviceId"="appfabric.processor"
Dataset-Executor resource.type="datafusion.googleapis.com/InstanceV2" labels.".serviceId"="dataset.executor"
resource.type="datafusion.googleapis.com/InstanceV3" labels.".serviceId"="dataset.executor"
Log-Saver resource.type="datafusion.googleapis.com/InstanceV2" labels.".serviceId"="log.saver"
resource.type="datafusion.googleapis.com/InstanceV3" labels.".serviceId"="log.saver"
Metadatendienst resource.type="datafusion.googleapis.com/InstanceV2" labels.".serviceId"="metadata.service"
resource.type="datafusion.googleapis.com/InstanceV3" labels.".serviceId"="metadata.service"
Messwerte resource.type="datafusion.googleapis.com/InstanceV2" labels.".serviceId"="metrics"
resource.type="datafusion.googleapis.com/InstanceV3" labels.".serviceId"="metrics"
Pipeline Studio resource.type="datafusion.googleapis.com/InstanceV2" resource.labels.namespace="system" labels.".userserviceid"="studio"
resource.type="datafusion.googleapis.com/InstanceV3" labels.".userserviceid"="studio"
Laufzeit resource.type="datafusion.googleapis.com/InstanceV2" labels.".serviceId"="runtime"
resource.type="datafusion.googleapis.com/InstanceV3" labels.".serviceId"="runtime"
Wrangler-Dienst resource.type="datafusion.googleapis.com/InstanceV2" resource.labels.namespace="system" labels.".applicationId"="dataprep" labels.".userserviceid"="service"
resource.type="datafusion.googleapis.com/InstanceV3" labels.".applicationId"="dataprep" labels.".userserviceid"="service"
InstanceV2-Logs aktivieren
Standardmäßig ist das Logging von InstanceV2 für Cloud Data Fusion-Instanzen mit Version 6.11.1.1 oder höher deaktiviert. Wenn Ihre Vorgänge das vorherige Logging-Format erfordern (z. B. wenn Sie die Labels org_id oder namespace verwenden), können Sie InstanceV2-Logs mit der Cloud Data Fusion REST API wieder aktivieren.
Verwenden Sie die Methode instances.patch, wobei enable_instance_v2_logs auf true gesetzt ist, um InstanceV2-Logs zu aktivieren. Mit dieser Einstellung werden sowohl InstanceV2- als auch InstanceV3-Logs ausgegeben.
curl -X PATCH \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
-H "X-GFE-SSL: yes" \
-H "Host: datafusion.googleapis.com" \
-d '{"loggingConfig": {"enable_instance_v2_logs": true}}' \
"https://datafusion.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/instances/INSTANCE_ID?updateMask=loggingConfig"
Ersetzen Sie Folgendes:
PROJECT_ID: die Google Cloud Projekt-IDLOCATION: der Standort Ihrer InstanzINSTANCE_ID: die ID Ihrer Cloud Data Fusion-Instanz
Konfigurierbares Logging in Cloud Data Fusion
Cloud Data Fusion 6.11.0 bietet konfigurierbares Logging, wobei Cloud Logging standardmäßig aktiviert ist. Cloud Logging kann zwar deaktiviert werden, es wird jedoch dringend empfohlen, es aktiviert zu lassen, damit Sie Zugriff auf wichtige Pipeline- und Instanzlogs haben.
Führen Sie den folgenden Befehl aus, um Cloud Logging zu deaktivieren:
echo '{ "loggingConfig": {"instance_cloud_logging_disabled": "true"}}' | curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
--data @- \
"https://datafusion.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/instances?instanceId=$INSTANCE_ID?updateMask=logging_config"
Ersetzen Sie Folgendes:
PROJECT_ID: die Google Cloud Projekt-IDLOCATION: der Standort Ihrer InstanzINSTANCE_ID: die ID Ihrer Cloud Data Fusion-Instanz
Nächste Schritte
- Weitere Informationen zum Audit-Logging in Cloud Data Fusion
- Erweiterte Pipeline-Logs ansehen