Memantau log Knowledge Catalog

Dokumen ini menjelaskan cara mengakses, membuat kueri, dan menafsirkan log Knowledge Catalog (sebelumnya Dataplex Universal Catalog) menggunakan Cloud Logging. Dengan mengakses log layanan dan tugas Knowledge Catalog, Anda dapat memecahkan masalah dan memantau aktivitas pengelolaan data, termasuk penemuan data dan pemindaian kualitas data yang didukung AI.

Dengan memusatkan log di Logging, Anda dapat menganalisis performa tugas, menyiapkan pemberitahuan untuk kegagalan atau anomali, dan merutekan log ke layanan lain Google Cloud seperti BigQuery untuk retensi dan analisis jangka panjang.

Untuk memahami biayanya, lihat Harga Google Cloud Observability.

Untuk mengetahui informasi selengkapnya tentang retensi logging, lihat Periode retensi log.

Untuk menonaktifkan semua log atau mengecualikan log dari Logging, lihat Filter pengecualian.

Untuk merutekan log dari Logging ke Cloud Storage, BigQuery, atau Pub/Sub, lihat Ringkasan perutean dan penyimpanan.

Kasus penggunaan

Logging Knowledge Catalog mendukung kasus penggunaan di berbagai industri:

  • Memecahkan masalah kegagalan pipeline data: Jika tugas Knowledge Catalog untuk pemrosesan data gagal, log process akan memberikan pesan error mendetail yang membantu engineer data mengidentifikasi dan menyelesaikan masalah dalam tugas Spark atau tugas kustom mereka.
  • Memantau kualitas data: Perusahaan layanan keuangan dapat memantau log data_quality_scan_rule_result untuk melacak tren kualitas data dari waktu ke waktu, mendapatkan pemberitahuan tentang penurunan kualitas untuk aset data penting, dan memberikan bukti pemeriksaan kualitas data kepada auditor untuk kepatuhan terhadap peraturan.
  • Melacak pengayaan metadata: Perusahaan retail yang menggunakan tugas impor metadata untuk memperkaya katalognya dapat menggunakan log metadata_job untuk memverifikasi bahwa impor berhasil diselesaikan dan semua item metadata diproses dengan benar.
  • Mengaudit penemuan data: Organisasi dapat menggunakan log discovery untuk memantau cara dan waktu sumber data baru ditemukan dan didaftarkan dalam Knowledge Catalog, sehingga memberikan jalur audit untuk proses orientasi data.

Cara kerja logging Knowledge Catalog

Knowledge Catalog mengirim log untuk operasi layanan dan eksekusi tugas ke Cloud Logging. Setiap entri log berisi detail tentang operasi atau tugas, seperti status, waktu mulai dan berakhir, resource terkait (seperti pemindaian atau tugas data), dan hasil. Berbagai jenis operasi, seperti pemindaian data, penemuan, impor metadata, dan pemrosesan data, menghasilkan jenis log yang berbeda, yang dapat Anda kueri menggunakan logName atau bahasa kueri logging di Logging.

Anda dapat mengakses dan menganalisis log ini menggunakan Logs Explorer di Google Cloud konsol atau dengan merutekannya ke tujuan lain seperti bucket Cloud Storage atau tabel BigQuery untuk analisis lebih lanjut.

Jenis log Knowledge Catalog

Knowledge Catalog memublikasikan log layanan berikut ke Cloud Logging.

Jenis log Nama log Kueri logName Deskripsi log
Log peristiwa pemindaian data dataplex.googleapis.com/data_scan logName=(projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_scan) Log peristiwa tingkat tugas untuk tugas pemindaian data (pemindaian kualitas data dan profil data) yang menunjukkan status, hasil, dan statistik tugas
Log hasil aturan pemindaian kualitas data dataplex.googleapis.com/data_quality_scan_rule_result logName=(projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_quality_scan_rule_result) Hasil evaluasi tingkat aturan mendetail untuk setiap aturan yang dievaluasi dalam tugas pemindaian kualitas data
Log penemuan dataplex.googleapis.com/discovery logName=(projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdiscovery) Progres dan update penemuan atas aset di zona
Log tugas metadata dataplex.googleapis.com/metadata_job logName=(projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fmetadata_job) Log tentang tugas impor metadata dan item impor dalam file impor metadata
Log proses dataplex.googleapis.com/process logName=(projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess) Tugas yang dijalankan sebagai hasil dari tugas pemrosesan data

Mengakses log layanan Knowledge Catalog

Untuk mengakses Logging, gunakan Logs Explorer di Google Cloud konsol, perintah gcloud logging commands, atau the Logging API. Anda dapat menggunakan bahasa kueri logging untuk membuat kueri mendetail.

Izin IAM yang diperlukan

Untuk melihat dan membuat kueri log, Anda harus memiliki peran Logs Viewer (roles/logging.viewer), atau izin yang setara di project.

Melihat log di Google Cloud konsol

  1. Di Google Cloud konsol, buka halaman Observability > Logging > Logs explorer.

    Buka Logs Explorer

  2. Konfigurasi filter Resource dan Log name berdasarkan tabel berikut:

    Jenis log Pemilihan resource Pemilihan nama log
    Peristiwa pemindaian data Audited Resource > Service: Cloud Dataplex dataplex.googleapis.com/data_scan
    Hasil aturan pemindaian kualitas data Audited Resource > Service: Cloud Dataplex dataplex.googleapis.com/data_quality_scan_rule_result
    Log penemuan Cloud Dataplex Zone dataplex.googleapis.com/discovery
    Log tugas metadata Cloud Dataplex Metadata Job dataplex.googleapis.com/metadata_job
    Log proses Cloud Dataplex Task dataplex.googleapis.com/process

  3. (Opsional) Pilih sub-filter tertentu (seperti ID tugas tertentu) untuk mempersempit kueri Anda.

  4. Klik Apply, lalu klik Run query.

Contoh pemfilteran log

Anda dapat menggunakan bahasa kueri logging di editor kueri Logs Explorer atau dengan Google Cloud CLI. Contoh berikut menunjukkan cara membaca log menggunakan gcloud CLI.

Contoh: Membaca peristiwa pemindaian data

Untuk membaca entri log peristiwa untuk pemindaian kualitas data atau profil data, gunakan perintah gcloud logging read dengan kueri berikut:

gcloud logging read \
    'resource.type="dataplex.googleapis.com/DataScan" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_scan AND
    resource.labels.location=LOCATION AND
    resource.labels.datascan_id=DATA_SCAN_ID'
    --limit 10

Contoh: Membaca entri log proses

Untuk membaca entri log proses, gunakan perintah gcloud logging read dengan kueri berikut:

gcloud logging read \
    'resource.type="dataplex.googleapis.com/Task" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess AND
    resource.labels.location=LOCATION AND
    resource.labels.lake_id=LAKE_ID AND
    resource.labels.task_id=TASK_ID'
    --limit 10

Payload log contoh

Contoh berikut menunjukkan struktur payload JSON untuk berbagai jenis log Knowledge Catalog. Anda dapat menggunakan contoh ini untuk memahami struktur log dan membuat filter log.

Log peristiwa pemindaian data

Di Knowledge Catalog, pemindaian data mencakup pemindaian kualitas data dan pemindaian profil data. Saat Anda menjalankan tugas pemindaian data dari salah satu jenis, Knowledge Catalog akan menghasilkan log peristiwa data_scan di Logging yang meringkas eksekusi tugas secara keseluruhan.

Contoh berikut menunjukkan payload log peristiwa untuk pemindaian kualitas data:

{
  "insertId": "123456abcdef",
  "jsonPayload": {
    "dataQuality": {
      "passed": false,
      "rowsAnalyzed": "5000"
    },
    "dataSource": "//bigquery.googleapis.com/projects/my-project/datasets/my_dataset/tables/my_table"
  },
  "resource": {
    "type": "dataplex.googleapis.com/DataScan",
    "labels": {
      "datascan_id": "my-data-quality-scan",
      "location": "us-central1",
      "resource_container": "projects/1234567890"
    }
  },
  "severity": "INFO"
}

Log hasil aturan pemindaian kualitas data

Saat pemindaian kualitas data berjalan, Knowledge Catalog akan menghasilkan log peristiwa pemindaian data dan log hasil aturan pemindaian kualitas data terpisah untuk setiap aturan yang dievaluasi dalam tugas.

Setiap entri log data_quality_scan_rule_result berisi informasi tentang aturan tertentu, termasuk konfigurasi aturan, dimensi evaluasi, status, dan jumlah baris.

Contoh berikut menunjukkan payload log hasil aturan pemindaian kualitas data:

{
  "insertId": "123456abcdef",
  "jsonPayload": {
    "jobId": "my-data-quality-scan-job-123",
    "dataSource": "//bigquery.googleapis.com/projects/my-project/datasets/my_dataset/tables/my_table",
    "column": "user_id",
    "ruleName": "user-id-not-null",
    "ruleType": "NON_NULL_EXPECTATION",
    "ruleDimension": "COMPLETENESS",
    "thresholdPercent": 100,
    "result": "PASSED",
    "evaluatedRowCount": "5000",
    "passedRowCount": "5000",
    "nullRowCount": "0"
  },
  "resource": {
    "type": "dataplex.googleapis.com/DataScan",
    "labels": {
      "datascan_id": "my-data-quality-scan",
      "location": "us-central1",
      "resource_container": "projects/1234567890"
    }
  },
  "severity": "INFO"
}

Log penemuan

Contoh berikut menunjukkan payload log penemuan:

{
  "insertId": "123456abcdef",
  "jsonPayload": {
    "message": "BigQuery table published successfully.",
    "lakeId": "my-lake",
    "zoneId": "my-zone",
    "assetId": "my-asset",
    "dataLocation": "gs://my-bucket/path/to/data",
    "type": "TABLE_PUBLISHED",
    "table": {
      "table": "projects/my-project/datasets/my_dataset/tables/my_table",
      "type": "EXTERNAL_TABLE"
    }
  },
  "resource": {
    "type": "dataplex.googleapis.com/Zone",
    "labels": {
      "lake_id": "my-lake",
      "zone_id": "my-zone",
      "location": "us-central1",
      "resource_container": "projects/1234567890"
    }
  },
  "severity": "INFO"
}

Log tugas metadata

Contoh berikut menunjukkan payload log tugas metadata:

{
  "insertId": "123456abcdef",
  "jsonPayload": {
    "resource": "projects/my-project/locations/us-central1/metadataJobs/my-metadata-job",
    "message": "Metadata import job completed successfully.",
    "type": "IMPORT",
    "importResult": {
      "state": "SUCCEEDED",
      "stage": "INGESTION",
      "mutatedEntryGroups": "1",
      "createdEntries": "50",
      "updatedEntries": "10",
      "deletedEntries": "5"
    }
  },
  "resource": {
    "type": "dataplex.googleapis.com/MetadataJob",
    "labels": {
      "metadata_job_id": "my-metadata-job",
      "location": "us-central1",
      "resource_container": "projects/1234567890"
    }
  },
  "severity": "INFO"
}

Log proses

Contoh berikut menunjukkan payload log proses:

{
  "insertId": "123456abcdef",
  "jsonPayload": {
    "message": "Spark job completed successfully.",
    "jobId": "my-task-job-123",
    "startTime": "2026-08-13T10:00:00Z",
    "endTime": "2026-08-13T10:05:00Z",
    "state": "SUCCEEDED",
    "type": "SPARK",
    "service": "DATAPROC",
    "serviceJob": "projects/my-project/regions/us-central1/jobs/dataproc-job-123",
    "executionTrigger": "TASK_CONFIG"
  },
  "resource": {
    "type": "dataplex.googleapis.com/Task",
    "labels": {
      "task_id": "my-task",
      "lake_id": "my-lake",
      "location": "us-central1",
      "resource_container": "projects/1234567890"
    }
  },
  "severity": "INFO"
}

Menyiapkan pemberitahuan berbasis log

Anda dapat menyiapkan pemberitahuan berbasis log untuk mendapatkan notifikasi setiap kali peristiwa Knowledge Catalog tertentu terjadi (seperti pemindaian kualitas data yang gagal).

Untuk membuat pemberitahuan berbasis log, Anda harus memiliki peran Logs Configuration Writer (roles/logging.configWriter) dan Monitoring AlertPolicy Editor (roles/monitoring.alertPolicyEditor), atau izin yang setara.

  1. Jalankan kueri di Logs Explorer yang menargetkan kondisi kegagalan (misalnya: contoh: resource.type="dataplex.googleapis.com/DataScan" AND NOT jsonPayload.dataQuality.passed=true).
  2. Di atas panel hasil kueri, klik Create alert.
  3. Di panel Create log-based alert, masukkan nama kebijakan pemberitahuan dan deskripsi.
  4. Klik Next dan konfigurasi saluran notifikasi Anda.
  5. Klik Save.

Untuk mengetahui informasi yang lebih mendetail, lihat Membuat pemberitahuan berbasis log.

Langkah berikutnya