Mulai 10 April 2026, Dataplex Universal Catalog kini disebut Knowledge Catalog. Nama API, library klien, CLI, dan IAM tidak berubah. Untuk mengetahui informasi selengkapnya, lihat Memperkenalkan Katalog Pengetahuan Google Cloud.

Google menggunakan teknologi AI untuk menerjemahkan konten ke dalam bahasa pilihan Anda. Terjemahan AI mungkin mengandung kesalahan.

Memantau metrik Knowledge Catalog

Dokumen ini menjelaskan cara menggunakan Cloud Monitoring untuk melacak kondisi layanan Knowledge Catalog (sebelumnya Dataplex Universal Catalog), mengoptimalkan performa, dan mendapatkan visibilitas ke platform data Anda. Pemantauan proaktif membantu Anda memastikan keandalan aplikasi data dan membuat keputusan yang tepat terkait alokasi resource dan pengelolaan biaya.

Untuk memahami biaya, lihat Harga Monitoring.

Untuk mengetahui informasi selengkapnya tentang retensi data metrik, lihat Kuota dan batas Monitoring.

Kasus penggunaan

Anda dapat menggunakan metrik Knowledge Catalog di Cloud Monitoring untuk mendukung kasus penggunaan berikut:

Memastikan keandalan pipeline data: Pantau tingkat keberhasilan dan kegagalan tugas Knowledge Catalog, seperti tugas penyerapan data atau kualitas data. Konfigurasikan pemberitahuan untuk kegagalan atau durasi yang tidak biasa guna meminimalkan periode nonaktif untuk workload penting.
Mengoptimalkan performa: Lacak durasi tugas dan metrik pemakaian resource untuk mengidentifikasi dan mengatasi bottleneck performa dalam workload pemrosesan data, kualitas data, dan penemuan data Anda.
Mengelola biaya: Pantau konsumsi resource Knowledge Catalog (seperti lake, zona, dan aset) di Monitoring, dan gunakan ekspor Penagihan Cloud ke BigQuery untuk mengatribusikan biaya komputasi serverless (DCU) untuk workload Kualitas Data, Profiling Data, dan Silsilah Data.
Mempertahankan tata kelola data: Lacak metrik yang terkait dengan penemuan metadata dan pengayaan katalog untuk memastikan bahwa aset data dipindai dan ditandai sesuai dengan kebijakan tata kelola Anda.

Cara kerjanya

Knowledge Catalog terintegrasi dengan Cloud Monitoring, yang mengumpulkan metrik, peristiwa, dan metadata dari layanan Knowledge Catalog. Metrik ini memberikan insight tentang area seperti status eksekusi tugas, penggunaan API, dan kondisi resource. Anda dapat menganalisis metrik ini menggunakan alat di Cloud Monitoring, seperti Metrics Explorer, dasbor kustom, dan pemberitahuan. Alat ini memungkinkan Anda memvisualisasikan perilaku layanan, mengidentifikasi tren performa, dan membuat kebijakan pemberitahuan yang memberi tahu Anda saat performa menyimpang dari batas yang ditentukan atau saat terjadi kegagalan.

Mengakses metrik layanan di Monitoring

Metrik resource layanan Knowledge Catalog otomatis diaktifkan di layanan Knowledge Catalog. Untuk melihat metrik ini, gunakan Monitoring.

Anda dapat mengakses Monitoring dari konsolGoogle Cloud atau menggunakan Monitoring API.

Jika Anda tidak dapat melihat grafik pemantauan atau membuat pemberitahuan, Anda mungkin memerlukan izin Monitoring tambahan.

Konsol

Di konsol Google Cloud , buka halaman Metrics explorer.

Buka Metrics Explorer
Di menu Select a metric, pilih resource Cloud Dataplex.
Pilih kategori metrik, lalu pilih metrik dari daftar.

Untuk menampilkan informasi tentang metrik, tahan kursor ke nama metrik.
Klik Terapkan.
Opsional: Pilih filter, kelompokkan menurut label metrik, lakukan agregasi, dan pilih opsi tampilan diagram.

REST

Untuk menangkap dan mencantumkan metrik yang ditentukan oleh ekspresi filter, gunakan metode timeSeries.list Monitoring.

Untuk mengirim permintaan API dan menampilkan respons, di halaman API, gunakan template Try this API.

Metrik layanan Knowledge Catalog di Monitoring

Metrik layanan Knowledge Catalog membantu Anda memantau kondisi layanan.

Catatan: Komputasi DataScan Knowledge Catalog (seperti pemindaian kualitas data otomatis dan pemindaian profil data) dan Unit Komputasi Data (DCU) silsilah data dijalankan pada komputasi serverless di infrastruktur yang dikelola Google dan tidak memunculkan metrik deret waktu real-time di bagian dataplex.googleapis.com/* ke Cloud Monitoring. Hanya data lake, zona, dan aset yang memunculkan metrik deret waktu ke Cloud Monitoring. Untuk memantau, melacak, dan mengatribusikan konsumsi SKU Knowledge Catalog dan biaya DCU di seluruh project dan pemindaian, buat kueri tabel ekspor Penagihan Cloud di BigQuery menggunakan label sistem Knowledge Catalog. Untuk mengetahui detail dan contoh kueri, lihat Memantau dan mengatribusikan biaya DCU Knowledge Catalog dengan ekspor Penagihan Cloud.

Memantau dan mengatribusikan biaya DCU Knowledge Catalog dengan ekspor Penagihan Cloud

Karena pemindaian data Knowledge Catalog (termasuk kualitas data otomatis dan pembuatan profil data) serta silsilah data tidak memublikasikan metrik deret waktu ke Cloud Monitoring, Anda dapat menggunakan ekspor Penagihan Cloud ke BigQuery untuk melacak, memantau, dan mengatribusikan penggunaan dan biaya Unit Komputasi Data (DCU) di seluruh project, pemindaian, dan resource data.

Label penagihan Knowledge Catalog

Knowledge Catalog otomatis melampirkan label sistem ke data penagihan yang dikeluarkan untuk pemindaian data dan silsilah data. Anda dapat mengkueri label ini dalam array labels di tabel ekspor Penagihan Cloud:

Kunci label	Workload	Deskripsi
`goog-dataplex-datascan-id`	Kualitas Data, Pembuatan Profil Data	ID atau nama pemindaian data.
`goog-dataplex-datascan-job-id`	Kualitas Data, Pembuatan Profil Data	ID eksekusi spesifik untuk tugas pemindaian data.
`goog-dataplex-datascan-data-source-project`	Kualitas Data, Pembuatan Profil Data	Project Google Cloud yang berisi sumber data yang dipindai.
`goog-dataplex-datascan-data-source-region`	Kualitas Data, Pembuatan Profil Data	Region Google Cloud sumber data yang dipindai.
`goog-dataplex-datascan-data-source-bigquery-dataset`	Kualitas Data, Pembuatan Profil Data	ID set data BigQuery dari tabel yang dipindai.
`goog-dataplex-datascan-data-source-bigquery-table`	Kualitas Data, Pembuatan Profil Data	ID tabel BigQuery yang dipindai.
`goog-dataplex-datascan-data-source-dataplex-lake`	Kualitas Data, Pembuatan Profil Data	ID data lake Knowledge Catalog (jika ada).
`goog-dataplex-datascan-data-source-dataplex-zone`	Kualitas Data, Pembuatan Profil Data	ID zona data Knowledge Catalog (jika ada).
`goog-dataplex-datascan-data-source-dataplex-entity`	Kualitas Data, Pembuatan Profil Data	ID entitas Knowledge Catalog (jika ada).
`goog-dataplex-datascan-data-source-biglake-catalog`	Kualitas Data, Pembuatan Profil Data	ID katalog BigLake (jika ada).
`goog-dataplex-datascan-data-source-biglake-namespace`	Kualitas Data, Pembuatan Profil Data	Namespace BigLake (jika ada).
`goog-dataplex-datascan-data-source-biglake-table`	Kualitas Data, Pembuatan Profil Data	ID tabel BigLake (jika ada).
`goog-dataplex-workload-type`	Silsilah Data	Mengidentifikasi workload. Tetapkan ke `LINEAGE` untuk biaya pemrosesan silsilah data.

Contoh kueri

Sebelum menjalankan kueri ini, pastikan Anda telah mengaktifkan ekspor Penagihan Cloud ke BigQuery. Dalam contoh kueri, ganti placeholder berikut:

PROJECT_ID: Project ID Google Cloud yang menghosting set data ekspor penagihan BigQuery Anda.
DATASET_NAME: Nama set data BigQuery yang berisi tabel ekspor penagihan Anda.
BILLING_ACCOUNT_ID: ID akun Penagihan Cloud Anda (diformat dengan garis bawah, misalnya, 012345_567890_ABCDEF).

Kueri 1: Mengatribusikan biaya dan penggunaan DCU menurut DataScan dan tabel target

Kueri ini menggabungkan biaya Pemrosesan Knowledge Catalog dan Pemrosesan Premium berdasarkan ID DataScan dan tabel BigQuery target selama 30 hari terakhir:

SELECT
  project.id AS project_id,
  (SELECT value FROM UNNEST(labels) WHERE key = 'goog-dataplex-datascan-id') AS datascan_id,
  (SELECT value FROM UNNEST(labels) WHERE key = 'goog-dataplex-datascan-data-source-project') AS data_source_project,
  (SELECT value FROM UNNEST(labels) WHERE key = 'goog-dataplex-datascan-data-source-bigquery-dataset') AS data_source_dataset,
  (SELECT value FROM UNNEST(labels) WHERE key = 'goog-dataplex-datascan-data-source-bigquery-table') AS data_source_table,
  sku.description AS sku_description,
  SUM(usage.amount) AS total_usage,
  usage.unit AS usage_unit,
  SUM(cost) AS total_cost,
  currency
FROM
  `PROJECT_ID.DATASET_NAME.gcp_billing_export_v1_BILLING_ACCOUNT_ID`
WHERE
  service.description = 'Dataplex'
  AND EXISTS (SELECT 1 FROM UNNEST(labels) WHERE key = 'goog-dataplex-datascan-id')
  AND _PARTITIONDATE >= DATE_SUB(CURRENT_DATE(), INTERVAL 30 DAY)
GROUP BY
  project_id,
  datascan_id,
  data_source_project,
  data_source_dataset,
  data_source_table,
  sku_description,
  usage_unit,
  currency
ORDER BY
  total_cost DESC;

Kueri 2: Mengatribusikan biaya Knowledge Catalog berdasarkan jenis workload (Lineage versus DataScan)

Kueri ini menguraikan biaya SKU Knowledge Catalog berdasarkan kategori workload (seperti Silsilah Data versus DataScan) di semua project:

SELECT
  project.id AS project_id,
  sku.description AS sku_description,
  COALESCE(
    (SELECT value FROM UNNEST(labels) WHERE key = 'goog-dataplex-workload-type'),
    IF(EXISTS(SELECT 1 FROM UNNEST(labels) WHERE key = 'goog-dataplex-datascan-id'), 'DATASCAN', 'OTHER')
  ) AS workload_type,
  SUM(usage.amount) AS total_usage,
  usage.unit AS usage_unit,
  SUM(cost) AS total_cost,
  currency
FROM
  `PROJECT_ID.DATASET_NAME.gcp_billing_export_v1_BILLING_ACCOUNT_ID`
WHERE
  service.description = 'Dataplex'
  AND _PARTITIONDATE >= DATE_SUB(CURRENT_DATE(), INTERVAL 30 DAY)
GROUP BY
  project_id,
  sku_description,
  workload_type,
  usage_unit,
  currency
ORDER BY
  total_cost DESC;

Kueri 3: Tren biaya dan penggunaan DCU harian per eksekusi tugas DataScan

Kueri ini melacak konsumsi dan biaya DCU harian untuk setiap eksekusi tugas DataScan selama 7 hari terakhir:

SELECT
  DATE(usage_start_time) AS usage_date,
  project.id AS project_id,
  (SELECT value FROM UNNEST(labels) WHERE key = 'goog-dataplex-datascan-id') AS datascan_id,
  (SELECT value FROM UNNEST(labels) WHERE key = 'goog-dataplex-datascan-job-id') AS job_id,
  SUM(usage.amount) AS total_usage,
  usage.unit AS usage_unit,
  SUM(cost) AS total_cost,
  currency
FROM
  `PROJECT_ID.DATASET_NAME.gcp_billing_export_v1_BILLING_ACCOUNT_ID`
WHERE
  service.description = 'Dataplex'
  AND EXISTS (SELECT 1 FROM UNNEST(labels) WHERE key = 'goog-dataplex-datascan-id')
  AND _PARTITIONDATE >= DATE_SUB(CURRENT_DATE(), INTERVAL 7 DAY)
GROUP BY
  usage_date,
  project_id,
  datascan_id,
  job_id,
  usage_unit,
  currency
ORDER BY
  usage_date DESC,
  total_cost DESC;

Membangun dasbor Monitoring kustom

Anda dapat membuat dasbor Monitoring kustom yang menampilkan diagram metrik layanan Knowledge Catalog yang dipilih. Untuk mengetahui informasi selengkapnya tentang cara membuat dasbor, lihat Membuat dan mengelola dasbor kustom. Saat Anda memilih metrik untuk widget di dasbor, pilih resource Cloud Dataplex, lalu pilih metrik Knowledge Catalog.

Menggunakan pemberitahuan Monitoring

Anda dapat membuat pemberitahuan Monitoring yang memberi tahu Anda saat metrik layanan atau tugas Knowledge Catalog melewati batas yang ditentukan.

Membuat pemberitahuan

Untuk membuat pemberitahuan, ikuti petunjuk di Membuat kebijakan pemberitahuan batas metrik. Saat Anda memilih deret waktu yang akan dipantau, pilih resource Cloud Dataplex, lalu pilih metrik Knowledge Catalog.

Lihat pemberitahuan

Saat pemberitahuan dipicu oleh kondisi nilai minimum metrik, Monitoring akan membuat insiden dan peristiwa yang sesuai.

Untuk melihat insiden, ikuti langkah berikut:

Di konsol Google Cloud , buka halaman Alerting.

Buka Pemberitahuan

Jika Anda menentukan mekanisme notifikasi dalam kebijakan pemberitahuan, seperti notifikasi email atau notifikasi SMS, Monitoring juga akan mengirimkan notifikasi insiden.

Untuk mengetahui informasi selengkapnya tentang pemberitahuan, lihat Insiden untuk pemberitahuan berbasis metrik.

Langkah berikutnya

Pelajari Cloud Monitoring lebih lanjut.
Pelajari Ekspor Penagihan Cloud ke BigQuery.
Pelajari cara menggunakan kualitas data otomatis.
Pelajari cara menggunakan pembuatan profil data.
Pelajari cara menggunakan silsilah data.

Memantau metrik Knowledge Catalog Tetap teratur dengan koleksi Simpan dan kategorikan konten berdasarkan preferensi Anda.