Tentang silsilah data

Silsilah data di Knowledge Catalog (sebelumnya Dataplex Universal Catalog) memungkinkan Anda melacak asal data, cara transformasinya, dan tempat perpindahannya di berbagai sistem seperti BigQuery dan Vertex AI. Data silsilah ini membantu Anda memverifikasi sumber tepercaya, melacak error pipeline hingga ke penyebab utamanya, menilai dampak downstream dari perubahan, dan mendukung kepatuhan. Anda dapat menjelajahi grafik interaktif di konsol Google Cloud , menelusuri silsilah multi-region, atau merekam dan membuat kueri metadata secara terprogram dengan Data Lineage API.

Alasan Anda memerlukan silsilah data

Perusahaan modern terus memindahkan dan mengubah data dalam jumlah besar. Misalnya, mengubah pembelian pelanggan mentah menjadi laporan, dasbor, dan model machine learning. Kompleksitas ini menciptakan tantangan penting bagi tim Anda:

  • Kepercayaan dan verifikasi. Pengguna data sering kali kesulitan mengonfirmasi bahwa laporan dan angka yang mereka lihat akurat dan berasal dari sumber tepercaya.

  • Pemecahan masalah. Saat error muncul dalam laporan akhir, tim data mungkin akan kesulitan dan menghabiskan banyak waktu untuk melacak masalah tersebut melalui setiap langkah hingga ke akar masalahnya.

  • Manajemen perubahan. Sebelum mengubah atau menghapus suatu data (seperti kolom dalam tabel), tim perlu mengetahui setiap laporan atau model downstream yang mengandalkannya untuk menghindari kerusakan sistem penting.

  • Kepatuhan. Pemimpin memerlukan visibilitas tentang cara data sensitif (seperti informasi pelanggan atau keuangan) digunakan di seluruh organisasi untuk memenuhi persyaratan peraturan.

Silsilah data mengatasi tantangan ini dengan mencatat dari mana data Anda berasal (asal), ke mana data tersebut berpindah (tujuan), dan perubahan atau transformasi yang terjadi di sepanjang prosesnya. Data yang terdokumentasi ini memungkinkan Anda memahami sumber data, melacak error, menilai dampak perubahan, dan menjaga kepatuhan.

Cara kerja silsilah data

Alur kerja silsilah data mencakup langkah-langkah berikut:

  1. Sumber data dan penyerapan: informasi silsilah dari sumber data Anda memulai seluruh proses.

    • LayananGoogle Cloud : saat Data Lineage API diaktifkan, layanan yang didukung seperti BigQuery dan Dataflow akan otomatis melaporkan peristiwa silsilah setiap kali data dipindahkan atau diubah.

    • Sumber kustom: untuk sistem apa pun yang tidak didukung secara otomatis oleh integrasiGoogle Cloud , Anda dapat menggunakan Data Lineage API untuk mencatat informasi silsilah secara manual. Sebaiknya impor peristiwa yang diformat sesuai dengan standar OpenLineage.

  2. Platform silsilah: platform pusat ini menyerap, membuat model, dan menyimpan semua data silsilah.

    • Data Lineage API: API ini bertindak sebagai titik entri tunggal untuk semua informasi silsilah yang masuk. OpenLineage menggunakan model data hierarkis yang terdiri dari tiga konsep inti: proses, operasi, dan peristiwa.

    • Pemrosesan dan penyimpanan: platform memproses data yang masuk dan menyimpannya dalam database yang andal dan dioptimalkan untuk kueri.

  3. Pengalaman pengguna: Anda dapat berinteraksi dengan informasi silsilah yang disimpan dengan dua cara utama:

    • Eksplorasi visual: di konsol Google Cloud , layanan frontend mengambil dan merender data silsilah sebagai grafik atau daftar interaktif. Hal ini didukung untuk Knowledge Catalog, BigQuery (termasuk tabel eksternal yang dibuat untuk tabel Apache Iceberg yang dikelola oleh endpoint katalog REST Apache Iceberg), Lakehouse (untuk tabel Apache Iceberg yang dikelola oleh endpoint katalog REST Apache Iceberg), lapisan fisik (Cloud Storage), dan Vertex AI (untuk model, set data, melalui pipeline; serta tampilan feature store, dan grup fitur). Hal ini ideal untuk menjelajahi perjalanan data Anda secara visual.

    • Akses terprogram: menggunakan klien API, Anda dapat berkomunikasi langsung dengan Data Lineage API untuk mengotomatiskan pengelolaan silsilah. Dengan begitu, Anda dapat menulis informasi silsilah dari sumber kustom. Fitur ini juga memungkinkan Anda membaca dan mengkueri data silsilah yang disimpan untuk digunakan di aplikasi lain atau untuk membuat laporan kustom.

Metode apa yang harus saya gunakan untuk silsilah data?

Untuk melakukan pencarian langsung satu tingkat, gunakan metode SearchLinks. Untuk membangun grafik silsilah lengkap atau melakukan analisis dampak mendalam (hingga 100 level), gunakan metode SearchLineageStreaming.

Bergantung pada kasus penggunaan Anda, pilih metode yang paling sesuai:

Fitur SearchLinks SearchLineageStreaming
Kedalaman 1 level (tetangga langsung) Hingga 100 level
Eksekusi Sinkron Streaming real-time
Kasus penggunaan Pencarian sederhana untuk sumber atau target langsung Membangun grafik silsilah lengkap atau melakukan analisis dampak

Mengidentifikasi arah

  • Upstream (Origin):
    • Di SearchLinks, tetapkan kolom target ke FQN aset Anda.
    • Di SearchLineageStreaming, tetapkan direction ke UPSTREAM.
  • Downstream (Tujuan):
    • Di SearchLinks, tetapkan kolom source ke FQN aset Anda.
    • Di SearchLineageStreaming, tetapkan direction ke DOWNSTREAM.

Model informasi silsilah data

Silsilah adalah kumpulan data yang diubah dari sumber ke target. Data Lineage API mengumpulkan informasi ini dan mengaturnya ke dalam model data hierarkis yang menggunakan konsep proses, operasi, dan peristiwa.

Konsep Deskripsi
Proses Definisi transformasi data.
Run Eksekusi proses.
Peristiwa Catatan pergerakan data selama operasi.

Apa yang dimaksud dengan proses silsilah?

Proses adalah definisi operasi transformasi data untuk sistem tertentu. Untuk silsilah BigQuery, proses adalah tugas dari jenis pekerjaan yang didukung. Semua eksekusi kueri SQL yang sama ditautkan ke satu proses, sehingga Anda dapat melacak setiap instance tempat logika transformasi tertentu digunakan.

Misalnya, kueri SQL berikut adalah sebuah proses. Kueri ini membuat tabel dengan menghitung jumlah total perjalanan untuk setiap vendor dari dua tabel sumber. 

  CREATE TABLE `dataplex-docs.data_lineage_demo.total_green_trips_22_21`
  AS
  SELECT
      vendor_id,
      COUNT(*) AS number_of_trips
  FROM
      (
          SELECT vendor_id
          FROM `dataplex-docs.data_lineage_demo.nyc_green_trips_2022`
          UNION ALL
          SELECT vendor_id
          FROM `dataplex-docs.data_lineage_demo.nyc_green_trips_2021`
      )
  GROUP BY
      vendor_id;

Format nama resource REST untuk proses adalah projects/PROJECT_NUMBER/locations/LOCATION/processes/PROCESS_ID.

Contoh: projects/123456789123/locations/us/processes/sh-0548bbf4ff3c8072a6c7372ba1acafb6

Untuk mengetahui informasi selengkapnya tentang resource process, lihat Referensi resource proses.

Apa yang dimaksud dengan lineage run?

Operasi adalah satu eksekusi proses. Proses dapat memiliki beberapa operasi.

Setiap operasi yang dijalankan adalah operasi unik yang ditandai dengan startTime, endTime, dan status akhir, seperti COMPLETED, FAILED, atau ABORTED.

Misalnya, menjalankan kueri SQL dari bagian Proses pada pukul 09.00 akan membuat operasi tertentu. Menjalankan kueri yang sama lagi pada pukul 10.00 akan membuat operasi baru yang berbeda. Kedua operasi ditautkan ke proses induk yang sama.

Format nama resource REST untuk operasi menunjukkan bahwa operasi tersebut adalah turunan dari proses: projects/PROJECT_NUMBER/locations/LOCATION/processes/PROCESS_ID/runs/RUN_ID.

Contoh: projects/123456789123/locations/us/processes/sh-0548bbf4ff3c8072a6c7372ba1acafb6/runs/83dd03a51cd2ac80f465c9e267a950b1

Untuk mengetahui informasi selengkapnya tentang resource run, lihat Referensi resource Run.

Apa yang dimaksud dengan peristiwa silsilah?

Peristiwa mewakili titik waktu saat transformasi data memindahkan data antara entitas sumber dan target. Peristiwa adalah kumpulan data terperinci dari pergerakan data tertentu yang menghubungkan tabel sumber dan target untuk operasi tertentu. Peristiwa juga dapat memiliki beberapa sumber dan target.

Misalnya, jika operasi Anda menjalankan kueri SQL yang dibahas di bagian Proses, peristiwa silsilah akan mencatat bahwa tabel sumber nyc_green_trips_2021 dan nyc_green_trips_2022 digunakan untuk membuat tabel target total_green_trips_22_21.

Peristiwa silsilah berisi daftar link yang menentukan sumber dan target. Peristiwa digunakan untuk membuat grafik silsilah. Meskipun konsol Google Cloud menampilkan grafik silsilah ini, konsol tersebut tidak menampilkan peristiwa individual secara langsung. Anda dapat membuat, membaca, dan menghapus, tetapi tidak dapat mengupdate peristiwa menggunakan Data Lineage API.

Setiap link dalam peristiwa menentukan satu jalur aliran data dari entity sumber ke entity target. Entity adalah referensi ke aset data, seperti tabel BigQuery, dan diidentifikasi berdasarkan Nama yang Memenuhi Syarat (FQN). Satu peristiwa dapat berisi beberapa link, yang umum terjadi dalam operasi seperti penggabungan tabel, yang mana beberapa sumber berkontribusi pada satu target.

Untuk mengetahui detail tentang cara peristiwa mendukung silsilah tingkat kolom, lihat Silsilah tingkat kolom.

Sumber data apa yang didukung untuk silsilah data?

Anda dapat mengisi informasi silsilah di Knowledge Catalog dengan cara berikut:

  • Secara otomatis dari layanan Google Cloud terintegrasi
  • Secara manual, menggunakan Data Lineage API untuk sumber kustom
  • Dengan mengimpor peristiwa dari OpenLineage

BigQuery

Saat Anda mengaktifkan silsilah data di project BigQuery, Knowledge Catalog akan otomatis mencatat informasi silsilah untuk hal berikut:

Tugas penyalinan, kueri, dan pemuatan BigQuery direpresentasikan sebagai proses.

Untuk melihat detail proses, pada grafik silsilah, klik ikon Process details Detail proses..

Setiap proses berisi job_id BigQuery dalam daftar atribut untuk tugas BigQuery terbaru.

Layanan lainnya

Silsilah data mendukung integrasi dengan layananGoogle Cloud berikut:

  • Cloud Data Fusion

    Anda tidak dapat membatasi pelacakan silsilah hanya ke Cloud Data Fusion saat Data Lineage API diaktifkan dalam project.

  • Dataflow

    Anda dapat menangkap peristiwa silsilah dengan tugas Dataflow dan memublikasikannya ke Data Lineage API.

  • Dataform

    Dataform melaporkan silsilah tingkat tabel untuk tindakan yang berjalan di alur kerja Dataform dan pipeline BigQuery.

  • Tabel katalog REST Lakehouse untuk Iceberg

  • Looker (Google Cloud core)

    Memvisualisasikan metadata Looker (Google Cloud core) dari sumber BigQuery menggunakan silsilah data didukung. Silsilah data harus diaktifkan di tingkat resource Looker (Google Cloud core) dan di tingkat layanan silsilah data.

  • Managed Service untuk Apache Airflow

    Managed Airflow menggunakan kontrol integrasi silsilah data tingkat lingkungan. Silsilah data diaktifkan secara otomatis untuk semua lingkungan Managed Airflow baru yang memenuhi persyaratan. Untuk lingkungan yang ada, gunakan setelan lingkungan untuk mengaktifkan atau menonaktifkan integrasi silsilah data. Anda dapat mengonfigurasi penyerapan silsilah data untuk Managed Airflow guna mengaktifkan atau menonaktifkan penyerapan silsilah data otomatis.

  • Managed Service untuk Apache Spark: Cluster Apache Hive

    Anda dapat menangkap peristiwa silsilah dengan tugas Hive Managed Service untuk Apache Spark dan memublikasikannya ke Data Lineage API. Anda dapat mengonfigurasi penyerapan silsilah data untuk Managed Service untuk Apache Spark guna mengaktifkan atau menonaktifkan penyerapan silsilah data otomatis.

  • Managed Service untuk Apache Spark: Cluster Apache Spark

    Anda dapat menangkap peristiwa silsilah dengan tugas Spark Managed Service untuk Apache Spark dan memublikasikannya ke Data Lineage API. Anda dapat mengonfigurasi penyerapan silsilah data untuk Managed Service untuk Apache Spark guna mengaktifkan atau menonaktifkan penyerapan silsilah data otomatis.

  • Managed Service untuk Apache Spark: deployment serverless

    Anda dapat menangkap peristiwa silsilah dengan tugas serverless Managed Service untuk Apache Spark dan memublikasikannya ke Data Lineage API. Anda dapat mengonfigurasi penyerapan silsilah data untuk Managed Service untuk Apache Spark guna mengaktifkan atau menonaktifkan penyerapan silsilah data otomatis.

  • Vertex AI Feature Store

    Silsilah data melacak metadata untuk tampilan feature store dan grup fitur.

  • Vertex AI Pipelines

    Silsilah data otomatis diaktifkan untuk pipeline Vertex AI Pipelines, yang melacak artefak input dan parameter eksekusi (seperti model, set data, dan komponen), serta aset turunan downstream.

Silsilah data untuk sumber data kustom

Anda dapat menggunakan Data Lineage API untuk mencatat informasi silsilah secara manual untuk sumber data apa pun yang tidak didukung oleh sistem terintegrasi, seperti database eksternal atau pipeline lokal. Knowledge Catalog dapat membuat grafik silsilah untuk silsilah yang dicatat secara manual jika Anda menggunakan fullyQualifiedName yang cocok dengan nama yang sepenuhnya memenuhi syarat dari entri Knowledge Catalog yang ada. Jika ingin mencatat silsilah untuk sumber data kustom, Anda harus membuat entri kustom terlebih dahulu.

Setiap proses untuk sumber data kustom dapat berisi kunci sql dalam daftar atribut. Nilai kunci ini digunakan untuk merender penandaan kode di panel detail grafik silsilah data. Pernyataan SQL ditampilkan seperti yang diberikan. Anda bertanggung jawab untuk memfilter informasi sensitif. Nama kunci sql peka huruf besar/kecil.

Misalnya, payload resource proses dengan atribut sql kustom:

{
  "displayName": "custom-sql-query",
  "attributes": {
    "sql": "SELECT user_id, SUM(amount) FROM `project.dataset.purchases` GROUP BY user_id"
  }
}

Untuk mengetahui informasi selengkapnya, lihat Melacak informasi silsilah sistem eksternal.

OpenLineage

Jika Anda sudah menggunakan OpenLineage untuk mengumpulkan informasi silsilah dari sumber data lain, Anda dapat mengimpor peristiwa OpenLineage ke Knowledge Catalog dan melihat peristiwa ini di konsol Google Cloud . Untuk mengetahui informasi selengkapnya, lihat Mengintegrasikan dengan OpenLineage.

Pelacakan silsilah data otomatis

Saat Anda mengaktifkan Data Lineage API, sistem Google Cloud yang mendukung silsilah data akan mulai melaporkan pergerakan datanya. Setiap sistem terintegrasi dapat mengirimkan informasi silsilah untuk berbagai sumber data.

Mengontrol penyerapan silsilah

Mengontrol pembuatan data silsilah membantu Anda mengelola biaya dan kebijakan tata kelola. Misalnya, Anda dapat menonaktifkan pengumpulan silsilah untuk project pengembangan atau workload bervolume tinggi yang tidak memerlukan pelacakan silsilah. Menonaktifkan penyerapan silsilah akan menghentikan biaya pemrosesan baru, tetapi metadata yang diserap sebelumnya akan terus dikenai biaya penyimpanan hingga periode retensi 30 hari berakhir atau Anda menghapusnya (lihat bagian Harga dalam dokumen ini).

Untuk mengetahui informasi selengkapnya, lihat Tentang kontrol penyerapan silsilah data dan Mengonfigurasi penyerapan silsilah data untuk layanan.

Silsilah data multi-region

Silsilah data adalah layanan yang secara inheren diregionalisasi. Metadata silsilah, termasuk link, proses, dan peristiwa, dicatat dan diisolasi dengan aman dalam lokasi geografis tertentu tempat transformasi data atau modifikasi aset yang mendasarinya terjadi.

Seiring dengan penskalaan arsitektur data perusahaan modern, alur kerja pipeline sering kali melintasi batas project dan regional. Misalnya, pipeline transformasi BigQuery yang berjalan di us-central1 mungkin membaca tabel sumber di us-east1 dan menghasilkan metrik gabungan ke dalam bucket Cloud Storage yang terletak di europe-west1.

Untuk membuat tampilan terpadu dan menyeluruh dari siklus proses data Anda di seluruh region dan projectGoogle Cloud , gunakan metode penelusuran silsilah multi-region.

Untuk mengetahui informasi selengkapnya, lihat Tentang penelusuran silsilah multi-region.

Pertimbangan dan batasan silsilah data

Saat Anda merencanakan strategi tata kelola data, perhatikan integrasi silsilah, parameter kepatuhan, dan batasan layanan berikut.

Kontrol silsilah tingkat produk

Saat Data Lineage API diaktifkan, sistem yang didukung akan melaporkan silsilah sesuai dengan kontrol tingkat produknya. Untuk mengetahui daftar lengkap sistem yang didukung dan kontrolnya, lihat Sistem yang didukung untuk silsilah data.

Kepatuhan silsilah data

  • Silsilah data mencatat metadata tentang pergerakan data, tetapi tidak menangkap data itu sendiri. Lihat model informasi silsilah data dan referensi Data Lineage API untuk mengetahui detail tentang kolom yang disertakan dalam metadata.
  • Silsilah data sebagai bagian dari Knowledge Catalog menawarkan dukungan VPC-SC.
  • Knowledge Catalog tidak menawarkan kemampuan untuk menggunakan Kunci Enkripsi yang Dikelola Pelanggan (CMEK) guna melindungi metadata silsilah yang dikumpulkan.

Batasan silsilah data

Silsilah data memiliki batasan berikut:

  • Semua informasi silsilah hanya disimpan dalam sistem selama 30 hari.

  • Informasi silsilah akan tetap ada setelah Anda menghapus sumber data terkait. Misalnya, jika Anda menghapus tabel BigQuery, Anda masih dapat melihat silsilahnya melalui API dan konsol hingga 30 hari.

  • Silsilah data tidak otomatis mencatat informasi silsilah langsung untuk rutinitas BigQuery. Jika rutinitas digunakan dalam kueri, silsilah data akan mencatat silsilah antara tabel yang dibaca rutinitas sebagai dependensi tabel yang ditulis kueri.

Saat Anda memilih node dalam grafik silsilah, panel samping detail node akan kosong dalam kasus berikut:

  • Resource berada di organisasi lain.
  • Pengguna bukan anggota organisasi yang menghosting resource.

Batasan silsilah tingkat kolom

Silsilah tingkat kolom memiliki batasan tambahan berikut:

  • Peristiwa OpenLineage kustom yang dikirim menggunakan Data Lineage API tidak mendukung silsilah tingkat kolom.

  • Silsilah tingkat kolom tidak dikumpulkan untuk tugas pemuatan BigQuery atau untuk rutinitas. Hal ini mencakup skrip multi-pernyataan dan tabel inkremental Dataform, yang dikompilasi menjadi prosedur tersimpan sementara.

  • Silsilah tingkat kolom tidak dikumpulkan untuk kueri yang tabel sumbernya sepenuhnya berada dalam set data sementara.

  • Silsilah tingkat kolom upstream tidak dikumpulkan untuk tabel eksternal.

  • Silsilah tingkat kolom tidak dikumpulkan jika tugas membuat lebih dari 1.500 link tingkat kolom. Dalam kasus ini, hanya silsilah tingkat tabel yang dikumpulkan.

  • Silsilah tingkat kolom tidak ditransfer atau dipertahankan saat mengganti nama tabel menggunakan operasi ALTER TABLE RENAME (umum digunakan dalam pola ETL pertukaran tabel).

  • Dukungan silsilah tingkat kolom terbatas pada kolom tingkat teratas dalam tabel BigQuery. Kolom bertingkat dalam jenis kompleks (seperti STRUCT atau JSON) tidak didukung.

  • Fungsi penelusuran dengan parameter kolom hanya beroperasi pada link yang secara eksplisit menentukan hubungan kolom ke kolom. Fungsi ini tidak menampilkan hasil atau melintasi link yang hanya ditentukan di tingkat tabel. Tidak ada dukungan untuk penelusuran antara link tingkat tabel dan link tingkat kolom (misalnya, menemukan semua kolom yang terkait dengan link tingkat tabel, atau sebaliknya). API hanya menampilkan link yang sumber dan targetnya menentukan kolom.

  • Dukungan untuk tabel berpartisi terbatas, karena kolom partisi seperti _PARTITIONDATE dan _PARTITIONTIME tidak dikenali dalam grafik silsilah.

  • Batasan konsol:

    • Penjelajahan grafik silsilah dibatasi hingga kedalaman 20 level dan 10.000 link di setiap arah.

Harga

Knowledge Catalog menagih silsilah data berdasarkan SKU pemrosesan premium dan SKU penyimpanan metadata. SKU pemrosesan premium menagih penguraian otomatis peristiwa silsilah dalam jam Unit Komputasi Data (DCU). SKU penyimpanan metadata menagih metadata silsilah (proses, operasi, peristiwa, dan link) yang dipertahankan selama periode 30 hari dalam GiB per bulan. Untuk mengetahui detail tarif, lihat Harga Knowledge Catalog atau gunakan Kalkulator HargaGoogle Cloud .

Faktor biaya dan dampak penagihan

Saat Anda merencanakan penerapan silsilah data, perhatikan faktor biaya berikut:

  • Pengaktifan per project. Data Lineage API berjalan per project. Tinjau dampak penagihan sebelum mengaktifkannya di alur kerja project yang menggunakan banyak data.
  • Penyimpanan dan penelusuran metadata. Metadata silsilah (proses, operasi, peristiwa, dan link) yang disimpan selama periode retensi 30 hari ditagih berdasarkan SKU penyimpanan metadata. Biaya penyimpanan akan berhenti saat masa berlaku metadata berakhir pada akhir periode retensi 30 hari atau saat Anda menghapusnya. Melihat silsilah di konsol Google Cloud tidak dikenai biaya kueri atau pemindaian BigQuery.
  • BigQuery Omni. Pemrosesan silsilah didistribusikan ke region tertentu, dan biaya bergantung pada region tempat pemrosesan dilakukan.
  • Set data multi-region BigQuery. Jika Anda menggunakan set data multi-region (misalnya, multi-region US), BigQuery akan merutekan kueri secara dinamis di seluruh zona pusat data fisik. Silsilah data berjalan bersamaan dengan eksekusi kueri di lokasi fisik tempat tugas dijalankan (misalnya, us-east1). Eksekusi ini menghasilkan entri SKU DCU Silsilah regional di invoice Penagihan Cloud Anda.
  • Jenis sumber origin kustom. Memanggil Data Lineage API dengan kolom Origin sourceType yang ditetapkan ke nilai selain CUSTOM akan dikenai biaya pemrosesan premium (DCU). Menetapkan kolom sourceType ke CUSTOM tidak akan dikenai biaya pemrosesan premium karena Anda mengurai silsilah sendiri. Namun, metadata silsilah CUSTOM yang disimpan masih ditagih berdasarkan SKU penyimpanan metadata selama periode retensi 30 hari.

Memantau dan mengontrol biaya

  • Batasan metrik Cloud Monitoring. Penggunaan DCU silsilah data berjalan di komputasi serverless dan tidak memunculkan metrik deret waktu real-time di bawah awalan dataplex.googleapis.com/* ke Monitoring.
  • Memfilter dan mengatribusikan biaya di Penagihan Cloud. Knowledge Catalog melampirkan label goog-dataplex-workload-type dengan nilai LINEAGE ke item baris SKU pemrosesan premium dan SKU penyimpanan metadata untuk silsilah data. Gunakan label ini di laporan Penagihan Cloud atau di ekspor Penagihan Cloud ke BigQuery untuk memisahkan dan mengatribusikan biaya komputasi dan penyimpanan silsilah data dari biaya Knowledge Catalog lainnya. Untuk mengetahui informasi selengkapnya, lihat Melihat laporan penagihan dan tren biaya dan Memantau dan mengatribusikan biaya DCU Knowledge Catalog dengan ekspor Penagihan Cloud.
  • Nonaktifkan di project pengembangan. Untuk mencegah biaya komputasi dan penyimpanan yang tidak perlu, aktifkan Data Lineage API hanya pada project yang memerlukan pelacakan silsilah, atau nonaktifkan penyerapan silsilah untuk layanan tertentu. Untuk mengetahui petunjuknya, lihat bagian Menonaktifkan penyerapan silsilah untuk layanan di bagian Mengonfigurasi penyerapan silsilah data untuk layanan.
  • Menghentikan tagihan. Data Lineage API dikenai biaya secara terpisah dari Dataplex API. Menonaktifkan Dataplex API tidak akan menonaktifkan Data Lineage API atau menghentikan tagihannya. Untuk menghentikan biaya pemrosesan silsilah data baru untuk sebuah project, nonaktifkan Data Lineage API. Setelah Anda menonaktifkan penyerapan layanan atau Data Lineage API, metadata silsilah yang ada akan terus dikenai biaya penyimpanan metadata hingga 30 hari sampai periode retensi berakhir atau Anda menghapus metadata. Untuk mengetahui petunjuknya, lihat bagian Menonaktifkan silsilah data di bagian Melihat silsilah data untuk sistem Google Cloud .

Langkah berikutnya