Menggunakan Knowledge Catalog dengan BigQuery

Knowledge Catalog, (sebelumnya dikenal sebagai Dataplex Universal Catalog), berinteraksi dengan BigQuery sebagai lapisan tata kelola data dan akses agentik pusat untuk metadata BigQuery. Untuk mengetahui informasi selengkapnya, lihat Ringkasan Knowledge Catalog.

Bagaimana cara menggunakan Knowledge Catalog dengan BigQuery?

Knowledge Catalog berinteraksi dengan BigQuery dengan cara berikut.

Penyerapan metadata otomatis

Knowledge Catalog secara otomatis menemukan dan mengindeks metadata teknis dari aset BigQuery. Ini mencakup hal-hal berikut:

Representasi dan pengayaan metadata

  • Entri: setiap tabel atau aset BigQuery ditampilkan sebagai entri dalam katalog, bukan seluruh tabel; misalnya, project.dataset.table.
  • Integrasi kartu skor kualitas data: Knowledge Catalog menyediakan kartu skor kualitas data untuk setiap entri dalam katalog. Selain pemindaian data Knowledge Catalog bawaan, hasil pernyataan dari Dataform adalah sumber untuk kartu skor ini (Pratinjau).

  • Pengayaan metadata otomatis: untuk tabel dan tampilan yang dibuat dengan Dataform, Anda dapat menentukan metadata semantik langsung di kode Anda. Metadata ini disinkronkan secara otomatis ke Knowledge Catalog setelah berhasil menyelesaikan tindakan pipeline (Pratinjau). Jenis aspek berikut didukung:

    • Ringkasan: dokumentasi dan teks ringkasan untuk entri.
    • Aspek umum: tag metadata semantik untuk detail teknis, seperti informasi sistem dan jenis tabel.

    Untuk memeriksa status update metadata, ikuti petunjuk di Melihat eksekusi manual sebelumnya.

    Setelah metadata disinkronkan, Anda dapat menelusuri dan melihat entri di Knowledge Catalog. Untuk mengetahui informasi selengkapnya, lihat Menelusuri resource.

  • Metadata tingkat kolom: setiap kolom atau kolom ditampilkan sebagai jalur, sehingga Anda dapat melampirkan metadata tertentu, seperti penanda PII atau skor kualitas data, ke setiap kolom dalam tabel BigQuery, bukan hanya tabel itu sendiri.

  • Aspek: metadata teknis diperkaya dengan aspek, yang menambahkan konteks bisnis ke data, seperti kepemilikan, kualitas data, dan dokumentasi.

  • Produk data: Anda dapat mengemas aset BigQuery terkait menjadi produk data—misalnya, data bisnis e-commerce—yang memiliki akses bersama dan batasan tata kelola.

  • Penelusuran semantik: pengguna dapat menggunakan bahasa alami untuk menelusuri data BigQuery, yang sangat berguna bagi ilmuwan data dan agen AI untuk menemukan produk data tepercaya menggunakan kueri yang panjang atau kompleks.
  • Terjemahan nama: untuk memudahkan penelusuran terprogram, sistem memungkinkan penerjemahan nama BigQuery SQL, atau nama yang sepenuhnya memenuhi syarat, menjadi nama entri Knowledge Catalog.

Akses dan perujukan agen

  • Akses agentik: Agen AI dapat menemukan dan menggunakan alat Knowledge Catalog secara adaptif melalui server MCP lokal atau jarak jauh.
  • Konteks untuk Agen AI: Knowledge Catalog mengumpulkan grafik konteks yang menautkan kumpulan data BigQuery dengan semantik bisnis, sehingga membantu mengurangi halusinasi AI dengan memastikan model menggunakan data yang disetujui perusahaan.

Tata kelola dan kepatuhan

  • Silsilah Data: Knowledge Catalog secara otomatis melacak alur dan transformasi data ke dalam dan ke luar tabel BigQuery. Kemampuan ini sangat penting untuk mengaudit informasi sensitif, seperti PII, di seluruh aset data.
  • Kontrol Akses: pengelolaan metadata terintegrasi dengan Identity and Access Management (IAM) dan Kontrol Layanan VPC untuk memastikan bahwa penemuan dan akses ke metadata BigQuery mematuhi kebijakan keamanan organisasi.

Pertimbangan migrasi

Migrasi ke Knowledge Catalog dari Data Catalog yang tidak digunakan lagi melibatkan beberapa langkah. Metadata standar dari BigQuery (seperti set data, tabel, tabel virtual) otomatis tersedia di Knowledge Catalog, sehingga proses migrasi terutama berfokus pada metadata kustom, penggunaan API, dan default antarmuka pengguna.

Berikut adalah poin-poin utama yang perlu dipertimbangkan saat melakukan migrasi.

Memahami perubahan

Knowledge Catalog menawarkan fitur yang ditingkatkan untuk pengelolaan metadata, tata kelola, dan penemuan dibandingkan dengan Data Catalog. Knowledge Catalog menggunakan API yang berbeda (Knowledge Catalog API) dan memiliki model data yang sedikit berbeda; misalnya, Knowledge Catalog menggunakan aspek dan jenis aspek, bukan tag dan template tag.

Menilai penggunaan katalog data saat ini

  • Tanpa Metadata Kustom: jika Anda hanya mengandalkan Knowledge Catalog untuk penyerapan dan penemuan otomatis metadata BigQuery standar tanpa membuat tag kustom, template tag, entri kustom, atau grup entri, transisinya akan mudah. Anda dapat langsung mulai menggunakan antarmuka Knowledge Catalog.
  • Metadata Kustom atau Penggunaan Terprogram: jika Anda membuat tag atau template kustom, entri kustom, atau menggunakan Data Catalog API, library klien, perintah Google Cloud CLI, atau Terraform, Anda memerlukan transisi yang lebih terstruktur.

Pertimbangan khusus BigQuery

  • Penyerapan Otomatis: metadata teknis dari aset BigQuery (set data, tabel, tampilan, model, rutin, dan grafik) akan terus diserap secara otomatis ke Knowledge Catalog, seperti yang terjadi pada Dataplex Universal Catalog.
  • Tag Kebijakan: tag kebijakan yang digunakan untuk kontrol akses tingkat kolom BigQuery tidak dihentikan dan pengelolaannya tetap berada dalam BigQuery.
  • Silsilah: silsilah data untuk operasi BigQuery ditampilkan dalam Knowledge Catalog. Untuk mengetahui informasi selengkapnya tentang silsilah data, lihat Melacak silsilah data untuk tabel BigQuery.

Ikuti panduan transisi

Untuk bermigrasi ke Knowledge Catalog, ikuti langkah-langkah dalam Beralih dari Data Catalog ke Knowledge Catalog.

Untuk memperbarui alur kerja terprogram ke Knowledge Catalog API, lihat Memetakan metode Data Catalog API ke Knowledge Catalog.

Langkah berikutnya

Pelajari Knowledge Catalog lebih lanjut: