Tentang metadata di Knowledge Catalog

Knowledge Catalog (sebelumnya Dataplex Universal Catalog) menyediakan platform pengelolaan metadata terstruktur dan terpadu di seluruh aset data terdistribusi Anda. Platform ini secara otomatis menemukan, mengindeks, dan mengatur struktur teknis, konteks bisnis, metrik kualitas data, dan hubungan operasional.

Dengan mengatur metadata ke dalam metamodel yang fleksibel dan dapat diperluas, Knowledge Catalog menetapkan fondasi struktural Active Context Graph dalam Agentic Data Cloud Google. Grafik konteks ini memungkinkan tim data menemukan dan mengelola aset sekaligus memungkinkan agen AI generatif mengambil konteks bisnis yang mendasar dan tepercaya.

Metamodel Knowledge Catalog

Knowledge Catalog mengatur metadata melalui hierarki modular penampung, aset, skema, dan hubungan:

  • Penampung dan aset: Grup entri mengatur entri, yang mewakili aset data individual dan kolom skemanya.
  • Pengayaan terstruktur: Jenis aspek menentukan skema untuk aspek, yang melampirkan metadata terstruktur ke entri, kolom, atau hubungan.
  • Standar dan tata kelola: Jenis entri menentukan template yang menerapkan aspek yang diperlukan pada entri.
  • Hubungan: Jenis link entri menentukan hubungan (link entri) yang menghubungkan entri dan istilah bisnis terkait.

Tabel berikut merangkum perbedaan antara resource yang dikelola sistem (disediakan secara otomatis oleh Google Cloud) dan resource kustom yang ditentukan pengguna:

Elemen metamodel Dikelola sistem (bawaan) Ditentukan pengguna (kustom)
Grup entri Ditentukan sebelumnya per project untuk Google Cloud layanan (misalnya, @bigquery, @spanner, @pubsub). Dibuat oleh pengguna untuk mengelompokkan dan mengelola aset dan izin data kustom dan izin.
Entri Diisi secara otomatis dari Google Cloud sumber (seperti tabel, tampilan, set data, dan model BigQuery). Dibuat oleh pengguna untuk mewakili sumber data, file, atau database pihak ketiga yang dibuat khusus.
Jenis aspek Template sistem yang telah ditentukan sebelumnya (misalnya, Schema, Overview, Contacts, DataQuality, Lineage). Dibuat oleh pengguna untuk menentukan skema metadata khusus domain (seperti klasifikasi PII atau tingkat SLA).
Aspek Diisi secara otomatis dari sistem sumber, log kueri, atau pemindaian otomatis. Dibuat oleh pengguna, pipeline, atau agen dan dilampirkan ke entri, kolom, atau link entri.
Jenis entri Template yang telah ditentukan sebelumnya yang mewakili Google Cloud jenis resource. Ditentukan oleh pengguna untuk menentukan aspek wajib dan opsional untuk aset data kustom
Link entri Jenis hubungan bawaan (seperti synonym, definition, schema-join, related). Instance yang dibuat antara entri atau kolom tertentu untuk memodelkan koneksi lintas sistem.

Bagian berikut menjelaskan komponen utama yang membentuk metamodel Knowledge Catalog.

Grup entri

Grup entri (EntryGroup) adalah penampung regional untuk entri dan link entri yang berfungsi sebagai batas administratif dan keamanan untuk mengelola resource tersebut.

Gunakan grup entri untuk mengonfigurasi hal berikut:

  • Kontrol akses Identity and Access Management: Berikan izin lihat atau edit kepada tim tertentu di grup entri tanpa mengubah izin entri individual.
  • Atribusi lokasi dan project: Kelompokkan aset menurut wilayah geografis dan kepemilikan project.

Untuk Google Cloud sumber, Knowledge Catalog membuat grup entri sistem per project secara otomatis (seperti @bigquery atau @spanner). Untuk sumber data kustom, Anda membuat grup entri kustom.

Misalnya, tim keuangan dapat membuat grup entri kustom bernama production_finance_data untuk mengelola izin akses untuk semua entri kustom terkait keuangan di satu lokasi.

Grup entri yang berisi entri dan link entri yang menghubungkan entri. Grup entri yang berisi entri dan link entri yang menghubungkan entri.
Gambar 1. Grup entri, entri, dan link entri (klik untuk memperbesar).

Untuk mengetahui informasi selengkapnya, lihat Grup entri.

Entri dan jalur skema

Entri (Entry) mewakili satu aset data. Entri dapat mewakili tabel database terstruktur, model analisis, tabel objek tidak terstruktur, atau set data eksternal kustom.

Komponen utama entri mencakup hal berikut:

  • ID entri: Nama resource unik dalam grup entri induknya.
  • Jenis entri: Template yang menentukan struktur entri dan aspek yang diperlukan.
  • Aspek: Atribut metadata terstruktur yang dilampirkan ke entri.
  • Jalur skema (kolom): Subbagian atau kolom tertentu dalam aset data, seperti kolom dalam tabel BigQuery atau kolom dalam skema JSON.

Kolom memungkinkan Anda melampirkan metadata ke kolom individual dalam aset. Anda tidak menentukan kolom secara manual; kolom akan diisi saat Anda melampirkan aspek jenis schema ke entri. Anda dapat mereferensikan kolom bertingkat menggunakan jalur notasi titik (misalnya, customer.address.postal_code).

Misalnya, tabel BigQuery bernama orders_project.sales.customer_orders direpresentasikan sebagai entri. Untuk mendeskripsikan kolom email_address dalam tabel tersebut sebagai berisi informasi sensitif, Anda melampirkan aspek klasifikasi langsung ke jalur kolom email_address.

Untuk mengetahui informasi selengkapnya, lihat Entri.

Jenis aspek

Jenis aspek (AspectType) adalah template skema yang dapat digunakan kembali yang menentukan kolom, jenis data, dan aturan validasi untuk aspek. Setiap aspek adalah instance dari jenis aspek.

Jenis aspek dapat ditentukan sistem (disediakan oleh Google Cloud) atau kustom (dibuat oleh organisasi Anda).

Saat menentukan metadata_template untuk jenis aspek kustom, Anda dapat menggunakan jenis data yang didukung berikut:

Jenis data kolom Deskripsi Contoh kasus penggunaan
string Nilai teks (UTF-8). Email pemilik, label klasifikasi data, nama departemen.
integer / number Nilai numerik (bilangan bulat atau angka floating point). Hari retensi data, persentase target SLA, peringkat prioritas.
boolean Flag benar atau salah. contains_pii: true, is_certified: false.
enum Daftar nilai string yang diizinkan yang telah ditentukan sebelumnya. Lingkungan: ["DEV", "STAGING", "PROD"].
datetime / timestamp Tanggal dan waktu berformat ISO 8601. Tanggal terakhir disertifikasi, batas waktu peninjauan kepatuhan.
record Objek terstruktur bertingkat yang berisi kolom turunan. ContactInfo { name: string, email: string, phone: string }.
array Daftar nilai berulang dari jenis primitif atau rekaman apa pun. Daftar pemilik data sekunder: ["user1@example.com", "user2@example.com"].
map Pasangan string nilai kunci untuk atribut yang dapat diperluas. Tag deployment kustom: {"cost_center": "1042", "tier": "gold"}.

Misalnya, untuk menentukan template yang dapat digunakan kembali untuk informasi kontak, Anda dapat membuat jenis aspek bernama ContactInfo dengan kolom untuk owner_name (string), email (string), dan support_channel (string).

Jenis aspek yang menentukan aspek yang dilampirkan ke entri dan jenis entri yang memerlukan jenis aspek. Jenis aspek yang menentukan aspek yang dilampirkan ke entri dan jenis entri yang memerlukan jenis aspek.
Gambar 2. Jenis aspek, aspek, dan jenis entri (klik untuk memperbesar).

Untuk mengetahui informasi selengkapnya, lihat Jenis aspek.

Aspek

Aspek (Aspect) adalah kumpulan kolom metadata terkait yang sesuai dengan jenis aspek. Aspek dilampirkan ke entri, jalur entri (kolom), atau link entri untuk mendeskripsikan resource tersebut.

Tidak seperti sistem pemberian tag lama, aspek di Knowledge Catalog dienkapsulasi langsung dalam entri induk atau link entri, yang memungkinkan Anda melakukan operasi baca dan tulis atomik.

Aspek digunakan di beberapa fungsi:

  • Struktur teknis: Aspek Schema menjelaskan kolom tabel, jenis data, dan deskripsi.
  • Konteks bisnis: Aspek kustom menjelaskan kepemilikan, kepatuhan, dan status siklus proses.
  • Kepercayaan operasional: Aspek kualitas data mencatat hasil pemindaian aturan otomatis dan skor validasi.
  • Grafik entity tidak terstruktur: Aspek GraphProfile menangkap entity dan tepi hubungan yang diekstrak AI dari file mentah.

Misalnya, Anda dapat membuat instance jenis aspek ContactInfo dengan nilai {"owner_name": "Alex", "email": "alex@example.com"} dan melampirkannya ke entri customer_orders.

Untuk mengetahui informasi selengkapnya, lihat Aspek.

Jenis entri

Jenis entri (EntryType) adalah template tata kelola untuk membuat entri kustom. Jenis entri menerapkan standar kualitas metadata dengan menetapkan jenis aspek yang diperlukan yang harus dilampirkan ke entri jenis tersebut.

Saat Anda membuat entri dari jenis entri tertentu, Knowledge Catalog akan memvalidasi bahwa semua jenis aspek yang ditandai sebagai required dalam jenis entri ada dan valid.

Misalnya, Anda dapat membuat jenis entri bernama CertifiedDataProduct yang menentukan jenis aspek OwnerInfo dan DataRetentionPolicy sebagai wajib. Setiap entri baru yang dibuat dengan jenis entri ini harus menyertakan aspek ini sebelum Anda dapat menyimpannya.

Untuk mengetahui informasi selengkapnya, lihat Jenis entri.

Link entri dan jenis link entri

Link entri (EntryLink) menetapkan hubungan semantik antara dua entri data atau antara kolom tertentu dalam entri. Setiap link entri adalah instance dari jenis link entri (EntryLinkType).

Link entri dapat bersifat terarah atau tidak terarah:

  • Simetris (tidak terarah): Hubungan yang kedua sisinya adalah peer (misalnya, synonym, related, atau schema-join).
  • Asimetris (terarah): Hubungan dengan sumber dan target eksplisit (misalnya, definition, yang menautkan istilah glosarium bisnis ke kolom tabel).

Anda juga dapat melampirkan aspek langsung ke link entri (kecuali untuk link schema-join). Hal ini memungkinkan Anda mendeskripsikan hubungan itu sendiri, seperti mencatat skor kepercayaan gabungan, aturan transformasi, atau catatan pemetaan.

Knowledge Catalog mendukung jenis link entri bawaan berikut:

  • synonym: Menghubungkan konsep bisnis yang setara atau istilah alternatif.
  • related: Menghubungkan aset yang digabungkan secara longgar di seluruh sistem.
  • definition: Menghubungkan definisi glosarium bisnis ke kolom atau entri fisik.
  • schema-join: Menghubungkan tabel yang dapat digabungkan di sepanjang jalur kunci asing atau skema yang cocok.
Link entri dengan entri tertaut, aspek, dan jenisnya. Link entri dengan entri tertaut, aspek, dan jenisnya.
Gambar 3. Link entri dengan entri tertaut, aspek, dan jenisnya (klik untuk memperbesar).

Untuk mengetahui informasi selengkapnya, lihat EntryLinks referensi REST.

Glosarium dan istilah bisnis

Glosarium bisnis memungkinkan Anda menetapkan taksonomi bisnis formal dengan menentukan glosarium, kategori, dan istilah bisnis.

Dengan menggunakan link entri jenis definition atau synonym, Anda dapat memetakan istilah bisnis langsung ke entri fisik dan jalur kolom. Saat pengguna atau agen AI menelusuri katalog menggunakan bahasa alami, mesin telusur akan menyelesaikan istilah bisnis ini untuk menemukan aset data fisik yang benar.

Untuk mengetahui informasi selengkapnya, lihat Mengelola glosarium bisnis.

Sumber yang didukung Google Cloud

Knowledge Catalog secara otomatis menyerap metadata dari sumber berikut Google Cloud Untuk beberapa layanan, seperti AlloyDB untuk PostgreSQL dan Cloud SQL, Anda harus mengaktifkan integrasi Knowledge Catalog terlebih dahulu sebelum metadata dapat diserap:

  • Analisis dan lakehouse

    • Set data, tabel, tampilan, model, rutin, koneksi, dan set data tertaut BigQuery
    • Pertukaran dan listingan berbagi BigQuery (sebelumnya Analytics Hub)
    • Repositori Dataform dan aset kode
    • Layanan, database, dan tabel Dataproc Metastore

    • Tabel Iceberg REST Catalog (termasuk Google Cloud IRC runtime Lakehouse, Databricks Unity IRC, AWS Glue Data Catalog IRC, dan Snowflake Horizon IRC)

  • AI dan Machine learning

    • Model, set data, grup fitur, tampilan fitur, dan instance toko online Vertex AI

  • Business intelligence

    • Instance, dasbor, elemen dasbor, Look, project LookML, model, Explore, dan tampilan Looker (Google Cloud core) (Pratinjau)

  • Database

    • Instance, cluster, dan tabel Bigtable (termasuk detail grup kolom)
    • Instance, database, tabel, dan tampilan Spanner

  • Streaming dan pesan

    • Topik Pub/Sub

  • Data tidak terstruktur

  • Database operasional

Untuk mengimpor metadata dari sumber pihak ketiga ke Knowledge Catalog, Anda dapat menggunakan konektor Knowledge Catalog atau pipeline konektivitas terkelola. Untuk mengetahui informasi selengkapnya, lihat Tentang Knowledge Catalog Konektor dan Ringkasan konektivitas terkelola ringkasan.

Batasan project dan lokasi

Resource katalog di Knowledge Catalog ditempatkan dalamproject dan lokasi geografis tertentu. Google Cloud Batasan cakupan berikut berlaku:

Resource Aturan lokasi Aturan project
Entri Lokasi entri harus cocok dengan lokasi EntryType, atau EntryType harus global. Dapat mereferensikan jenis entri global atau project yang sama.
Aspek pada entri AspectType aspek harus disimpan di lokasi yang sama dengan entri, atau AspectType harus global. Dapat mereferensikan jenis aspek global atau project yang sama.
Link entri Lokasi link entri harus cocok dengan EntryLinkType, atau EntryLinkType harus global. Dapat menautkan entri yang berada di berbagai project dalam organisasi yang sama.
Jenis entri Terdiri dari jenis aspek yang disimpan di lokasi yang sama dengan jenis entri, atau jenis aspek yang global. Jika jenis entri mereferensikan jenis aspek kustom, jenis aspek harus berada di project dan lokasi yang sama.

Feed perubahan metadata

Knowledge Catalog dapat melakukan streaming peristiwa perubahan metadata dalam waktu hampir real-time menggunakan feed perubahan metadata.

Feed perubahan metadata memublikasikan notifikasi tentang pembuatan, pembaruan, atau penghapusan entri ke topik Pub/Sub yang Anda konfigurasi. Klien pelanggan dapat menggunakan peristiwa ini untuk mengotomatiskan alur kerja operasional, seperti memicu evaluasi kualitas data saat skema berubah atau memperbarui dasbor tata kelola hilir.

Untuk mengetahui informasi selengkapnya, lihat Tentang feed perubahan metadata.

Harga

Knowledge Catalog menggunakan SKU penyimpanan metadata untuk menagih volume metadata yang disimpan. Untuk mengetahui informasi selengkapnya, lihat Harga Knowledge Catalog.

Tidak ada biaya untuk hal berikut:

  • Membuat dan mengelola resource metamodel katalog (jenis entri, jenis aspek, grup entri, entri, dan link entri).
  • Panggilan Search API dan kueri penelusuran yang dilakukan di Google Cloud konsol.

Langkah berikutnya

Panduan memulai

Temukan aset dan lampirkan metadata aspek kustom ke tabel BigQuery.

Penyerapan

Tentukan jenis entri dan serap metadata kustom dari database dan pipeline eksternal.

Tata kelola

Buat taksonomi bisnis dan petakan istilah langsung ke tabel dan kolom fisik.

Penemuan

Temukan resource di seluruh Google Cloud dan sumber kustom menggunakan predikat penelusuran.

Konteks AI

Ambil metadata yang siap untuk LLM dan Konteks Aktif untuk mendasari agen AI generatif.

Migrasi

Migrasikan template tag, entri kustom, dan alur kerja ke Knowledge Catalog.