(Tidak digunakan lagi) Konsep Mesh Data

Peringatan: Fitur Mesh Data dalam Google Cloud Cortex Framework kini tidak digunakan lagi dan dinonaktifkan. Perubahan ini didorong oleh evolusi layanan pengelolaan data Google Cloud. Solusi Data Mesh dibangun menggunakan Data Catalog untuk pengelolaan metadata, yang kini digantikan oleh Knowledge Catalog yang lebih canggih. Knowledge Catalog menyediakan API terpadu, kemampuan metadata yang ditingkatkan, dan fitur baru untuk pengalaman tata kelola data yang lebih komprehensif.

Sebelum mempelajari panduan mendetail tentang cara men-deploy Data Mesh dengan Google Cloud Cortex Framework, halaman ini memberikan dasar tentang cara konsep Data Mesh yang relevan umumnya diterapkan dalam produk Google Cloud dan khususnya dengan konteks Cortex Framework. Setelah memahami konsep Data Mesh, lihat Panduan Pengguna Data Mesh untuk Cortex Framework Data Foundation.

Catatan: Untuk pemahaman yang lebih mendalam tentang konsep Mesh Data umum, lihat Membangun Mesh Data terdistribusi yang modern dengan Google Cloud.

Knowledge Catalog

Tabel berikut menentukan konsep Data Mesh dalam Knowledge Catalog:

Konsep	Deskripsi	Konteks Cortex Framework
Danau	Unit tingkat teratas untuk mengatur data dalam Mesh Data. Kelola Knowledge Catalog - Lakes.	Sumber data, misalnya, SAP ECC, Salesforce, Google Ads.
Zona	Unit tingkat kedua untuk mengatur data dalam Lake.	Lapisan pemrosesan tertentu dalam sumber data, seperti mentah versus CDC.
Aset Knowledge Catalog	Referensi ke data yang disimpan di Cloud Storage atau BigQuery yang terkait dengan zona. Ini adalah referensi ke aset data, bukan data itu sendiri.	Referensi ke set data BigQuery yang terdaftar di zona.
Label	Pasangan nilai kunci arbitrer yang dapat diterapkan ke data lake atau zona.	Beri label pada seluruh data lake atau zona (bukan tabel atau kolom) dengan metadata yang dapat dilihat di Knowledge Catalog atau digunakan untuk aplikasi kustom.
Data Catalog	Metadata bisnis teknis yang dapat digunakan untuk membantu menemukan, memahami, atau mengelola aset data dalam warehouse.	Beri anotasi pada tabel atau kolom (bukan data lake atau zona) dengan tag metadata lengkap yang dapat digunakan dalam penelusuran Knowledge Catalog atau aplikasi kustom.
Template Tag Katalog	Template yang menentukan kolom yang tersedia dan jenisnya dalam tag. Mengelola Knowledge Catalog - Template Tag	Tentukan kumpulan template untuk penggunaan seperti memberi tag pada aset data dengan lini bisnis.
Tag Katalog	Kumpulan kolom dan nilainya yang berisi metadata yang berlaku untuk tabel atau kolom. Instance template tag.	Beri anotasi pada tabel atau kolom dengan nilai metadata yang relevan dengan aset tersebut, seperti lini bisnis tertentu.
Glosarium Katalog	Kamus istilah yang dapat ditentukan dan dikaitkan dengan kolom BigQuery. Mengelola Knowledge Catalog - Glosarium.	Tentukan istilah atau akronim yang digunakan dalam Aset BigQuery. Perhatikan bahwa fitur ini direncanakan untuk masa mendatang dan belum didukung.
Silsilah Data	Grafik yang mewakili dependensi Aset BigQuery.	Alat ini tidak ditentukan oleh Cortex Data Mesh, tetapi merupakan alat Knowledge Catalog yang relevan untuk membantu pengguna menemukan sumber data Aset BigQuery.
Peristiwa Silsilah	Suatu waktu saat operasi terjadi untuk memindahkan data antar-Aset BigQuery. Berisi daftar Link.	Dibuat secara otomatis untuk operasi BigQuery dan Composer yang didukung.
Link Silsilah	Edge yang merepresentasikan data yang mengalir dari aset sumber ke target sebagai bagian dari Peristiwa Silsilah.	Metadata ini dapat dianalisis untuk mendukung kasus penggunaan di luar grafik visualisasi silsilah yang ditampilkan di konsol.

BigQuery

Tabel berikut menentukan konsep Mesh Data dalam BigQuery:

Konsep	Deskripsi	Konteks Cortex Framework
Taksonomi Kebijakan	Hierarki tag kebijakan. Kelola BigQuery - Tag Kebijakan.	Atur tag kebijakan terkait yang dapat digunakan untuk kontrol akses ke dalam hierarki dengan izin yang diwariskan.
Tag Kebijakan	Tag yang diterapkan ke kolom tertentu dalam tabel atau tampilan BigQuery. Tag kebijakan di tingkat mana pun dalam hierarki dapat diterapkan. Hanya satu tag kebijakan yang dapat diterapkan ke kolom tertentu.	Beri anotasi pada kolom dengan tag yang digunakan untuk kontrol akses tingkat kolom. Akun utama pada tag kebijakan menentukan Pembaca 'Fine-Grained' atau 'Unmasked' yang dapat melihat data kolom mentah.
Kebijakan Data	Kebijakan yang diterapkan ke Tag Kebijakan yang menentukan cara dan siapa yang dapat melihat data kolom yang disamarkan.	Akun utama di Kebijakan Data menentukan 'Masked Reader' yang dapat melihat data kolom yang disamarkan. Siapa pun yang tidak memiliki hak istimewa pembaca yang disamarkan atau tidak disamarkan tidak akan dapat mengkueri kolom.
Aturan Penyamaran	Aturan yang diterapkan ke Kebijakan Data yang menentukan cara data disamarkan, misalnya, hashing, menampilkan nilai default, empat karakter terakhir, dan lainnya.	Diterapkan secara situasional ke kolom sensitif.
Kebijakan Akses Baris	Pernyataan SQL yang menentukan grup mana yang dapat mengkueri baris dalam tabel berdasarkan nilai kolom tertentu.	Digunakan untuk kontrol akses tingkat baris saat kontrol tingkat aset dan kolom tidak memadai.

Konsep Cortex Data Mesh

Tabel berikut menentukan konsep Data Mesh tertentu dalam Cortex Framework:

Konsep	Deskripsi	Konteks Cortex Framework
Resource Metadata	Entity metadata yang dapat digunakan kembali di beberapa aset BigQuery. Contohnya adalah Danau, Template Tag Katalog, dan Taksonomi Kebijakan. Ini khusus untuk metadata dan bukan data di BigQuery itu sendiri.	Menentukan resource yang dapat digunakan kembali untuk memungkinkan pengelolaan Cortex Data Mesh yang konsisten.
Aset BigQuery	Tabel atau tampilan BigQuery.	Objek BigQuery Cortex yang sudah ada dan diatur dengan Data Mesh.
BigQuery Asset Annotation	Metadata yang diterapkan ke tabel atau tampilan BigQuery tertentu. Hal ini mencakup deskripsi, kebijakan akses, dan pemetaan ke Resource Metadata.	Mengaitkan metadata dengan Aset BigQuery untuk mengaktifkan penemuan dan kontrol akses.
Spesifikasi Resource (spec)	File YAML yang menentukan Resource Metadata atau BigQuery Asset Annotation.	Kumpulan lengkap spesifikasi resource mengodifikasi konfigurasi Mesh Data yang akan di-deploy.