Mengelola aset data menggunakan Knowledge Catalog

Knowledge Catalog secara otomatis membuat katalog metadata tentang resource Bigtable. Fitur ini membantu Anda menelusuri dan mengelola aset data Bigtable.

Metadata disinkronkan secara otomatis dari Bigtable ke Knowledge Catalog untuk resource Bigtable berikut:

  • Instance
  • Cluster
  • Tabel, termasuk detail grup kolom

  • Penayangan:

    • Tampilan yang diberi otorisasi
    • Tampilan terwujud berkelanjutan
    • Tampilan logis

    Tampilan tidak memiliki entri katalog global. Untuk mengakses metadata tampilan, Anda harus membuat kueri region yang ditetapkan ke instance Anda. Untuk mengetahui informasi selengkapnya, lihat bagian Mengakses metadata tampilan dalam dokumen ini.

Knowledge Catalog adalah layanan pengelolaan metadata yang terkelola sepenuhnya. Layanan ini menyediakan tampilan terpadu dan mekanisme pemberian tag untuk metadata teknis dan bisnis. Untuk mempelajari lebih lanjut Knowledge Catalog dan alasan Anda harus menggunakannya, lihat Ringkasan Knowledge Catalog.

Manfaat menggunakan Knowledge Catalog dengan Bigtable

Informasi dari Knowledge Catalog tentang data Anda membantu mendukung analisis, penggunaan ulang data, pengembangan aplikasi, dan pengelolaan data.

Anda dapat menelusuri entri di Knowledge Catalog berdasarkan detail, seperti nama resource. Misalnya, telusuri nama instance untuk menemukan entri instance, atau telusuri grup kolom untuk menemukan entri tabel. Anda juga dapat menggunakan penelusuran dengan faset, dengan menerapkan filter untuk menyaring penelusuran. Untuk mengetahui informasi selengkapnya, lihat Menelusuri resource di Knowledge Catalog.

Menyerap dan membuat katalog tampilan Bigtable memungkinkan Anda melakukan hal berikut:

  • Temukan aset data terperinci seperti tampilan terwujud yang diotorisasi, logis, dan berkelanjutan dalam inventaris pusat.
  • Mendapatkan visibilitas ke tampilan yang ada dan siapa yang memiliki akses ke tampilan tersebut, sehingga tim tata kelola dapat menerapkan kebijakan dan kontrol akses.
  • Pahami cara tampilan yang diizinkan terhubung ke tabel, serta tampilan terwujud logis dan berkelanjutan terhubung ke instance untuk konteks yang lebih baik.

Memperkaya metadata dengan aspek membantu Anda memahami dan membuat katalog data dalam tabel Bigtable. Aspek memungkinkan Anda melampirkan metadata bisnis dan teknis kustom ke entri yang dikatalogkan, sehingga data lebih mudah ditemukan di seluruh aset data Anda dan memungkinkan penelusuran yang ditargetkan. Untuk mengetahui informasi selengkapnya, lihat Mengelola aspek dan memperkaya metadata.

Mulai menggunakan Knowledge Catalog

Untuk mulai menggunakan Knowledge Catalog guna mengelola aset data Bigtable, selesaikan tugas berikut:

  1. Opsional: Jika Anda baru menggunakan Knowledge Catalog, aktifkan Dataplex API.

  2. Berikan peran IAM kepada akun utama yang memerlukan akses ke entri Bigtable di Knowledge Catalog.

  3. Pelajari cara menelusuri aset data.

  4. Tinjau Sintaksis penelusuran Knowledge Catalog untuk memahami cara menemukan metadata Anda.

  5. Baca konsep tentang mengelola metadata dengan aspek. Untuk mengetahui informasi selengkapnya, lihat Tentang metadata di Knowledge Catalog.

Melihat metadata di Knowledge Catalog

Setiap jenis tampilan Bigtable direpresentasikan sebagai jenis entri yang berbeda dalam katalog. Knowledge Catalog menyimpan metadata (aspek) tertentu untuk setiap jenis:

Jenis tampilan Kolom metadata
Tampilan yang diotorisasi Definisi subset lengkap, status proteksi dari penghapusan. ID tabel dasar adalah bagian dari jalur resource dan entri induk entri, bukan kolom aspek terpisah.
Tampilan logis Kueri SQL, skema, status proteksi dari penghapusan. Tabel dasar dirujuk dalam kueri SQL.
Tampilan terwujud berkelanjutan Kueri SQL, skema, status proteksi dari penghapusan, detail penyimpanan. Tabel dasar dirujuk dalam kueri SQL. Dalam aspek penyimpanan, kolom sourceUri mengarah ke resource tampilan itu sendiri, bukan tabel dasar.

Cara menelusuri metadata Bigtable

Anda dapat menelusuri metadata Bigtable yang disinkronkan menggunakan Knowledge Catalog.

Selain predikat terpilih, Anda dapat menelusuri resource Bigtable dengan kolom metadata berikut:

  • Instance

    • Nama instance Bigtable
    • ID instance Bigtable
    • Lokasi cluster
    • ID cluster

  • Tabel

    • ID tabel
    • Nama grup kolom
    • Nama instance Bigtable
    • ID instance Bigtable

Anda dapat menelusuri tampilan berdasarkan kategori berikut:

  • Jenis tampilan:
    • type=cloud-bigtable-authorized-view
    • type=cloud-bigtable-logical-view
    • type=cloud-bigtable-materialized-view
  • Alias tampilan terpadu: gunakan alias VIEW untuk menemukan semua jenis tampilan Bigtable secara bersamaan.
  • Detail metadata: telusuri berdasarkan teks kueri, resource induk, detail definisi subset, atau atribut tertentu seperti proteksi dari penghapusan.
  • Region: di konsol Google Cloud , gunakan filter location=LOCATION atau region untuk menelusuri tampilan atau resource lainnya di suatu region.

Saat Anda melihat entri tabel atau instance Bigtable global di konsolGoogle Cloud , tab Entry list-nya tidak menyertakan tampilan regional. Demikian pula, saat Anda melihat entri tampilan regional, breadcrumb-nya tidak ditautkan ke instance atau tabel induknya. Untuk menemukan resource ini, telusuri langsung menggunakan kategori penelusuran sebelumnya.

Mengakses metadata tampilan

Tidak seperti instance dan tabel Bigtable, tampilan tidak memiliki entri katalog global. Metadata untuk tampilan disimpan secara eksklusif di region yang ditetapkan ke instance Anda di Knowledge Catalog (knowledgeCatalogRegion).

Saat menelusuri resource di Knowledge Catalog, Anda dapat menggunakan filter region untuk menemukan tampilan atau resource lainnya di region tertentu. Namun, saat menggunakan Dataplex API atau library klien untuk mencari, mengambil, atau mengelola aspek pada tampilan Bigtable, Anda harus menentukan region Knowledge Catalog instance dalam parameter location dari URL permintaan. Jika Anda menentukan lokasi sebagai global, perintah akan menampilkan error NOT_FOUND.

Bagian berikut menjelaskan cara mengakses metadata tampilan di region instance Anda.

Menemukan region Knowledge Catalog dari suatu instance

Untuk menemukan knowledgeCatalogRegion instance Bigtable Anda, gunakan perintah gcloud bigtable instances describe:

gcloud bigtable instances describe INSTANCE_ID

Ganti INSTANCE_ID dengan ID unik instance Anda.

Output perintah menyertakan kolom knowledgeCatalogRegion, seperti yang ditunjukkan dalam contoh berikut:

createTime: '2026-01-15T10:00:00.000000Z'
displayName: my-instance
edition: ENTERPRISE
knowledgeCatalogRegion: us-central1
name: projects/my-project/instances/my-instance
state: READY
type: PRODUCTION

Dalam contoh ini, lokasi untuk permintaan Dataplex API dan filter region untuk tampilan dalam instance ini adalah us-central1.

Memeriksa entri Knowledge Catalog dari sebuah tampilan

Konsol

Untuk memeriksa entri tampilan di Knowledge Catalog, ikuti langkah-langkah berikut:

  1. Di konsol Google Cloud , buka halaman Search Knowledge Catalog.

    Buka Penelusuran

  2. Di kolom penelusuran, masukkan nama atau ID tampilan Bigtable, atau masukkan kueri penelusuran, lalu tekan Enter.

    Anda dapat menelusuri tampilan menggunakan predikat berikut:

    • Semua penayangan: VIEW
    • Tampilan yang diizinkan: type=cloud-bigtable-authorized-view
    • Tampilan logis: type=cloud-bigtable-logical-view
    • Tampilan terwujud berkelanjutan: type=cloud-bigtable-materialized-view
    • Penayangan menurut wilayah: misalnya, location=us-central1

  3. Untuk menyaring penelusuran, klik Filter.

  4. Di hasil penelusuran, klik nama tampilan untuk membuka halaman detail entri.

    Halaman detail entri menampilkan semua atribut entri, termasuk informasi ringkasan, aspek sistem, seperti kueri SQL, skema, atau definisi subset, dan aspek kustom yang dilampirkan.

gcloud

Untuk memeriksa entri tampilan di Knowledge Catalog, gunakan perintah gcloud dataplex entries lookup:

gcloud dataplex entries lookup "VIEW_RESOURCE_NAME" \
    --project="PROJECT_ID" \
    --location="LOCATION" \
    --entry-group="@bigtable" \
    --view="all"

Ganti kode berikut:

  • VIEW_RESOURCE_NAME: jalur resource Bigtable untuk tampilan (menghilangkan // di awal). Buat jalur resource berdasarkan jenis tampilan:
    • Tampilan yang diotorisasi: bigtable.googleapis.com/projects/PROJECT_ID/instances/INSTANCE_ID/tables/TABLE_ID/authorizedViews/VIEW_ID
    • Tampilan logis: bigtable.googleapis.com/projects/PROJECT_ID/instances/INSTANCE_ID/logicalViews/VIEW_ID
    • Tampilan terwujud berkelanjutan: bigtable.googleapis.com/projects/PROJECT_ID/instances/INSTANCE_ID/materializedViews/VIEW_ID
  • PROJECT_ID: ID unik project Google Cloud Anda.
  • INSTANCE_ID: ID unik instance Bigtable Anda.
  • TABLE_ID: untuk tampilan yang diizinkan, ID unik tabel dasar yang berisi tampilan.
  • VIEW_ID: ID yang ditetapkan ke tampilan.
  • LOCATION: region Knowledge Catalog instance Bigtable (misalnya, us-central1).

Output-nya menampilkan semua atribut entri, termasuk aspek sistem dan aspek kustom yang dilampirkan. Dalam output, kolom parentEntry berisi jalur entri regional untuk tabel atau instance induk. Karena Bigtable hanya menyimpan entri tabel dan instance di lokasi global, entri induk regional ini tidak dapat diakses. Untuk mencari entri tabel atau instance induk, tentukan global sebagai lokasi.

REST

Untuk mencari entri tampilan secara terprogram menggunakan Dataplex API, kirim permintaan GET HTTP yang diautentikasi ke metode lookupEntry:

curl -X GET \
    -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    "https://dataplex.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION:lookupEntry?entry=projects/PROJECT_ID/locations/LOCATION/entryGroups/@bigtable/entries/VIEW_RESOURCE_NAME&view=ALL"

Ganti kode berikut:

  • VIEW_RESOURCE_NAME: jalur resource Bigtable untuk tampilan (menghilangkan // di awal). Buat jalur resource berdasarkan jenis tampilan:
    • Tampilan yang diotorisasi: bigtable.googleapis.com/projects/PROJECT_ID/instances/INSTANCE_ID/tables/TABLE_ID/authorizedViews/VIEW_ID
    • Tampilan logis: bigtable.googleapis.com/projects/PROJECT_ID/instances/INSTANCE_ID/logicalViews/VIEW_ID
    • Tampilan terwujud berkelanjutan: bigtable.googleapis.com/projects/PROJECT_ID/instances/INSTANCE_ID/materializedViews/VIEW_ID
  • PROJECT_ID: ID unik project Google Cloud Anda.
  • INSTANCE_ID: ID unik instance Bigtable Anda.
  • TABLE_ID: untuk tampilan yang diizinkan, ID unik tabel dasar yang berisi tampilan.
  • VIEW_ID: ID yang ditetapkan ke tampilan.
  • LOCATION: region Knowledge Catalog instance Bigtable (misalnya, us-central1).

Output-nya menampilkan semua atribut entri, termasuk aspek sistem dan aspek kustom yang dilampirkan. Dalam output, kolom parentEntry berisi jalur entri regional untuk tabel atau instance induk. Karena Bigtable hanya menyimpan entri tabel dan instance di lokasi global, entri induk regional ini tidak dapat diakses. Untuk mencari entri tabel atau instance induk, tentukan global sebagai lokasi.

Peran yang diperlukan

Melihat, memberi tag, dan menelusuri resource Bigtable di Knowledge Catalog memiliki persyaratan izin yang berbeda. Secara umum, berikan peran minimum yang diperlukan untuk menyelesaikan tugas kepada akun utama di organisasi Anda.

Izin untuk melihat aspek publik dan pribadi

Untuk mendapatkan izin yang diperlukan untuk melihat aspek publik dan pribadi pada resource Bigtable, minta administrator untuk memberi Anda peran IAM berikut:

Peran yang telah ditetapkan ini berisi izin yang diperlukan untuk melihat aspek publik dan pribadi. Izin yang benar-benar diperlukan adalah sebagai berikut:

  • bigtable.instances.get
  • bigtable.clusters.get
  • bigtable.tables.get
  • dataplex.aspectTypes.get

Tampilan memerlukan izin berikut:

  • Tampilan yang diizinkan: bigtable.authorizedViews.get
  • Tampilan logis: bigtable.logicalViews.get
  • Tampilan terwujud berkelanjutan: bigtable.materializedViews.get

Izin untuk menelusuri resource Bigtable

Untuk mendapatkan izin yang diperlukan untuk menelusuri resource Bigtable di Knowledge Catalog, minta administrator untuk memberi Anda peran IAM berikut:

Peran yang telah ditetapkan ini berisi izin yang diperlukan untuk menelusuri resource Bigtable. Izin yang benar-benar diperlukan adalah sebagai berikut:

  • bigtable.instances.get
  • bigtable.clusters.get
  • bigtable.tables.get

Tampilan memerlukan izin berikut:

  • Tampilan yang diizinkan: bigtable.authorizedViews.get
  • Tampilan logis: bigtable.logicalViews.get
  • Tampilan terwujud berkelanjutan: bigtable.materializedViews.get

Izin untuk menelusuri dan melihat metadata Bigtable

Untuk menelusuri dan melihat metadata resource Bigtable, Anda harus memiliki peran yang mencakup izin berikut:

  • Instance dan tabel: bigtable.instances.get, bigtable.clusters.get, bigtable.tables.get
  • Tampilan yang diizinkan: bigtable.authorizedViews.get
  • Tampilan logis: bigtable.logicalViews.get
  • Tampilan terwujud berkelanjutan: bigtable.materializedViews.get

Peran bawaan seperti roles/bigtable.viewer atau roles/bigtable.admin biasanya berisi izin ini.

Izin untuk melampirkan aspek ke resource Bigtable

Untuk mendapatkan izin yang diperlukan untuk melampirkan aspek ke resource Bigtable di Knowledge Catalog, minta administrator untuk memberi Anda peran IAM berikut:

Peran yang telah ditetapkan ini berisi izin yang diperlukan untuk menambahkan aspek publik dan pribadi. Izin yang benar-benar diperlukan adalah sebagai berikut:

  • bigtable.instances.update
  • bigtable.clusters.update
  • bigtable.tables.update
  • dataplex.aspectTypes.use
  • dataplex.entries.update

Tampilan memerlukan izin berikut:

  • Tampilan yang diizinkan: bigtable.authorizedViews.update
  • Tampilan logis: bigtable.logicalViews.update
  • Tampilan terwujud berkelanjutan: bigtable.materializedViews.update

Opsional: Membuat peran khusus

Anda dapat membuat peran khusus untuk diberikan kepada pengguna yang memerlukan akses lengkap ke semua metadata Bigtable di Knowledge Catalog di seluruh project atau organisasi Anda. Kemudian, Anda dapat menetapkan pengguna atau akun layanan yang memerlukan akses sebagai akun utama peran khusus. Untuk mempelajari lebih lanjut peran khusus, lihat Peran dan izin.

Pilih nama yang bermakna untuk peran tersebut, seperti Bigtable Dataplex Editor, lalu tetapkan hanya akun utama yang memerlukan akses ke peran tersebut. Untuk mengetahui petunjuk penyiapan, lihat Membuat dan mengelola peran khusus.

Berikan izin berikut ke peran khusus:

  • bigtable.instances.get
  • bigtable.instances.update
  • bigtable.clusters.get
  • bigtable.clusters.update
  • bigtable.tables.get
  • bigtable.tables.update
  • bigtable.authorizedViews.get
  • bigtable.authorizedViews.update
  • bigtable.logicalViews.get
  • bigtable.logicalViews.update
  • bigtable.materializedViews.get
  • bigtable.materializedViews.update
  • dataplex.aspectTypes.get
  • dataplex.aspectTypes.use

Untuk mengetahui informasi selengkapnya, lihat Izin IAM Knowledge Catalog. Untuk deskripsi izin Bigtable, lihat Izin.

Batasan

Bagian berikut mencantumkan batasan yang harus Anda pertimbangkan sebelum menggunakan Knowledge Catalog untuk mengelola metadata Bigtable.

Batasan lokasi

Jika organisasi Anda menerapkan batasan lokasi, entri metadata untuk resource Bigtable Anda mungkin tidak disinkronkan ke Knowledge Catalog. Setiap entri yang dibuat sebelum menerapkan batasan lokasi akan dipertahankan oleh Knowledge Catalog.

Agar Knowledge Catalog dapat memuat resource, pastikan kebijakan lokasi Anda mengizinkan hal berikut:

  • Multi-region global untuk instance dan tabel.
  • Region spesifik yang cocok dengan knowledgeCatalogRegion instance Anda untuk tampilan.

Pengecualian nama grup kolom

Dataplex API menolak permintaan jika nama grup kolom dalam permintaan Anda menyertakan titik (.). Misalnya, jika nama grup kolom adalah personal.info.

Langkah berikutnya