Mengelola resource Datastream menggunakan Knowledge Catalog

Anda dapat menelusuri dan mengelola resource Datastream menggunakan Knowledge Catalog, yang merupakan platform untuk menyimpan, mengelola, dan mengakses metadata Anda. Gunakan Knowledge Catalog untuk membantu Anda melakukan hal berikut:

  • Menemukan, menganalisis, dan memahami metadata Datastream Anda.
  • Menjelajahi resource Datastream Anda, seperti aliran data, profil koneksi, dan konfigurasi konektivitas.
  • Meningkatkan visibilitas operasional untuk memecahkan masalah dan mengelola pipeline data.
  • Membuat mekanisme hampir real-time dan berkala untuk penyerapan metadata yang konsisten dengan sinkronisasi live dan batch. Untuk mengetahui informasi selengkapnya, lihat Mode sinkronisasi.

Pemodelan Knowledge Catalog

Resource Datastream dimodelkan di Knowledge Catalog dalam grup entri yang dicadangkan dan dimiliki oleh Knowledge Catalog serta jenis entri tertentu.

Entitas Knowledge Catalog ID resource
Grup entri @datastream
Jenis entri datastream-stream
Jenis entri datastream-connection-profile
Jenis entri datastream-private-connection

Jenis penemuan metadata

Penemuan metadata Knowledge Catalog adalah proses otomatis yang memindai sumber data yang terhubung—seperti Datastream—untuk mengidentifikasi aset data dan mengekstrak metadata teknisnya ke dalam Knowledge Catalog.

Proses ini menggunakan sinkronisasi real-time dan berkala untuk menjaga katalog tetap konsisten dengan sistem sumber. Untuk Datastream, metadata untuk semua aliran data, profil koneksi, dan konfigurasi konektivitas pribadi ditemukan secara default:

Resource type Metadata diambil
Aliran Data
  • Nama
  • Lokasi
  • Negara bagian (misalnya, RUNNING, PAUSED, FAILED)
  • Strategi pengisian ulang
  • Nama profil koneksi sumber dan tujuan
  • Konfigurasi sumber dan tujuan
Profil koneksi
  • Nama
  • Lokasi
  • Jenis (misalnya, MYSQL, ORACLE, BIGQUERY)
  • Opsi konektivitas
  • Nama host, port, dan nama database
Konfigurasi konektivitas pribadi
  • Nama
  • Negara bagian/Provinsi
  • Metode konektivitas (misalnya, Private Service Connect atau peering VPC)
  • Detail jaringan VPC dan subnet

Mode sinkronisasi

Datastream menggunakan mode sinkronisasi berikut untuk menjaga Knowledge Catalog tetap konsisten dengan sistem sumber.

  • Sinkronisasi langsung: dalam mode ini, Datastream memublikasikan peristiwa ke topik Pub/Sub saat terjadi perubahan metadata. Hal ini memungkinkan Knowledge Catalog menerima update hampir real-time dengan berlangganan ke topik ini.
  • Sinkronisasi batch: dalam mode ini, Datastream secara berkala memublikasikan ekspor metadata lengkap (checkpoint) ke bucket Cloud Storage yang ditentukan, tempat Knowledge Catalog menyerap data.

Knowledge Catalog mendukung penelusuran kata kunci dan bahasa alami.

  • Penelusuran kata kunci memungkinkan Anda menemukan resource menggunakan kata kunci, filter, dan sintaksis tertentu. Misalnya, Anda dapat memasukkan system=Datastream AND type=Stream untuk melihat semua aliran data Datastream.
  • Penelusuran bahasa alami menggunakan AI untuk memahami kueri semantik. Dengan fitur ini, Anda dapat menemukan resource menggunakan bahasa sehari-hari, sehingga tidak perlu menggunakan sintaksis yang rumit. Misalnya, Anda dapat memasukkan kueri seperti List all Datastream streams with BigQuery destination.

Untuk mengetahui informasi selengkapnya, lihat Sintaksis penelusuran untuk Knowledge Catalog.

Sebelum memulai

  1. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  2. Verify that billing is enabled for your Google Cloud project.

  3. Mengaktifkan Dataplex API untuk project.

    Mengaktifkan Dataplex API

  4. Pastikan Anda memiliki izin yang diperlukan.

Peran IAM yang diperlukan

Bagian ini menjelaskan peran dan izin yang diperlukan untuk menelusuri resource dan mengakses hasil penelusuran.

Peran yang diperlukan untuk mengakses hasil penelusuran

Untuk menelusuri dan melihat metadata Datastream di Knowledge Catalog, akun utama harus memiliki izin untuk melihat resource Datastream, termasuk izin dataplex.projects.search.

Untuk memberikan izin ini kepada akun utama—seperti pengguna, grup, atau akun layanan—tetapkan peran IAM Datastream Viewer (roles/datastream.viewer) pada project yang berisi resource Datastream.

Operasi Knowledge Catalog Resource Datastream Peran atau izin yang diperlukan
Menelusuri referensi Datastream Aliran Data datastream.streams.get
Profil koneksi datastream.connectionProfiles.get
Konfigurasi konektivitas pribadi datastream.privateConnections.get

Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses. Untuk mengetahui informasi selengkapnya tentang peran IAM Datastream, lihat Peran dan izin IAM untuk Datastream.

Peran yang diperlukan untuk menelusuri entri

Untuk menelusuri entri, Anda memerlukan setidaknya salah satu peran IAM berikut pada project yang digunakan untuk penelusuran:

Izin pada hasil penelusuran diperiksa secara independen dari project yang dipilih. Untuk mengetahui informasi selengkapnya, lihat Menelusuri aset data dengan Knowledge Catalog.

Menelusuri aset Datastream

Gunakan halaman penelusuran Knowledge Catalog di konsol Google Cloud untuk menelusuri aset Datastream.

  1. Buka halaman Search Knowledge Catalog.

    Buka Penelusuran

  2. Di Choose search platform, pilih Knowledge Catalog.

  3. Di panel Filters, klik Systems, lalu pilih Datastream.

  4. Opsional. Di Type aliases, Anda dapat memfilter hasil penelusuran ke jenis aset Datastream tertentu dengan memilih satu atau beberapa alias jenis berikut:

    • Aliran data: untuk menelusuri aliran data Datastream.
    • Profil koneksi: untuk menelusuri profil koneksi Datastream.
    • Connection: untuk menelusuri konfigurasi konektivitas pribadi Datastream.

Anda dapat menggunakan kolom penelusuran di Knowledge Catalog untuk menjalankan kueri penelusuran kata kunci. Misalnya, Anda dapat memasukkan system=Datastream AND type=Stream untuk melihat semua aliran Datastream.

Untuk mengetahui informasi selengkapnya, lihat Sintaksis penelusuran untuk Knowledge Catalog.

Untuk melihat semua aset Datastream, masukkan system=Datastream.

Kemudian, Anda dapat memasukkan kata kunci tertentu. Misalnya, untuk melihat semua aliran data Datastream:

system=Datastream AND type=Stream

Untuk melihat semua profil koneksi, masukkan kueri berikut:

system=Datastream AND type=ConnectionProfile

Anda juga dapat menggunakan tanda kurung dan operator logika AND dan OR untuk ekspresi yang kompleks. Untuk mempelajari lebih lanjut ekspresi yang dapat Anda gunakan di kolom penelusuran, lihat Sintaksis penelusuran untuk Knowledge Catalog.

Anda dapat langsung memasukkan kueri penelusuran untuk aset Datastream tertentu ke dalam kolom penelusuran. Format string kueri adalah sebagai berikut:

type="projects/dataplex-types/locations/global/entryTypes/QUERY_STRING"

Ganti kode berikut:

  • QUERY_STRING: gunakan daftar berikut untuk mengidentifikasi string kueri berdasarkan jenis aset Datastream yang ingin Anda kueri:

    • datastream-stream
    • datastream-connection-profile
    • datastream-private-connection

Contoh kueri mungkin akan terlihat seperti berikut:

type="projects/dataplex-types/locations/global/entryTypes/datastream-stream"

Harga

Penyimpanan metadata teknis Datastream di Knowledge Catalog tidak dikenai biaya. Harga Knowledge Catalog standar berlaku untuk panggilan API dan pengayaan metadata bisnis tambahan. Untuk mengetahui informasi selengkapnya, lihat halaman harga Knowledge Catalog.

Langkah berikutnya