Tentang penelusuran di Knowledge Catalog

Gunakan penelusuran Knowledge Catalog (sebelumnya Dataplex Universal Catalog) untuk menemukan resource di seluruh organisasi Anda menggunakan kueri natural language dengan pencocokan semantik, kata kunci, dan predikat terstruktur.

Kasus penggunaan

Daftar berikut menjelaskan kasus penggunaan penelusuran umum, beserta deskripsi dan contoh kueri:

  • Pencarian aset yang ditargetkan: Temukan aset tertentu dengan menelusuri kata kunci yang terkait dengan nama, kolom, atau deskripsi aset.

    Contoh kueri

    • retail_transactions_2026
    • customer_id
    • column:customer_id

  • Penemuan data yang luas: Identifikasi aset yang relevan di seluruh organisasi Anda menggunakan bahasa alami terbuka atau kueri kata kunci.

    Contoh kueri

    • quarterly financial reports
    • ad campaign click through rates tables
    • server health metrics
    • audit logs system=bigquery

  • Pengambilan aset yang tercakup untuk alur kerja: Mencantumkan aset dalam penampung tertentu, seperti project, atau dengan properti tertentu, seperti jenis atau sistem. Pendekatan ini sering digunakan untuk alur kerja terprogram dan berbasis agen.

    Contoh kueri

    • type=table projectid:banking-prod aspect:classification.tier=PII
    • system=spanner projectid:inventory-service (parent=marketing_analytics OR parent=finance_analytics)

Cara kerjanya

Penelusuran secara otomatis mengindeks semua konteks untuk aset data yang dikelola di Knowledge Catalog. Ini mencakup hal-hal berikut:

  • Metadata yang otomatis di-ingest dari Google Cloud sumber data seperti BigQuery dan Cloud SQL
  • Konteks untuk resource yang Anda masukkan melalui konektor dan integrasi
  • Konteks tambahan yang Anda buat untuk resource, misalnya, merepresentasikan konteks bisnis atau mendeskripsikan semantik data. Konteks juga dapat diambil dalam bentuk aspek atau istilah bisnis tertaut.

Saat memproses kueri Anda, penelusuran menerapkan kombinasi pencocokan semantik dan kata kunci. Tabel berikut menjelaskan jenis kueri yang dapat Anda gunakan dengan penelusuran Knowledge Catalog beserta deskripsi dan contoh kueri:

Jenis kueri Penggunaan Contoh
Satu kata kunci Untuk pencocokan persis dan substring di seluruh elemen metadata, seperti nama, deskripsi, dan skema aset. prd_fin_invoices_fct_v02
Kata kunci parsial dan fragmen yang di-tokenisasi Mencocokkan substring di seluruh konten metadata, menemukan resource meskipun dengan istilah yang disingkat, kata yang dipisahkan, atau variasi penamaan. fin transactions 2026 (matches prd_fin_transactions_fy2026_raw)
Kueri bahasa alami Menggunakan pencocokan semantik tanpa memerlukan kecocokan nama atau kolom yang persis. customer churn prediction features
Predikat terstruktur Menggabungkan kueri teks bebas dengan filter predikat eksplisit untuk mempersempit hasil penelusuran. audit logs system=bigquery
Sintaksis yang diperluas Untuk penelusuran yang akurat, dipersempit ke cakupan tertentu. Sintaksis yang diperluas paling sering digunakan dalam kasus penggunaan agentic dan terprogram. Untuk informasi selengkapnya, lihat Sintaksis penelusuran. (system:bigquery OR system:spanner) AND column:credit_card_number aspect:classification.tier=PII -projectid:sandbox-project

Anda memiliki opsi berikut untuk mengakses penelusuran di Knowledge Catalog:

Cakupan penelusuran

Hasil penelusuran di Knowledge Catalog mematuhi izin yang Anda miliki atas resource terkait di sistem sumber.

Misalnya, jika Anda memiliki akses baca metadata BigQuery ke suatu objek, objek tersebut akan muncul di hasil penelusuran Knowledge Catalog Anda. Jika Anda memiliki akses ke tabel BigQuery, tetapi tidak ke set data yang berisi tabel tersebut, tabel akan tetap muncul seperti yang diharapkan dalam penelusuran Knowledge Catalog.

Secara default, penelusuran dicakup ke organisasi Anda. Hasil hanya mencakup resource dari organisasi yang sama dengan project yang Anda telusuri.

Hasil penelusuran hanya mencakup resource yang termasuk dalam perimeter Kontrol Layanan VPC yang sama dengan project yang digunakan untuk melakukan penelusuran. Saat menggunakan konsolGoogle Cloud , project ini adalah project yang dipilih di konsol.

Untuk memperluas cakupan hasil penelusuran Anda di luar resource dalam perimeter Kontrol Layanan VPC project Anda, gunakan aturan ingress dan egress Kontrol Layanan VPC. Aturan ini memfasilitasi pertukaran data pribadi dan efisien di seluruh organisasi Anda. Anda dapat mengonfigurasi aturan ingress dan egress menggunakan konsolGoogle Cloud atau melalui file JSON atau YAML. Lihat contoh YAML berikut dan baca dokumentasi Kontrol Layanan VPC untuk menyesuaikan aturan dengan persyaratan spesifik Anda.

egressPolicies:
  - egressFrom:
      identityType: ANY_USER_ACCOUNT
    egressTo:
      # Specify which resources should be present in the search results. In this example,
      # BigQuery.
      operations:
      - methodSelectors:
        - method: '*'
        serviceName: bigquery.googleapis.com
      # Specify project ids under which the search is performed.
      resources:
      - projects/SEARCH_PROJECT_ID
ingressPolicies:
  - ingressFrom:
      identityType: ANY_USER_ACCOUNT
      sources:
      - accessLevel: '*'
    ingressTo:
      # Specify which resources should be present in the search results. In this example,
      # BigQuery.
      operations:
      - methodSelectors:
        - method: '*'
        serviceName: bigquery.googleapis.com
      # Specify project ids to expose in search results.
      resources:
      - projects/INGRESS_PROJECT_ID

Untuk mengetahui informasi selengkapnya tentang peran Identity and Access Management yang perlu Anda gunakan untuk melakukan penelusuran Knowledge Catalog, lihat Peran IAM Knowledge Catalog.

Mengisolasi hasil penelusuran menurut lingkungan menggunakan Kontrol Layanan VPC

Untuk mengisolasi hasil penelusuran Knowledge Catalog di antara lingkungan seperti pengembangan, pengujian, dan produksi, konfigurasi perimeter Kontrol Layanan VPC terpisah untuk setiap lingkungan. Tetapkan project yang berisi aset data dan project yang digunakan untuk melakukan penelusuran ke perimeter lingkungan yang sesuai. Penelusuran yang dilakukan dari project dalam perimeter tertentu hanya menampilkan hasil untuk aset yang berada dalam perimeter yang sama.

Batasan perolehan dalam penelusuran

Kueri penelusuran Knowledge Catalog tidak menjamin penarikan lengkap, yang berarti bahwa penelusuran mungkin tidak menampilkan hasil yang cocok dengan kueri Anda. Selain itu, hasil yang ditampilkan (dan tidak ditampilkan) mungkin bervariasi jika Anda mengulangi kueri penelusuran.

Untuk mengkueri semua metadata Knowledge Catalog, Anda dapat mengekspor metadata ke Cloud Storage, lalu menguerinya dari BigQuery. Untuk mengetahui informasi selengkapnya, lihat Mengekspor metadata.

Langkah berikutnya