Ringkasan set konteks

Set konteks Knowledge Catalog memungkinkan Anda mengemas skema data, definisi semantik, dan pola kueri yang divalidasi ke dalam container pengetahuan yang dibatasi dan spesifik per domain. Pengetahuan domain yang ditargetkan ini secara andal mendasari aplikasi AI otonom seperti Gemini Enterprise dan agen kustom sehingga dapat beroperasi dengan presisi tinggi.

Dokumen ini ditujukan untuk arsitek data, pimpinan tata kelola, dan engineer AI yang ingin memahami cara set konteks menyusun pengetahuan domain untuk agen AI.

Apa itu set konteks?

Set konteks adalah grup entri Knowledge Catalog khusus (penampung logis untuk data metadata) yang mengemas kumpulan informasi semantik dan referensi aset data mandiri untuk domain analisis dan agen AI tertentu.

Di dalam penampung ini, pengetahuan diatur ke dalam entri, yang mewakili konsep bisnis, dokumen, atau aset data individual. Entri ini diperkaya dengan aspek, yang merupakan atribut metadata modular yang menyimpan detail spesifik seperti istilah bisnis, template SQL, dan dokumentasi Markdown.

Daripada memaksa agen menelusuri seluruh katalog perusahaan, yang menyebabkan latensi, membuang token perintah, dan berisiko menghasilkan jawaban halusinasi, set konteks membuat container pengetahuan yang kedap dan tercakup dalam domain yang dapat dikonsultasikan oleh agen dengan presisi tinggi.

Karena set konteks berfungsi sebagai container administratif, Anda dapat mengatur metadata berdasarkan kepemilikan project dan menerapkan kebijakan kontrol akses Identity and Access Management (IAM) di semua entri yang dipaketkan sekaligus tanpa mengonfigurasi izin satu per satu. Untuk mengetahui informasi selengkapnya tentang grup entri, entri, dan aspek, lihat Tentang pengelolaan metadata.

Persyaratan grounding agen AI

Saat organisasi men-deploy agen AI otonom (seperti Gemini Enterprise, Antigravity, dan agen Agent Development Kit kustom) untuk mengorkestrasi alur kerja data dan menghasilkan analisis, agen memerlukan grounding yang andal:

  • Definisi semantik: Apa arti kolom atau metrik tertentu dalam istilah bisnis?
  • Pola kueri yang divalidasi: Bagaimana pakar domain berhasil membuat kueri dan menggabungkan tabel ini?
  • Aturan operasional: Kebijakan bisnis, kriteria pengecualian, dan prosedur operasi standar (SOP) apa yang mengatur data ini?

Diagram arsitektur berikut mengilustrasikan cara kerja empat konvensi penamaan logis inti bersama-sama dalam batas grup entri untuk mendukung aplikasi AI downstream:

Empat konvensi penamaan dalam batas set konteks yang membatasi penelusuran agen AI.
Gambar 1. Empat konvensi penamaan yang diseleksi dalam batas grup entri set konteks.

Meskipun set konteks tidak sepenuhnya mengharuskan setiap jenis entri berfungsi, sebaiknya atur entri Anda menggunakan konvensi penamaan logis berikut. Menggunakan konvensi penamaan ini membantu memastikan manusia dan agen otonom dapat menemukan dan menafsirkan pengetahuan secara konsisten:

Pola penamaan Jenis entri Deskripsi dan tujuan Aspek terlampir
Konsep bisnis concepts_<id> generic Istilah glosarium bisnis, definisi metrik, akronim, dan formula penghitungan. glossary-term-aspect, contacts.
Dokumen documents_<path> document Konteks naratif, prosedur operasi standar (SOP), wiki orientasi, dan petunjuk ke dokumentasi eksternal. Document, overview (rich text Markdown dan link).
Template kueri query-templates_<path> query-template Template kueri SQL berparameter yang telah divalidasi sebelumnya, logika gabungan frekuensi tinggi, dan pola eksekusi. query-template (mencakup kolom seperti sources, intent, nlQuery, parameters, dan query).
Model semantik semantic-models_<id> semantic-model, semantic-entity, semantic-metric Model relasional formal, definisi entity, hierarki dimensi, dan ukuran. semantic-model, semantic-entity, semantic-metric.

Konsep bisnis

Entri konsep bisnis (Entri jenis generik menggunakan konvensi penamaan concepts_*) menentukan terminologi bisnis standar, metrik domain, akronim, dan formula penghitungan (glossary-term-aspect).

Kemampuan utamanya meliputi:

  • Penyelarasan terminologi: Menghilangkan ambiguitas terminologi di seluruh unit bisnis dan tim analisis.
  • Formula KPI: Memberikan formula dan logika matematika untuk indikator performa utama (KPI) khusus domain.
  • Kepemilikan organisasi: Menetapkan kepemilikan organisasi yang jelas melalui aspek tata kelola yang disertakan (contacts).

Misalnya, dalam kumpulan konteks e-commerce, entri di concepts_net_items_sold menentukan penghitungan unit bersih yang terjual secara tepat. Saat agen menerima perintah yang meminta "item bersih yang terjual", agen akan melihat entri konsep untuk menerapkan penghitungan yang diverifikasi, bukan membuat logika SQL.

Contoh representasi resource:

name: projects/cymbal-style/locations/us-central1/entryGroups/online-apparel-store/entries/concepts_net_items_sold
entryType: generic
aspects:
  dataplex-types.global.glossary-term-aspect:
    definition: "Calculates the absolute number of items sold minus customer returns in a given time period."

Dokumen

Entri dokumen (Entri jenis dokumen menggunakan konvensi penamaan documents_*) menyimpan konteks naratif dan prosedural dalam Markdown terstruktur (Document, overview).

Kemampuan utamanya meliputi:

  • Prosedur operasi standar (SOP): Mencatat SOP, checklist runbook, dan panduan orientasi langsung dalam katalog.
  • Kebijakan kepatuhan: Mendokumentasikan kebijakan kepatuhan, batasan peraturan (seperti aturan penanganan GDPR atau HIPAA), dan kriteria pengecualian.
  • Wiki referensi eksternal: Mereferensikan wiki aktif eksternal (seperti dokumen Google, Atlassian Confluence, Notion, atau GitHub) melalui pointer URI sumber (link overview).

Misalnya, set konteks pakaian mencakup documents_return_policy_rules untuk memberi petunjuk kepada agen tentang cara mengecualikan penjualan yang telah diselesaikan dan item yang rusak dalam pengiriman saat menghitung tarif pengembalian standar.

Contoh representasi resource:

name: projects/cymbal-style/locations/us-central1/entryGroups/online-apparel-store/entries/documents_return_policy_rules
entryType: document
aspects:
  dataplex-types.global.overview:
    content: "## Return Policy Rules\nItems marked FINAL_SALE or DAMAGED_IN_TRANSIT are excluded from return rates..."

Template kueri

Entri template kueri (Entri jenis query-template menggunakan konvensi penamaan query-templates_*) berisi kueri SQL berparameter yang diverifikasi manusia dan dipetakan ke intent analisis bahasa alami umum (menggunakan aspek query-template).

Kemampuan utamanya meliputi:

  • Kueri yang telah divalidasi sebelumnya: Menyimpan jalur gabungan, kondisi filter, dan pola agregasi yang telah divalidasi sebelumnya untuk pertanyaan bisnis berfrekuensi tinggi.
  • Parameterisasi runtime: Mendukung penggantian parameter runtime (seperti @start_date, @region, dan @limit) untuk eksekusi agen dinamis.
  • Pencegahan error: Mencegah penggabungan tabel halusinasi dan error sintaksis dialek SQL.

Misalnya, saat agen perlu menjawab pertanyaan tentang akun berperforma terbaik, agen akan mencocokkan query-templates_sales_top_accounts_by_arr dan mengganti rentang tanggal yang diminta ke dalam template SQL yang diverifikasi.

Contoh representasi resource:

name: projects/cymbal-style/locations/us-central1/entryGroups/online-apparel-store/entries/query-templates_top_categories_by_season
entryType: query-template
aspects:
  dataplex-types.global.query-template:
    intent: "Which e-commerce product categories performed best this season?"
    query: "SELECT category, SUM(revenue) FROM sales WHERE season = @season GROUP BY category ORDER BY 2 DESC LIMIT @limit"
    parameters:
      -   name: "season"
        type: "STRING"
      -   name: "limit"
        type: "INTEGER"

Model semantik

Entri model semantik (menggunakan jenis entri semantic-model, semantic-entity, dan semantic-metric menggunakan konvensi penamaan semantic-models_*) memformalkan struktur relasional, hierarki dimensi, dan ukuran agregasi di seluruh tabel yang dinormalisasi.

Kemampuan utamanya meliputi:

  • Definisi relasional: Menentukan kunci utama, kunci asing, dan kardinalitas gabungan (seperti hubungan one-to-many atau many-to-many).

  • Pemetaan dimensi bisnis: Memetakan kolom pokok mentah ke dimensi bisnis, perincian waktu, dan ukuran yang dapat digunakan kembali.

  • Panduan agen: Memandu agen otonom saat menyusun kueri analisis multi-tabel yang kompleks, saat tidak ada template kueri yang sama persis.

  • Mengabstraksi kompleksitas yang mendasarinya: Tidak seperti link entri schema-join mentah yang hanya mendokumentasikan koneksi tabel mekanis dalam set data sumber, model semantik beroperasi di lapisan bisnis logis untuk mencegah agen AI berhalusinasi tentang traversal diagram ER yang salah.

Misalnya, set konteks pakaian menggunakan semantic-models_apparel_sales_model untuk menentukan cara warehouses, shipments, dan line_items bergabung di seluruh tabel fakta dan dimensi skema bintang.

Contoh representasi resource:

name: projects/cymbal-style/locations/us-central1/entryGroups/online-apparel-store/entries/semantic-models_apparel_sales_model
entryType: semantic-model
aspects:
  dataplex-types.global.semantic-model:
    entities:
      -   name: "products"
      -   name: "orders"
    relationships:
      -   sourceEntity: "orders"
        foreignKey: "product_id"
        targetEntity: "products"
        primaryKey: "id"
        type: "MANY_TO_ONE"

Contoh: Kumpulan konteks toko pakaian online

Untuk menunjukkan cara kerja keempat konvensi penamaan ini, pertimbangkan retailer pakaian online yang men-deploy asisten AI untuk merchandiser toko. Tanpa konteks terbatas, agen mungkin mengkueri tabel staging mentah atau salah menghitung item populer karena tidak mengurangi pengembalian pelanggan.

Untuk melakukan grounding pada agen, data steward membuat set konteks bernama online-apparel-store:


EntryGroup: projects/cymbal-style/locations/us-central1/entryGroups/online-apparel-store
(EntryGroup.type = "context-set")
│
├── concepts_* (Business concepts)
│   ├── concepts_net_items_sold
│   │     Formula: SUM(orders.quantity) - SUM(returns.quantity)
│   └── concepts_bestseller
│         Definition: Any clothing item with >= 500 net units sold within a 30-day window
│
├── documents_* (Documents and SOPs)
│   ├── documents_return_policy_rules
│   │     Markdown SOP: Exclude items marked 'FINAL_SALE' or 'DAMAGED_IN_TRANSIT' from standard return rates
│   └── documents_size_chart_guide
│         Markdown guide: Sizing conversions across US, UK, and EU clothing labels
│
├── query-templates_* (Golden SQL queries)
│   └── query-templates_top_categories_by_season
│         Verified SQL template with parameters: @season, @limit
│
└── semantic-models_* (Semantic models)
    └── semantic-models_apparel_sales_model
          Join keys: orders.product_id = products.product_id (many-to-one)
                     orders.order_id = returns.order_id (one-to-many)

Cara agen menyelesaikan perintah

Saat merchandiser bertanya kepada agen, "Apa 5 gaya jaket musim dingin terlaris kami, tidak termasuk pengembalian barang yang rusak?", agen akan menyelesaikan perintah melalui set konteks:

  1. Pencarian template kueri: Agen memeriksa query-templates_* dan mencocokkan query-templates_top_categories_by_season, mengganti @season = 'Winter' dan @limit = 5.

  2. Verifikasi konsep: Agen memeriksa concepts_net_items_sold dan concepts_bestseller untuk mengonfirmasi bahwa item yang dikembalikan harus dikurangi dari total jumlah pesanan.

  3. Penegakan aturan SOP: Agen membaca documents_return_policy_rules dan menambahkan kondisi filter WHERE return_reason != 'DAMAGED_IN_TRANSIT'.

  4. Validasi skema dan penggabungan: Menggunakan semantic-models_apparel_sales_model dan tabel @bigquery yang ditautkan, agen menggabungkan store.orders, store.products, dan store.returns menggunakan kunci asing yang diverifikasi dan menjalankan kueri SQL.

Kemampuan arsitektur

Set konteks menyediakan beberapa kemampuan inti untuk lingkungan data perusahaan:

  • Batas eksekusi hermetis: Dengan membatasi konteks ke kumpulan aset dan entri semantik yang diseleksi, agen beroperasi dalam sandbox hermetis. Hal ini menghilangkan derau katalog yang tidak relevan, membantu memastikan evaluasi deterministik, dan meminimalkan penggunaan token.

  • Upload cepat dan pengindeksan massal: Tim dapat mengupload dan mengindeks set konsep, kueri, dan dokumen sebagai satu operasi atomik, yang memungkinkan Anda berintegrasi dengan pipeline continuous integration dan deployment (CI/CD).

  • Paket zero-copy: Context menetapkan metadata dan hubungan paket tanpa menyalin atau memindahkan penyimpanan data yang mendasarinya, sehingga menghindari biaya penyimpanan yang berlebihan dan keterlambatan sinkronisasi data.

Pola konsultasi agen

Agen downstream menggunakan set konteks melalui Model Context Protocol (MCP) atau API Knowledge Catalog langsung. Untuk mengetahui informasi selengkapnya, lihat Mengambil konteks data dengan Catalog API. Untuk mengoptimalkan latensi respons dan meminimalkan konsumsi token, agen mengikuti hierarki konsultasi tiga tingkat:

  1. Pencocokan template kueri: Agen menelusuri query-templates_*. Jika template yang diverifikasi cocok dengan intent pengguna, agen akan membuat parameter kueri dan menjalankannya secara langsung. Hal ini memberikan respons tercepat dengan risiko error kueri yang hampir nol.

  2. Perakitan model semantik: Jika tidak ada template kueri yang cocok, agen akan mengevaluasi semantic-models_* untuk memahami hubungan entity dan membuat pernyataan SQL multi-tabel.

  3. Konsultasi dokumen dan konsep: Untuk kasus ekstrem yang ambigu (seperti batas kalender fiskal atau pengecualian sengketa), agen membaca concepts_* dan documents_* untuk menerapkan aturan bisnis.

Menggunakan konteks dalam aplikasi AI generatif

Aplikasi AI generatif menggunakan set konteks yang diseleksi untuk memahami semantik domain perusahaan, menavigasi skema yang kompleks, dan menghasilkan SQL yang andal tanpa halusinasi. Aplikasi biasanya menggunakan set konteks ini melalui dua pola utama:

  • Penemuan konteks dinamis: Dalam lingkungan analisis percakapan atau layanan mandiri, pengguna mengajukan pertanyaan ad hoc dalam bahasa alami. Aplikasi akan mengevaluasi niat pengguna secara dinamis untuk mengidentifikasi dan mengambil set konteks yang paling relevan dari Knowledge Catalog, lalu memasukkan pengetahuan domain yang diambil ke dalam perintah aktif.

  • Set konteks yang telah dikonfigurasi sebelumnya: Untuk aplikasi agen khusus, Anda dapat mengonfigurasi agen terlebih dahulu dengan referensi set konteks eksplisit dengan memberikan URI resource-nya. Mengikat set konteks khusus memberikan grounding deterministik, yang menjamin bahwa semua interaksi menggunakan definisi bisnis bersertifikasi tanpa overhead penelusuran runtime. Agen akan otomatis mewarisi peningkatan kualitas seiring alur kerja pengayaan berulang menyempurnakan set konteks dari waktu ke waktu.

    Untuk mengoptimalkan kemampuan pengayaan dan pembelajaran mandiri ini, sebaiknya tentukan model Gemini 3.8 Flash atau yang lebih baru di aplikasi Gemini Enterprise. Untuk mengetahui informasi selengkapnya tentang langkah-langkah pemilihan model, lihat bagian "Membuat agen menggunakan flow builder" di Mendesain agen di Agent Studio.

Perbandingan set konteks dengan konstruksi terkait

Untuk memilih konstruksi metadata yang tepat untuk arsitektur Anda, baca perbandingan set konteks Knowledge Catalog dengan kemampuan platform terkait.

Set konteks dibandingkan dengan grafik konteks

Grafik konteks dan set konteks adalah dua konstruksi terpisah dengan peran yang berbeda dalam arsitektur Knowledge Studio:

  • Grafik konteks: Topologi semantik yang komprehensif dan live di seluruh organisasi Anda. Silsilah data ini menautkan aset data pokok, istilah glosarium bisnis, dan jejak interaksi. Anda dapat menjelajahi dan melintasi grafik terbuka ini secara interaktif di antarmuka Explore.

  • Set konteks: Unit pengemasan yang dibatasi, regional, dan diseleksi. Alat ini mengekstrak dan mengemas secara hermetis subset tertentu dari pengetahuan domain ke dalam grup entri (type="context-set") untuk dikueri oleh agen AI downstream melalui Model Context Protocol (MCP). Set konteks bertindak sebagai sub-grafik yang kohesif dan berkepadatan tinggi dalam grafik konteks yang lebih luas.

Set konteks Knowledge Catalog dibandingkan dengan set konteks database

Knowledge Catalog dan database operasional Google Cloud menggunakan istilah set konteks untuk merujuk pada informasi yang diseleksi yang mendasari model AI generatif.

Meskipun kedua variasi memiliki arsitektur dasar yang sama—keduanya disimpan secara native sebagai set konteks Knowledge Catalog (grup entri yang dapat diperluas dengan type="context-set") dan menggunakan API Knowledge Catalog standar, keduanya menargetkan lapisan stack data perusahaan yang berbeda:

  • Set konteks database (QueryData): Dibuat untuk melayani database operasional dan transaksional (seperti AlloyDB untuk PostgreSQL, Cloud SQL, dan Spanner). Set konteks ini sangat dioptimalkan untuk konfigurasi SQL. Kumpulan data ini menggabungkan template golden query, metadata skema, dan aspek pemfilteran yang dievaluasi oleh agen rekayasa konteks khusus untuk meningkatkan terjemahan natural language ke SQL (NL2SQL) dalam runtime operasional.
  • Set konteks Knowledge Catalog (Knowledge Studio): Dibuat untuk melayani estate data analisis (seperti BigQuery, data lake house, dan produk data Knowledge Catalog). Set konteks ini mengemas pengetahuan multimodal yang lebih luas di berbagai konvensi penamaan, termasuk konsep bisnis, wiki dokumentasi Markdown, dan model semantik. Data ini diseleksi menggunakan alur kerja pengayaan Knowledge Studio dan disajikan ke agen analisis downstream melalui Model Context Protocol (MCP).

Set konteks dibandingkan dengan produk data

Memahami cara set konteks berinteraksi dengan produk data Knowledge Catalog membantu Anda menetapkan batasan tata kelola data dan AI yang jelas:

  • Produk data mengelola resource yang mendasarinya: Produk data menggabungkan resource konkret seperti tabel, bucket, dan aliran data BigQuery dengan aman, sehingga menetapkan unit utama untuk berbagi data, kontrak data, dan kontrol akses bidang data.

  • Set konteks menggabungkan semantik percakapan: Set konteks tidak memberikan akses data; melainkan menggabungkan pengetahuan domain seperti konsep, template kueri, dan dokumen yang diperlukan oleh agen AI dan manusia untuk memahami data. Petugas data dapat menautkan set konteks ke produk data dengan mendeklarasikannya dalam referensi additional_context produk.

Keamanan dan tata kelola perusahaan

Set konteks terintegrasi dengan Google Cloud kontrol keamanan dan tata kelola untuk membantu melindungi metadata perusahaan yang sensitif:

  • Peran IAM set konteks: Karena set konteks sering kali berisi informasi semantik yang sensitif, akses diatur oleh peran IAM yang diterapkan langsung ke grup entri context-set. Dengan begitu, Anda dapat mengatur pengetahuan yang diseleksi berdasarkan wilayah geografis dan kepemilikan domain, memberikan izin modifikasi kepada pengelola domain dan izin baca kepada agen AI yang menggunakannya. Untuk membuat set konteks, Anda harus memiliki izin IAM dataplex.entryGroups.setIamPolicy. Izin ini diperlukan untuk otomatis memberi Anda izin pemilik selama pembuatan set konteks. Anda bisa mendapatkan izin ini melalui peran yang telah ditetapkan, seperti peran Dataplex Catalog Admin (roles/dataplex.catalogAdmin) atau Dataplex Entry Group Owner (roles/dataplex.entryGroupOwner).

  • Keamanan data pokok tanpa salinan: Memberikan akses agen ke set konteks memungkinkan agen membaca metadata semantik dan template kueri, tetapi tidak mengabaikan kontrol akses pada tabel pokok. Untuk menjalankan kueri SQL terhadap BigQuery atau membaca file di Cloud Storage, identitas yang menjalankan kueri harus memiliki izin IAM bidang data yang diperlukan pada resource yang mendasarinya.

  • Tata kelola human-in-the-loop: Saat tugas pengayaan Knowledge Studio otonom mengekstrak konsep, SOP, atau template kueri baru dari log operasional, proposal akan dipentaskan sebagai permintaan perubahan yang dapat ditinjau. Petugas data memeriksa perbandingan perbedaan dan skor evaluasi sebelum menyetujui perubahan pada set konteks produksi. Untuk mengetahui informasi selengkapnya tentang peninjauan proposal, lihat Mengelola permintaan.

  • Identitas eksekusi yang dikelola pengguna: Tugas pengayaan otomatis yang mengisi set konteks dijalankan di akun layanan yang dikelola pengguna yang ditiru oleh Agen Layanan Dataplex melalui peran Service Account Token Creator (roles/iam.serviceAccountTokenCreator).

Melihat pratinjau cakupan dan batasan

Selama Pratinjau, set konteks beroperasi dalam batasan berikut:

  • Cakupan regional: Set konteks global yang ditautkan ke aset data regional tidak didukung. Set konteks harus selaras dengan batas regional aset yang dipaketkannya.

  • Antarmuka penulisan dan penggunaan: Anda dapat membuat set konteks melalui container Knowledge Studio di konsol Google Cloud , sehingga tetap berbeda secara logis dari grup entri administratif Knowledge Catalog standar. Anda dapat mengisi set konteks secara otomatis melalui alur kerja pengayaan Knowledge Studio. Agen AI downstream dapat menemukan dan mengkueri set konteks secara terprogram menggunakan Knowledge Catalog API (ListEntries dan LookupEntry) serta Model Context Protocol (MCP). Untuk mengetahui informasi selengkapnya, lihat Tentang server MCP.

  • Penagihan: Knowledge Catalog tidak mengenakan biaya SKU mandiri terpisah untuk membuat grup entri set konteks.

  • Kuota bersama: Karena set konteks pada dasarnya adalah grup entri khusus (type="context-set"), set konteks menggunakan dan berbagi kuota resource yang sama dengan grup entri Knowledge Catalog standar.

Langkah berikutnya

Konsep

Pelajari cara mengorkestrasi konteks data lengkap, membangun set konteks, dan melakukan grounding pada agen AI menggunakan antarmuka Knowledge Studio.

Tugas

Gunakan kanvas visual di Knowledge Studio untuk melakukan chat dengan data Anda dan melacak hubungan semantik.

Konsep

Memahami cara entri, grup entri, dan aspek membentuk fondasi struktural set konteks.

Konsep

Mengekspos set konteks dan metadata lengkap ke agen AI generatif downstream menggunakan MCP.

Tugas

Temukan dan ambil set konteks secara terprogram untuk penalaran AI generatif menggunakan API `ListEntries` dan `LookupEntry`.

Tugas

Pelajari cara membuat, melihat, mengedit, dan menghapus set konteks di untuk mengatur pengetahuan domain.