借助 Knowledge Catalog(以前称为 Dataplex Universal Catalog)中的搜索功能,您可以使用自然语言查询(通过语义匹配、关键字和结构化谓词)发现整个组织中的资源。您可以查找特定数据资产、探索跨系统的相关元数据,或检索程序化和智能体工作流的限定范围结果。
使用场景
以下列表介绍了常见的搜索用例,以及说明和示例查询:
有针对性的资产查找:通过搜索与资产名称、列或说明相关的关键字,查找特定资产。
示例查询
retail_transactions_2026customer_idcolumn:customer_id
广泛的数据发现:使用开放式自然语言或关键字查询,在整个组织中识别相关资产。
示例查询
quarterly financial reportsad campaign click through rates tablesserver health metricsaudit logs system=bigquery
针对工作流的限定范围资产检索:枚举特定容器(例如项目)中的资产,或具有特定属性(例如类型或系统)的资产。此方法常用于程序化和智能体工作流。
示例查询
type=table projectid:banking-prod aspect:classification.tier=PIIsystem=spanner projectid:inventory-service (parent=marketing_analytics OR parent=finance_analytics)
工作原理
搜索功能会自动为 Knowledge Catalog 中维护的数据资产的所有上下文编制索引。这包括以下内容:
- 从 Google Cloud 数据源(例如 BigQuery 和 Cloud SQL)自动提取的元数据
- 通过连接器和集成注入的资源的上下文
- 您为资源创建的其他上下文,例如表示业务上下文或描述数据语义。上下文也可能以方面或关联的业务术语的形式捕获。
在处理查询时,搜索会结合使用语义匹配和关键字匹配。下表介绍了可与 Knowledge Catalog 搜索搭配使用的查询类型,以及说明和示例查询:
| 查询类型 | 用法 | 示例 |
|---|---|---|
| 单个关键字 | 用于在元数据元素(例如资产名称、说明和架构)中进行精确匹配和子字符串匹配。 | prd_fin_invoices_fct_v02 |
| 部分关键字和词元化片段 | 匹配元数据内容中的子字符串,即使使用缩写词、分隔词或命名变体,也能找到资源。 | fin transactions 2026(与 prd_fin_transactions_fy2026_raw 匹配) |
| 自然语言查询 | 使用语义匹配,无需精确的名称或列匹配。 | customer churn prediction features |
| 结构化谓词 | 将自由文本查询与显式谓词过滤条件结合使用,以缩小搜索结果范围。 | audit logs system=bigquery |
| 扩展语法 | 用于精确搜索,缩小到特定范围。扩展语法最常用于智能体和程序化应用场景。如需了解详情,请参阅搜索语法。 | (system:bigquery OR system:spanner) AND
column:credit_card_number aspect:classification.tier=PII
-projectid:sandbox-project |
搜索结果可解释性
在 Knowledge Catalog 中搜索资源时,Google Cloud 控制台中的搜索结果会直接在结果卡片上提供可解释性标记。这些标记会突出显示数据资产中与您的查询匹配的具体部分,包括架构列名称、条目级切面、列级切面和业务术语库术语。
可解释性可帮助您评估资源相关性,而无需打开和检查各个架构。如需了解详情,请参阅搜索结果可解释性。
在 Knowledge Catalog 中使用搜索功能
您可以通过以下方式在 Knowledge Catalog 中使用搜索功能:
- 通过 Google Cloud 控制台中的搜索页面。如需了解详情,请参阅搜索资源。
gcloud dataplex entries searchgcloud CLI。searchEntriesAPI 和 Cloud 客户端库。- 远程 MCP 服务器和 MCP Toolbox for Databases,用于交互式使用,并为智能体和程序化工作负载提供支持。
搜索范围
Knowledge Catalog 中的搜索结果会考虑您对源系统中相应资源的权限。
例如,如果您拥有某个对象的 BigQuery 元数据读取权限,则该对象会显示在 Knowledge Catalog 搜索结果中。如果您有权访问 BigQuery 表,但无权访问该表所属的数据集,则表仍会按预期显示在 Knowledge Catalog 搜索中。
默认情况下,搜索范围限定为您的组织。结果仅包含与您在其中搜索的项目属于同一组织的资源。
搜索结果仅包含与执行搜索的项目属于同一 VPC Service Controls 边界的资源。使用Google Cloud 控制台时,这是在控制台中选择的项目。
如需将搜索结果的范围扩大到项目 VPC Service Controls 边界内的资源之外,请使用 VPC Service Controls 入站流量和出站流量规则。这些规则有助于在组织中以不公开方式高效地交换数据。您可以使用Google Cloud 控制台或通过 JSON 或 YAML 文件来配置入站和出站规则。请参阅以下 YAML 示例,并查阅 VPC Service Controls 文档,根据您的具体要求定制规则。
egressPolicies:
- egressFrom:
identityType: ANY_USER_ACCOUNT
egressTo:
# Specify which resources should be present in the search results. In this example,
# BigQuery.
operations:
- methodSelectors:
- method: '*'
serviceName: bigquery.googleapis.com
# Specify project ids under which the search is performed.
resources:
- projects/SEARCH_PROJECT_ID
ingressPolicies:
- ingressFrom:
identityType: ANY_USER_ACCOUNT
sources:
- accessLevel: '*'
ingressTo:
# Specify which resources should be present in the search results. In this example,
# BigQuery.
operations:
- methodSelectors:
- method: '*'
serviceName: bigquery.googleapis.com
# Specify project ids to expose in search results.
resources:
- projects/INGRESS_PROJECT_ID
如需详细了解您需要使用 Knowledge Catalog 搜索的 Identity and Access Management 角色,请参阅 Knowledge Catalog IAM 角色。
使用 VPC Service Controls 按环境隔离搜索结果
如需在开发、测试和生产等环境之间隔离 Knowledge Catalog 搜索结果,请为每个环境配置单独的 VPC Service Controls 边界。将包含数据资产的项目和用于执行搜索的项目都分配到相应环境的边界。从特定边界内的项目执行的搜索仅返回位于同一边界内的资产的结果。
搜索中的召回限制
Knowledge Catalog 搜索针对探索性发现(而非详尽的清单检索)进行了优化,因此搜索查询无法保证完全召回。查询可能会省略匹配的结果,并且返回的结果可能会因重复查询而异。
召回率损失的原因
当您搜索时,Knowledge Catalog 会根据访问权限控制限制(600 个限制,即权限评估规则)动态检查您的权限。如果您的访问权限检查超出此限制,系统会提前停止检查,以保持搜索速度。如果发生这种情况,搜索可能会漏掉匹配的资产。
如果满足以下任一条件,您很可能会达到此限制:
- 直接在数百个单独资源上分配的 IAM 角色。
- 许多 Google 群组中的成员资格,每个群组都授予对单个资源的访问权限。
- 直接跨数百个单独资源授予访问权限的 Google 群组中的成员资格。
解决召回限制和结果缺失问题
如需解决召回问题或检索完整元数据,请选择与您的目标相符的方法:
- 如需修正缺失或不一致的搜索结果:请减少总访问权限检查次数,使其低于 600 次限制。仅授予对所需资源的访问权限,并移除对不需要权限的资源或 Google 群组的访问权限。您还可以在项目或文件夹级层(而非单个资源上)授予角色。
- 如需检索完整、有保证的元数据清单:请勿使用搜索功能。 不过,您可以将元数据导出到 Cloud Storage,然后使用 BigQuery 查询完整数据集。
后续步骤
- 了解搜索结果可解释性。
- 了解 Knowledge Catalog 的搜索语法。
- 了解如何搜索资源。
- 尝试 Knowledge Catalog 应用场景。
- 利用 Knowledge Catalog 发现代理回答复杂的自然语言查询。