将 Knowledge Catalog 与 BigQuery 搭配使用
Knowledge Catalog（以前称为 Dataplex Universal Catalog）与 BigQuery 交互，作为 BigQuery 元数据的中央数据治理和智能体访问层。如需了解详情，请参阅 Knowledge Catalog 概览。
如何将 Knowledge Catalog 与 BigQuery 搭配使用？
Knowledge Catalog 通过以下方式与 BigQuery 交互。
自动提取元数据
Knowledge Catalog 会自动发现 BigQuery 资产中的技术元数据并为其编制索引。这包括以下内容：
- 资产类型：数据集、表、视图、模型、例程、连接、关联的数据集和图表（预览版）。
- BigQuery Sharing：来自 BigQuery Sharing（以前称为 Analytics Hub）的交换和清单。
- 实时更新：系统支持近乎实时的提取，并使用 Pub/Sub 提供元数据更改 Feed，以通知下游系统 BigQuery 中的架构更改或删除。
- 暗数据发现：Knowledge Catalog 可以扫描非结构化文件（例如 Cloud Storage 中的 PDF），提取实体，并将其转换为 BigQuery 中的可查询资产。借助此功能，以前无法访问的“暗数据”可用于基于 BigQuery 的分析和 AI 基础。
元数据表示和丰富
- 条目：每个 BigQuery 表或资产在目录中都表示为一个条目，而不是整个表；例如
project.dataset.table。 - 数据质量统计信息摘要集成：Knowledge Catalog 为目录中的每个条目提供数据质量统计信息摘要。除了内置的 Knowledge Catalog 数据扫描之外，Dataform 的断言结果也是此记分卡的来源。
自动元数据丰富：对于使用 Dataform 创建的表和视图，您可以直接在代码中定义语义元数据。流水线操作成功完成后，此元数据会自动同步到 Knowledge Catalog。支持以下切面类型：
- 概览：条目的文档和摘要文本。
- 通用切面：用于技术细节（例如表系统和类型信息）的语义元数据标记。
如需查看元数据更新的状态，请按照查看过去的手动运行情况中的说明操作。
元数据同步后，您可以在 Knowledge Catalog 中搜索和查看该条目。如需了解详情，请参阅搜索资源。
列级元数据：各个列或字段表示为路径，可让您将特定元数据（例如 PII 标记或数据质量分数）附加到 BigQuery 表中的各个字段，而不仅仅是表本身。
切面：技术元数据通过切面进行丰富，这些切面可为数据添加业务情境，例如所有权、数据质量和文档。
数据产品：您可以将相关的 BigQuery 资产打包到数据产品中（例如电子商务商家数据），这些产品具有共享访问权限和治理限制。
数据发现和搜索
- 语义搜索：用户可以使用自然语言搜索 BigQuery 数据，这对于数据科学家和 AI 智能体使用长查询或复杂查询查找可信数据产品特别有用。
- 名称转换：为了更轻松地进行程序化查找，系统允许将 BigQuery SQL 名称或完全限定名称转换为 Knowledge Catalog 条目名称。
智能体访问和接地
- 智能体访问：AI 智能体可以通过本地或远程 MCP 服务器发现并自适应地使用 Knowledge Catalog 工具。
- AI 智能体的上下文：Knowledge Catalog 会整理上下文图，将 BigQuery 数据集与业务语义相关联，确保模型使用企业批准的数据，从而帮助减少 AI 幻觉。
治理和合规
- 数据沿袭：Knowledge Catalog 会自动跟踪数据如何流入和流出 BigQuery 表以及如何在其中进行转换。此功能对于在整个数据资产中审核敏感信息（例如个人身份信息）至关重要。
- 访问权限控制：元数据管理与 Identity and Access Management (IAM) 和 VPC Service Controls 集成，可确保 BigQuery 元数据的发现和访问遵循组织安全政策。
后续步骤
详细了解 Knowledge Catalog：