Knowledge Catalog 依托 Gemini 的强大功能，可让您统一结构化和非结构化数据中的技术元数据和业务语义。然后，您可以使用生成的上下文图来发现资产、验证数据质量，并为生成式 AI 应用提供依据，以减少幻觉。
本文档适用于数据和上下文工程师、数据科学家、数据管家和 AI 开发者。本课程假定您熟悉数据库和存储系统（例如 BigQuery 或 Cloud Storage），并对生成式 AI 概念（例如检索增强生成 [RAG] 或 Model Context Protocol [MCP]）有基本的了解。
如需详细了解 Knowledge Catalog，请观看以下视频：
解决行业特有的数据复杂性问题
在现代企业中，数据复杂、高度分散，并且以结构化和非结构化格式存在。业务请求很少映射到单个数据库架构或文档存储区。如何安全地整合这些孤立的数据，同时针对跨领域问题提供即时、可靠的答案，是一项重大的运营挑战。
Knowledge Catalog 作为语义基础，弥合了这一差距，让 AI 智能体和分析工具能够检索有依据的相关上下文。
关键用户角色
情境工程师（数据工程师）。自动汇总数据库和 Cloud Storage 中的元数据，通过沿袭跟踪转换，并构建丰富和评估工作流。
数据管理员（治理团队）。通过对 AI 生成的说明进行人机协同审核、使用术语库标准化业务词汇，以及定义自定义方面来为目录条目附加特定领域的上下文，从而监督元数据质量。
AI 开发者。使用 MCP 服务器或上下文检索 API，通过可信的企业数据架构为 LLM 和 AI 应用提供接地。
行业使用场景
下表说明了实践中出现的复杂问题、这些问题如何跨越技术边界，以及 Knowledge Catalog 如何帮助组织解决这些问题：
| 行业 | 数据和运营挑战 | 需要解决的业务问题 | Knowledge Catalog 如何解决这些问题 |
|---|---|---|---|
| 电子商务 |
|
“查找退货率高且客户照片显示到货时有损坏迹象的电子产品。” | 跨数据格式的语义接地：自动从事务数据库中发现元数据，并将其与 Cloud Storage 存储桶中的非结构化图片相关联，从而让 AI 工具能够跨不同的存储系统解析查询。 |
| 制造 |
|
“为西部区域上季度未通过安全检查的机器生成所有相关检查报告的摘要。” | 区域和非结构化抓取：抓取非结构化 PDF 检查报告和资产元数据并将其编目，让生成式 AI 智能体能够按区域查找、编译和总结报告。 |
| 医疗保健 |
|
“根据最近的实验室生命体征和预约频率，哪些患者在 30 天内再次入院的风险最高？” | 数据质量和沿袭：计算电子健康记录 Feed 中的行级数据质量分析和沿袭图，这有助于确保临床预测模型仅依赖于经过验证的高质量患者生命体征。 |
| 金融服务 |
|
“哪些收入排名前 10 的客户投诉了‘性能问题’？这对第 3 季度的预测有何影响？” | 统一上下文图：统一客户记录、支持反馈和财务表格，让自然语言查询能够将客户收入统计数据与非结构化反馈文件结合起来，以预测财务影响。 |
为了应对这些运营挑战，Knowledge Catalog 提供了关键功能，可帮助数据工程师、数据科学家和 AI 开发者构建受治理的数据系统：
使用 Model Context Protocol (MCP) 为 AI 智能体提供依据。使用本地或远程 MCP 服务器，直接向 AI 智能体公开元数据、架构、沿袭和业务规则。这些服务器让模型能够在提出操作建议之前验证操作预期。
加速 AI 和分析领域的探索。使用自然语言语义搜索查找相关数据资产。生成式摘要和建议可帮助用户找到数据，而无需等待手动文档审核。
大规模治理数据产品。将资产集合与服务等级协议 (SLA)、合同、所有权详细信息和使用说明打包成单个受治理的单元，以便进行搜索和订阅。
Knowledge Catalog 的工作原理
Knowledge Catalog 通过三大支柱生命周期统一数据管理和上下文。下图展示了该服务如何将物理数据资产映射到业务语义，以便 AI 智能体进行接地：
如需详细了解这些元数据概念，请参阅元数据简介。
以下部分介绍了元数据生命周期的三大支柱，并说明了零售公司如何将这些支柱应用于数据库表、文件和外部目录条目：
汇总（发现和注入）。 Knowledge Catalog 会自动抓取整个数据资产中的技术元数据并为其编制索引，而无需移动底层数据：
- 内置数据库。自动编目功能可捕获 BigQuery、AlloyDB for PostgreSQL 和 Spanner 等平台中的架构和属性
- 托管式连接。从外部系统（例如 Oracle 或 PostgreSQL）或合作伙伴注册表（例如 Collibra）提取定义，而无需编写自定义流水线。
- 数据沿袭。跨流水线跟踪列级转换，以跟踪数据的来源和变化情况。
- 示例：一家零售公司自动提取事务数据库元数据（例如
orders和order_items表），并为存储在 Cloud Storage 存储桶中的非结构化商品文件编制索引。他们将外部数据库关联起来，在可发现的目录下建立统一的元数据索引。
充实（精选背景信息并验证可信度）。 Knowledge Catalog 为技术结构赋予业务含义，并建立信任信号：
- AI 生成的分析洞见。Gemini 会分析查询日志，以生成列说明、表摘要和推荐的联接。
- 术语表和切面。使用业务术语和逻辑模板将内部指标名称映射到共享词汇表。
- 数据质量和异常值检测。强制执行清洁度准则并运行机器学习扫描，以检测统计离群值或数据新鲜度问题，从而生成关键信任信号。
- 治理审核。通过工作流审核流程在发布前验证元数据更新，从而管理风险。
- 示例：零售团队通过触发数据洞见来推荐列说明并运行数据质量规则，从而丰富资产。他们通过创建术语表和切面，将业务定义映射到有效订单。
详细了解元数据丰富和信任验证（点击展开）
- 配置数据洞见：说明如何生成自动数据集说明和摘要。
- 管理业务术语库：介绍如何自定义标准术语和业务词汇。
- 使用切面丰富元数据：展示如何将结构化元数据属性附加到逻辑资产。
- 重复使用数据质量规则：展示如何建立和重复使用数据库验证规则。
- 数据分析概览：介绍如何配置扫描以检测架构异常和统计漂移。
搜索和检索（访问和接地）。AI 应用和业务用户查询统一上下文图表，以安全地访问数据：
- 接地代理。将基于 LLM 的应用和智能体连接到目录。
- Context API。执行低延迟接地载荷请求。
- 语义搜索。使用自然语言查询找到合适的素材资源。
- 数据打包。将表集合、许可详细信息和 SLA 捆绑到安全的自助式数据包中。
- 示例：分析师执行自然语言语义搜索来查找资产。AI 应用使用 MCP 服务器或上下文检索 API 安全地使用此索引，并且高质量资源会打包到安全视图中。
如需详细了解上下文检索和智能体接地（点击可展开）
- Model Context Protocol (MCP) 概览：说明如何将生成式 AI 智能体和应用层与 Knowledge Catalog 上下文连接起来。
- 使用 LookupContext 检索上下文：展示如何提取关键操作载荷以用于智能体提示。
- 搜索资产：介绍使用自然语言语义查询语法的资产查找功能。
Google Cloud 中的 Knowledge Catalog 和 AI 生态系统
在构建数据基础时，了解 Knowledge Catalog 如何与相关服务集成至关重要。
Google Cloud 个数据库和模型
- BigQuery。Knowledge Catalog 会自动抓取 BigQuery 数据集、表和视图并为其编制索引。它会触发由 Gemini 赋能的数据洞见，以分析查询历史记录、发布说明并建议经过验证的示例查询。
- Looker (Google Cloud Core)。Knowledge Catalog 会提取 Looker 信息中心、Look 和 LookML 结构，例如视图、探索、维度和度量。此提取过程会构建沿袭映射，以跟踪运营值如何映射到业务语义。
- Lighthouse 运行时目录。Knowledge Catalog 与 Lighthouse（开源 Iceberg 工作负载的运行时 metastore）集成。它会自动在 Lighthouse 工作负载之上为技术元数据编制索引，以提供统一的 Active Context。
AI 智能体平台和助理
- 对话式分析。分析界面使用目录术语和查找工具，让用户能够使用自然语言查询业务指标，并提供经过验证的依据。
- Gemini for AI 智能体。高精度助理智能体使用目录元数据运行数据库查找，从而减少幻觉。
- Gemini Enterprise Agent Platform。 Knowledge Catalog 是目标平台环境中的中央数据治理标准。它与 Gemini Enterprise Agent Platform 交叉链接， 为该平台的 Agent Registry 提供工具和上下文。
Google Cloud 数据库和 AI 服务集成
Knowledge Catalog 可与其他Google Cloud 产品搭配使用，共同构成您的数据基础。下表重点介绍了 Knowledge Catalog 如何与相关服务集成并进行补充：
| 服务 | 主要角色 | 如何与 Knowledge Catalog 集成 |
|---|---|---|
| Knowledge Catalog | 治理和智能体上下文 | 作为统一的语义上下文图，执行数据质量检查扫描，并向 AI 模型和应用公开接地架构。 |
| BigQuery | 企业数据仓储 | 存储、查询和处理数据集；自动抓取这些表、为其编制索引，并使用业务分类方面的信息丰富这些表。 |
| Gemini Enterprise Agent Platform | AI 模型开发 | 构建、部署和托管基础模型。自定义智能体检索元数据上下文，以进行逻辑推理。 |
| Cloud Storage | 非结构化文件存储 | 存储原始非结构化文件；自动运行非结构化发现扫描，以解析 PDF 和图片，从而构建关系图。 |
语义和数据格式
为了有效地指导和接地代理系统，您必须区分物理数据结构和语义含义：
- 语义。与数据相关的业务含义、意图和关系。虽然技术架构定义了结构化存储规范（例如数据库类型、字符长度或整数限制），但语义描述了数据集实际表示的内容。例如，您可以将名为
txn_qty的列映射到“购买数量”的业务定义。 - 结构化数据。以定义的架构和关系格式存储的信息。示例包括 BigQuery 表、Spanner 数据库和操作型 Postgres 表。Knowledge Catalog 会自动抓取此元数据并记录列和约束条件。
Agentic Data Cloud 上下文编排
在 Google 的 Agentic Data Cloud 框架中，Knowledge Catalog 充当语义编排平面。上下文引擎无需开发者手动将数据库架构和规则硬编码到提示中，而是动态提供智能体做出智能决策所需的精确语义上下文。
下图展示了 Knowledge Catalog 如何编排和提供数据上下文：
上下文编排工作流包含以下阶段：
- 提取和发现。Spanner 和 BigQuery 等运营数据库和数据仓库、Cloud Storage 等非结构化对象存储区，以及 Lighthouse 等运行时元存储区，都会将技术架构、沿袭图和元数据定义直接馈送到 Knowledge Catalog。
- 上下文映射。在 Knowledge Catalog 中，这些元数据属性会与语义元素（包括技术方面、业务术语库和经过验证的查询）相关联，以组装活跃上下文图。
- 投放界面。AI 应用和编排器通过使用标准连接器（例如 MCP 或直接
LookupContextAPI 端点）以编程方式检索此整合的上下文图谱。 - 智能体依据。编排框架（例如智能体开发套件 [ADK] 或 LangChain）会将此元数据上下文直接注入 LLM 提示中。这种注入方式让智能体能够基于经过验证的组织规则进行推理，从而在查询数据库或执行自动化操作时避免产生幻觉。
AI 智能体个人资料
根据您要自动化的工作流，您可以构建由 Knowledge Catalog 提供支持的不同类别的智能体：
- 数据发现智能体。这些助理可帮助用户搜索和浏览数据资产。它们不使用关键字匹配，而是分析自然语言中的长格式意图和限制条件，以检索最相关的物理资产。
- 元数据丰富代理。这些后台代理会从 Wiki、README 文件或聊天记录中注入非结构化文本，将文本解析为正式元数据，并将元数据作为切面写入 Knowledge Catalog，以保持元数据处于最新状态。
- 数据质量和流水线代理。这些自主智能体通过查询数据沿袭和配置文件统计信息，评估质量规则、检测架构偏移，并构建或修复数据转换流水线。
编排工具
如需构建和集成这些智能体，您可以使用以下工具：
- Model Context Protocol (MCP)。一种用于将智能体关联到外部资源的标准化开放协议。您可以将智能体配置为使用远程 MCP 服务器或本地 MCP 工具箱连接到目录。如需了解详情，请参阅知识目录中的 Model Context Protocol (MCP) 简介。
- 智能体开发套件 (ADK)。Google 提供的一个框架，可简化生成式 AI 智能体的构建、运行和测试，并提供与 Catalog Service API 的内置绑定。如需了解详情，请参阅 ADK 首页。
- LookupContext API。一个 REST 和 gRPC API 端点，可为数据资产提取统一的 YAML 或 JSON 上下文载荷，以便直接注入 LLM 提示。如需了解详情，请参阅使用 LookupContext API 检索上下文。
使用 MCP 访问上下文
Model Context Protocol (MCP) 是一种标准化桥梁，可让 AI 智能体和工具无缝连接到 Knowledge Catalog 等数据源。请使用下方的对比表来确定最适合您集成的选项：
| 实现 | 适用场景 | 重要详细信息 | 端点或设置 |
|---|---|---|---|
| 远程 MCP 服务器 | 云优先部署、Cloud Run 等无服务器环境以及代管式外部服务。 | Google 托管的端点，无需本地服务器管理。 | 端点：https://dataplex.googleapis.com/mcp如需进行设置，请参阅使用远程 MCP 服务器。 |
| 本地 MCP 工具箱 | 本地智能体开发、快速原型设计，以及 VS Code 或 Cursor 等桌面 IDE 集成。 | 命令行工具，充当工作区环境与 Knowledge Catalog 之间的本地代理。 | 需要安装二进制文件并进行 .mcp.json 设置。如需进行设置，请参阅使用本地 MCP 服务器。 |
智能体数据上下文的最佳实践
为了打造可靠的智能体体验，在 Knowledge Catalog 中整理和查询元数据时，请牢记以下最佳实践：
- 添加切面。AI 智能体无法仅凭名称区分官方生产表和临时沙盒模拟表。定义并应用自定义信任信号方面，以认证权威数据产品，这有助于确保智能体优先处理或限制对这些资源的查询。
- 使用上下文预算优化查找。调用
LookupContextAPI 时，请指定context_budget参数。该 API 会在您指定的词元限制内，优先优化和拟合最重要的元数据，例如沿袭和主要说明。 - 提供相关资源以公开联接路径。在上下文查询中，最多列出 10 个相关表或资产。提供一组资源可让上下文引擎自动填充联接路径和关系，这有助于智能体了解表之间的接口。
- 构建语义词汇表。在业务术语库中标准化术语和缩写。这种标准化有助于对话工具准确解析特定于业务的同义词和指标。
- 发布黄金查询。将经过验证的自然语言查询及其正确的 SQL 等效项直接附加到 Knowledge Catalog 条目。通过在这些经过验证的模板中进行推理，您可以防止 text-to-SQL 代理中出现 SQL 转换错误。
从 Dataplex Universal Catalog 转换到 Knowledge Catalog
Dataplex Universal Catalog 已升级为 Knowledge Catalog。如需详细了解此转换，请参阅从 Dataplex Universal Catalog 转换到 Knowledge Catalog。
限制
在规划部署时，请考虑以下限制：
支持的集成。虽然 Knowledge Catalog 支持主要的第三方系统，但某些自动语义提取可能仅限于内置 Google Cloud 服务。
配额限制。标准 Google Cloud API 配额适用于上下文检索和元数据提取操作。