Knowledge Catalog 丰富化任务可让您通过分析数据集架构、查询日志和企业文档，自动执行元数据精选并构建特定于网域的上下文集。您可以使用这些生成的提案来减少手动文档工作，并让下游 AI 智能体基于经过验证的业务背景。
本文档适用于熟悉 Knowledge Catalog 核心概念并希望了解丰富任务工作原理的数据监管人员、数据工程师和平台管理员。如需立即配置并运行丰富任务，请参阅创建丰富任务。
为何要使用数据丰富化任务
丰富任务可解决如何确保大规模 Data Catalog 准确且最新的难题。
| 切面 | 传统方法 | Knowledge Studio 方法 |
|---|---|---|
| 流程 | 手写说明。数据管理员手动审核数千个表并采访领域专家。 | 智能体驱动。自主智能体分析数据并读取标准操作程序。 |
| 速度和规模 | 随着架构随时间变化，维护速度缓慢且困难。 | 伸缩能力强。系统会持续生成高质量的元数据建议。 |
| 人工工作量 | 高。需要大量手动数据录入和持续维护。 | 低。数据监管者只需审核并批准生成的建议。 |
丰富化任务应用场景
丰富化任务可帮助组织解决以下常见的元数据挑战：
收购整合：一家公司收购了一个新的业务单位，该单位拥有数千个未记录的数据资产。数据工程师将扩充任务指向新数据集，并将被收购公司的数据字典作为知识信号提供，知识信号是让智能体了解公司特定背景的参考资料。智能体只需几小时就能为整个数据集生成符合业务需求的说明，而不是几个月。
持续文档化：平台工程团队构建了一个动态湖仓一体，其中的架构每天都在变化。该团队配置了一项每日运行的丰富任务，并启用了自动发布功能，以便自动应用经过验证的元数据更新，而无需人工审核。自动发布可确保目录始终反映最新的架构更改。
语义治理：中央数据办公室希望在所有部门中标准化术语。该团队配置了一项丰富任务，以使用已获批准的业务术语库作为参考资料。然后，代理会将表和列说明与这些官方定义保持一致，从而确保整个目录中的术语一致，而无需更改原始数据源。
核心概念
配置丰富化任务时，您需要使用以下核心组件和可选资源：
- 上下文集（必填）
-
目标数据资产和元数据的有界容器。每个丰富化任务都以一个上下文集为目标，每个上下文集只能关联一个丰富化任务。丰富任务不会覆盖底层 BigQuery 资源的说明，也不会创建业务术语库术语；而是将生成的说明、概念和列到术语库的链接作为叠加条目存储在上下文集中，并使用
reference条目链接 (projects/dataplex-types/locations/global/entryLinkTypes/reference) 将生成的条目链接到底层表。上下文集可以包含预填充的目标资源（例如 BigQuery 数据集或 Lakehouse），您也可以创建一个空的上下文集，并在配置丰富任务时选择性地添加目标资源。例如，一个营销上下文集，它在逻辑上将广告系列表、ROAS 指标和术语表绑定到单个 AI 上下文边界。
- 丰富化任务
-
定义代理必须执行的操作的配置。任务包含您所需的上下文集和时间表，以及您在创建或修改任务时配置的任何可选目标数据资产、知识信号、评估集或自学来源。
例如，您可以配置一项任务，指示代理在每周日午夜读取您的 GitHub 代码库并丰富您的
finance数据集。 - 丰富化作业
- Knowledge Studio 中执行丰富化任务的后端编排流程。
- 丰富化运行作业
-
任务的单个时间点执行实例。Knowledge Studio 控制台包含一个作业标签页，其中列出了任务的历史运行记录，您可以打开特定运行记录来查看其生成的元数据提案。
例如，发生在 10 月 24 日并导致 15 项建议列更改的特定执行实例。
- 知识信号（可选）
- 外部参考资料，可让智能体立足于贵公司的实际情况。在创建任务或修改任务范围时，如果您提供包含数据字典、Knowledge Catalog 术语表或内部文档网址的 Cloud Storage 存储桶、文件夹或文件，则可以确保智能体使用您的特定业务逻辑，而不是进行一般性猜测。
- 评估集（可选）
-
用于对代理的准确率进行评分的测试问题和相应 SQL（在您创建或修改扩充任务时以
.jsonl格式提供）。当智能体提出新的元数据时，它会针对这些建议运行这些测试问题，以确保在发布之前准确率不会下降。例如，提供一个测试问题，如“我们的 MRR 是多少？”，并配以计算每月经常性收入所需的确切 SQL 查询。如果代理提出的元数据令人困惑，导致此测试查询失败，则该建议会被标记。
- 自学资源（可选）
-
来自 Gemini Enterprise 应用或 BigQuery Agent Analytics 的实时对话日志，您可以在创建或修改丰富化任务时附加这些日志。代理会读取这些聊天记录，以识别用户提出的问题，发现缺失的知识缺口，并自动提出新的元数据来填补这些缺口。
例如，如果聊天记录显示用户经常询问“状态代码 42 是什么意思？”，而智能体无法回答，则自学习会触发元数据建议，以记录该缺失的状态代码。
支持的数据源和集成（适用于丰富任务）
丰富任务可与 Google Cloud 和第三方系统集成。
用于丰富化处理的数据源
扩充代理可以直接扩充以下 Google Cloud 数据源中的目标数据资产，并将其添加到您的上下文集中：
BigQuery 数据集和表
Lakehouse 目录、命名空间和表
通过 Lakehouse 集成，Knowledge Studio 间接支持丰富通过 Iceberg REST Catalog 集成（例如 Databricks Unity、Snowflake Horizon、AWS Glue Data Catalog 和 SAP Business Data Cloud）附加的第三方来源的元数据。
知识信号（可选）
在丰富运行期间，代理可以从您附加到任务的以下可选只读来源中提取语义规则、业务上下文和领域知识：
Google Cloud：
- 包含受支持文件格式（例如 PDF、CSV、Markdown、配置、数据集和非结构化文本文件）的 Cloud Storage 存储桶、文件夹或单个文件
- 位于同一区域范围内的 Knowledge Catalog 业务术语库
- Google Workspace 应用，包括 Google 云端硬盘文件（例如文档、表格、幻灯片、PDF、文件和通用文本文档）
第三方系统（非 Google Cloud）：
- 小于 5 MB 的 Microsoft SharePoint 文件（例如 PDF、Office 文件和通用文本文档，不包括旧版格式或图片）
- GitHub 代码库（任何包含可读文本的文件）
- Atlassian Confluence 空间和 Jira 项目
自学资源（可选）
为了从实际互动日志中识别知识差距，扩充智能体可以从以下可选来源中挖掘轨迹：
- Gemini Enterprise 应用
- BigQuery Agent Analytics 表。如需了解详情，请参阅 BigQuery Agent Analytics。
丰富代理的工作原理
当您触发丰富任务（按需或按周期性时间表）时，系统会启动丰富运行。该智能体在后台异步执行，分析您的数据资产、查询跟踪记录和文档，以生成经过验证的元数据建议。
下图展示了扩充智能体的高层级工作流架构：
代理会通过四个关键阶段来精选上下文集：
- 分析信号和文档：智能体挖掘交互日志，找出下游 AI 智能体在哪些环节遇到了困难或需要消除歧义。该智能体会扫描 Cloud Storage 或关联的第三方应用中的企业文档，并检查查询历史记录，以发现高频表联接和上游依赖项。
- 起草上下文提案：在精选目标的指导下，智能体会为目标资产起草结构化上下文。这些草拟的提案包括面向业务的表概览、正式指标公式、经过验证的联接条件以及基于黄金参数的 SQL 查询模板。
- 基准测试和优化：系统会检查每个提案的确定性有效性（例如，有效的 SQL 语法），并为其分配一个置信度分数，该分数会汇总到运行的总体置信度分数中。如果您配置了评估集，智能体还会根据测试问题迭代测试其草拟的元数据，以最大限度地提高下游查询准确率，并衡量准确率是否低于基准。
应用审核政策：代理会将所有提议的更改暂存为更改请求。如果一次运行生成超过 250 项元数据更改，智能体会将这些建议拆分为链式批量更改请求（第 1 批（共 N 批）、第 2 批（共 N 批）等），这些请求必须按顺序获得批准。如果您启用了自动发布，智能体会将整个运行作为一个整体进行评估，并且仅在满足以下所有条件时，才会自动批准暂存的变更请求（并留下审核记录）：
- 运行的总体置信度分数至少为 0.85 (85%) 或达到您配置的阈值。
- 没有提案未通过有效性检查（例如，SQL 格式错误）。
- 配置评估集后，准确率下降不超过 5 个百分点（或您配置的最大质量下降幅度）。
如果其中任何一个条件不满足，则运行中的所有提案都会保持暂存状态，作为变更请求供人工审核。删除提案始终会暂存在单独的删除变更请求中，并保留以供人工审核，即使启用了自动发布也是如此。
企业安全与治理
由于 Knowledge Studio 扩充任务使用人工智能来分析您的数据架构和内部文档，因此该平台实施了严格的安全和治理边界，以保护您的专有信息：
用户管理的执行身份：扩充任务在您在项目中配置的用户管理的执行服务账号下运行。Dataplex Service Agent 会使用短期凭证来模拟此执行服务账号，从而确保任务只能读取您明确授予访问权限的数据源和上下文集。
人机协同治理：生成的元数据提案会作为变更请求暂存，以维护审核记录。除非您启用自动发布功能，并且运行满足所有质量、有效性和评估阈值，否则数据监管者必须先检查差异比较和置信度分数，然后才能批准对上下文集的更新。删除提案始终需要人工审核。
基础模型训练：您的数据仍归您所有。客户执行轨迹、数据库架构和提供的知识信号（例如文档或内部词汇表）绝不会用于训练 Google 的基础模型。
数据清理：在将任何建议的元数据写入上下文集之前，智能体会自动从系统日志和生成轨迹中隐去个人身份信息 (PII)。
执行边界：扩充智能体在由 Google 管理的安全租户中运行。代理使用 Private Service Connect 接口和客户控制的出站代理访问您的私有数据源。
如需为丰富任务配置 Identity and Access Management (IAM) 角色、服务账号和外部身份验证提供方，请参阅配置丰富任务的前提条件。
建议的配置
Knowledge Catalog 为丰富任务提供了多项可选设置。我们建议您从基本配置开始，并在扩展元数据操作时逐步启用高级功能。
| 配置 | 包含的组件 | 自动发布 | 建议用于 |
|---|---|---|---|
| 基本版 | 上下文集 | 已停用 | 测试工具。让您了解代理如何严格根据数据集的架构推断元数据。您必须手动审核所有提案。 |
| 以事实为依据 |
|
已停用 | 生产环境。让智能体以您的特定业务逻辑为依据，使用您的标准操作流程和术语表来提高准确性。 |
| 自动 |
|
已启用 | 扩缩元数据操作。评估集可作为安全防护措施。如果自动生成的提案导致下游准确率下降，发布流程会暂停，以便进行人工审核。 |
| 自学 |
|
已启用 | 高级目录和自主目录。该智能体通过分析实时用户互动和智能体聊天日志，不断发现并填补知识空白，从而持续调整自身。 |
选择单项任务或多项任务
每个丰富化任务与其目标上下文集之间都存在一对一关系，并且支持在上下文集的默认资源和您添加到任务中的任何其他资源中总共最多 500 个数据资源。
- 当最多 500 个表共享一个共同的业务领域、数据监管团队和刷新时间表时，使用单个丰富任务和上下文集。将相关表分组到单个任务中，可让丰富代理在一次运行中发现跨表联接键、共享业务概念和多表 SQL 查询模板。如果大型运行生成了超过 250 个元数据提案，Knowledge Studio 会自动将输出拆分为连续的批次（第 1 批，共 N 批、第 2 批，共 N 批），以便审核者可以分阶段进行审批。
- 如果您的数据网域有不同的网域所有者或工作流审批者、需要不同的运行时间表或知识信号，或者跨越 500 多个目标表，请拆分为多个上下文集和丰富任务。
Deployment 生命周期
构建和部署丰富化任务的过程遵循线性生命周期：
- 配置前提条件：授予所需角色、配置服务账号，并对常用表启用数据分析和 AI 数据洞见。如需了解详情，请参阅配置丰富任务的前提条件。
- 关联外部知识：授权任务从 Google 云端硬盘或外部 Git 代码库读取文件，以进行接地。如需了解详情，请参阅为丰富任务配置外部连接器。
- 创建任务：定义上下文集、目标资源、知识信号和评估策略。如需了解详情，请参阅创建丰富任务。
- 查看 AI 建议：检查运行诊断、查看建议的说明，并批准元数据更改。如需了解详情，请参阅评估和批准扩充提案。
限制
在预览版期间，丰富任务在以下范围内运行：
合规边界：扩充任务不支持 VPC Service Controls、客户管理的加密密钥 (CMEK)、数据驻留 (DRZ) 承诺、Access Transparency (AXT) 或 Assured Workloads。
控制台优先管理：您只能通过 Google Cloud 控制台配置和管理任务。预览版中不提供直接公共 REST API 和
gcloudCLI 命令。任务范围和一对一上下文集映射：每个上下文集只能由一个丰富化任务进行丰富化，并且每个丰富化任务最多支持 500 个目标资源。
配额和限制：丰富化任务和任务运行受每个项目的区域级资源和速率配额限制。如需了解详情，请参阅配额和限制中的 Knowledge Studio 扩充任务部分。
价格
在预览版期间，运行 Knowledge Studio 丰富任务和暂存未批准的批量更改请求均免费提供。
空的上下文集条目组或未获批准的批量更改请求不会产生元数据存储费用。只有在您批准对上下文集条目组的更改请求（或自动发布应用更改）后，系统才会开始收取元数据存储费用，此时标准 Knowledge Catalog 元数据存储费用将应用于 Project Hosting 条目组的项目。当扩充任务使用可选的客户管理资源（例如用于知识信号或评估集的 Cloud Storage 存储桶，以及用于自学习的 BigQuery Agent Analytics 跟踪表）时，您的项目会产生标准使用费，包括 BigQuery 查询处理和 Cloud Storage 暂存读写。