Knowledge Studio 概览

借助 Knowledge Studio,您可以精选和统一企业元数据,以便在业务环境中建立生成式 AI 应用(例如 BigQuery 和 Gemini Enterprise 中的对话式分析)。为 AI 智能体建立依据有助于减少幻觉,并提高生成的分析结果的准确性。

借助 Knowledge Studio,您可以整合来自架构、Wiki 和过往 SQL 查询的知识。您可以使用自然语言探索数据,浏览业务语义的可视化上下文图,并运行自动化工作流来起草目录更新以供人工审核。然后,您可以使用 Model Context Protocol (MCP) 或 Knowledge Catalog API,将这些精选上下文块动态提供给智能体。

本文档面向希望了解 Knowledge Studio 工作原理的数据架构师、治理主管和 AI 工程师。如需立即开始探索目录或配置自动丰富功能,请参阅在 Knowledge Studio 中探索数据资产和创建丰富任务。

如需简要了解 Knowledge Studio 和自学式扩充功能如何为企业 AI 智能体提供依据,请观看以下视频:

从被动目录到主动内容相关引擎

典型的元数据目录会存储静态架构、说明和数据字典。虽然静态元数据足以满足人类数据分析师搜索表的需求,但对于需要以下内容的生成式 AI 智能体来说,静态元数据是不够的:

  • 深层语义关系:了解表如何跨架构联接、哪些列代表关键业务指标,以及业务术语库如何映射到底层存储。

  • 运营接地:将实际 SQL 使用模式、查询频率以及实际智能体提示和回答纳入上下文。

  • 持续自我学习:根据用户反馈和代理执行成功率,自动优化表说明、方面和列定义。

Knowledge Studio 通过一个常年运行的上下文引擎提供这些功能,该引擎会持续挖掘运营信号、生成高保真元数据建议,并通过 Model Context Protocol (MCP) 或 Knowledge Catalog API 向智能体提供预先格式化的上下文块。

Knowledge Studio 界面

Knowledge Studio 将您的工作流分为三个主要区域:

  • 新对话:对话式聊天界面和交互式上下文图,用于使用自然语言进行数据发现、调查和语义查询验证。如需了解详情,请参阅探索数据资产。

  • 上下文集:一个用于创建和管理逻辑容器(条目组)的界面,这些容器可封装丰富元数据,以便安全地为下游 AI 智能体提供依据。如需了解详情,请参阅管理上下文集。

  • 丰富:一个控制中心,用于自动生成元数据、配置评估基准,并通过人机协同整理工作流审核 AI 提出的目录更新(变更请求)。如需了解详情,请参阅关于丰富任务。

真实的多产品场景

Knowledge Studio 可连接您的数据仓库、企业知识库和生成式 AI 应用。以下场景说明了 Knowledge Studio 如何在企业架构中的多个产品之间运行。

在 BigQuery 中建立自然语言查询

  • 挑战:业务分析师在对话式分析中使用自然语言提出问题,例如“上个季度我们按区域划分的净留存率是多少?”如果没有精选的业务语义,模型可能会产生幻觉,误判联接键或将总预订量误认为净收入。

  • Knowledge Studio 解决方案:分析师使用新对话界面验证销售暂存表与经过认证的 SZBank Business Glossary 之间的关系。Knowledge Studio 使用活跃上下文图表来建立对话分析,确保生成的 SQL 包含经过验证的联接条件和标准 KPI 公式。

根据企业 SOP 丰富元数据

  • 挑战:数据工程团队在 BigQuery 中维护着数十个数据集,而关键业务规则和流水线沿袭信息则存储在外部 Confluence Wiki 或 Jira 工单中。随着架构的演变,目录文档会过时。

  • Knowledge Studio 解决方案:治理主管配置一个针对分析数据集的周期性丰富任务。Knowledge Studio 会从 Confluence 提取非结构化 SOP,并从 Cloud Logging 提取历史查询日志,从而自动提出更新后的列定义和表关系。审核者在运行详情页面中检查提议的差异,并批准对目录的已验证更新。

为智能体提供精选背景信息

  • 挑战:AI 开发者在使用 LangChain 或 ADK 构建面向客户的支持或咨询智能体时,需要获取最新的架构语义,而无需硬编码数据库凭据或在提示中塞入大量表定义。
  • Knowledge Studio 解决方案:Knowledge Studio 会将精选元数据和经过验证的联接图捕获到上下文集(例如 entryGroups/customer-360)中。如需访问上下文,智能体可以通过 Model Context Protocol (MCP) 连接到 Knowledge Studio,也可以使用 Knowledge Catalog API。在推理时,智能体会查询 MCP 端点或 Catalog API,以动态检索与用户意图相关的经过认证的业务上下文和示例查询。

架构概览

下图展示了 Knowledge Studio 组件如何与数据资产、基础模型和使用 AI 的应用进行交互:

架构图,展示了如何通过 Knowledge Studio 将上游数据源(BigQuery、Lakehouse 和数据库、Knowledge Catalog、Cloud Storage)连接到下游 AI 消费者,例如 Gemini Enterprise、对话式分析、Agent Engine 和自定义智能体(ADK、LangChain、MCP)。
将上游数据源通过 Knowledge Studio 关联到下游 AI 使用者的架构图。

核心概念

如需有效使用 Knowledge Studio,请了解企业元数据是如何建模、打包和整理的。

上下文图表

上下文图是 Knowledge Studio 中的核心交互式可视化拓扑。它将数据资产(例如 BigQuery 表、视图和湖仓一体)与业务语义(例如业务术语库术语、指标公式和数据产品)统一起来。在典型的目录中,数据表及其关联的业务术语库定义存在于不同的孤岛中。在上下文图中,它们作为节点存在于同一画布上。数据分析师和工程师可以通过推断的使用情况、表上的联接条件等直观地查看数据之间的关系,而 Gemini 则使用该图来支持自然语言探索。 如需了解详情,请参阅在 Knowledge Studio 中探索数据资产。

上下文图谱支持的资源和连接类型

探索智能体和上下文图谱可以发现、探索和呈现 Knowledge Catalog 中所有已编目的条目类型,包括以下资源:

  • 表和视图:技术 BigQuery 和 Lakehouse 表、视图、数据集、目录、命名空间、数据湖、可用区和资产。
  • 数据库、存储和 AI 资源:运营数据库和云资源(例如 Spanner、Cloud SQL、AlloyDB for PostgreSQL、Pub/Sub、Cloud Storage 和 Vertex AI 模型)。
  • 分析和第三方来源:通过托管式连接同步的 Looker 项目和第三方元数据(例如 dbt 模型、测试和曝光、Databricks Unity Catalog、LookML 和 SAP)。
  • 术语库术语:业务术语库中的各个业务定义、类别和术语。
  • 数据产品:精选的数据资产包,供跨团队使用。
  • 上下文:上下文集和精选知识库文档。
  • 自定义资产:自定义条目组和自定义条目类型。

该图通过直观呈现以下语义关系边缘,定义了这些资源的连接方式:

  • 架构联接:表之间的结构和操作联接关系。系统会自动扫描 BigQuery 作业,查找表明不同表中的列具有相同含义且可以联接在一起的查询。

  • 定义:将技术数据资产或列映射到其对应的业务术语库定义的链接。

  • 引用:将上下文集文档和数据资产条目连接到其描述的目标目录资产的有向链接 (dataplex-types.global.reference)。

  • 上下文:将专用上下文集或自定义网域文档归因于目标数据资产的链接。

  • 软件包:聚合链接,显示哪些数据资产捆绑到特定数据产品中。

条目链接

条目链接表示上下文图中的有向或无向语义边。这些链接会在画布上直观地连接您的数据资产和其他统一资源。您可以选择性地过滤这些链接,以隔离整个数据资产中的特定关系。

条目链接可连接企业中的不同实体:

  • 参考链接:使用 reference 条目链接类型 (projects/dataplex-types/locations/global/entryLinkTypes/reference) 将上下文集条目(例如精选知识库文档和数据资产条目)连接到它们描述的编目资产。

  • 定义链接:将底层表列直接连接到经过认证的业务术语库术语和 KPI 公式。

  • 关系链接:映射经过验证的主键、外键和多表联接路径。

  • 智能体跟踪链接:将现实世界中的 AI 用户提示与用于回答这些提示的特定表相关联。

  • 软件包链接:将多组数据资产联接到精选数据产品。

条目链接用作遍历以组合上下文集的各个连接。在自动扩充运行期间,只要智能体识别出候选联接或未关联的字词,就会提出新的条目链接供管护者审批。

上下文集

上下文集是语义信息和数据资产引用的有界容器。每个上下文集都作为专用条目组 (type="context-set") 实现。

上下文集建立了封闭的执行边界,可防止智能体在整个企业目录中执行开放式搜索。此方法可减少幻觉和 token 消耗。

如需了解上下文集与相关结构(例如数据产品和语义上下文图)有何不同,或了解详细的架构功能、类别、命名空间和代理咨询模式,请参阅上下文集概览。

丰富化任务和运行作业

Knowledge Studio 中的自动化元数据增强功能分为增强任务、增强作业和增强运行。

  • 丰富任务:一种持久配置,用于定义丰富代理如何分析一组目标数据资产。丰富化任务会指定目标上下文集、上下文输入来源和评估基准。

  • 丰富化作业:Knowledge Studio 中执行丰富化任务的后端编排过程。

  • 丰富运行:任务的单次时间点执行实例。每次运行都会检查目标资产、提取语义信号,并生成可供数据监管者审核的更改请求(提案)。

如需详细了解丰富工作流,请参阅丰富任务简介。

上下文图表与数据沿袭的比较

了解 Knowledge Studio 上下文图和 Knowledge Catalog 数据沿袭之间的区别,有助于您为工作流选择合适的功能:

能力 已回答的主要问题 图表结构 节点和边缘 何时使用
数据沿袭 这些数据来自哪里?哪个 ETL 流水线填充了此表?如果此上游架构发生更改,哪些下游信息中心会损坏? 历史数据移动和转换的有向无环图 (DAG)。 节点表示物理资产和转换作业(例如 Dataflow 流水线或 BigQuery 作业);有向边表示数据流。 用于根本原因调试、流水线影响分析和监管出处审核。
上下文图表 从业务角度来看,此列意味着什么?这些表在概念上是如何关联的?AI 智能体应如何联接这些资产来回答问题? 多模态语义知识图谱,涵盖业务含义和关系。 节点代表数据资产、术语表、数据产品和上下文集文档;边代表架构联接、定义、引用和上下文链接。 用于交互式发现、语义消歧以及精选上下文集,以便为 AI 智能体提供依据。

如需详细了解流水线可追溯性,请参阅 Knowledge Catalog 数据沿袭。

企业安全与治理

Knowledge Studio 基于企业级安全架构构建,专为严格受监管的环境而设计。

  • 基于角色的访问权限:Identity and Access Management (IAM) 角色可控制谁可以创建、发现和读取上下文集、精选上下文集条目,以及批准和发布建议的元数据更改。

  • 用户管理的执行身份:扩充任务使用用户代管式服务账号运行,该账号是您在项目中创建和管理的身份,用于允许服务代表您执行操作。Dataplex 服务代理 (P4SA) 通过使用 Service Account Token Creator (roles/iam.serviceAccountTokenCreator) 角色生成短期有效的 OAuth 2.0 凭据来模拟此服务账号。生成这些短期有效的凭据会限制访问令牌的生命周期,与使用长期有效的服务账号密钥相比,可最大限度地降低凭据泄露的风险。

  • 第三方身份验证:连接远程 SaaS 知识来源(例如 Microsoft SharePoint、Atlassian Confluence、Jira 和 GitHub)时,会使用Google Cloud的 Agent Identity 身份验证管理器,确保人工操作员绝不会处理原始客户端密钥。

如需了解如何配置这些安全功能,请参阅配置丰富功能的前提条件。

限制

  • Assured Workloads 合规性制度(包括 FedRAMP、CJIS、IL4/IL5 和 HIPAA)。

  • 数据驻留 (DRZ) 承诺。此功能处理的数据可能会在您严格配置的地理边界之外存储或处理。

  • 客户管理的加密密钥 (CMEK)。此功能存储或处理的数据使用 Google 拥有和Google-owned and Google-managed encryption keys 进行加密,而不是使用您的 Cloud Key Management Service 或 Cloud EKM 密钥。如需了解详情,请参阅客户管理的加密密钥 (CMEK)、默认静态加密和 Cloud External Key Manager。

  • VPC Service Controls。 不支持 VPC Service Controls。

  • Access Transparency (AXT) 通知和访问权限审批控制。Google 员工为支持或维护此预览版而执行的操作不会记录在 Access Transparency Cloud Access Ledger (CAL) 中。

在预览版期间,Knowledge Studio 还在以下限制范围内运行:

  • 上下文集区域范围:单区域上下文集(例如 us-central1)只能引用该区域中的资产。多区域(例如 us 或 eu)和 global 上下文集可以跨越兼容区域,您在为其配置丰富化任务时需要选择单个执行区域。

  • 以控制台为主的管理:通过 Google Cloud 控制台管理丰富化任务和探索会话。用于任务管理的直接 REST API 和 gcloud CLI 命令在预览版中不可用。不过,下游智能体可以使用 Knowledge Catalog Catalog API(ListEntries 和 LookupEntry)和 Model Context Protocol (MCP) 以编程方式发现和查询精选上下文集。如需了解详情,请参阅方法:projects.locations.entryGroups.entries.list 和方法:projects.locations.lookupEntry。

  • 集中式整理:所有元数据审核和批准都在丰富化运行详情页面中进行。

价格

在预览版期间,Knowledge Studio 数据探索、运行丰富化任务以及暂存未经批准的批量更改请求均免费提供。

使用 Knowledge Studio 功能可能会产生Google Cloud 项目中底层资源的标准费用:

  • 数据探索:当对话中的探索智能体调用 BigQuery 查询作业或 BigQuery 对话式分析时,需要支付标准 BigQuery 查询处理和对话式分析费用。
  • 上下文集和丰富:空的上下文集条目组或未经批准的批量更改请求不会产生元数据存储费用。在上下文集中创建条目时(例如,当您批准批量更改请求时),系统会向托管条目组的项目收取标准 Knowledge Catalog 元数据存储费用。当扩充任务使用可选的客户管理资源(例如用于知识信号或评估集的 Cloud Storage 存储桶,以及用于自学习的 BigQuery Agent Analytics 跟踪表)时,您的项目会产生标准使用费,包括 BigQuery 查询处理和 Cloud Storage 暂存读写。

后续步骤

任务

使用 Knowledge Studio 中的可视化画布,与数据对话并跟踪语义关系。

概念

了解 Knowledge Studio 的打包上下文容器,这些容器可用于安全地为下游 AI 智能体提供依据。

概念

了解如何配置 AI 驱动的元数据提取工作流,以自动构建数据上下文。

教程

在 BigQuery 中构建业务术语库、定义自定义切面类型并丰富资产。

AI 集成

使用 Model Context Protocol 将 AI 智能体和开发者工具连接到 Knowledge Catalog。

博客

了解 Knowledge Studio 如何使用自学习上下文丰富和交互式上下文图来为企业 AI 智能体提供依据。