关于切面和切面类型

企业数据环境通常包含分布在多个存储系统中的数百个数据集、表和数据模型。若要了解每个数据集的所有者、是否包含个人身份信息 (PII) 等敏感信息,或是否符合质量标准,通常需要您手动调查数据源或查找分散的文档。

Knowledge Catalog(以前称为 Dataplex Universal Catalog)中的切面和切面类型可为您提供一种标准化、可扩展的方式,将结构化业务上下文、治理政策和运营属性直接附加到数据资产,从而解决此问题。

本文档介绍了 Knowledge Catalog 中切面类型和切面的架构概念、范围界定规则和治理边界。如需将切面附加到现有条目或创建自定义切面类型,请参阅管理切面并丰富元数据。

切面类型

切面类型 (AspectType) 是一种可重复使用的架构模板,用于定义切面的元数据字段、数据类型和验证规则。您必须先创建定义切面架构的切面类型,然后才能创建或附加切面。

创建自定义切面类型时,您必须指定符合 Knowledge Catalog 资源命名准则的 ID。

切面类型的类别

切面类型根据所有权和范围分为两类:自定义切面类型和系统切面类型。

自定义切面类型

自定义切面类型是由贵组织创建和管理的架构模板。您可以使用它们来捕获特定于网域的元数据,例如业务所有权、SLA 层级、数据保留政策或合规性分类。

自定义切面类型适用于条目和列,但不适用于条目链接。这意味着,您可以使用自定义切面类型为数据资产和各个架构字段定义组织特有的分类。由于自定义切面类型不适用于条目链接,因此您无法使用它们来定义条目之间的自定义关系元数据。条目链接仅支持特定的系统切面类型。您可以在特定区域位置定义自定义切面类型,也可以将其定义为 global 资源:

  • 全球切面类型:会复制到所有 Google Cloud 区域,并且可以附加到位于任何区域的条目。通过定义全局切面类型,您可以在整个分布式资产中强制执行单一标准化架构,而无需管理重复项。不过,由于架构定义会在全球范围内复制,因此如果贵组织的合规性或数据驻留政策要求元数据定义严格限制在特定地理边界内,请选择区域切面类型。
  • 区域级切面类型:存储在特定区域(例如 us-central1 或 europe-west1)中,并且只能附加到位于同一区域的条目。如果需要遵守数据主权要求,或者元数据结构是区域工作负载所独有的,请选择区域切面类型。如果您需要在多个隔离区域中使用相同的元数据结构,则必须在每个目标区域中创建和维护单独的切面类型定义。

如需详细了解资源范围限定,请参阅项目和位置限制条件。

系统切面类型

系统切面类型是 Google Cloud 提供和维护的预定义模板。系统切面类型始终是全球性的,存储在项目编号为 655216118709、别名为 dataplex-types 的 Google 管理的项目中。例如:

projects/655216118709/locations/global/aspectTypes/schema

系统切面类型分为两个功能组:

  • 可重复使用的系统切面类型:您可以附加到条目或列的第一方模板,用于记录标准化元数据,例如架构定义、自动数据分析或数据质量记分卡。
  • 受限系统切面类型:由 Google Cloud 服务自动管理,用于表示底层基础设施属性,例如 BigQuery 表布局或 Cloud Storage 存储桶配置。您可以查看受限类型下的切面,但无法手动创建、修改或删除这些切面。

每个系统切面类型都有自己的 IAM 权限。如需了解详情,请参阅系统切面类型、条目类型和条目链接类型的 IAM 权限。

下表列出了 Knowledge Catalog 提供的系统切面类型:

类别 说明 Knowledge Catalog 提供的切面类型
可重复使用的系统切面类型 您可以附加到条目、列或条目链接的预定义模板。
  • contacts
  • data-profile
  • data-quality-rule-template
  • data-quality-scorecard
  • data-rules
  • generic
  • graph-profile
  • guidelines
  • overview
  • schema-join
  • schema
  • storage
  • usage
受限的系统切面类型 由 Google Cloud 服务自动管理的基础设施模板。切面是只读的。 包括但不限于:
  • analytics-hub
  • aspecttype-aspect
  • bigquery-dataset
  • bigquery-table
  • cloudsql-database
  • cloudsql-instance
  • cloudsql-table
  • entrygroup-aspect
  • entrytype-aspect
  • sensitive-data-protection-profile
  • storage-bucket
  • storage-folder

自定义切面类型和 Gemini in BigQuery

Gemini in BigQuery 会根据标准架构定义、表限制条件以及原生表或列说明字段来生成 SQL 和进行数据推理。Knowledge Catalog 中用户定义的自定义切面类型存储在目录平面中,用于治理、搜索和 API 检索,但不会动态注入到 Gemini 的上下文提示检索流水线中。

这对您的工作流意味着,BigQuery 中的生成式 AI 功能在生成 SQL 查询或回答有关数据的问题时,无法自动读取存储在自定义切面字段中的元数据。

建议的最佳实践

为确保 BigQuery 中的生成式 AI 模型将业务背景信息纳入生成的查询中,您应在 BigQuery 中填充原生表说明和列说明,以及自定义目录方面。这种双重方法有助于确保运营 AI 助理以交互方式检索表上下文,同时目录治理流水线强制执行企业元数据政策。

切面

切面 (Aspect) 是附加到特定条目、列或关系的切面类型的具体实例,包含实际元数据值。切面直接封装在其父级资源中,因此您可以在更新条目的同时执行原子读写操作。这意味着您可以在一次 API 调用中检索或更新条目及其所有关联的元数据,从而避免多次调用的一致性问题。

切面放置和目标级别

您可以在 Knowledge Catalog 中的三个不同目标级别附加切面:

  • 条目级切面:描述整个数据资产。使用条目级切面来记录资产级所有权 (contacts)、摘要 (overview)、数据集使用情况指标 (usage) 和汇总质量得分 (data-quality-scorecard)。
  • 列级切面(架构路径):描述结构化表中的各个列或嵌套字段。引用列时,请使用架构路径表示法 @Schema.<column_name>(例如 @Schema.email_address 或 @Schema.billing_address.postal_code)附加切面。对 PII 分类、列级数据质量规则和语义标记使用列级切面。
  • 条目关联级方面:描述两个关联条目之间的关系。您可以将切面附加到定向或非定向条目链接(schema-join 链接除外),以记录关系元数据。使用条目链接级切面来记录联接置信度分数、转换规则或映射沿袭备注。

下表总结了支持的切面放置:

目标级别 目标资源 密钥标识符语法 常见切面类型
入门级 数据资产(表、模型、文件集) <aspect_type_id> contacts、overview、data-profile、自定义服务等级协议
列级 条目架构中的字段或列 <aspect_type_id>@Schema.<column_name> PII 分类、列遮盖规则、字段验证分数
条目链接级别 条目之间的语义关系 <aspect_type_id> 关系置信度、联接条件、映射沿袭

切面类别

根据控制EntryType,附加到条目的切面分为必需切面或可选切面:

  • 必需的切面:由条目的 EntryType 定义为必需。创建条目时必须填充必需的切面,并且只要条目存在,就无法删除这些切面。对于系统条目(例如 BigQuery 表), Google Cloud会自动填充和同步 Schema 等必需切面。
  • 可选切面:由数据监管人员、自动化流水线或 AI 智能体附加的补充元数据,用于丰富条目,使其超出基准模板要求。您可以随时添加、更新或移除可选方面,而不会影响条目的生命周期。

专用系统切面类型

Knowledge Catalog 提供专门的可重复使用系统切面类型,用于记录数据分析、数据质量和关系提取结果:

  • 数据质量统计信息摘要 (data-quality-scorecard):记录 Dataplex 数据质量扫描生成的总体数据质量得分、评估状态和每列维度得分。
  • 数据规则 (data-rules) 和规则模板 (data-quality-rule-template):存储和管理可重复使用的数据验证规则和模板,这些规则和模板可应用于多个数据集。
  • 数据分析 (data-profile):存储有关表数据的统计指标,例如 null 百分比、非重复值和分布频率。
  • 图表配置文件 (graph-profile):捕获 AI 提取的实体、关系边缘以及从非结构化文档中提取的知识图谱。

项目和位置范围限制条件

为了维护数据治理边界并防止意外的跨区域元数据依赖项,Knowledge Catalog 强制执行以下范围限制:

资源 地理位置规则 项目规则
条目 条目的位置必须与其 EntryType 的位置匹配,或者 EntryType 必须为 global。 可以引用全局条目类型或同一项目中的条目类型。
条目切面 切面的 AspectType 必须与条目位于同一位置,或者 AspectType 必须为 global。 可以引用全球系统切面类型或同一项目的自定义切面类型。
条目链接 条目链接的位置必须与其 EntryLinkType 匹配,或者 EntryLinkType 必须为 global。 可以关联同一组织内不同项目中的条目。
条目类型 由存储在条目类型所在位置的切面类型或 global 的切面类型组成。 如果条目类型引用自定义切面类型,则切面类型必须位于同一项目和位置。

后续步骤

任务

使用控制台、gcloud CLI 或 API 将切面附加到条目、列和条目链接,并管理自定义切面类型。

概念

探索统一元模型,包括条目组、条目、切面类型和活跃上下文图。

快速入门

按照分步教程操作,发现资产并将自定义切面元数据附加到 BigQuery 表。

发现

使用基于切面的搜索谓词,在 Google Cloud 和自定义来源中查找资源。