Knowledge Catalog 中的数据沿袭可视化图表简介

数据沿袭通过跟踪数据资产与转换这些资产的流程之间的关系，帮助您了解数据在系统中的移动方式。您可以在 Google Cloud 控制台中以图表和列表的形式查看此沿袭信息。

本文档介绍了表级和列级数据沿袭粒度，并提供了有关如何使用图表和列表视图在 Google Cloud 控制台中探索数据沿袭的说明。

如需详细了解底层数据模型，请参阅数据沿袭信息模型。

表级层沿袭与列级层沿袭之间的差异

借助数据沿袭，您可以在表级和列级跟踪数据的来源和转换路径。

何时使用表级沿袭

表级沿袭通过显示整个表之间的关系，提供数据流水线的简要概览。将表级层沿袭用于宏级层任务，例如：

  • 数据发现。构建新信息中心的分析师可以使用表级沿袭来跟踪摘要表，并确认数据源自权威数据库。

  • 迁移规划。计划迁移核心数据库的数据库管理员可以使用表级沿袭来确定依赖于该数据库的每个下游报告和信息中心。

  • 审核和治理。数据治理员可以使用表级和列级沿袭来检查包含个人身份信息 (PII) 的表中的数据如何流经流水线。

何时使用列级沿袭

列级沿袭通过跟踪各个列之间的数据流，提供更精细的视图。在此视图中，沿袭事件中的链接表示源列与目标列之间的关系。每个列级链接都有一个描述转换的依赖项类型：

  • Exact copy：在列之间复制值。

  • Other：列之间的其他类型的依赖关系。

将列级沿袭用于以下任务：

  • 根本原因分析。 如果数据分析师在列中发现不正确的值，则可以使用列级沿袭将其追溯到源列，以找出根本原因。

  • 影响分析。在数据工程师弃用某个列之前，他们可以使用列级沿袭来查找依赖于该列的每个下游列。

  • 指标的数据源验证。数据分析师可以使用列级沿袭来确定哪些源列用于计算指标，而无需破译复杂的 SQL 查询。

系统会自动为以下类型的 BigQuery 作业收集列级沿袭：

对于 Managed Service for Apache Spark 作业，支持取决于 Managed Service for Apache Spark 使用的 Open Lineage 依赖项的类型和版本。支持的最低版本为 1.34。 以下是支持的最低 Managed Service for Apache Spark 集群映像版本：

  • 3.0.3
  • 2.3.22
  • 2.2.75
  • 2.1.107

以下是支持的最低 Managed Service for Apache Spark 运行时版本：

  • 3.0.3
  • 2.3.20

Google Cloud 控制台中的沿袭视图

借助 Google Cloud 控制台中的数据沿袭，您可以通过两种方式与沿袭信息进行交互：您可以探索多个可用区域中的沿袭图，也可以使用沿袭探索器面板在特定区域内获得更集中的视图。您还可以在图表视图和列表视图之间切换，以分析不同详细程度的数据流。

沿袭视图仅适用于 Knowledge Catalog（以前称为 Dataplex Universal Catalog）条目、BigQuery 资产和 Vertex AI 资源（模型、数据集、Feature Store 视图和特征组）。

如需查看本文档中讨论的不同视图，请参阅将数据沿袭与 Google Cloud 系统搭配使用。

沿袭图视图

图表视图可直观呈现跨系统和区域的数据资产流和关系，帮助您了解数据架构、跟踪来源和目的地以及识别模式。这些沿袭图由 Data Lineage API 服务针对特定 Knowledge Catalog 条目生成，展示了数据随时间推移而发生的变化，并显示了所选根条目的上游、下游或双向数据流。

Data Lineage API 会自动从受支持的系统并通过 API 调用接收自定义来源的资产信息。

图中的关键元素如下：

  • 节点。节点表示数据实体。在表级视图中，节点会显示表名称及其列。在列级视图中，每个节点代表一个特定的表和列。

  • 边缘。边缘是连接节点的线条，表示节点之间发生的过程。边的显示方式取决于沿袭视图：

    • 在表格级视图中，边缘带有图标，用于指示数据转换。
    • 在列级视图中，边缘带有标签，用于指示数据转换。例如，边缘标签可能会显示 Exact copy，以描述如何将源列复制到目标列。

  • 处理图标和标签。边缘上会显示流程图标和标签，以提供有关转换的更多信息。

    • 图标。图标表示转换过程。手动探索图表时，边缘上的图标表示进程的来源系统（例如 BigQuery 或 Vertex AI）。如果涉及多个进程，则会显示“多个进程”图标。如果进程来源系统未知，则会使用齿轮图标。应用过滤条件后，所有进程都会使用齿轮图标。
    • 标签。在列级沿袭视图中，标签描述了列之间的依赖项类型：Exact copy 或 Other。

探索沿袭图

打开沿袭标签页后，您会看到默认的图表视图。默认视图提供跨系统和区域的简要概览，并支持手动和增量图表展开，一次可加载五个节点。边缘上的进程图标表示源系统或表示多个进程。

Knowledge Catalog 默认沿袭图，显示 BigQuery 等 Google Cloud 系统中的表级数据转换。
默认沿袭图视图

过滤和突出显示数据沿袭视图

对于大型和复杂的沿袭图，您可以应用过滤条件或突出显示来减少视觉干扰，并专注于探索特定区域内的沿袭。使用谱系探索器面板设置条件。应用过滤条件后，过滤条件栏会显示在图表和列表视图的顶部，以条状标签的形式显示有效过滤条件。

如需优化沿袭可视化，您可以选择以下模式之一：

  • 突出显示：匹配的节点会通过颜色和边框在视觉上突出显示，而整个图表仍保持可见。这有助于找到特定资产，而不会丢失沿袭图的整体上下文。

  • 过滤：不匹配的节点会被隐藏，图表会简化为仅显示匹配的节点以及它们之间的路径。不匹配的节点如果属于匹配节点之间的路径，则会分组到收起的节点中。此模式有助于降低复杂性，并仅专注于相关资产及其直接关系。

如需过滤或突出显示谱系，请使用以下条件：

  • 项目：按 Google Cloud 项目 ID 过滤。
  • 系统：按数据资产所在的系统（例如 BigQuery 或 Cloud Storage）进行过滤。
  • 实体名称：按资产名称过滤。您可以使用 * 进行通配符搜索（仅限前缀和后缀，例如 *table 或 test*）。
  • 子类型：按资产子类型（例如 dashboard 或 model）过滤。
  • 列名称：按列名称过滤沿袭数据，以查看列级详细信息。
  • 方向：显示上游或下游沿袭，或同时显示两者。
  • 时间范围：根据特定的开始或结束时间过滤沿袭。
  • 依赖项类型：根据依赖项类型过滤列级沿袭。可用选项示例包括 All 或 Exact copy。

为了进一步减少杂乱，您可以选择隐藏临时 BigQuery 表，以隐藏 BigQuery 创建的临时资产，例如名称以 _script 开头的数据集中的表。

沿袭探索器面板，其中显示了列级沿袭、方向和时间范围的过滤条件。
沿袭探索器面板

图表视图标签页中的聚焦视图会自动将图表展开到最多 3 个级别，并加载符合过滤条件的全部沿袭。沿袭浏览器最多可提取 10 级的沿袭图，但默认情况下仅展开前 3 级。您可以点击箭头展开图表，查看其余层级。

聚焦视图支持表级和列级沿袭，包括从任何所选节点返回到根节点的路径可视化。在此聚焦视图中，所有进程都使用通用齿轮图标。

显示已过滤数据资产的聚焦沿袭图表视图。
聚焦的表级沿袭图视图

如需查看列级沿袭，请使用以下方法之一：

  • 在聚焦图表视图中，点击表上的列图标以切换到列级沿袭。

    用于切换到列级沿袭的图标。
    列图标

  • 在默认图表视图或聚焦图表视图的沿袭资源管理器面板中应用列名称。

显示表之间列级关系的沿袭图。
列级沿袭视图

如需移除所有过滤条件并返回默认视图，请点击 重置。

如需在突出显示模式和过滤模式之间切换，请参阅优化沿袭可视化。

查看沿袭节点详情

如需查看节点的详细信息，请点击该节点。系统会显示一个侧边栏，其中包含所选数据资产的详细信息。例如，在表级沿袭视图中，点击某个节点会显示相应资产的完全限定名称、类型和其他相关属性等信息。

沿袭图中选定节点的详情面板。
节点详情

查看沿袭运行的历史记录

完整的沿袭图是多次运行不同作业的结果。每个作业都会在图中创建一个特定的链接。多次执行会记录为新运行，但不会更改图表的静态外观。

如需查看这些单独执行的详细信息，请点击图表中包含进程的边缘。在随即显示的查询面板中，点击运行标签页。

“查询”面板，其中显示“详细信息”和“运行”标签页。
“查询”面板

检查数据转换逻辑

如需了解转换的业务逻辑，而无需搜索代码，您可以查看运行的确切 SQL 查询。如需查看 SQL 代码，请点击图表中包含进程的边缘。在显示的侧边栏中，点击详细信息标签页。

直观呈现数据沿袭路径

沿袭路径可视化可帮助您跟踪从图表中任何所选节点到根条目的路径。当您选择一个节点并点击直观呈现路径时，图表仅突出显示构成根条目的直接沿袭路径的节点和进程。

如需查看沿袭路径可视化图表，请在沿袭探索器面板中应用过滤条件，以创建重点突出的图表视图。然后，在聚焦的图表视图中，选择一个节点。在所选节点的详细信息面板中，点击可视化路径。

沿袭路径可视化图表适用于表级和列级沿袭。您还可以在列表视图中使用沿袭路径可视化图表。

列级沿袭图表视图中的沿袭路径可视化图表按钮。
列级沿袭图视图中的沿袭路径可视化按钮

沿袭列表视图

列表视图以表格形式结构化地呈现沿袭，并与图表视图同步。它可帮助您对数据资产进行排序、过滤和下载。此视图非常适合分析来源-目标关系、详细说明所涉及的资产以及导出沿袭数据。

列表视图适用于表级和列级沿袭。您可以在以下详细列表视图和简化列表视图之间切换：

  • 简化的列表视图：此视图有助于获取沿袭中涉及的所有资产的精简、唯一列表。系统、项目、实体、FQN（完全限定名称）、方向和深度等列可帮助您查看沿袭中的所有数据资产、它们所在的位置、原始来源以及与正在分析的中心资产的距离。它非常适合用于对参与数据流的所有实体进行概要概览。这是默认视图。

  • 详细列表视图：此视图旨在分析各个来源-目标关系。通过为来源和目标提供单独的列，您可以查看每个具体的数据转换链接。此视图非常适合需要深入了解数据如何在特定资产对之间移动的任务，例如审核单个数据流、了解表之间的依赖关系，或导出每个连接的详细沿袭记录。

表级层沿袭列表视图

此视图显示了表之间的整体关系。 使用提供的过滤条件选择所需的列。

显示简化的表级沿袭列表视图的表格。
表级简化列表视图

展开以下部分，查看表级列表视图中可用的列。

简化的表级列表视图中可用的列

  • 系统：数据资源所在的系统。例如 [BigQuery](/bigquery/docs)。
  • 项目：包含数据资产的 Google Cloud 项目 ID。
  • 实体：数据资产的名称。示例包括表名称。
  • FQN：原始来源实体或列的完全限定名称 (FQN)。
  • 方向：指示所列资产在沿袭流中是上游（来源）还是下游（目标）。
  • 深度：从正在分析的中心资产开始的沿袭步数。

详细表级列表视图中可用的列

  • 源系统：源数据资源所在的系统。例如 BigQuery。
  • 源项目：包含源数据资产的 Google Cloud 项目 ID。
  • 来源：来源数据资产的名称。示例包括表名称。
  • 来源 FQN：来源实体的 FQN。
  • 目标系统：目标数据资产所在的系统。 例如 BigQuery。
  • 目标项目：包含目标数据资产的 Google Cloud 项目 ID。
  • 目标：目标数据资产的名称。示例包括表名称。
  • 目标 FQN：目标实体的 FQN。
  • 方向：指示所列资产在沿袭流中是上游（来源）还是下游（目标）。
  • 深度：从正在分析的中心资产开始的沿袭步数。

列级沿袭列表视图

此视图显示源表和目标表中各个列之间的关系。使用提供的过滤条件选择所需的列。

一个表格，显示简化的列级沿袭列表视图。
列级简化列表视图

展开以下部分，查看列级列表视图中可用的列。

简化的列级列表视图中可用的列

  • 系统：数据资源所在的系统。例如 BigQuery。
  • 项目：包含数据资产的 Google Cloud 项目 ID。
  • 实体：数据资产的名称。示例包括表名称。
  • 列：实体中在沿袭探索器面板内选择的特定列。
  • FQN：原始来源实体或列的完全限定名称 (FQN)。
  • 方向：指示所列资产在沿袭流中是上游（来源）还是下游（目标）。
  • 深度：从正在分析的中心资产开始的沿袭步数。

详细的列级列表视图中可用的列

  • 源系统：源数据资源所在的系统。
  • 源项目：包含源数据资产的 Google Cloud 项目 ID。
  • 来源 FQN：来源列的 FQN。
  • 目标系统：目标数据资产所在的系统。
  • 目标项目：包含目标数据资产的 Google Cloud 项目 ID。
  • 目标 FQN：目标列的 FQN。
  • 方向：指明数据流是上游还是下游。
  • 依赖项类型：描述列之间关系的性质。
  • 深度：从正在分析的中心资产开始的沿袭步数。

后续步骤