分析数据更改对工作流的影响

在此场景中，您维护着一个数据库，其中存储着有关医疗服务提供方提供的各种服务的使用记录。为了让数据更易于使用，您需要浏览表格以确定可能需要进行的更改。在实施更改之前，您需要确定任何改进是否会影响现有工作流程，以及是否需要进行其他调整。

在本教程中，您将使用数据沿袭来确定数据转换如何影响下游资源以及这些资源所属的工作流。

开始使用

若要完成此使用情形，请先设置环境并运行数据转换。使用前提条件和设置页面将远程仓库连接到 Dataform。此代码库包含设置数据集和转换数据所需的代码。

完成环境设置后，使用 BigQuery 和 Lineage Explorer 跟踪数据转换及其对工作流的影响。

使用谱系浏览器分析数据转换

准备好数据集后，使用 BigQuery 的谱系标签页分析数据转换的影响。

使用沿袭图验证列数据的完整性

在此示例中，请查看 medicare_participation_indicator 列，该列表示医生或供应商是否同意为 Medicare 提供服务。谱系图显示了派生表之间的数据转换如何导致列数据类型发生变化：

1. 在 Google Cloud 控制台中，前往 BigQuery 页面：
2. 使用搜索字段查找 physicians_and_other_supplier_2012_original 表。
3. 点击沿袭标签页。
4. 在沿袭探索器窗格中，执行以下操作：
   1. 在列级沿袭部分中，从列表中选择 medicare_participation_indicator 列名称。
   2. 在方向部分中，选择下游方向。
   3. 点击应用。
5. 展开谱系路径，直至到达 vertex_ai_model_final_features。

6. 分析 supplier_stg3 表和 supplier_transform1 表之间的路径变化：

   

   medicare_participation_indicator 列的沿袭跟踪可视化图表

   • 精确复制路径标记表示相应列正在以未更改的状态传递。
   • 其他路径标记表示转换。在此路径中，数据类型 String 被视为 Boolean。

该路径显示了列数据类型的变化，这可能需要调整使用这些表的工作流。

识别冗余的下游列

此示例检查了 nppes_credentials 列，其中列出了从业人员在国家计划和提供商枚举系统 (NPPES) 中持有的国家医疗保健服务提供商标识符：

1. 在 Google Cloud 控制台中，前往 BigQuery 页面：
2. 使用搜索字段查找 physicians_and_other_supplier_2012_original 表。
3. 点击沿袭标签页。
4. 在沿袭探索器窗格中，执行以下操作：
   1. 在列级沿袭部分中，从列表中选择 nppes_credentials 列名称。
   2. 在方向部分中，选择下游方向。
   3. 点击应用。
5. 展开路径，检查是否存在指向 vertex_ai_model_final_features 的下游沿袭。

没有沿袭意味着此列可能与此特定工作流无关，甚至可以删除。

如需详细了解如何使用数据沿袭图直观呈现数据，请参阅沿袭图视图。