数据沿袭注入控制简介

为了管理费用和治理政策，您可以为特定 Google Cloud 服务开启或关闭数据沿袭注入。例如，您可以为不需要沿袭跟踪的开发项目或高容量工作负载停用沿袭收集。

支持的服务集成

下表列出了支持数据沿袭注入控制的集成：

集成名称 提取控制支持 默认值 集成详情
Managed Service for Apache Spark：Apache Spark 集群 是 已启用 使用 Spark 数据沿袭
Managed Service for Apache Spark：Apache Hive 集群 是 已启用 启用 Hive 数据沿袭
Managed Service for Apache Spark：无服务器部署 是 已启用 将数据沿袭与 Managed Service for Apache Spark 搭配使用
BigQuery 是 已启用 跟踪 BigQuery 表的数据沿袭
Managed Service for Apache Airflow 是 已启用 使用 Knowledge Catalog 的数据沿袭
Looker (Google Cloud Core) 是（预览版） 已启用 Looker Core 数据沿袭
Cloud Data Fusion 否 已启用 在 Knowledge Catalog 中查看沿袭
Dataflow 否 已从 Dataflow 端停用 在 Dataflow 中使用数据沿袭
Vertex AI Pipelines 否 已启用 跟踪流水线工件的沿袭

数据沿袭注入控制机制的工作原理

您可以在组织、文件夹和项目级层控制数据注入，并将这些设置与服务专属配置相结合，从而实现对数据沿袭注入的精细控制。

Knowledge Catalog 会从项目开始，然后是文件夹，最后是组织，评估资源层次结构，以确定有效配置。在此向上遍历中，在任何级别显式设置的第一个配置都会生效。

  • 如果您在项目级层设置了配置，Knowledge Catalog 会使用该配置。
  • 如果未在项目级层设置任何配置，Knowledge Catalog 会使用具有显式配置的最近父级文件夹中的配置。
  • 如果未在项目或文件夹级层设置配置，Knowledge Catalog 将使用组织级层配置。
  • 如果未在任何这些级别设置配置，Knowledge Catalog 将使用集成的系统默认值。

如需批量管理提取控制，请按照分层服务激活规则，为文件夹或组织内的所有项目启用 Data Lineage API。启用 Data Lineage API 后，您可以针对组织、文件夹或项目，按服务集成精细控制数据沿袭提取。

数据注入配置如何适用于单服务集成

以下场景说明了 Knowledge Catalog 如何在资源层次结构中解析单个服务的沿袭提取配置。

假设组织 test-org 具有以下 Managed Service for Apache Spark 沿袭配置：

  • 组织“test-org”：已启用
    • 文件夹 folder-a：已停用
      • 项目 project-a：未设置配置
    • 文件夹 folder-b：已启用
      • 项目 project-b：已停用

在这种情况下，系统会应用以下设置：

  • 对于 project-a，沿袭注入已停用。 Knowledge Catalog 从 project-a 开始评估，未找到任何配置，然后向上移动到 folder-a，并应用 folder-a 中的已停用配置。
  • 对于 project-b，沿袭提取功能已停用。 Knowledge Catalog 从 project-b 开始评估，并应用其已停用配置，从而覆盖 folder-b 和 test-org 处的设置。

多服务集成的数据注入配置运作方式

以下场景说明了 Knowledge Catalog 如何独立解析资源层次结构中多项服务的配置。

假设有一个组织 test-org，其在多个服务集成中具有以下沿袭配置：

  • 组织 test-org
    • Managed Service for Apache Spark：已启用
    • 文件夹 folder-a
      • BigQuery：已启用
      • 项目 project-a
        • BigQuery：已停用
        • Managed Service for Apache Airflow：已启用
      • 项目 project-b：未设置配置

在这种情况下，Knowledge Catalog 会在资源层次结构中独立评估每个服务集成：

  • 对于 project-a：
    • Managed Service for Apache Spark 沿袭提取功能已启用。 Knowledge Catalog 从 project-a 开始评估，未找到 Managed Service for Apache Spark 的配置，向上移动到 folder-a（未设置配置），并应用 test-org 中的已启用配置。
    • BigQuery 沿袭注入功能已停用。 Knowledge Catalog 会应用明确的项目级配置，该配置会覆盖在 folder-a 处设置的已启用配置。
    • Managed Service for Apache Airflow 沿袭注入已启用。 Knowledge Catalog 会应用明确的项目级配置。
  • 对于 project-b：
    • Managed Service for Apache Spark 沿袭提取已启用（继承自 test-org）。
    • BigQuery 沿袭注入已启用（继承自 folder-a）。
    • Managed Service for Apache Airflow 沿袭提取使用系统默认设置（在 Data Lineage API 处于活跃状态时，默认设置为已启用），因为层次结构中的任何级别均未设置显式配置。

后续步骤