使用“限制端点用量”政策配置环境

Managed Airflow（第 3 代） | Managed Airflow（第 2 代） | Managed Airflow（旧版第 1 代）

本页介绍了在强制执行 “限制端点用量” 组织政策时如何创建 Managed Airflow 环境。

constraints/gcp.restrictEndpointUsage 组织政策会限制可用于访问资源的 Google API 端点。这样，组织就可以强制使用位置或区域端点，例如，满足数据保留在特定地理区域内的要求。

Managed Airflow 中的“限制端点用量”政策简介

如果您在项目中创建 Managed Airflow 环境，而“限制端点用量”政策会拒绝访问 Cloud Storage API、Cloud Logging API、Pub/Sub API 或 Data Lineage API 等服务的全球端点，那么 Managed Airflow 会将环境的内部组件配置为使用这些服务的相应区域端点 (REP)。

环境使用的特定端点仅在环境创建期间由“限制端点用量”政策决定。 即使日后重新配置该政策，这些端点也不会更改。

限制 Managed Airflow 环境所需的服务

如果“限制端点用量”政策限制了 Managed Airflow 所需的某些服务，则适用以下限制：

  • Airflow 界面中的 Airflow 任务日志

    Airflow 界面依赖于全球 Cloud Logging 端点 (logging.googleapis.com) 来显示任务日志。 如果您在“限制端点用量”政策中拒绝 logging.googleapis.com，则任务日志将不会显示在 Airflow 界面中。

    此限制仅适用于 Airflow 界面。您仍然可以 在 DAG 界面中查看任务日志，并在 Google Cloud 控制台和 Cloud Logging 中 查看Airflow 工作器日志。

  • 环境指标

    Managed Airflow 使用 Cloud Monitoring 的全球端点 (monitoring.googleapis.com)，因为某些 Monitoring API 不完全支持区域端点。限制 monitoring.googleapis.com 可能会影响某些 环境指标。

  • DAG 中的 Airflow 运算符

    连接到“限制端点用量”政策拒绝的全球端点的 Airflow 运算符将失败。确保 DAG 中的任何 Airflow 运算符都配置为使用区域端点（如果运算符支持）。

准备工作

  • Managed Airflow（第 2 代）2.16.7 及更高版本支持使用“限制端点用量”政策的环境。

配置“限制端点用量”政策

如需了解如何配置“限制端点 使用政策”以拒绝访问特定全球端点的更多信息和示例，请参阅 限制端点用量。

使用“限制端点用量”政策创建公共 IP 环境

公共 IP Managed Airflow 环境不需要任何其他设置。请执行以下操作：

  1. 检查您要区域化的服务在所选区域中是否有可用的区域端点。

  2. 确保“限制端点用量”政策已 配置，并拒绝您打算区域化的 服务的全球端点。

  3. 创建新的 Managed Airflow 环境。

    该环境将根据“限制端点用量”政策使用区域端点。

使用“限制端点用量”政策创建专用 IP 环境

如需在专用 IP 配置中使用“限制端点用量”政策创建环境，您必须配置 VPC 网络，以使用 Private Service Connect 和 Cloud DNS 解析流量并将其路由到所需的区域端点 (REP)。

如需使用“限制端点用量”政策创建专用 IP 环境，请执行以下操作：

  1. 检查您要区域化的服务在所选区域中是否有可用的区域端点。

  2. 确保“限制端点用量”政策已 配置，并拒绝您打算区域化的 服务的全球端点。

  3. 确保您已拥有要用于专用 IP 环境的 VPC 网络和子网。

  4. 对受 “限制端点用量”政策限制的以下每项服务重复执行 网络配置步骤：

    • storage.googleapis.com
    • logging.googleapis.com
    • pubsub.googleapis.com
    • datalineage.googleapis.com
    • DAG 中使用的所有其他服务的 Google API 端点。

为受该政策限制的服务配置专用 IP 网络

对项目中任何 Google 服务的相应区域端点 (REP) 应用以下步骤，这些服务的全球端点访问权限受到限制。

您必须创建 Private Service Connect 端点，以面向这些服务的区域变体，并指定 Managed Airflow 环境的区域。例如，如果您的环境 位于 us-central1 中，则您面向 Cloud Storage 的 storage.us-central1.rep.googleapis.com REP。

如需详细了解如何使用 Private Service Connect 端点连接到受支持的 Google API 的区域端点，请参阅 通过端点访问区域性 Google API。

创建 Private Service Connect 端点

  1. 在 Google Cloud 控制台中，前往 Private Service Connect 页面。

    转到 Private Service Connect

  2. 点击连接端点 。

  3. 按如下方式配置 Private Service Connect 端点：

    • 目标：选择 Google API 。

    • 目标详情：

      1. 范围：选择 Regional。
      2. 区域：选择 Managed Airflow 环境的区域。
      3. 目标服务：选择您要配置的服务。这会在所选区域中选择一个 REP。

      示例：

      如果您的环境位于 us-central1 中，并且您要配置 Cloud Storage，请选择 Iowa (us-central1) 和 Cloud Storage (storage.us-central1.rep.googleapis.com)。

    • 端点详情：

      1. 端点名称：端点的名称。

        示例：psc-storage-endpoint-us-central1。

      2. 网络和子网：选择 Managed Airflow 环境的 VPC 网络和子网。

      3. IP 地址：选择现有 IP 地址，或点击创建 IP 地址 以从所选子网预留新的静态内部 IP 地址。

        为此 IP 地址指定一个描述性名称。您稍后将使用此 IP 地址来配置 DNS 记录。

        示例：psc-storage-us-central1。

  4. 点击添加端点 。

创建专用 DNS 区域

  1. 在 Google Cloud 控制台中，前往 Cloud DNS 页面。

    转到 Cloud DNS

  2. 点击创建区域 。

  3. 在区域类型 中，选择 Private。

  4. 指定以下配置：

    • 区域名称：区域的名称。

      示例：storage-us-central1

    • DNS 名称：DNS 名称。请添加结尾的点。

      示例：storage.us-central1.rep.googleapis.com.

    • 网络：选择 Managed Airflow 环境的 VPC 网络。

  5. 点击创建 。

在创建的 DNS 区域中添加 DNS 记录

  1. 在 Google Cloud 控制台中，前往 Cloud DNS 页面。

    转到 Cloud DNS

  2. 点击您创建的区域的名称。

  3. 点击添加标准 。

  4. 按如下方式配置 DNS 记录：

    • DNS 名称：指定 DNS 区域的子网域。

      示例：storage.us-central1.rep.googleapis.com

    • 资源记录类型：选择 A。

    • IPv4 地址：选择您 分配给 Private Service Connect 端点的 IP 地址。

  5. 点击创建 。

创建专用 IP Managed Airflow 环境

配置环境将使用的所有服务后， 请继续在所选 VPC 网络和子网中创建专用 IP 环境。

后续步骤