使用“限制端点用量”政策配置环境

Managed Airflow（第 3 代） | Managed Airflow（第 2 代） | Managed Airflow（旧版第 1 代）

本页介绍了在强制执行限制端点使用组织政策时如何创建 Managed Airflow 环境。

constraints/gcp.restrictEndpointUsage 组织政策限制了可用于访问资源的 Google API 端点。这使得组织能够强制使用位置端点或区域端点，例如，满足数据保留在特定地理区域内的要求。

Managed Airflow 中的“限制端点用量”政策简介

如果您在某个项目中创建了 Managed Airflow 环境，而该项目中的“限制端点使用”政策会拒绝访问 Cloud Storage API、Cloud Logging API、Pub/Sub API 或 Data Lineage API 等服务的全球端点，那么 Managed Airflow 会将环境的内部组件配置为使用这些服务的相应区域端点 (REP)。

环境使用的具体端点仅在创建环境期间由“限制端点用量”政策确定。即使日后重新配置政策，这些端点也不会发生变化。

限制 Managed Airflow 环境所需的服务

如果“限制端点使用”政策限制了 Managed Airflow 所需的某些服务，则会受到以下限制：

  • Airflow 界面中的 Airflow 任务日志

    Airflow 界面依赖于全局 Cloud Logging 端点 (logging.googleapis.com) 来显示任务日志。如果您在“限制端点使用情况”政策中拒绝 logging.googleapis.com，则 Airflow 界面中将无法显示任务日志。

    此限制仅适用于 Airflow 界面。您仍然可以在 DAG 界面中查看任务日志，并在 Google Cloud 控制台和 Cloud Logging 中查看 Airflow worker 日志。

  • 环境指标

    Managed Airflow 使用 Cloud Monitoring 的全球端点 (monitoring.googleapis.com)，因为某些 Monitoring API 不完全支持区域端点。限制 monitoring.googleapis.com 可能会影响某些环境指标。

  • DAG 中的 Airflow 运算符

    连接到“限制端点用量”政策拒绝的全球端点的 Airflow 运算符将失败。确保 DAG 中的所有 Airflow 运算符都配置为使用区域端点（如果该运算符支持）。

  • 客户管理的加密密钥 (CMEK)

    客户管理的加密密钥的使用不支持与“限制端点使用”政策一起使用。

准备工作

  • Managed Airflow（第 2 代）2.16.7 版及更高版本支持具有“限制端点使用”政策的环境。

配置“限制端点用量”政策

如需详细了解如何配置“限制端点用量”政策以拒绝访问特定全局端点，请参阅限制端点用量。

创建具有“限制端点用量”政策的公共 IP 环境

公共 IP Managed Airflow 环境不需要任何其他设置。执行以下操作：

  1. 检查您要区域化的服务是否在所选区域中提供区域级端点。

  2. 确保“限制端点用量”政策已配置，并且拒绝您打算区域化的服务的全球端点。

  3. 创建新的 Managed Airflow 环境。

    环境将根据“限制端点用量”政策使用区域端点。

创建具有“限制端点用量”政策的专用 IP 环境

如需在专用 IP 配置中创建具有“限制端点使用”政策的环境，您必须配置 VPC 网络，以使用 Private Service Connect 和 Cloud DNS 将流量解析并路由到所需的区域端点 (REP)。

如需创建具有“限制端点用量”政策的专用 IP 环境，请执行以下操作：

  1. 检查您要区域化的服务是否在所选区域中提供区域级端点。

  2. 确保“限制端点用量”政策已配置，并且拒绝您打算区域化的服务的全球端点。

  3. 确保您已拥有要用于专用 IP 环境的 VPC 网络和子网。

  4. 针对受“限制端点用量”政策限制的以下各项服务，重复执行网络配置步骤：

    • storage.googleapis.com
    • logging.googleapis.com
    • pubsub.googleapis.com
    • datalineage.googleapis.com
    • DAG 中使用的所有其他服务的 Google API 端点。

为受政策限制的服务配置专用 IP 网络

对于项目中任何访问其全球端点受到限制的 Google 服务，请对相应的区域端点 (REP) 应用以下步骤。

您必须创建 Private Service Connect 端点，以定位这些服务的区域变体，并指定您的 Managed Airflow 环境所在的区域。例如，如果您的环境位于 us-central1，则您需要以 Cloud Storage 的 storage.us-central1.rep.googleapis.com REP 为目标。

如需详细了解如何使用 Private Service Connect 端点连接到受支持的 Google API 的区域端点，请参阅通过端点访问区域级 Google API。

创建 Private Service Connect 端点

  1. 在 Google Cloud 控制台中，前往 Private Service Connect 页面。

    转到 Private Service Connect

  2. 点击连接端点。

  3. 按如下方式配置 Private Service Connect 端点：

    • 目标：选择 Google API。

    • 目标详情：

      1. 范围：选择 Regional。
      2. 区域：选择 Managed Airflow 环境的区域。
      3. 目标服务：选择您要配置的服务。此操作会选择所选区域中的 REP。

      示例：

      如果您的环境位于 us-central1 中，并且您要配置 Cloud Storage，请依次选择 Iowa (us-central1) 和 Cloud Storage (storage.us-central1.rep.googleapis.com)。

    • 端点详情：

      1. 端点名称：端点的名称。

        示例：psc-storage-endpoint-us-central1。

      2. 网络和子网：选择 Managed Airflow 环境的 VPC 网络和子网。

      3. IP 地址：选择现有 IP 地址，或点击创建 IP 地址以从所选子网中预留新的静态内部 IP 地址。

        为此 IP 地址指定一个描述性名称。您稍后将使用此 IP 地址来配置 DNS 记录。

        示例：psc-storage-us-central1。

  4. 点击添加端点。

创建专用 DNS 区域

  1. 在 Google Cloud 控制台中，前往 Cloud DNS 页面。

    转到 Cloud DNS

  2. 点击创建区域。

  3. 在区域类型中，选择 Private。

  4. 指定以下配置：

    • 地区名称：地区的名称。

      示例：storage-us-central1

    • DNS 名称：一个 DNS 名称。包含结尾的点。

      示例：storage.us-central1.rep.googleapis.com.

    • 网络：为您的 Managed Airflow 环境选择 VPC 网络。

  5. 点击创建。

在创建的 DNS 区域中添加 DNS 记录

  1. 在 Google Cloud 控制台中，前往 Cloud DNS 页面。

    转到 Cloud DNS

  2. 点击您创建的区域的名称。

  3. 点击添加标准。

  4. 按如下方式配置 DNS 记录：

    • DNS 名称：指定 DNS 区域的子网域。

      示例：storage.us-central1.rep.googleapis.com

    • 资源记录类型：选择 A。

    • IPv4 地址：选择您为 Private Service Connect 端点分配的 IP 地址。

  5. 点击创建。

创建专用 IP Managed Airflow 环境

配置好环境将使用的所有服务后，请继续在所选 VPC 网络和子网中创建专用 IP 环境。

后续步骤