启用和停用 Managed Airflow 服务

Managed Airflow（第 3 代） | Managed Airflow（第 2 代） | Managed Airflow（旧版第 1 代）

本页面介绍了如何在 Google Cloud 项目中启用和停用 Managed Service for Apache Airflow 服务。

如需了解 Google Cloud上的服务管理，请参阅启用和停用服务。

如需查看 VPC Service Controls 配置中 Managed Airflow 所需的服务列表，请参阅配置 VPC Service Controls。

Managed Service for Apache Airflow 所需的服务

本部分介绍了 Managed Airflow（旧版第 1 代）所需的服务。在某些情况下，组织或项目管理员可以限制其项目中可以使用的 Google 服务。

Managed Airflow（旧版第 1 代）需要以下服务：

  • composer.googleapis.com
  • compute.googleapis.com
  • logging.googleapis.com
  • monitoring.googleapis.com
  • storage.googleapis.com
  • cloudresourcemanager.googleapis.com
  • servicedirectory.googleapis.com
  • pubsub.googleapis.com
  • sqladmin.googleapis.com
  • cloudkms.googleapis.com（如果您使用的是 Cloud KMS 或 CMEK 密钥）

  • secretmanager.googleapis.com（如果您使用 Secret Manager 作为 Secret 后端）

  • deploymentmanager.googleapis.com

在大多数项目中，默认情况下已允许使用 Cloud DNS 或 IAM 等 Google 服务。

启用 Managed Airflow 服务

本部分介绍如何在 Google Cloud 项目中启用 Managed Airflow 服务。

启用服务前的准备工作

启用 Cloud Composer API

控制台

启用 Cloud Composer API：

启用 API 所需的角色

如需启用 API，您需要拥有 serviceusage.services.enable 权限。如果您创建了项目，则可能已经通过 Owner 角色 (roles/owner) 拥有此权限。否则，您可以通过 Service Usage Admin 角色 (roles/serviceusage.serviceUsageAdmin) 获得此权限。了解如何授予角色。

启用 API

gcloud

启用 composer.googleapis.com API：

启用 API 所需的角色

如需启用 API，您需要拥有 serviceusage.services.enable 权限。如果您创建了项目，则可能已经通过 Owner 角色 (roles/owner) 获得了此权限。否则，您可以通过 Service Usage Admin 角色 (roles/serviceusage.serviceUsageAdmin) 获得此权限。了解如何授予角色。 

gcloud services enable composer.googleapis.com

API

使用 services.enable 方法启用 composer.googleapis.com API。

Terraform

使用 google_project_service 资源配置 composer.googleapis.com API。

启用 DAG 所需的服务

除了 Managed Airflow 所需的服务之外，还要启用 DAG 使用的所有服务，例如：

  • bigquery.googleapis.com
  • dataflow.googleapis.com
  • datacatalog.googleapis.com

您可以在从 API Explorer 页面链接的 API 页面中找到服务的 *.googleapis.com 名称。

停用 Managed Airflow 服务

本部分介绍如何在 Google Cloud 项目中停用 Managed Airflow 服务。

停用服务之前

  • 如需停用 Managed Airflow 服务，您必须具有正确的 Identity and Access Management 权限。如需了解 Service Usage 的 IAM 要求，请参阅访问权限控制的 Service Usage 页面。

  • 确保项目中的所有 Managed Airflow 环境都已删除。停用 API 会永久删除 Managed Airflow 环境的租户项目部分，并且这些环境将变得不可用。

  • 为避免产生额外费用，请先针对每个环境完成以下步骤，然后再停用 Cloud Composer API：

    1. 暂停 DAG。
    2. 如果需要，从环境的存储桶导出环境的数据，例如 DAG。
    3. 删除您的环境，包括未自动删除的资源。

停用 Cloud Composer API

如需停用 Managed Airflow 服务，请执行以下操作：

控制台

  1. 在 Google Cloud 控制台中，前往 Cloud Composer API 页面。

    转到 Cloud Composer API

  2. 点击管理。

  3. 点击停用 API。

gcloud

运行 gcloud services disable 命令：

gcloud services disable composer.googleapis.com

API

使用 services.disable 方法停用 composer.googleapis.com API。

Terraform

移除 composer.googleapis.com API 的配置。您通常使用 google_project_service 资源配置 Google Cloud 服务。

弃用 Managed Airflow（第 3 代）不需要的服务

我们将逐步淘汰 Managed Airflow（第 3 代）不需要的 API。

以下 API 依赖项尚未分离，并计划在未来从 Cloud Composer API 中分离：

  • sqladmin.googleapis.com
  • pubsub.googleapis.com

以下 API 已完全可分离。停用这些 API 不会导致 Cloud Composer API 停用：

  • artifactregistry.googleapis.com
  • cloudbuild.googleapis.com
  • container.googleapis.com

当您启用 Cloud Composer API 时，所有列为已分离的 API 都不再自动启用。如需在新项目中创建 Managed Airflow（第 2 代）环境，除了启用 Cloud Composer API 之外，还要启用一组分离的 API。

如果项目已启用 Cloud Composer API，则其中的现有 Managed Airflow（第 3 代）和 Managed Airflow（第 2 代）环境不受此变更的影响。您可以执行以下操作：

  • 如果您的项目只有 Managed Airflow（第 3 代）环境，则可以手动停用已分离的 API。

  • 如果您的项目具有 Managed Airflow（第 2 代）环境，我们建议您保持这些 API 处于启用状态，因为停用这些 API 可能会导致环境故障。

  • 如果您使用自动化脚本预配 Managed Airflow（第 2 代）环境，请确保除了 Cloud Composer API 之外，还启用了列出的 API。您可以手动启用它们，也可以使用 gcloud CLI 命令启用。

后续步骤