启用和停用 Managed Airflow 服务

Managed Airflow(第 3 代) | Managed Airflow(第 2 代) | Managed Airflow(旧版第 1 代)

本页面介绍如何在 Google Cloud 项目中启用和停用 Managed Service for Apache Airflow 服务 。

如需了解上 Google Cloud的服务管理,请参阅 启用和停用服务

如需查看 VPC Service Controls 配置中 Managed Airflow 所需的服务列表,请参阅 配置 VPC Service Controls

Managed Service for Apache Airflow 所需的服务

本部分介绍 Managed Airflow(第 3 代)所需的服务。 在某些情况下,组织或项目管理员可以限制其项目中可以使用哪些 Google 服务。

Managed Airflow(第 3 代)需要以下服务:

  • composer.googleapis.com
  • compute.googleapis.com
  • logging.googleapis.com
  • monitoring.googleapis.com
  • storage.googleapis.com
  • cloudresourcemanager.googleapis.com
  • servicedirectory.googleapis.com
  • cloudkms.googleapis.com(如果您使用的是 Cloud KMS 或 CMEK 密钥)
  • secretmanager.googleapis.com(如果您使用的是 Secret Manager 作为 Secret 后端)

在大多数项目中,Cloud DNS 或 IAM 等 Google 服务默认已获允许。

启用 Managed Airflow 服务

本部分介绍如何在 您的 Google Cloud 项目中启用 Managed Airflow 服务。

启用服务之前

启用 Cloud Composer API

控制台

启用 Cloud Composer API:

启用 API 所需的角色

如需启用 API,您需要拥有 serviceusage.services.enable 权限。如果您 创建了项目,则可能已通过 所有者角色 (roles/owner) 拥有此权限。否则,您可以通过 Service Usage Admin 角色 (roles/serviceusage.serviceUsageAdmin) 获得此权限。 了解如何授予角色

启用 API

gcloud

启用 composer.googleapis.com API:

启用 API 所需的角色

如需启用 API,您需要拥有 serviceusage.services.enable 权限。如果您创建了项目,则可能已通过 所有者角色 (roles/owner) 拥有此权限。否则,您可以通过 Service Usage Admin 角色 (roles/serviceusage.serviceUsageAdmin) 获得此权限。 了解如何授予角色

gcloud services enable composer.googleapis.com

API

使用 services.enable 方法启用 composer.googleapis.com API。

Terraform

使用 google_project_service 资源配置 composer.googleapis.com API。

启用 DAG 所需的服务

除了 Managed Airflow 所需的服务之外,还要启用 DAG 使用的所有服务,例如:

  • bigquery.googleapis.com
  • dataflow.googleapis.com
  • datacatalog.googleapis.com

您可以在 API 页面中找到服务的 *.googleapis.com 名称 ,这些页面链接自 API 探索器页面

停用 Managed Airflow 服务

本部分介绍如何在 您的 Google Cloud 项目中停用 Managed Airflow 服务。

停用服务之前

  • 如需停用 Managed Airflow 服务,您必须具有正确的 Identity and Access Management 权限。如需了解 Service Usage 的 IAM 要求,请参阅访问权限控制的 Service Usage 页面。

  • 确保项目中的所有 Managed Airflow 环境都已删除。停用 API 会永久删除 Managed Airflow 环境的租户项目部分,并且这些环境将变得不可用。

  • 为避免产生额外费用,请先针对每个环境完成以下步骤,然后再停用 Cloud Composer API:

    1. 暂停 DAG。
    2. 如果需要,从环境的存储桶导出环境的数据,例如 DAG。
    3. 删除您的环境,包括未自动删除的资源。

停用 Cloud Composer API

如需停用 Managed Airflow 服务,请执行以下操作:

控制台

  1. 在 Google Cloud 控制台中,前往 Cloud Composer API 页面。

    转到 Cloud Composer API

  2. 点击管理

  3. 点击停用 API

gcloud

运行 gcloud services disable 命令:

gcloud services disable composer.googleapis.com

API

使用 services.disable 方法停用 composer.googleapis.com API。

Terraform

移除 composer.googleapis.com API 的配置。您通常 使用 google_project_service 资源配置 Google Cloud 服务。

弃用 Managed Airflow(第 3 代)不需要的服务

我们将逐步淘汰 Managed Airflow(第 3 代)不需要的 API。

以下 API 依赖项 尚未分离 ,并且计划在未来 与 Cloud Composer API 分离:

  • sqladmin.googleapis.com

以下 API 已完全可分离 。停用这些 API 不会导致 Cloud Composer API 停用:

  • artifactregistry.googleapis.com
  • cloudbuild.googleapis.com
  • container.googleapis.com
  • pubsub.googleapis.com

当您启用 Cloud Composer API 时,所有列为已分离的 API 不再自动启用 。如需在新项目中创建 Managed Airflow(第 2 代)环境 , 请除了 Cloud Composer API 之外,还要启用已分离的 API 组

在已启用 Cloud Composer API 的项目中,现有的 Managed Airflow(第 3 代)和 Managed Airflow(第 2 代)环境不受此更改的影响。您可以执行以下操作:

  • 如果您的项目只有 Managed Airflow(第 3 代)环境,则可以手动停用已分离的 API。

  • 如果您的项目有 Managed Airflow(第 2 代)环境,我们建议您保持这些 API 处于启用状态,因为停用它们可能会导致环境故障。

  • 如果您使用自动化脚本来预配 Managed Airflow(第 2 代)环境,请确保除了 Cloud Composer API 之外,还要启用列出的 API。 您可以手动启用它们,也可以 使用 gcloud CLI 命令启用它们

后续步骤