Managed Airflow(第 3 代) | Managed Airflow(第 2 代) | Managed Airflow(旧版第 1 代)
本页面介绍如何在 Google Cloud 项目中启用和停用 Managed Service for Apache Airflow 服务 。
如需了解上 Google Cloud的服务管理,请参阅 启用和停用服务。
如需查看 VPC Service Controls 配置中 Managed Airflow 所需的服务列表,请参阅 配置 VPC Service Controls。
Managed Service for Apache Airflow 所需的服务
本部分介绍 Managed Airflow(第 3 代)所需的服务。 在某些情况下,组织或项目管理员可以限制其项目中可以使用哪些 Google 服务。
Managed Airflow(第 3 代)需要以下服务:
- composer.googleapis.com
- compute.googleapis.com
- logging.googleapis.com
- monitoring.googleapis.com
- storage.googleapis.com
- cloudresourcemanager.googleapis.com
- servicedirectory.googleapis.com
- cloudkms.googleapis.com(如果您使用的是 Cloud KMS 或 CMEK 密钥)
secretmanager.googleapis.com(如果您使用的是 Secret Manager 作为 Secret 后端)
在大多数项目中,Cloud DNS 或 IAM 等 Google 服务默认已获允许。
启用 Managed Airflow 服务
本部分介绍如何在 您的 Google Cloud 项目中启用 Managed Airflow 服务。
启用服务之前
如需启用 Managed Airflow 服务,您必须具有正确的 Identity and Access Management 权限。如需了解 Service Usage 的 IAM 要求,请参阅 访问权限控制的 Service Usage 页面。
确保您的项目已启用结算功能。
启用 Cloud Composer API
控制台
启用 Cloud Composer API:
启用 API 所需的角色
如需启用 API,您需要拥有 serviceusage.services.enable 权限。如果您
创建了项目,则可能已通过
所有者角色 (roles/owner) 拥有此权限。否则,您可以通过
Service Usage Admin 角色 (roles/serviceusage.serviceUsageAdmin) 获得此权限。
了解如何授予角色。
gcloud
启用 composer.googleapis.com API:
启用 API 所需的角色
如需启用 API,您需要拥有 serviceusage.services.enable 权限。如果您创建了项目,则可能已通过
所有者角色 (roles/owner) 拥有此权限。否则,您可以通过
Service Usage Admin 角色 (roles/serviceusage.serviceUsageAdmin) 获得此权限。
了解如何授予角色。
gcloud services enable composer.googleapis.com
API
使用 services.enable 方法启用 composer.googleapis.com API。
Terraform
使用 google_project_service
资源配置 composer.googleapis.com API。
启用 DAG 所需的服务
除了 Managed Airflow 所需的服务之外,还要启用 DAG 使用的所有服务,例如:
- bigquery.googleapis.com
- dataflow.googleapis.com
- datacatalog.googleapis.com
您可以在 API 页面中找到服务的 *.googleapis.com 名称 ,这些页面链接自 API 探索器页面。
停用 Managed Airflow 服务
本部分介绍如何在 您的 Google Cloud 项目中停用 Managed Airflow 服务。
停用服务之前
如需停用 Managed Airflow 服务,您必须具有正确的 Identity and Access Management 权限。如需了解 Service Usage 的 IAM 要求,请参阅访问权限控制的 Service Usage 页面。
确保项目中的所有 Managed Airflow 环境都已删除。停用 API 会永久删除 Managed Airflow 环境的租户项目部分,并且这些环境将变得不可用。
为避免产生额外费用,请先针对每个环境完成以下步骤,然后再停用 Cloud Composer API:
- 暂停 DAG。
- 如果需要,从环境的存储桶导出环境的数据,例如 DAG。
- 删除您的环境,包括未自动删除的资源。
停用 Cloud Composer API
如需停用 Managed Airflow 服务,请执行以下操作:
控制台
在 Google Cloud 控制台中,前往 Cloud Composer API 页面。
点击管理。
点击停用 API。
gcloud
运行 gcloud services disable 命令:
gcloud services disable composer.googleapis.com
API
使用 services.disable 方法停用
composer.googleapis.com API。
Terraform
移除 composer.googleapis.com API 的配置。您通常
使用 google_project_service
资源配置 Google Cloud 服务。
弃用 Managed Airflow(第 3 代)不需要的服务
我们将逐步淘汰 Managed Airflow(第 3 代)不需要的 API。
以下 API 依赖项 尚未分离 ,并且计划在未来 与 Cloud Composer API 分离:
- sqladmin.googleapis.com
以下 API 已完全可分离 。停用这些 API 不会导致 Cloud Composer API 停用:
- artifactregistry.googleapis.com
- cloudbuild.googleapis.com
- container.googleapis.com
- pubsub.googleapis.com
当您启用 Cloud Composer API 时,所有列为已分离的 API 不再自动启用 。如需在新项目中创建 Managed Airflow(第 2 代)环境 , 请除了 Cloud Composer API 之外,还要启用已分离的 API 组 。
在已启用 Cloud Composer API 的项目中,现有的 Managed Airflow(第 3 代)和 Managed Airflow(第 2 代)环境不受此更改的影响。您可以执行以下操作:
如果您的项目只有 Managed Airflow(第 3 代)环境,则可以手动停用已分离的 API。
如果您的项目有 Managed Airflow(第 2 代)环境,我们建议您保持这些 API 处于启用状态,因为停用它们可能会导致环境故障。
如果您使用自动化脚本来预配 Managed Airflow(第 2 代)环境,请确保除了 Cloud Composer API 之外,还要启用列出的 API。 您可以手动启用它们,也可以 使用 gcloud CLI 命令启用它们。