更新托管式 Airflow 环境

Managed Airflow(第 3 代) | Managed Airflow(第 2 代) | Managed Airflow(旧版第 1 代)

本页介绍了如何更新环境。

更新操作简介

当您更改环境的参数(例如指定新的伸缩和性能参数,或安装自定义 PyPI 软件包)时,您的环境会更新。

此操作完成后,更改将在您的环境中生效。

对于单个 Managed Airflow 环境,您一次只能启动一项更新操作。您必须等待一项更新操作完成,然后才能启动另一项环境操作。

触发器的 CPU 上限

Managed Service for Apache Airflow 2.4.4 版为 Airflow 触发器 组件引入了不同的性能 伸缩方法,该方法适用于 所有 Managed Airflow(第 2 代)版本。

在 2.4.4 版之前,Managed Airflow 环境最多可以使用 1 个或 2 个触发器。 更改后,每个环境最多可以有 10 个触发器,但每个触发器最多只能使用 1 个 vCPU。

如果您的环境配置为每个触发器使用超过 1 个 vCPU,则环境更新操作会失败。您必须调整配置以满足 1 个 vCPU 的限制,才能对其他组件执行更新。

如需了解详情,请参阅:

更新对正在运行的 Airflow 任务的影响

当您运行更新操作时,环境中的 Airflow 调度器和 工作器可能需要重启。在这种情况下,所有当前正在运行的任务都会终止。更新操作完成后,Airflow 会根据您为 DAG 配置重试的方式安排这些任务进行重试。

以下更改会导致 Airflow 任务终止:

  • 将环境升级到新版本。
  • 添加、更改或删除自定义 PyPI 软件包。
  • 更改 Managed Airflow 环境变量。
  • 添加或移除 Airflow 配置选项替换,或更改其值。
  • 更改 Airflow 工作器的 CPU、内存或存储空间。
  • 减少 Airflow 工作器的数量上限(如果新值低于当前正在运行的工作器的数量)。例如,如果一个环境当前运行 3 个工作器,而上限减少到 2 个。

  • 更改环境的弹性模式。

以下更改不会导致 Airflow 任务终止:

  • 创建、更新或删除 DAG(不是更新操作)。
  • 暂停或取消暂停 DAG(不是更新操作)。
  • 更改 Airflow 变量(不是更新操作)。
  • 更改 Airflow 连接(不是更新操作)。
  • 启用或停用 Knowledge Catalog 数据沿袭集成。
  • 更改环境大小。
  • 更改调度器的数量。
  • 更改 Airflow 调度器的 CPU、内存或存储空间。
  • 更改触发器的数量。
  • 更改 Airflow 触发器的 CPU、内存或存储空间。
  • 更改 Airflow Web 服务器的 CPU、内存或存储空间。
  • 增加或减少工作器的数量下限。
  • 减少 Airflow 工作器的数量上限。例如,如果一个环境当前运行 2 个工作器,而上限减少到 3 个。
  • 更改维护期。
  • 更改计划快照设置。
  • 更改环境标签。

使用 Terraform 进行更新

在运行 terraform apply 之前运行 terraform plan,查看 Terraform 是否会创建新环境而不是更新现有环境。

准备工作

更新环境

如需详细了解如何更新环境,请参阅有关特定更新操作的其他文档页面。例如:

查看环境详情

控制台

  1. 在 Google Cloud 控制台中,前往环境 页面。

    转到“环境”

  2. 在环境列表中,点击您的环境名称。环境详情 页面会打开。

gcloud

运行以下 gcloud 命令:

gcloud composer environments describe ENVIRONMENT_NAME \
  --location LOCATION

您需要将其中的:

  • ENVIRONMENT_NAME 替换为环境的名称。
  • LOCATION 替换为环境所在的区域。

API

构建 environments.get API 请求。

示例:

GET https://composer.googleapis.com/v1/projects/example-project/
locations/us-central1/environments/example-environment

Terraform

针对环境的资源运行 terraform state show 命令。

环境的 Terraform 资源的名称可能与环境的名称不同。

terraform state show google_composer_environment.RESOURCE_NAME

您需要将其中的:

  • RESOURCE_NAME 替换为环境的资源的名称。

回滚更新更改

在某些极少数情况下,更新操作可能会中断(例如,由于超时),并且请求的更改可能不会在所有环境组件(例如 Airflow Web 服务器)中回滚。

例如,更新操作可能会安装或移除其他 PyPI 模块、重新定义或定义新的 Airflow 或 Managed Airflow 环境变量,或更改某些 Airflow 相关参数。

如果更新操作是在其他操作正在进行时触发的(例如 Managed Airflow 集群的自动扩缩或维护操作),则可能会出现这种情况。

在这种情况下,建议重复该操作。

更新或升级操作的持续时间

更新和升级操作的持续时间受以下因素影响:

  • 大多数更新或升级操作都需要重启 Airflow 组件,例如 Airflow 调度器、工作器和 Web 服务器。重启组件后,必须对其进行初始化。在初始化期间,Airflow 调度器和工作器会从环境的存储桶下载 /dags/plugins 文件夹的内容。将文件同步到 Airflow 调度器和工作器的过程不是即时的,具体取决于这些文件夹中所有对象的总大小和数量。

    我们建议您仅将 DAG 和插件文件保留在 /dags/plugins 文件夹中(分别),并移除所有其他文件。/dags/plugins 文件夹中的数据过多可能会减慢 Airflow 组件的初始化速度,在某些情况下可能会导致无法初始化。

    我们建议您将 /dags/plugins 文件夹中的数据量保持在 30 MB 以下,并且绝对不要超过 100 MB。如需了解详情,另请参阅 处理大量 DAG 和插件

  • Airflow 数据库的大小可能会显著增加升级操作的时间。 我们建议您维护环境的 Airflow 数据库大小。

后续步骤