Managed Airflow (第 3 代) | Managed Airflow (第 2 代) | Managed Airflow (舊版第 1 代)
本頁說明如何建立 Managed Airflow 環境。
- 如要進一步瞭解環境,請參閱「環境架構」。
- 如要進一步瞭解如何使用 Terraform 建立環境,請參閱「建立環境 (Terraform)」。
事前準備
啟用 Cloud Composer API。如需 Managed Airflow 使用的完整服務清單,請參閱「Managed Airflow 必要的服務」。
建立環境大約需要 25 分鐘。
如果您使用 Terraform 建立環境,Terraform 使用的服務帳戶必須具備已啟用
composer.environments.create權限的角色。如要進一步瞭解 Terraform 的服務帳戶,請參閱「Google Provider 設定參考資料」。
如要進一步瞭解如何使用 Terraform 建立 Managed Airflow 環境,請參閱 Terraform 說明文件。
如要進一步瞭解其他參數,請參閱 Terraform 引數參考資料。
VPC SC:如要在安全 perimeter 內部署 Managed Airflow 環境,請參閱「設定 VPC SC」。與 Managed Airflow 搭配使用時,VPC Service Controls 有幾項已知限制。
步驟 1:建立或選擇環境的服務帳戶
建立環境時,您會指定服務帳戶。這個服務帳戶稱為環境的服務帳戶。環境會使用這個服務帳戶執行大部分作業。
環境的服務帳戶並非使用者帳戶。服務帳戶是一種特殊帳戶,由應用程式或虛擬機器 (VM) 執行個體使用,而非個人。
環境的服務帳戶一經設定即無法變更。
如果專案中還沒有 Managed Airflow 環境的服務帳戶,請建立一個。
如需在 Terraform 中為環境建立服務帳戶的詳細範例,請參閱「建立環境 (Terraform)」。
如要為環境建立新的服務帳戶,請按照下列步驟操作:
按照 Identity and Access Management 說明文件中的說明,建立新的服務帳戶。
按照 Identity and Access Management 說明文件所述,為其授予角色。必要角色為 Composer 工作站 (
composer.worker)。如要存取 Google Cloud 專案中的其他資源,請將存取這些資源的額外權限授予這個服務帳戶。在大多數情況下,Composer 工作站 (
composer.worker) 角色會提供這組必要權限。只有在 DAG 作業需要時,才為這個服務帳戶新增額外權限。
步驟 2:基本設定
這個步驟會使用預設參數,在指定位置建立 Managed Airflow 環境。
本指南的其他步驟會說明如何自訂及設定環境的不同層面。其餘步驟均為選用。
控制台
前往 Google Cloud 控制台的「Create environment」(建立環境) 頁面。
在「Name」(名稱) 欄位中,輸入環境名稱。
名稱開頭必須為小寫英文字母,後面最多可接 62 個小寫英文字母、數字或連字號,但結尾不得為連字號。環境名稱會用於建立環境的子元件,因此您必須提供有效的 Cloud Storage bucket 名稱。如需限制清單,請參閱「Bucket 命名規範」。
在「Location」(位置) 下拉式選單中,選擇環境的位置。
位置是指環境所在的區域。
在「Image version」(映像檔版本) 下拉式清單中,選取具有所需 Airflow 版本的代管 Airflow 映像檔。
在「Service account」(服務帳戶) 下拉式選單中,選取環境的服務帳戶。
如果環境還沒有服務帳戶,請參閱「建立或選擇環境的服務帳戶」。
gcloud
gcloud composer environments create ENVIRONMENT_NAME \
--location LOCATION \
--image-version IMAGE_VERSION \
--service-account "SERVICE_ACCOUNT"
更改項目:
ENVIRONMENT_NAME:環境名稱。名稱開頭必須為小寫英文字母,後面最多可接 62 個小寫英文字母、數字或連字號,但結尾不得為連字號。環境名稱會用於建立環境的子元件,因此您必須提供有效的 Cloud Storage bucket 名稱。如需限制清單,請參閱「Bucket 命名規範」。
LOCATION:環境所在的區域。位置是指環境所在的區域。
SERVICE_ACCOUNT替換為環境的服務帳戶。IMAGE_VERSION:Managed Airflow 映像檔的名稱。
範例:
gcloud composer environments create example-environment \
--location us-central1 \
--image-version composer-3-airflow-2.11.1-build.25 \
--service-account "
example-account@example-project.
"
API
建構 environments.create API 要求。在 Environment 資源中指定設定。
{
"name": "projects/PROJECT_ID/locations/LOCATION/environments/ENVIRONMENT_NAME",
"config": {
"softwareConfig": {
"imageVersion": "IMAGE_VERSION"
},
"nodeConfig": {
"serviceAccount": "SERVICE_ACCOUNT"
}
}
}
更改項目:
PROJECT_ID替換為專案 ID。LOCATION:環境所在的區域。位置是指環境所在的區域。
ENVIRONMENT_NAME:環境名稱。名稱開頭必須為小寫英文字母,後面最多可接 62 個小寫英文字母、數字或連字號,但結尾不得為連字號。環境名稱會用於建立環境的子元件,因此您必須提供有效的 Cloud Storage bucket 名稱。如需限制清單,請參閱「Bucket 命名規範」。
IMAGE_VERSION:Managed Airflow 映像檔的名稱。將
SERVICE_ACCOUNT替換為環境的服務帳戶。
範例:
// POST https://composer.googleapis.com/v1/{parent=projects/*/locations/*}/environments
{
"name": "projects/example-project/locations/us-central1/environments/example-environment",
"config": {
"softwareConfig": {
"imageVersion": "composer-3-airflow-2.11.1-build.25"
},
"nodeConfig": {
"serviceAccount": "
example-account@example-project.
"
}
}
}
Terraform
如要在指定位置建立採用預設參數的環境,請將下列資源區塊新增至 Terraform 設定,然後執行 terraform apply。
resource "google_composer_environment" "example" {
provider = google-beta
name = "ENVIRONMENT_NAME"
region = "LOCATION"
config {
software_config {
image_version = "IMAGE_VERSION"
}
node_config {
service_account = "SERVICE_ACCOUNT"
}
}
}
更改項目:
ENVIRONMENT_NAME:環境名稱。名稱開頭必須為小寫英文字母,後面最多可接 62 個小寫英文字母、數字或連字號,但結尾不得為連字號。環境名稱會用於建立環境的子元件,因此您必須提供有效的 Cloud Storage bucket 名稱。如需限制清單,請參閱「Bucket 命名規範」。
LOCATION:環境所在的區域。位置是指環境所在的區域。
IMAGE_VERSION:Managed Airflow 映像檔的名稱。將
SERVICE_ACCOUNT替換為環境的服務帳戶。
範例:
resource "google_composer_environment" "example" {
provider = google-beta
name = "example-environment"
region = "us-central1"
config {
software_config {
image_version = "composer-3-airflow-2.11.1-build.25"
}
node_config {
service_account = "
example-account@example-project.
"
}
}
}
步驟 3:(選用) 啟用開發模式
開發模式環境可用於測試及開發 DAG,再發布至正式版群組。不使用開發模式環境時,可以將其休眠。
開發模式環境有下列限制:
- 僅限搭載 Airflow 3、Airflow 2.11.1 和 Airflow 2.10.5 的 Managed Airflow (第 3 代) 環境。
- 僅限標準韌性模式。
小型環境和小型環境預設提供的預設資源限制。您無法變更開發模式環境的 Airflow 元件數量或資源限制。
控制台
在「Create environment」(建立環境) 頁面中:
- 在「映像檔版本」中,選取 Airflow 3 的版本。
- 選取「開發模式」。
gcloud
建立環境時,--enable-development-mode 引數會啟用開發模式:
gcloud beta composer environments create ENVIRONMENT_NAME \
--location LOCATION \
--image-version composer-3-airflow-3 \
--service-account "SERVICE_ACCOUNT" \
--enable-development-mode
API
建立環境時,請在環境資源中,將 mode 欄位設為 DEVELOPMENT:
{
"name": "projects/PROJECT_ID/locations/LOCATION/environments/ENVIRONMENT_NAME",
"mode": "DEVELOPMENT"
}
範例:
// POST https://composer.googleapis.com/v1beta1/{parent=projects/*/locations/*}/environments
{
"name": "projects/example-project/locations/us-central1/environments/example-environment",
"mode": "DEVELOPMENT"
}
Terraform
Terraform 尚未支援這項功能。
開發模式環境建立後,會處於執行中狀態。您隨時可以休眠或恢復。
步驟 4:(選用) 設定環境規模和效能參數
如要指定環境的規模和效能設定,請選取環境大小和工作負載設定。
建立環境後,您可以變更所有效能和規模參數。
下列參數可控制規模和效能:
環境規模。控管代管 Managed Airflow 基礎架構 (包括 Airflow 資料庫) 的效能參數。如要執行大量 DAG 和工作,並提高基礎架構效能,建議您選取較大型的環境。舉例來說,環境越大,環境能以最短延遲時間處理的 Airflow 工作記錄項目數量就越多。
工作負載設定。控制在環境 GKE 叢集中執行的 Airflow 元件規模和效能。
Airflow 排程器:剖析 DAG 定義檔案、依據排程間隔排定 DAG 執行作業,並將任務排入佇列來讓 Airflow worker 執行。
您的環境可以同時執行多個 Airflow 排程器。使用多個排程器將負載分散到多個排程器執行個體,以提升效能和穩定性。
增加排程器數量不一定能提升 Airflow 效能。舉例來說,只使用一個排程器可能比使用兩個排程器效能更好。如果未充分利用額外的排程器,就可能發生這種情況,導致環境資源消耗,卻無法提升整體效能。實際排程器效能取決於 Airflow worker 數量、環境中執行的 DAG 和任務數量,以及 Airflow 和環境的設定。
建議您先從兩個排程器開始,然後監控環境效能。如果變更排程器數量,隨時可以將環境縮減回原本的排程器數量。
如要進一步瞭解如何設定多個排程器,請參閱 Airflow 說明文件。
Airflow 觸發條件。以非同步方式監控環境中所有延後的工作。如果環境中至少有一個觸發條件執行個體 (高彈性環境中至少有兩個),則可在 DAG 中使用可延遲運算子。
在 Managed Airflow (第 3 代) 中,Airflow 觸發器預設為啟用。如要建立不含觸發條件的環境,請將觸發條件數量設為零。
Airflow DAG 處理器。處理 DAG 檔案並轉換為 DAG 物件。在 Managed Airflow (第 3 代) 中,排程器的這個部分會做為獨立的環境元件執行。
Airflow 網路伺服器。執行 Airflow 網頁介面,方便您監控、管理 DAG 並以視覺化方式呈現。
Airflow worker:執行 Airflow 排程器排定的任務。環境中的工作站數量下限和上限會依據佇列中的任務數量動態調整。
控制台
您可以為環境選取預設設定。選取預設設定後,系統會自動選取該預設設定的規模和效能參數。您也可以選取自訂預設設定,並為環境指定所有規模和效能參數。
如要選取環境的規模和效能設定,請在「Create environment」(建立環境) 頁面中執行下列操作:
如要使用預先定義的值,請在「Environment resources」(環境資源) 區段中,按一下「Small」(小型)、「Medium」(中型)、「Large」(大型) 或「Extra Large」(超大型)。
如要指定規模和效能參數的自訂值,請按照下列步驟操作:
在「Environment resources」(環境資源) 區段中,按一下「Custom」(自訂)。
在「Scheduler」(排程器) 區段中,設定要使用的排程器數量,以及 CPU、記憶體和儲存空間的資源分配。
在「Triggerer」部分,使用「Number of triggerers」(觸發條件數量) 欄位,輸入環境中的觸發條件數量。
如果不想在 DAG 中使用可延遲運算子,請將觸發條件數量設為零。
如果您為環境設定至少一個觸發條件,請使用「CPU」和「Memory」(記憶體) 欄位,設定觸發條件的資源分配。
在「DAG processor」(DAG 處理器) 區段中,指定環境中的 DAG 處理器數量,以及每個 DAG 處理器的 CPU、記憶體和儲存空間。
高彈性環境至少需要兩個 DAG 處理器。
在「Web server」(網路伺服器) 區段中,指定網路伺服器的 CPU、記憶體和儲存空間數量。
在「Worker」部分,指定下列項目:
- 環境中自動調度資源限制的 worker 數量下限和上限。
- worker 的 CPU、記憶體和儲存空間配置
在「Core infrastructure」(核心基礎架構) 區段的「Environment size」(環境大小) 下拉式選單中,選取環境大小。
gcloud
建立環境時,下列引數會控制環境的規模和效能參數。
--environment-size會指定環境大小。--scheduler-count指定排程器數量。--scheduler-cpu指定 Airflow 排程器的 CPU 數量。--scheduler-memory指定 Airflow 排程器的記憶體容量。--scheduler-storage會指定 Airflow 排程器的磁碟空間量。--triggerer-count指定環境中的 Airflow 觸發條件數量。這個旗標的預設值為0。如要在 DAG 中使用可延遲運算子,就必須使用觸發條件。- 如果是標準韌性環境,請使用介於
0至10之間的值。 - 如果是高彈性環境,請使用
0或介於2和10之間的值。
- 如果是標準韌性環境,請使用介於
--triggerer-cpu會指定 Airflow 觸發條件的 CPU 數量,單位為 vCPU。允許的值:0.5、0.75、1。預設值為0.5。--triggerer-memory指定 Airflow 觸發條件的記憶體容量,以 GB 為單位。預設值為0.5。記憶體需求下限等於分配給觸發條件的 CPU 數量。最大值等於觸發條件 CPU 數量乘以 6.5。
舉例來說,如果將
--triggerer-cpu旗標設為1,則--triggerer-memory的最小值為1,最大值為6.5。--dag-processor-count指定環境中的 DAG 處理器數量。高彈性環境至少需要兩個 DAG 處理器。
--dag-processor-cpu指定 DAG 處理器的 CPU 數量。--dag-processor-memory指定 DAG 處理器的記憶體容量。--dag-processor-storage指定 DAG 處理器的磁碟空間量。--web-server-cpu指定 Airflow 網路伺服器的 CPU 數量。--web-server-memory指定 Airflow 網路伺服器的記憶體容量。--web-server-storage指定 Airflow 網路伺服器的磁碟空間量。--worker-cpu指定 Airflow worker 的 CPU 數量。--worker-memory指定 Airflow worker 的記憶體容量。--worker-storage指定 Airflow worker 的磁碟空間量。--min-workers指定 Airflow worker 的數量下限。環境叢集至少會執行這個數量的 worker。--max-workers指定 Airflow worker 的數量上限。環境叢集最多會執行這個數量的 worker。
gcloud composer environments create ENVIRONMENT_NAME \
--location LOCATION \
--image-version composer-3-airflow-2.11.1-build.25 \
--service-account "SERVICE_ACCOUNT" \
--environment-size ENVIRONMENT_SIZE \
--scheduler-count SCHEDULER_COUNT \
--scheduler-cpu SCHEDULER_CPU \
--scheduler-memory SCHEDULER_MEMORY \
--scheduler-storage SCHEDULER_STORAGE \
--triggerer-count TRIGGERER_COUNT \
--triggerer-cpu TRIGGERER_CPU \
--triggerer-memory TRIGGERER_MEMORY \
--dag-processor-count DAG_PROCESSOR_COUNT \
--dag-processor-cpu DAG_PROCESSOR_CPU \
--dag-processor-memory DAG_PROCESSOR_MEMORY \
--dag-processor-storage DAG_PROCESSOR_STORAGE \
--web-server-cpu WEB_SERVER_CPU \
--web-server-memory WEB_SERVER_MEMORY \
--web-server-storage WEB_SERVER_STORAGE \
--worker-cpu WORKER_CPU \
--worker-memory WORKER_MEMORY \
--worker-storage WORKER_STORAGE \
--min-workers WORKERS_MIN \
--max-workers WORKERS_MAX
更改項目:
ENVIRONMENT_SIZE,small、medium、large、extra-large。SCHEDULER_COUNT:排程器數量。SCHEDULER_CPU:排程器的 CPU 數量,單位為 vCPU。SCHEDULER_MEMORY:排程器的記憶體數量。SCHEDULER_STORAGE:排程器的磁碟大小。TRIGGERER_COUNT:觸發條件數量。TRIGGERER_CPU替換為觸發條件執行工具的 CPU 數量 (單位為 vCPU)。將
TRIGGERER_MEMORY替換為觸發器的記憶體容量 (以 GB 為單位)。DAG_PROCESSOR_COUNT:DAG 處理器數量。DAG_PROCESSOR_CPU:DAG 處理器的 CPU 數量。DAG_PROCESSOR_MEMORY替換為 DAG 處理器的記憶體容量。DAG_PROCESSOR_STORAGE:DAG 處理器的磁碟空間量。WEB_SERVER_CPU:網路伺服器的 CPU 數量,單位為 vCPU。WEB_SERVER_MEMORY:網路伺服器的記憶體容量。WEB_SERVER_STORAGE:網路伺服器的記憶體容量。WORKER_CPU替換為 worker 的 CPU 數量 (單位為 vCPU)。WORKER_MEMORY:worker 的記憶體容量。WORKER_STORAGE:worker 的磁碟大小。WORKERS_MIN:環境可執行的 Airflow worker 數量下限。環境中的工作站數量不會超過這個數字,即使較少的工作站數量就能處理負載也一樣。WORKERS_MAX替換為環境可執行的 Airflow worker 數量上限。即使需要更多工作站來處理負載,環境中的工作站數量也不會超過這個數字。
範例:
gcloud composer environments create example-environment \
--location us-central1 \
--image-version composer-3-airflow-2.11.1-build.25 \
--service-account "
example-account@example-project.
" \
--environment-size small \
--scheduler-count 1 \
--scheduler-cpu 0.5 \
--scheduler-memory 2.5GB \
--scheduler-storage 2GB \
--triggerer-count 1 \
--triggerer-cpu 0.5 \
--triggerer-memory 0.5GB \
--dag-processor-count 1 \
--dag-processor-cpu 0.5 \
--dag-processor-memory 2GB \
--dag-processor-storage 1GB \
--web-server-cpu 1 \
--web-server-memory 2.5GB \
--web-server-storage 2GB \
--worker-cpu 1 \
--worker-memory 2GB \
--worker-storage 2GB \
--min-workers 2 \
--max-workers 4
API
建立環境時,請在 Environment > EnvironmentConfig > WorkloadsConfig 資源中,指定環境規模和效能參數。
{
"name": "projects/PROJECT_ID/locations/LOCATION/environments/ENVIRONMENT_NAME",
"config": {
"workloadsConfig": {
"scheduler": {
"cpu": SCHEDULER_CPU,
"memoryGb": SCHEDULER_MEMORY,
"storageGb": SCHEDULER_STORAGE,
"count": SCHEDULER_COUNT
},
"triggerer": {
"count": TRIGGERER_COUNT,
"cpu": TRIGGERER_CPU,
"memoryGb": TRIGGERER_MEMORY
},
"dagProcessor": {
"count": DAG_PROCESSOR_COUNT,
"cpu": DAG_PROCESSOR_CPU,
"memoryGb": DAG_PROCESSOR_MEMORY,
"storageGb": DAG_PROCESSOR_STORAGE
},
"webServer": {
"cpu": WEB_SERVER_CPU,
"memoryGb": WEB_SERVER_MEMORY,
"storageGb": WEB_SERVER_STORAGE
},
"worker": {
"cpu": WORKER_CPU,
"memoryGb": WORKER_MEMORY,
"storageGb": WORKER_STORAGE,
"minCount": WORKERS_MIN,
"maxCount": WORKERS_MAX
}
},
"environmentSize": "ENVIRONMENT_SIZE",
"nodeConfig": {
"serviceAccount": "SERVICE_ACCOUNT"
}
}
}
更改項目:
SCHEDULER_CPU:排程器的 CPU 數量,單位為 vCPU。SCHEDULER_MEMORY:排程器的記憶體容量,以 GB 為單位。SCHEDULER_STORAGE:排程器的磁碟大小 (以 GB 為單位)。SCHEDULER_COUNT:排程器數量。TRIGGERER_COUNT:觸發條件數量。預設值為0。如要在 DAG 中使用可延遲運算子,就必須使用觸發條件。- 如果是標準韌性環境,請使用介於
0至10之間的值。 - 如果是高彈性環境,請使用
0或介於2和10之間的值。
如果使用至少一個觸發條件,您也必須指定
TRIGGERER_CPU和TRIGGERER_MEMORY參數:- 如果是標準韌性環境,請使用介於
TRIGGERER_CPU會指定觸發條件的 CPU 數量,單位為 vCPU。允許的值:0.5、0.75、1。TRIGGERER_MEMORY會設定觸發條件執行器的記憶體容量。記憶體需求下限等於分配給觸發條件的 CPU 數量。最大值等於觸發條件 CPU 數量乘以 6.5。舉例來說,如果將
TRIGGERER_CPU設為1,則TRIGGERER_MEMORY的最小值為1,最大值為6.5。DAG_PROCESSOR_COUNT:DAG 處理器數量。高彈性環境至少需要兩個 DAG 處理器。
DAG_PROCESSOR_CPU:DAG 處理器的 CPU 數量,單位為 vCPU。DAG_PROCESSOR_MEMORY:DAG 處理器的記憶體容量,以 GB 為單位。DAG_PROCESSOR_STORAGE:DAG 處理器的磁碟空間量,以 GB 為單位。WEB_SERVER_CPU:網路伺服器的 CPU 數量,單位為 vCPU。WEB_SERVER_MEMORY:網路伺服器的記憶體容量,以 GB 為單位。WEB_SERVER_STORAGE:網路伺服器的磁碟大小,以 GB 為單位。WORKER_CPU替換為 worker 的 CPU 數量 (單位為 vCPU)。WORKER_MEMORY:worker 的記憶體容量,以 GB 為單位。WORKER_STORAGE:worker 的磁碟大小 (以 GB 為單位)。WORKERS_MIN:環境可執行的 Airflow worker 數量下限。環境中的工作站數量不會超過這個數字,即使較少的工作站數量就能處理負載也一樣。WORKERS_MAX替換為環境可執行的 Airflow worker 數量上限。即使需要更多工作站來處理負載,環境中的工作站數量也不會超過這個數字。ENVIRONMENT_SIZE,環境大小:ENVIRONMENT_SIZE_SMALL、ENVIRONMENT_SIZE_MEDIUM、ENVIRONMENT_SIZE_LARGE、ENVIRONMENT_SIZE_EXTRA_LARGE。
範例:
// POST https://composer.googleapis.com/v1/{parent=projects/*/locations/*}/environments
{
"name": "projects/example-project/locations/us-central1/environments/example-environment",
"config": {
"workloadsConfig": {
"scheduler": {
"cpu": 2.5,
"memoryGb": 2.5,
"storageGb": 2,
"count": 1
},
"triggerer": {
"cpu": 0.5,
"memoryGb": 0.5,
"count": 1
},
"dagProcessor": {
"count": 1,
"cpu": 0.5,
"memoryGb": 2,
"storageGb": 1
},
"webServer": {
"cpu": 1,
"memoryGb": 2.5,
"storageGb": 2
},
"worker": {
"cpu": 1,
"memoryGb": 2,
"storageGb": 2,
"minCount": 2,
"maxCount": 4
}
},
"environmentSize": "ENVIRONMENT_SIZE_SMALL",
"nodeConfig": {
"serviceAccount": "
example-account@example-project.
"
}
}
}
Terraform
建立環境時,下列引數會控管環境的規模和效能參數。
在
config區塊中:environment_size欄位可控制環境大小。
在
workloads_config區塊中:scheduler.cpu欄位會指定 Airflow 排程器的 CPU 數量。scheduler.memory_gb欄位指定 Airflow 排程器的記憶體容量。scheduler.storage_gb欄位會指定排程器的磁碟空間量。scheduler.count欄位會指定環境中的排程器數量。triggerer.cpu欄位會指定 Airflow 觸發條件的 CPU 數量。triggerer.memory_gb欄位會指定 Airflow 觸發器的記憶體容量。triggerer.count欄位會指定環境中的觸發條件數量。dag_processor.cpu欄位指定 DAG 處理器的 CPU 數量。dag_processor.memory_gb欄位指定 DAG 處理器的記憶體容量。dag_processor.storage_gb欄位會指定 DAG 處理器的磁碟空間量。dag_processor.count欄位會指定 DAG 處理器數量。高彈性環境至少需要兩個 DAG 處理器。
web_server.cpu欄位會指定 Airflow 網路伺服器的 CPU 數量。web_server.memory_gb欄位會指定 Airflow 網路伺服器的記憶體容量。web_server.storage_gb欄位會指定 Airflow 網路伺服器的磁碟空間量。worker.cpu欄位會指定 Airflow worker 的 CPU 數量。worker.memory_gb欄位會指定 Airflow worker 的記憶體容量。worker.storage_gb欄位指定 Airflow worker 的磁碟空間量。worker.min_count欄位會指定環境中的 worker 數量下限。worker.max_count欄位會指定環境中的 worker 數量上限。
resource "google_composer_environment" "example" {
provider = google-beta
name = "ENVIRONMENT_NAME"
region = "LOCATION"
config {
workloads_config {
scheduler {
cpu = SCHEDULER_CPU
memory_gb = SCHEDULER_MEMORY
storage_gb = SCHEDULER_STORAGE
count = SCHEDULER_COUNT
}
triggerer {
count = TRIGGERER_COUNT
cpu = TRIGGERER_CPU
memory_gb = TRIGGERER_MEMORY
}
dag_processor {
cpu = DAG_PROCESSOR_CPU
memory_gb = DAG_PROCESSOR_MEMORY
storage_gb = DAG_PROCESSOR_STORAGE
count = DAG_PROCESSOR_COUNT
}
web_server {
cpu = WEB_SERVER_CPU
memory_gb = WEB_SERVER_MEMORY
storage_gb = WEB_SERVER_STORAGE
}
worker {
cpu = WORKER_CPU
memory_gb = WORKER_MEMORY
storage_gb = WORKER_STORAGE
min_count = WORKERS_MIN
max_count = WORKERS_MAX
}
}
environment_size = "ENVIRONMENT_SIZE"
node_config {
service_account = "SERVICE_ACCOUNT"
}
}
}
更改項目:
ENVIRONMENT_NAME:環境名稱。- 將
LOCATION替換為環境所在的區域。 SERVICE_ACCOUNT替換為環境的服務帳戶。SCHEDULER_CPU:排程器的 CPU 數量,單位為 vCPU。SCHEDULER_MEMORY:排程器的記憶體容量,以 GB 為單位。SCHEDULER_STORAGE:排程器的磁碟大小 (以 GB 為單位)。SCHEDULER_COUNT:排程器數量。TRIGGERER_COUNT:觸發條件數量。TRIGGERER_CPU替換為觸發條件執行工具的 CPU 數量 (單位為 vCPU)。將
TRIGGERER_MEMORY替換為觸發器的記憶體容量 (以 GB 為單位)。DAG_PROCESSOR_CPU:DAG 處理器的 CPU 數量,單位為 vCPU。DAG_PROCESSOR_MEMORY:DAG 處理器的記憶體容量,以 GB 為單位。DAG_PROCESSOR_STORAGE:DAG 處理器的磁碟空間量,以 GB 為單位。DAG_PROCESSOR_COUNT:DAG 處理器數量。WEB_SERVER_CPU:網路伺服器的 CPU 數量,單位為 vCPU。WEB_SERVER_MEMORY:網路伺服器的記憶體容量,以 GB 為單位。WEB_SERVER_STORAGE:網路伺服器的磁碟大小,以 GB 為單位。WORKER_CPU替換為 worker 的 CPU 數量 (單位為 vCPU)。WORKER_MEMORY:worker 的記憶體容量,以 GB 為單位。WORKER_STORAGE:worker 的磁碟大小 (以 GB 為單位)。WORKERS_MIN:環境可執行的 Airflow worker 數量下限。環境中的工作站數量不會超過這個數字,即使較少的工作站數量就能處理負載也一樣。WORKERS_MAX替換為環境可執行的 Airflow worker 數量上限。即使需要更多工作站來處理負載,環境中的工作站數量也不會超過這個數字。ENVIRONMENT_SIZE,環境大小:ENVIRONMENT_SIZE_SMALL、ENVIRONMENT_SIZE_MEDIUM、ENVIRONMENT_SIZE_LARGE、ENVIRONMENT_SIZE_EXTRA_LARGE。
範例:
resource "google_composer_environment" "example" {
provider = google-beta
name = "example-environment"
region = "us-central1"
config {
workloads_config {
scheduler {
cpu = 2.5
memory_gb = 2.5
storage_gb = 2
count = 1
}
triggerer {
count = 1
cpu = 0.5
memory_gb = 0.5
}
dag_processor {
cpu = 1
memory_gb = 2
storage_gb = 1
count = 1
}
web_server {
cpu = 1
memory_gb = 2.5
storage_gb = 2
}
worker {
cpu = 1
memory_gb = 2
storage_gb = 2
min_count = 2
max_count = 4
}
}
environment_size = "ENVIRONMENT_SIZE_SMALL"
node_config {
service_account = "
example-account@example-project.
"
}
}
}
步驟 5:(選用) 啟用高韌性模式
高韌性 (高可用性) Managed Airflow 環境採用內建的備援和容錯移轉機制,可降低環境受可用區故障和單點故障服務中斷影響的機率。
在 Managed Airflow (第 3 代) 中,高彈性環境適用於 Airflow 建構版本 composer-3-airflow-2.10.2-build.13 和 composer-3-airflow-2.9.3-build.20 以上版本。
高彈性環境為多可用區,且至少在所選區域的兩個可用區中運作。下列元件會在不同的可用區中執行:
兩個 Airflow 排程器
至少兩個觸發條件 (如果觸發條件數量未設為
0)至少兩個 DAG 處理器
兩個網路伺服器
worker 數量下限設為 2,環境的叢集會在可用區之間分配 worker 執行個體。如果可用區服務中斷,受影響的 worker 執行個體會在其他可用區重新排程。高彈性環境的 Cloud SQL 元件具有主要執行個體和待命執行個體,分布在不同可用區。
控制台
在「Create environment」(建立環境) 頁面中:
在「Resilience mode」(復原模式) 區段中,選取「High resilience」(高復原力)。
在「Environment resources」(環境資源) 區段中,選取高彈性環境的資源調度參數。高彈性環境需要兩個排程器、零個或兩到十個觸發器,以及至少兩個 worker:
按一下 [Custom] (自訂)。
在「Number of schedulers」(排程器數量) 下拉式選單中,選取「
2」。在「Number of triggerers」(觸發者數量) 下拉式選單中,選取
0或介於2和10之間的值。設定觸發條件的 CPU 和記憶體分配。在「Minimum number of workers」(工作站數量下限) 下拉式選單中,依據所需的工作站數量選取「
2」或更多。
在「網路設定」部分:
在「網路類型」部分,選取「私人 IP 環境」。
視需要指定其他網路參數。
gcloud
建立環境時,--enable-high-resilience 引數會啟用高韌性模式。
設定下列引數:
--enable-high-resilience--enable-private-environment,以及私人 IP 環境的其他網路參數 (如有需要)--scheduler-count至2--triggerer-count至0,或介於2和10之間的值。 如果您使用觸發條件,建立環境時也必須使用--triggerer-cpu and--triggerer-memory` 旗標。如要進一步瞭解
--triggerer-count、--triggerer-cpu和--triggerer-memory旗標,請參閱「設定環境規模和效能參數」。--min-workers到2以上
gcloud composer environments create ENVIRONMENT_NAME \
--location LOCATION \
--image-version composer-3-airflow-2.11.1-build.25 \
--service-account "SERVICE_ACCOUNT" \
--enable-high-resilience \
--enable-private-environment \
--scheduler-count 2 \
--triggerer-count 2 \
--triggerer-cpu 0.5 \
--triggerer-memory 0.5 \
--min-workers 2
API
建立環境時,請在「Environment」>「EnvironmentConfig」EnvironmentConfig資源中啟用高彈性模式。
{
"name": "projects/PROJECT_ID/locations/LOCATION/environments/ENVIRONMENT_NAME",
"config": {
"resilience_mode": "HIGH_RESILIENCE",
"nodeConfig": {
"serviceAccount": "SERVICE_ACCOUNT"
}
}
}
範例:
// POST https://composer.googleapis.com/v1/{parent=projects/*/locations/*}/environments
{
"name": "projects/example-project/locations/us-central1/environments/example-environment",
"config": {
"resilience_mode": "HIGH_RESILIENCE",
"nodeConfig": {
"serviceAccount": "
example-account@example-project.
"
}
}
}
Terraform
建立環境時,config 區塊中的 resilience_mode 欄位會啟用高韌性模式。
resource "google_composer_environment" "example" {
provider = google-beta
name = "ENVIRONMENT_NAME"
region = "LOCATION"
config {
resilience_mode = "HIGH_RESILIENCE"
node_config {
service_account = "SERVICE_ACCOUNT"
}
}
}
範例:
resource "google_composer_environment" "example" {
provider = google-beta
name = "example-environment"
region = "us-central1"
config {
resilience_mode = "HIGH_RESILIENCE"
node_config {
service_account = "
example-account@example-project.
"
}
}
}
步驟 6:(選用) 指定環境資料庫的可用區
建立標準復原力環境時,您可以指定偏好的 Cloud SQL 可用區。
控制台
在「Create environment」(建立環境) 頁面中:
在「Advanced configuration」(進階設定) 部分,展開「Show advanced configuration」(顯示進階設定) 項目。
在「Airflow database zone」(Airflow 資料庫可用區) 清單中,選取偏好的 Cloud SQL 可用區。
gcloud
建立環境時,--cloud-sql-preferred-zone 引數會指定偏好的 Cloud SQL 可用區。
gcloud composer environments create ENVIRONMENT_NAME \
--location LOCATION \
--image-version composer-3-airflow-2.11.1-build.25 \
--service-account "SERVICE_ACCOUNT" \
--cloud-sql-preferred-zone SQL_ZONE
更改下列內容:
SQL_ZONE:偏好的 Cloud SQL 可用區。這個可用區必須位於環境所在的區域。
範例:
gcloud composer environments create example-environment \
--location us-central1 \
--image-version composer-3-airflow-2.11.1-build.25 \
--service-account "
example-account@example-project.
" \
--cloud-sql-preferred-zone us-central1-a
API
建立環境時,請在「Environment」>「DatabaseConfig」DatabaseConfig資源中指定偏好的 Cloud SQL 可用區。
{
"name": "projects/PROJECT_ID/locations/LOCATION/environments/ENVIRONMENT_NAME",
"config": {
"databaseConfig": {
"zone": "SQL_ZONE"
},
"nodeConfig": {
"serviceAccount": "SERVICE_ACCOUNT"
}
}
}
更改下列內容:
SQL_ZONE:偏好的 Cloud SQL 可用區。這個可用區必須位於環境所在的區域。
範例:
// POST https://composer.googleapis.com/v1/{parent=projects/*/locations/*}/environments
{
"name": "projects/example-project/locations/us-central1/environments/example-environment",
"config": {
"databaseConfig": {
"zone": "us-central1-a"
},
"nodeConfig": {
"serviceAccount": "
example-account@example-project.
"
}
}
}
Terraform
建立環境時,database_config 區塊中的 zone 欄位會指定偏好的 Cloud SQL 可用區。
resource "google_composer_environment" "example" {
provider = google-beta
name = "ENVIRONMENT_NAME"
region = "LOCATION"
config {
database_config {
zone = "SQL_ZONE"
}
node_config {
service_account = "SERVICE_ACCOUNT"
}
}
}
更改下列內容:
SQL_ZONE:偏好的 Cloud SQL 可用區。這個可用區必須位於環境所在的區域。
步驟 7:(選用) 設定環境的網路
您可以透過下列方式設定 Managed Airflow (第 3 代) 網路:
- 在公開 IP 環境中,環境的 Airflow 元件可以存取網際網路。
- 在私人 IP 環境中,環境的 Airflow 元件無法存取網際網路。
- 私人 IP 和公開 IP 環境可以連線至虛擬私有雲網路,做為獨立選項。
- 您可以指定環境的內部 IP 範圍。這個範圍之後無法變更。
您可以在安裝 PyPI 套件時啟用網際網路存取權。舉例來說,如果啟用這個選項,私人 IP 環境仍可從 Python Package Index 安裝 PyPI 套件。
如果是Shared VPC 環境,您必須為主專案進行額外的網路設定,然後在服務專案中建立公開或私人 IP 環境。請按照「設定 Shared VPC」頁面的操作說明進行。
控制台
請務必根據要建立的環境類型設定網路。
在「Network configuration」(網路設定) 部分,展開「Show network configuration」(顯示網路設定) 項目。
如要將環境連線至虛擬私有雲網路,請在「Network attachment」(網路連結) 欄位中選取網路連結。您也可以建立新的網路連結。詳情請參閱「將環境連線至虛擬私有雲網路」。
如要建立私人 IP 環境,請在「Networking type」(網路類型) 區段中,選取「Private IP environment」(私人 IP 環境) 選項。
如要新增網路標記,請參閱「新增網路標記」一文。
gcloud
請務必根據要建立的環境類型設定網路。
建立環境時,下列引數會控制網路參數。如果省略參數,系統會使用預設值。
--enable-private-environment會啟用私人 IP 環境。--network指定虛擬私有雲網路 ID。--subnetwork指定虛擬私有雲子網路 ID。
--composer-internal-ipv4-cidr-block會指定環境的內部 IP 範圍。Managed Airflow 會在環境的租戶專案中使用這個範圍。
範例 (私人 IP 環境,已連結虛擬私有雲網路)
gcloud composer environments create ENVIRONMENT_NAME \
--location LOCATION \
--image-version composer-3-airflow-2.11.1-build.25 \
--service-account "SERVICE_ACCOUNT" \
--enable-private-environment \
--network NETWORK_ID \
--subnetwork SUBNETWORK_ID \
更改項目:
- 將
NETWORK_ID替換成虛擬私有雲網路 ID。 將
SUBNETWORK_ID替換為虛擬私有雲子網路 ID。
步驟 8:(選用) 新增網路標記
網路標記會套用至環境叢集中的所有節點 VM。標記可用來識別網路防火牆的有效來源或目標。清單中的各個標記均須符合 RFC 1035 標準。
舉例來說,如果您打算使用防火牆規則限制私人 IP 環境的流量,可能需要新增網路標記。
控制台
在「Create environment」(建立環境) 頁面中:
- 找出「Network configuration」(網路設定) 部分。
- 在「Network tags」(網路標記) 欄位中,輸入環境的網路標記。
gcloud
建立環境時,下列引數會控制網路標記:
--tags會指定套用至所有節點 VM 的網路標記清單,並以半形逗號分隔。
gcloud composer environments create ENVIRONMENT_NAME \
--location LOCATION \
--image-version composer-3-airflow-2.11.1-build.25 \
--service-account "SERVICE_ACCOUNT" \
--tags TAGS
更改項目:
TAGS替換成以半形逗號分隔的網路標記清單。
範例:
gcloud composer environments create example-environment \
--location us-central1 \
--image-version composer-3-airflow-2.11.1-build.25 \
--tags group1,production
API
建立環境時,請在「Environment」(環境) >「EnvironmentConfig」EnvironmentConfig資源中,為環境指定網路標記。
{
"name": "projects/PROJECT_ID/locations/LOCATION/environments/ENVIRONMENT_NAME",
"config": {
"nodeConfig": {
"tags": [
"TAG"
],
"serviceAccount": "SERVICE_ACCOUNT"
}
}
}
更改項目:
TAG網路標記。
範例:
// POST https://composer.googleapis.com/v1/{parent=projects/*/locations/*}/environments
{
"name": "projects/example-project/locations/us-central1/environments/example-environment",
"config": {
"nodeConfig": {
"tags": [
"group1",
"production"
],
"serviceAccount": "
example-account@example-project.
"
}
}
}
Terraform
建立環境時,下列欄位會定義環境的網路標記:
node_config區塊中的tags欄位會指定套用至所有節點 VM 的網路標記清單,並以半形逗號分隔。
resource "google_composer_environment" "example" {
provider = google-beta
name = "ENVIRONMENT_NAME"
region = "LOCATION"
config {
node_config {
tags = ["TAGS"]
service_account = "SERVICE_ACCOUNT"
}
}
}
更改項目:
TAGS替換成以半形逗號分隔的網路標記清單。
範例:
resource "google_composer_environment" "example" {
provider = google-beta
name = "example-environment"
region = "us-central1"
config {
node_config {
tags = ["group1","production"]
service_account = "
example-account@example-project.
"
}
}
}
步驟 9:(選用) 設定網路伺服器網路存取權
Airflow 網路伺服器存取參數不取決於環境類型。您可以改為個別設定網路伺服器存取權。舉例來說,私人 IP 環境仍可透過網際網路存取 Airflow UI。
您無法使用私人 IP 位址設定允許的 IP 範圍。
控制台
在「Create environment」(建立環境) 頁面中:
在「Network configuration」(網路設定) 部分,展開「Show network configuration」(顯示網路設定) 項目。
在「網路伺服器網路存取控管」部分:
如要允許所有 IP 位址存取 Airflow 網路伺服器,請選取「Allow access from all IP addresses」(允許所有 IP 位址傳出的存取要求)。
如要僅限特定 IP 範圍存取,請選取「Allow access only from specific IP addresses」(僅允許從特定 IP 位址存取)。在「IP range」(IP 範圍) 欄位中,以 CIDR 標記法指定 IP 範圍。在「Description」(說明) 欄位中,指定這個範圍的說明 (選填)。如要指定多個範圍,請按一下「Add IP range」(新增 IP 範圍)。
如要禁止所有 IP 位址存取,請選取「Allow access only from specific IP addresses」(僅允許從特定 IP 位址存取),然後按一下空白範圍項目旁的「Delete item」(刪除項目)。
gcloud
建立環境時,下列引數會控管網路伺服器存取層級:
--web-server-allow-all可讓所有 IP 位址存取 Airflow。這是預設選項。--web-server-allow-ip僅限特定來源 IP 範圍存取。如要指定多個 IP 範圍,請多次使用這個引數。「
--web-server-deny-all」禁止所有 IP 位址存取。
gcloud composer environments create ENVIRONMENT_NAME \
--location LOCATION \
--image-version composer-3-airflow-2.11.1-build.25 \
--web-server-allow-ip ip_range=WS_IP_RANGE,description=WS_RANGE_DESCRIPTION
更改項目:
WS_IP_RANGE:可存取 Airflow UI 的 IP 範圍 (採用 CIDR 標記法)。WS_RANGE_DESCRIPTION:IP 範圍的說明。
範例:
gcloud composer environments create example-environment \
--location us-central1 \
--image-version composer-3-airflow-2.11.1-build.25 \
--service-account "
example-account@example-project.
" \
--web-server-allow-ip ip_range=192.0.2.0/24,description="office net 1" \
--web-server-allow-ip ip_range=192.0.4.0/24,description="office net 3"
API
建立環境時,請在環境 > EnvironmentConfig 資源中指定網路伺服器存取權參數。
如要允許所有 IP 位址存取 Airflow 網路伺服器,請省略
webServerNetworkAccessControl。如要僅限特定 IP 範圍存取,請在
allowedIpRanges中指定一或多個範圍。如要禁止所有 IP 位址存取,請新增
allowedIpRanges並將其設為空白清單。請勿在其中指定 IP 範圍。
{
"name": "projects/PROJECT_ID/locations/LOCATION/environments/ENVIRONMENT_NAME",
"config": {
"webServerNetworkAccessControl": {
"allowedIpRanges": [
{
"value": "WS_IP_RANGE",
"description": "WS_RANGE_DESCRIPTION"
}
]
},
"nodeConfig": {
"serviceAccount": "SERVICE_ACCOUNT"
}
}
}
更改項目:
WS_IP_RANGE:可存取 Airflow UI 的 IP 範圍 (採用 CIDR 標記法)。WS_RANGE_DESCRIPTION:IP 範圍的說明。
範例:
// POST https://composer.googleapis.com/v1/{parent=projects/*/locations/*}/environments
{
"name": "projects/example-project/locations/us-central1/environments/example-environment",
"config": {
"webServerNetworkAccessControl": {
"allowedIpRanges": [
{
"value": "192.0.2.0/24",
"description": "office net 1"
},
{
"value": "192.0.4.0/24",
"description": "office net 3"
}
]
},
"nodeConfig": {
"serviceAccount": "
example-account@example-project.
"
}
}
}
Terraform
建立環境時,web_server_network_access_control 區塊中的 allowed_ip_range 區塊會包含可存取網路伺服器的 IP 範圍。
resource "google_composer_environment" "example" {
provider = google-beta
name = "ENVIRONMENT_NAME"
region = "LOCATION"
config {
web_server_network_access_control {
allowed_ip_range {
value = "WS_IP_RANGE"
description = "WS_RANGE_DESCRIPTION"
}
}
node_config {
service_account = "SERVICE_ACCOUNT"
}
}
}
更改項目:
WS_IP_RANGE:可存取 Airflow UI 的 IP 範圍 (採用 CIDR 標記法)。WS_RANGE_DESCRIPTION:IP 範圍的說明。
範例:
resource "google_composer_environment" "example" {
provider = google-beta
name = "example-environment"
region = "us-central1"
config {
web_server_network_access_control {
allowed_ip_range {
value = "192.0.2.0/24"
description = "office net 1"
},
allowed_ip_range {
value = "192.0.4.0/24"
description = "office net 3"
}
}
node_config {
service_account = "
example-account@example-project.
"
}
}
步驟 10:(選用) 指定 Airflow 設定覆寫和環境變數
建立環境時,您可以設定 Airflow 設定覆寫和環境變數。或者,您也可以在環境建立後再執行這項操作。
部分 Airflow 設定選項遭到封鎖,無法覆寫。
如需可用的 Airflow 設定選項清單,請參閱 Airflow 2 和 Airflow 1.10.* 的設定參考資料。
如要指定 Airflow 設定覆寫和環境變數,請按照下列步驟操作:
控制台
在「Create environment」(建立環境) 頁面中:
在「Environment variables」(環境變數) 區段中,按一下「Add environment variable」(新增環境變數)。
輸入環境變數的「Name」(名稱) 和「Value」(值)。
在「Airflow configuration overrides」(Airflow 設定覆寫) 區段中,按一下「Add Airflow configuration override」(新增 Airflow 設定覆寫)。
輸入設定選項覆寫的「Section」(區段)、「Key」(鍵) 和「Value」(值)。
例如:
區段 鍵 值 webserverdag_orientationTB
gcloud
建立環境時,下列引數會控制環境變數和 Airflow 設定覆寫:
--env-variables指定以逗號分隔的清單環境變數。變數名稱可包含大小寫字母、數字和底線,但開頭不得為數字。
--airflow-configs指定以半形逗號分隔的鍵和值清單,用於覆寫 Airflow 設定。
gcloud composer environments create ENVIRONMENT_NAME \
--location LOCATION \
--image-version composer-3-airflow-2.11.1-build.25 \
--service-account "SERVICE_ACCOUNT" \
--env-variables ENV_VARS \
--airflow-configs CONFIG_OVERRIDES
更改項目:
ENV_VARS:以半形逗號分隔的環境變數NAME=VALUE配對清單。CONFIG_OVERRIDES,其中包含以半形逗號分隔的SECTION-KEY=VALUE組合清單,用於覆寫設定。請使用-符號分隔設定區段名稱,後面加上鍵名稱。例如:core-dags_are_paused_at_creation。
範例:
gcloud composer environments create example-environment \
--location us-central1 \
--image-version composer-3-airflow-2.11.1-build.25 \
--service-account "
example-account@example-project.
" \
--env-variables SENDGRID_MAIL_FROM=user@example.com,SENDGRID_API_KEY=example-key \
--airflow-configs core-dags_are_paused_at_creation=True,webserver-dag_orientation=TB
API
建立環境時,請在 Environment > EnvironmentConfig 資源中指定環境變數和 Airflow 設定覆寫。
{
"name": "projects/PROJECT_ID/locations/LOCATION/environments/ENVIRONMENT_NAME",
"config": {
"softwareConfig": {
"airflowConfigOverrides": {
"SECTION-KEY": "OVERRIDE_VALUE"
},
"envVariables": {
"VAR_NAME": "VAR_VALUE",
}
},
"nodeConfig": {
"serviceAccount": "SERVICE_ACCOUNT"
}
}
}
更改項目:
SECTION:設定檔中 Airflow 設定選項所在的部分。KEY:Airflow 設定選項的名稱。OVERRIDE_VALUE:Airflow 設定選項的值。VAR_NAME:環境變數的名稱。VAR_VALUE替換為環境變數的值。
範例:
// POST https://composer.googleapis.com/v1/{parent=projects/*/locations/*}/environments
{
"name": "projects/example-project/locations/us-central1/environments/example-environment",
"config": {
"softwareConfig": {
"airflowConfigOverrides": {
"core-dags_are_paused_at_creation": "True",
"webserver-dag_orientation": "TB"
},
"envVariables": {
"SENDGRID_MAIL_FROM": "user@example.com",
"SENDGRID_API_KEY": "example-key"
}
},
"nodeConfig": {
"serviceAccount": "
example-account@example-project.
"
}
}
}
Terraform
建立環境時,下列區塊會控制環境變數和 Airflow 設定覆寫:
software_config區塊中的env_variables區塊會指定環境變數。變數名稱可包含大小寫字母、數字和底線,但開頭不得為數字。
software_config區塊中的airflow_config_overrides區塊會指定 Airflow 設定覆寫。
resource "google_composer_environment" "example" {
provider = google-beta
name = "ENVIRONMENT_NAME"
region = "LOCATION"
config {
software_config {
airflow_config_overrides = {
SECTION-KEY = "OVERRIDE_VALUE"
}
env_variables = {
VAR_NAME = "VAR_VALUE"
}
}
node_config {
service_account = "SERVICE_ACCOUNT"
}
}
}
更改項目:
SECTION:設定檔中 Airflow 設定選項所在的部分。KEY:Airflow 設定選項的名稱。OVERRIDE_VALUE:Airflow 設定選項的值。VAR_NAME:環境變數的名稱。VAR_VALUE替換為環境變數的值。
範例:
resource "google_composer_environment" "example" {
provider = google-beta
name = "example-environment"
region = "us-central1"
config {
software_config {
airflow_config_overrides = {
core-dags_are_paused_at_creation = "True"
webserver-dag_orientation = "TB"
}
env_variables = {
SENDGRID_MAIL_FROM = "user@example.com"
SENDGRID_API_KEY = "example-key"
}
}
node_config {
service_account = "
example-account@example-project.
"
}
}
}
步驟 11. (選用) 指定維護期間
Managed Airflow (第 3 代) 的預設維護期間定義如下:
- 所有時間均以環境所在區域的當地時區為準,但會忽略日光節約時間。
- 週二、週三、週四和週五的維護期間為 00:00:00 至 02:00:00。
- 週六、週日和週一的維護期間為 00:00:00 至 04:00:00。
如要為環境指定自訂維護期間,請按照下列步驟操作:
控制台
在「Create environment」(建立環境) 頁面
找到「維護期間」部分。
在「Timezone」(時區) 下拉式選單中,選擇維護期間的時區。
設定「開始時間」、「天數」和「長度」,以便:
一週內至少分配 12 小時。
您可以使用多個時段,但每個時段長度至少須為 4 小時。
舉例來說,每週一、週三和週五各 4 小時,即可提供所需的時間。
gcloud
下列引數會定義維護期間參數:
--maintenance-window-start會設定維護期間的開始時間。--maintenance-window-end會設定維護期間的結束時間。--maintenance-window-recurrence會設定維護期間週期。
gcloud composer environments create ENVIRONMENT_NAME \
--location LOCATION \
--image-version composer-3-airflow-2.11.1-build.25 \
--service-account "SERVICE_ACCOUNT" \
--maintenance-window-start 'DATETIME_START' \
--maintenance-window-end 'DATETIME_END' \
--maintenance-window-recurrence 'MAINTENANCE_RECURRENCE'
更改項目:
ENVIRONMENT_NAME:環境名稱。DATETIME_START,並以日期/時間輸入格式輸入開始日期和時間。系統只會使用指定的時間,並忽略指定的日期。DATETIME_END:結束日期和時間,採用日期/時間輸入格式。系統只會使用指定的時間,忽略指定的日期。指定的日期和時間必須晚於開始日期。MAINTENANCE_RECURRENCE,並使用 RFC 5545 RRULE 設定維護期間的週期。Managed Airflow 支援兩種格式:FREQ=DAILY格式指定每日週期。FREQ=WEEKLY;BYDAY=SU,MO,TU,WE,TH,FR,SA格式會指定在每週的特定日期重複。
以下範例指定了 6 小時的維護期間,時間為週三、週六和週日的 01:00 至 07:00 (世界標準時間)。系統會忽略 2023 年 1 月 1 日。
gcloud composer environments create example-environment \
--location us-central1 \
--image-version composer-3-airflow-2.11.1-build.25 \
--service-account "
example-account@example-project.
" \
--maintenance-window-start '2023-01-01T01:00:00Z' \
--maintenance-window-end '2023-01-01T07:00:00Z' \
--maintenance-window-recurrence 'FREQ=WEEKLY;BYDAY=SU,WE,SA'
API
建立環境時,請在環境 > EnvironmentConfig 資源中指定維護期間參數:
{
"name": "projects/PROJECT_ID/locations/LOCATION/environments/ENVIRONMENT_NAME",
"config": {
"maintenanceWindow": {
"startTime": "DATETIME_START",
"endTime": "DATETIME_END",
"recurrence": "MAINTENANCE_RECURRENCE"
},
"nodeConfig": {
"serviceAccount": "SERVICE_ACCOUNT"
}
}
}
更改項目:
DATETIME_START,並以日期/時間輸入格式輸入開始日期和時間。系統只會使用指定的時間,並忽略指定的日期。DATETIME_END:結束日期和時間,採用日期/時間輸入格式。系統只會使用指定的時間,並忽略指定的日期。指定的日期和時間必須晚於開始日期。MAINTENANCE_RECURRENCE,並使用 RFC 5545 RRULE 設定維護期間的週期。Managed Airflow 支援兩種格式:FREQ=DAILY格式指定每日週期。FREQ=WEEKLY;BYDAY=SU,MO,TU,WE,TH,FR,SA格式會指定在每週的特定日期重複。
以下範例指定了 6 小時的維護期間,時間為週三、週六和週日的 01:00 至 07:00 (世界標準時間)。系統會忽略 2023 年 1 月 1 日。
範例:
// POST https://composer.googleapis.com/v1/{parent=projects/*/locations/*}/environments
{
"name": "projects/example-project/locations/us-central1/environments/example-environment",
"config": {
"maintenanceWindow": {
"startTime": "2023-01-01T01:00:00Z",
"endTime": "2023-01-01T07:00:00Z",
"recurrence": "FREQ=WEEKLY;BYDAY=SU,WE,SA"
},
"nodeConfig": {
"serviceAccount": "SERVICE_ACCOUNT"
}
}
}
Terraform
maintenance_window 區塊會指定環境的維護期間:
resource "google_composer_environment" "example" {
provider = google-beta
name = "ENVIRONMENT_NAME"
region = "LOCATION"
config {
maintenance_window {
start_time = "DATETIME_START"
end_time = "DATETIME_END"
recurrence = "MAINTENANCE_RECURRENCE"
}
node_config {
service_account = "SERVICE_ACCOUNT"
}
}
}
更改項目:
DATETIME_START,並以日期/時間輸入格式輸入開始日期和時間。系統只會使用指定的時間,並忽略指定的日期。DATETIME_END:結束日期和時間,採用日期/時間輸入格式。系統只會使用指定的時間,並忽略指定的日期。指定的日期和時間必須晚於開始日期。MAINTENANCE_RECURRENCE,並使用 RFC 5545 RRULE 設定維護期間的週期。Managed Airflow 支援兩種格式:FREQ=DAILY格式指定每日週期。FREQ=WEEKLY;BYDAY=SU,MO,TU,WE,TH,FR,SA格式會指定在每週的特定日期重複。
以下範例指定了 6 小時的維護期間,時間為週三、週六和週日的 01:00 至 07:00 (世界標準時間)。系統會忽略 2023 年 1 月 1 日。
resource "google_composer_environment" "example" {
provider = google-beta
name = "example-environment"
region = "us-central1"
config {
maintenance_window {
start_time = "2023-01-01T01:00:00Z"
end_time = "2023-01-01T07:00:00Z"
recurrence = "FREQ=WEEKLY;BYDAY=SU,WE,SA"
}
}
}
步驟 12:(選用) 資料歷程整合
資料歷程是 Knowledge Catalog 的功能,可以追蹤資料移動情形。
所有版本的 Managed Airflow (第 3 代) 都提供資料歷程整合功能。如果符合下列條件,新的 Managed Airflow 環境會自動啟用資料歷程整合功能:
專案已啟用 Data Lineage API。詳情請參閱 Knowledge Catalog 說明文件中的「啟用 Data Lineage API」。
Airflow 中未設定自訂歷程後端。
您可以在建立環境時停用資料歷程整合功能。例如,您可能想覆寫自動行為,或選擇在環境建立後再啟用資料歷程。
控制台
如要停用資料歷程整合功能,請在「Create environment」(建立環境) 頁面執行下列操作:
在「Advanced configuration」(進階設定) 部分,展開「Show advanced configuration」(顯示進階設定)。
在「Knowledge Catalog Lineage integration」(Knowledge Catalog 歷程整合) 選單中,選取「Disable integration with Knowledge Catalog Lineage」(停用 Knowledge Catalog 歷程整合功能)。
gcloud
建立環境時,--disable-cloud-data-lineage-integration 引數會停用資料歷程整合功能。
gcloud composer environments create ENVIRONMENT_NAME \
--location LOCATION \
--image-version composer-3-airflow-2.11.1-build.25 \
--service-account "SERVICE_ACCOUNT" \
--disable-cloud-data-lineage-integration
更改項目:
ENVIRONMENT_NAME:環境名稱。- 將
LOCATION替換為環境所在的區域。
範例:
gcloud composer environments create example-environment \
--location us-central1 \
--image-version composer-3-airflow-2.11.1-build.25 \
--service-account "
example-account@example-project.
" \
--disable-cloud-data-lineage-integration
步驟 13:(選用) 設定資料加密 (CMEK)
根據預設,環境中的資料會以 Google 提供的金鑰加密。
如要使用客戶自行管理的加密金鑰 (CMEK) 加密環境中的資料,請按照「使用客戶自行管理的加密金鑰」一文中的操作說明進行。
步驟 14. (選用) 使用自訂環境的 bucket
建立環境時,Managed Airflow 會自動為環境建立 bucket。
或者,您也可以從專案中指定自訂 Cloud Storage bucket。環境使用這個 bucket 的方式,與使用自動建立的 bucket 相同。
如要使用自訂環境值區,請按照「使用自訂環境的值區」中的操作說明操作。
步驟 15:(選用) 設定資料庫保留
如果您在環境中啟用資料庫保留功能,Managed Airflow 會定期從 Airflow 資料庫中,移除與 DAG 執行作業和使用者工作階段相關的記錄,且這些記錄的時間早於指定的時間範圍。系統一律會保留最新的 DAG 執行作業資訊。
資料庫保留功能預設為啟用。如要設定新環境的保留期限或停用資料庫保留功能,請按照「設定資料庫保留政策」中的操作說明進行。您也可以稍後再設定資料庫保留期限。
步驟 16:(選用) 指定環境標籤
您可以為環境指派標籤,依據這些標籤細分已計費用。
控制台
在「Create environment」(建立環境) 頁面的「Labels」(標籤) 區段中:
按一下「新增標籤」。
在「Key」(鍵) 和「Value」(值) 欄位中,指定環境標籤的鍵/值組合。
gcloud
建立環境時,--labels 引數會指定以半形逗號分隔的鍵和值清單,其中包含環境標籤。
gcloud composer environments create ENVIRONMENT_NAME \
--location LOCATION \
--image-version composer-3-airflow-2.11.1-build.25 \
--service-account "SERVICE_ACCOUNT" \
--labels LABELS
更改項目:
LABELS,並以半形逗號分隔環境標籤的KEY=VALUE配對清單。
範例:
gcloud composer environments create example-environment \
--location us-central1 \
--image-version composer-3-airflow-2.11.1-build.25 \
--service-account "
example-account@example-project.
" \
--labels owner=engineering-team,env=production
API
建立環境時,請在環境資源中指定環境標籤。
{
"name": "projects/PROJECT_ID/locations/LOCATION/environments/ENVIRONMENT_NAME",
"labels": {
"LABEL_KEY": "LABEL_VALUE"
}
}
更改項目:
LABEL_KEY,並使用環境標籤的鍵。LABEL_VALUE,值為環境標籤。
範例:
// POST https://composer.googleapis.com/v1/{parent=projects/*/locations/*}/environments
{
"name": "projects/example-project/locations/us-central1/environments/example-environment",
"labels": {
"owner": "engineering-team",
"env": "production"
}
}
Terraform
建立環境時,請在 labels 區塊 (config 區塊外) 指定標籤。
resource "google_composer_environment" "example" {
provider = google-beta
name = "ENVIRONMENT_NAME"
region = "LOCATION"
labels = {
LABEL_KEY = "LABEL_VALUE"
}
}
更改項目:
LABEL_KEY,並使用環境標籤的鍵。LABEL_VALUE,值為環境標籤。
範例:
resource "google_composer_environment" "example" {
provider = google-beta
name = "example-environment"
region = "us-central1"
labels = {
owner = "engineering-team"
env = "production"
}
}