本文說明建立批次工作的基本概念:如何建立及執行以指令碼或容器映像檔為基礎的工作,以及使用預先定義和自訂變數。如要進一步瞭解如何建立及執行工作,請參閱「工作建立和執行作業總覽」。
事前準備
- 如果您從未使用過 Batch,請參閱「開始使用 Batch」,並完成專案和使用者的必要條件,啟用 Batch。
-
如要取得建立工作所需的權限,請要求管理員授予您下列 IAM 角色:
- 專案的批次工作編輯者 (
roles/batch.jobsEditor) - 工作服務帳戶的服務帳戶使用者 (
roles/iam.serviceAccountUser),預設為預設 Compute Engine 服務帳戶
如要進一步瞭解如何授予角色,請參閱「管理專案、資料夾和組織的存取權」。
- 專案的批次工作編輯者 (
-
每次建立工作時,請務必確認工作具有有效的資源設定。
- 除非預設值已足夠,否則您必須指定每項工作執行所需的運算資源 (
computeResource) 欄位,如本文件所示。 - 如果您為工作指定任何 VM 資源 (任何
instances[].policy、instances[].instanceTemplate或instanceFlexibilityPolicy欄位),請務必確保這些欄位彼此相容,且與工作相容。
- 除非預設值已足夠,否則您必須指定每項工作執行所需的運算資源 (
-
每次建立工作時,請務必確認工作具備有效的網路設定。
- 如果工作負載或專案沒有任何特定網路需求,且您未修改專案的預設網路,則不需採取任何行動。
- 否則,您必須在建立工作時設定網路。請先瞭解如何為工作設定網路,再建立基本工作,以便根據網路需求修改下列範例。
-
每次建立工作時,請務必確認工作具有有效的 VM 作業系統 (OS) 環境。
- 如果工作負載或專案沒有任何特定的 VM OS 映像檔或開機磁碟需求,則不需採取任何行動。
- 否則,您必須準備有效的 VM OS 環境選項。建立基本工作前,請先允許 VM OS 環境的預設設定,或瞭解如何自訂 VM OS 環境,以便修改下方範例來符合需求。
建立基本工作
如要瞭解可為工作指定的所有欄位,請參閱 projects.locations.jobs REST 資源的參考文件。總之,工作是由一或多個任務組成的陣列,所有任務都會執行一或多個可執行檔,也就是工作的可執行指令碼和/或容器。為涵蓋基本概念,本節說明如何建立只有一個可執行檔 (指令碼或容器映像檔) 的範例工作:
這兩種工作類型的範例工作都包含一個工作群組,其中有 4 項工作的陣列。每項任務都會將訊息和索引輸出至標準輸出內容和 Cloud Logging。這項工作的定義指定平行處理程度為 2,表示工作應在 2 個 VM 上執行,以便一次執行 2 項任務。
建立基本容器工作
您可以選取或建立容器映像檔,提供程式碼和依附元件,以便從任何運算環境執行工作。詳情請參閱「使用容器映像檔」和「在 VM 執行個體上執行容器」。
您可以使用 Google Cloud 控制台、gcloud CLI、Batch API、Go、Java、Node.js、Python 或 C++ 建立基本容器工作。
控制台
如要使用 Google Cloud 控制台建立基本容器工作,請按照下列步驟操作:
前往 Google Cloud 控制台的「Job list」(工作清單) 頁面。
按一下「 建立」。「Create batch job」(建立批次工作) 頁面隨即開啟。左側窗格會選取「Job details」(工作詳細資料) 頁面。
設定「Job details」(工作詳細資料) 頁面:
選用:在「Job name」(工作名稱) 欄位中自訂工作名稱。
例如,輸入
example-basic-job。設定「Task details」(工作詳細資料) 部分:
在「New runnable」(新增可執行的項目) 視窗中,新增至少一個指令碼或容器,以便執行這項工作。
舉例來說,如要新增一個容器,請按照下列步驟操作:
選取「容器映像檔網址」(預設)。
在「Container image URL」(容器映像檔網址) 欄位中,輸入要為這項工作中的每項任務執行的容器映像檔網址。
例如,如要使用
busyboxDocker 容器映像檔,請輸入下列網址:gcr.io/google-containers/busybox選用:如要覆寫容器映像檔的
ENTRYPOINT指令,請在「Entry point」(進入點) 欄位中輸入指令。例如,輸入以下內容:
/bin/sh選用:如要覆寫容器映像檔的
CMD指令,請按照下列步驟操作:勾選「Override container image's CMD command」(覆寫容器映像檔的 CMD 指令) 核取方塊。系統會隨即顯示欄位。
在欄位中輸入一或多個指令,並以換行符號分隔。
例如,輸入下列指令:
-c echo Hello world! This is task ${BATCH_TASK_INDEX}. This job has a total of ${BATCH_TASK_COUNT} tasks.按一下「完成」。
在「Task count」(工作數量) 欄位中,輸入這項工作的任務數量。這個值必須是介於
1和每個工作群組的工作數量上限之間的整數。例如,輸入
4。在「Parallelism」(平行處理) 欄位中,輸入要同時執行的任務數量。這個數字不得大於任務總數,且必須是介於
1和每項工作的平行任務數量上限之間的整數。例如,輸入
2。
設定「Resource specifications」(資源規格) 頁面:
在左側窗格中,按一下「Resource specifications」(資源規格)。「Resource specifications」(資源規格) 頁面隨即開啟。
在「VM provisioning model」(VM 佈建模型) 部分,為這項工作的 VM 佈建模型選取下列其中一個選項:
如果工作可以承受先占,且您想使用折扣 VM,請選取「Spot」。進一步瞭解 Spot VM 最佳化建議。
否則請選取「標準」。
例如,選取「Standard」(標準) (預設)。
選取這項工作的位置:
在「Region」(區域) 欄位中選取區域。
例如,選取「
us-central1 (Iowa)」(預設)。在「Zone」(可用區) 欄位中,執行下列任一操作:
如要限制這項工作只能在特定可用區執行,請選取可用區。
如果沒有偏好,請選取「不限」。
例如,選取「any」(任何) (預設)。
在「Machine type configuration」(機型設定) 區段中,設定這項工作 VM 的機型:
如要指定一種機型,請選取「Fixed machine type」(固定機型) (預設)。
選取下列其中一個機器系列:
如為一般工作負載,請按一下「一般用途」。
如要執行需要大量效能的工作負載,請按一下「運算最佳化」。
如要處理會耗用大量記憶體的工作負載,請按一下「記憶體最佳化」。
如要執行加速器最佳化工作負載,請按一下「GPU」。詳情請參閱「建立及執行使用 GPU 的工作」。
例如,按一下「一般用途」(預設)。
在「Series」(系列) 欄位中,選取這項工作 VM 的機器系列。
舉例來說,如果您在機器家族中選取「General purpose」(一般用途),請選取「E2」(預設)。
在「Machine type」(機器類型) 欄位中,選取這項工作的 VM 機器類型。
舉例來說,如果您選取「E2」做為機器系列,請選取「e2-medium (2 vCPU, 4 GB memory)」(預設)。
在「Task resources」(工作資源) 區段中,設定每項工作所需的 VM 資源量:
在「Cores」(核心) 欄位中,輸入每項工作的 vCPUs 數量。
例如,輸入
1(預設)。在「Memory」(記憶體) 欄位中,輸入每項工作的 RAM 容量 (以 GB 為單位)。
例如,輸入
0.5(預設)。
選用:如要查看工作設定,請按一下左側窗格中的「Preview」(預覽)。
點選「建立」。
「Job details」(工作詳細資料) 頁面會顯示您建立的工作。
gcloud
如要使用 gcloud CLI 建立基本容器工作,請按照下列步驟操作:
建立 JSON 檔案,指定工作的設定詳細資料。舉例來說,如要建立基本容器工作,請建立包含下列內容的 JSON 檔案。如要進一步瞭解可為工作指定的所有欄位,請參閱
projects.locations.jobsREST 資源的參考文件。{ "taskGroups": [ { "taskSpec": { "runnables": [ { "container": { CONTAINER } } ], "computeResource": { "cpuMilli": CORES, "memoryMib": MEMORY }, "maxRetryCount": MAX_RETRY_COUNT, "maxRunDuration": "MAX_RUN_DURATION" }, "taskCount": TASK_COUNT, "parallelism": PARALLELISM } ] }更改下列內容:
CONTAINER:每項任務執行的容器。容器至少必須在imageUri子欄位中指定映像檔,但也可能需要其他子欄位。詳情請參閱container子欄位和本節中的容器工作範例。CORES:選用。要分配給每項任務的核心數量,具體來說是 vCPUs,通常代表半個實體核心,以 milliCPU 為單位。如未指定cpuMilli欄位,值會設為2000(2 個 vCPU)。MEMORY:選用。要為每項任務分配的記憶體量,以 MB 為單位。如未指定memoryMib欄位,則值會設為2000(2 GB)。MAX_RETRY_COUNT:選用。工作的重試次數上限。這個值必須是介於0至10之間的整數。如未指定maxRetryCount欄位,值會設為0,表示不重試工作。如要進一步瞭解maxRetryCount欄位,請參閱「自動重試工作」。MAX_RUN_DURATION:選用。工作在重試或失敗前允許執行的最長時間,格式為秒數值,後接s,例如3600s代表 1 小時。如未指定maxRunDuration欄位,系統會將值設為工作執行時間上限。如要進一步瞭解maxRunDuration欄位,請參閱「使用逾時設定限制工作和可執行檔的執行時間」。TASK_COUNT:選用。工作中的任務數量。這個值必須是介於1和每個工作群組的工作數量上限之間的整數。如未指定taskCount欄位,值會設為1。PARALLELISM:選用。工作並行執行的任務數量。這個數字不得大於任務數量,且必須是介於1和每項工作的平行任務數量上限之間的整數。如未指定parallelism欄位,值會設為1。
使用
gcloud batch jobs submit指令建立工作。gcloud batch jobs submit JOB_NAME \ --location LOCATION \ --config JSON_CONFIGURATION_FILE更改下列內容:
JOB_NAME:工作名稱。LOCATION:工作的位置。JSON_CONFIGURATION_FILE:JSON 檔案的路徑,其中包含工作的設定詳細資料。
例如,如要建立使用 busybox Docker 容器映像檔執行任務的工作,請執行下列指令:
在目前目錄中建立名為
hello-world-container.json的 JSON 檔案,並加入下列內容:{ "taskGroups": [ { "taskSpec": { "runnables": [ { "container": { "imageUri": "gcr.io/google-containers/busybox", "entrypoint": "/bin/sh", "commands": [ "-c", "echo Hello world! This is task ${BATCH_TASK_INDEX}. This job has a total of ${BATCH_TASK_COUNT} tasks." ] } } ], "computeResource": { "cpuMilli": 2000, "memoryMib": 16 }, "maxRetryCount": 2, "maxRunDuration": "3600s" }, "taskCount": 4, "parallelism": 2 } ], "allocationPolicy": { "instances": [ { "policy": { "machineType": "e2-standard-4" } } ] }, "labels": { "department": "finance", "env": "testing" }, "logsPolicy": { "destination": "CLOUD_LOGGING" } }執行下列指令:
gcloud batch jobs submit example-container-job \ --location us-central1 \ --config hello-world-container.json
API
如要使用 Batch API 建立基本容器工作,請使用 jobs.create 方法。如要進一步瞭解可為工作指定的所有欄位,請參閱 projects.locations.jobs REST 資源的參考文件。
POST https://batch.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/jobs?job_id=JOB_NAME
{
"taskGroups": [
{
"taskSpec": {
"runnables": [
{
"container": {
CONTAINER
}
}
],
"computeResource": {
"cpuMilli": CORES,
"memoryMib": MEMORY
},
"maxRetryCount": MAX_RETRY_COUNT,
"maxRunDuration": "MAX_RUN_DURATION"
},
"taskCount": TASK_COUNT,
"parallelism": PARALLELISM
}
]
}
更改下列內容:
PROJECT_ID:專案的專案 ID。LOCATION:工作的位置。JOB_NAME:工作名稱。CONTAINER:每項任務執行的容器。容器至少必須在imageUri子欄位中指定映像檔,但也可能需要其他子欄位。詳情請參閱container子欄位和本節中的容器工作範例。CORES:選用。要分配給每項任務的核心數量,具體來說是 vCPUs (通常代表半個實體核心),以 milliCPU 為單位。如未指定cpuMilli欄位,值會設為2000(2 個 vCPU)。MEMORY:選用。要為每項任務分配的記憶體量,以 MB 為單位。如未指定memoryMib欄位,則值會設為2000(2 GB)。MAX_RETRY_COUNT:選用。任務的重試次數上限。這個值必須是介於0至10之間的整數。如未指定maxRetryCount欄位,值會設為0,表示不重試工作。如要進一步瞭解maxRetryCount欄位,請參閱「自動重試工作」。MAX_RUN_DURATION:選用。工作在重試或失敗前允許執行的最長時間,格式為秒數值,後接s,例如3600s代表 1 小時。如未指定maxRunDuration欄位,系統會將值設為工作執行時間上限。如要進一步瞭解maxRunDuration欄位,請參閱「使用逾時設定限制工作和可執行檔的執行時間」。TASK_COUNT:選用。工作的工作數量,必須是介於1和每個工作群組的工作數量上限之間的整數。如未指定taskCount欄位,值會設為1。PARALLELISM:選用。工作並行執行的任務數量。這個數字不得大於任務數量,且必須是介於1和每項工作的平行任務數量上限之間的整數。如未指定parallelism欄位,值會設為1。
舉例來說,如要建立使用 busybox Docker 容器映像檔執行工作的任務,請使用下列要求:
POST https://batch.googleapis.com/v1/projects/PROJECT_ID/locations/us-central1/jobs?job_id=example-container-job
{
"taskGroups": [
{
"taskSpec": {
"runnables": [
{
"container": {
"imageUri": "gcr.io/google-containers/busybox",
"entrypoint": "/bin/sh",
"commands": [
"-c",
"echo Hello world! This is task ${BATCH_TASK_INDEX}. This job has a total of ${BATCH_TASK_COUNT} tasks."
]
}
}
],
"computeResource": {
"cpuMilli": 2000,
"memoryMib": 16
},
"maxRetryCount": 2,
"maxRunDuration": "3600s"
},
"taskCount": 4,
"parallelism": 2
}
],
"allocationPolicy": {
"instances": [
{
"policy": { "machineType": "e2-standard-4" }
}
]
},
"labels": {
"department": "finance",
"env": "testing"
},
"logsPolicy": {
"destination": "CLOUD_LOGGING"
}
}
其中 PROJECT_ID 是專案的專案 ID。
Go
Go
詳情請參閱 Batch Go API 參考文件。
如要向 Batch 進行驗證,請設定應用程式預設憑證。詳情請參閱「為本機開發環境設定驗證機制」。
Java
Java
詳情請參閱 Batch Java API 參考文件。
如要向 Batch 進行驗證,請設定應用程式預設憑證。詳情請參閱「為本機開發環境設定驗證機制」。
Node.js
Node.js
詳情請參閱 Batch Node.js API 參考文件。
如要向 Batch 進行驗證,請設定應用程式預設憑證。詳情請參閱「為本機開發環境設定驗證機制」。
Python
Python
詳情請參閱 Batch Python API 參考文件。
如要向 Batch 進行驗證,請設定應用程式預設憑證。詳情請參閱「為本機開發環境設定驗證機制」。
C++
C++
詳情請參閱 Batch C++ API 參考文件。
如要向 Batch 進行驗證,請設定應用程式預設憑證。詳情請參閱「為本機開發環境設定驗證機制」。
建立基本指令碼工作
您可以使用 Google Cloud 控制台、gcloud CLI、Batch API、Go、Java、Node.js、Python 或 C++ 建立基本指令碼工作。
控制台
如要使用 Google Cloud 控制台建立基本指令碼工作,請按照下列步驟操作:
前往 Google Cloud 控制台的「Job list」(工作清單) 頁面。
按一下「 建立」。「Create batch job」(建立批次工作) 頁面隨即開啟。左側窗格會選取「Job details」(工作詳細資料) 頁面。
設定「Job details」(工作詳細資料) 頁面:
選用:在「Job name」(工作名稱) 欄位中自訂工作名稱。
例如,輸入
example-basic-job。設定「Task details」(工作詳細資料) 部分:
在「New runnable」(新增可執行的項目) 視窗中,新增至少一個指令碼或容器,以便執行這項工作。
舉例來說,如要新增一個指令碼,請按照下列步驟操作:
選取「指令碼」。系統會隨即顯示欄位。
在欄位中輸入指令碼,為這項工作的每項任務執行。
例如,輸入下列指令碼:
echo Hello world! This is task ${BATCH_TASK_INDEX}. This job has a total of ${BATCH_TASK_COUNT} tasks.按一下「完成」。
在「Task count」(工作數量) 欄位中,輸入這項工作的任務數量。這個值必須是介於
1和每個工作群組的工作數量上限之間的整數。例如,輸入
4。在「Parallelism」(平行處理) 欄位中,輸入要同時執行的任務數量。這個數字不得大於任務總數,且必須是介於
1和每項工作的平行任務數量上限之間的整數。例如,輸入
2。
設定「Resource specifications」(資源規格) 頁面:
在左側窗格中,按一下「Resource specifications」(資源規格)。「Resource specifications」(資源規格) 頁面隨即開啟。
在「VM provisioning model」(VM 佈建模型) 部分,為這項工作的 VM 佈建模型選取下列其中一個選項:
如果工作可以承受先占,且您想使用折扣 VM,請選取「Spot」。進一步瞭解 Spot VM 最佳化建議。
否則請選取「標準」。
例如,選取「Standard」(標準) (預設)。
選取這項工作的位置:
在「Region」(區域) 欄位中選取區域。
例如,選取「
us-central1 (Iowa)」(預設)。在「Zone」(可用區) 欄位中,執行下列任一操作:
如要限制這項工作只能在特定可用區執行,請選取可用區。
如果沒有偏好,請選取「不限」。
例如,選取「any」(任何) (預設)。
在「Machine type configuration」(機型設定) 區段中,設定這項工作 VM 的機型:
如要指定一種機型,請選取「Fixed machine type」(固定機型) (預設)。
選取下列其中一個機器系列:
如為一般工作負載,請按一下「一般用途」。
如要執行需要大量效能的工作負載,請按一下「運算最佳化」。
如要處理會耗用大量記憶體的工作負載,請按一下「記憶體最佳化」。
如要執行加速器最佳化工作負載,請按一下「GPU」。詳情請參閱「建立及執行使用 GPU 的工作」。
例如,按一下「一般用途」(預設)。
在「Series」(系列) 欄位中,選取這項工作 VM 的機器系列。
舉例來說,如果您在機器家族中選取「General purpose」(一般用途),請選取「E2」(預設)。
在「Machine type」(機器類型) 欄位中,選取這項工作的 VM 機器類型。
舉例來說,如果您選取「E2」做為機器系列,請選取「e2-medium (2 vCPU, 4 GB memory)」(預設)。
在「Task resources」(工作資源) 區段中,設定每項工作所需的 VM 資源量:
在「Cores」(核心) 欄位中,輸入每項工作的 vCPUs 數量。
例如,輸入
1(預設)。在「Memory」(記憶體) 欄位中,輸入每項工作的 RAM 容量 (以 GB 為單位)。
例如,輸入
0.5(預設)。
選用:如要查看工作設定,請按一下左側窗格中的「Preview」(預覽)。
點選「建立」。
「Job details」(工作詳細資料) 頁面會顯示您建立的工作。
gcloud
如要使用 gcloud CLI 建立基本指令碼工作,請按照下列步驟操作:
建立 JSON 檔案,指定工作的設定詳細資料。舉例來說,如要建立基本指令碼工作,請建立包含下列內容的 JSON 檔案。如要進一步瞭解可為工作指定的所有欄位,請參閱
projects.locations.jobsREST 資源的參考文件。{ "taskGroups": [ { "taskSpec": { "runnables": [ { "script": { SCRIPT } } ], "computeResource": { "cpuMilli": CORES, "memoryMib": MEMORY }, "maxRetryCount": MAX_RETRY_COUNT, "maxRunDuration": "MAX_RUN_DURATION" }, "taskCount": TASK_COUNT, "parallelism": PARALLELISM } ] }更改下列內容:
SCRIPT:每項任務執行的指令碼。指令碼必須定義為使用text子欄位的文字,或使用path子欄位定義為可存取檔案的路徑。詳情請參閱本節的「script子欄位」和指令碼工作範例。CORES:選用。要分配給每項任務的核心數量,具體來說是 vCPUs,通常代表半個實體核心,以 milliCPU 為單位。如未指定cpuMilli欄位,值會設為2000(2 個 vCPU)。MEMORY:選用。要為每項任務分配的記憶體量,以 MB 為單位。如未指定memoryMib欄位,則值會設為2000(2 GB)。MAX_RETRY_COUNT:選用。工作的重試次數上限。這個值必須是介於0至10之間的整數。如未指定maxRetryCount欄位,值會設為0,表示不重試工作。如要進一步瞭解maxRetryCount欄位,請參閱「自動重試工作」。MAX_RUN_DURATION:選用。工作在重試或失敗前允許執行的最長時間,格式為秒數值,後接s,例如3600s代表 1 小時。如未指定maxRunDuration欄位,系統會將值設為工作執行時間上限。如要進一步瞭解maxRunDuration欄位,請參閱「使用逾時設定限制工作和可執行檔的執行時間」。TASK_COUNT:選用。工作中的任務數量。這個值必須是介於1和每個工作群組的工作數量上限之間的整數。如未指定taskCount欄位,值會設為1。PARALLELISM:選用。工作並行執行的任務數量。這個數字不得大於任務數量,且必須是介於1和每項工作的平行任務數量上限之間的整數。如未指定parallelism欄位,值會設為1。
使用
gcloud batch jobs submit指令建立工作。gcloud batch jobs submit JOB_NAME \ --location LOCATION \ --config JSON_CONFIGURATION_FILE更改下列內容:
JOB_NAME:工作名稱。LOCATION:工作的位置。JSON_CONFIGURATION_FILE:JSON 檔案的路徑,其中包含工作的設定詳細資料。
舉例來說,如要建立使用指令碼執行任務的工作,請按照下列步驟操作:
在目前目錄中建立名為
hello-world-script.json的 JSON 檔案,並加入下列內容:{ "taskGroups": [ { "taskSpec": { "runnables": [ { "script": { "text": "echo Hello world! This is task ${BATCH_TASK_INDEX}. This job has a total of ${BATCH_TASK_COUNT} tasks." } } ], "computeResource": { "cpuMilli": 2000, "memoryMib": 16 }, "maxRetryCount": 2, "maxRunDuration": "3600s" }, "taskCount": 4, "parallelism": 2 } ], "allocationPolicy": { "instances": [ { "policy": { "machineType": "e2-standard-4" } } ] }, "labels": { "department": "finance", "env": "testing" }, "logsPolicy": { "destination": "CLOUD_LOGGING" } }執行下列指令:
gcloud batch jobs submit example-script-job \ --location us-central1 \ --config hello-world-script.json
API
如要使用 Batch API 建立基本指令碼工作,請使用 jobs.create 方法。如要進一步瞭解可為工作指定的所有欄位,請參閱 projects.locations.jobs REST 資源的參考文件。
POST https://batch.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/jobs?job_id=JOB_NAME
{
"taskGroups": [
{
"taskSpec": {
"runnables": [
{
"script": {
SCRIPT
}
}
],
"computeResource": {
"cpuMilli": CORES,
"memoryMib": MEMORY
},
"maxRetryCount": MAX_RETRY_COUNT,
"maxRunDuration": "MAX_RUN_DURATION"
},
"taskCount": TASK_COUNT,
"parallelism": PARALLELISM
}
]
}
更改下列內容:
PROJECT_ID:專案的專案 ID。LOCATION:工作的位置。JOB_NAME:工作名稱。SCRIPT:每項任務執行的指令碼。指令碼必須定義為使用text子欄位的文字,或使用path子欄位定義為可存取檔案的路徑。詳情請參閱script子欄位和本節中的範例指令碼工作。CORES:選用。要分配給每項任務的核心數量,具體來說是 vCPUs (通常代表半個實體核心),以 milliCPU 為單位。如未指定cpuMilli欄位,值會設為2000(2 個 vCPU)。MEMORY:選用。要為每項任務分配的記憶體量,以 MB 為單位。如未指定memoryMib欄位,則值會設為2000(2 GB)。MAX_RETRY_COUNT:選用。工作的重試次數上限。這個值必須是介於0至10之間的整數。如未指定maxRetryCount欄位,值會設為0,表示不重試工作。如要進一步瞭解maxRetryCount欄位,請參閱「自動重試工作」。MAX_RUN_DURATION:選用。工作在重試或失敗前允許執行的最長時間,格式為秒數值,後接s,例如3600s代表 1 小時。如未指定maxRunDuration欄位,系統會將值設為工作執行時間上限。如要進一步瞭解maxRunDuration欄位,請參閱「使用逾時設定限制工作和可執行檔的執行時間」。TASK_COUNT:選用。工作中的任務數量。這個值必須是介於1和每個工作群組的工作數量上限之間的整數。如未指定taskCount欄位,值會設為1。PARALLELISM:選用。工作並行執行的任務數量。這個數字不得大於任務數量,且必須是介於1和每項工作的平行任務數量上限之間的整數。如未指定parallelism欄位,值會設為1。
舉例來說,如要建立使用指令碼執行任務的工作,請使用下列要求:
POST https://batch.googleapis.com/v1/projects/PROJECT_ID/locations/us-central1/jobs?job_id=example-script-job
{
"taskGroups": [
{
"taskSpec": {
"runnables": [
{
"script": {
"text": "echo Hello world! This is task ${BATCH_TASK_INDEX}. This job has a total of ${BATCH_TASK_COUNT} tasks."
}
}
],
"computeResource": {
"cpuMilli": 2000,
"memoryMib": 16
},
"maxRetryCount": 2,
"maxRunDuration": "3600s"
},
"taskCount": 4,
"parallelism": 2
}
],
"allocationPolicy": {
"instances": [
{
"policy": { "machineType": "e2-standard-4" }
}
]
},
"labels": {
"department": "finance",
"env": "testing"
},
"logsPolicy": {
"destination": "CLOUD_LOGGING"
}
}
其中 PROJECT_ID 是專案的專案 ID。
Go
Go
詳情請參閱 Batch Go API 參考文件。
如要向 Batch 進行驗證,請設定應用程式預設憑證。詳情請參閱「為本機開發環境設定驗證機制」。
Java
Java
詳情請參閱 Batch Java API 參考文件。
如要向 Batch 進行驗證,請設定應用程式預設憑證。詳情請參閱「為本機開發環境設定驗證機制」。
Node.js
Node.js
詳情請參閱 Batch Node.js API 參考文件。
如要向 Batch 進行驗證,請設定應用程式預設憑證。詳情請參閱「為本機開發環境設定驗證機制」。
Python
Python
詳情請參閱 Batch Python API 參考文件。
如要向 Batch 進行驗證,請設定應用程式預設憑證。詳情請參閱「為本機開發環境設定驗證機制」。
C++
C++
詳情請參閱 Batch C++ API 參考文件。
如要向 Batch 進行驗證,請設定應用程式預設憑證。詳情請參閱「為本機開發環境設定驗證機制」。
使用環境變數
編寫要由工作執行的容器映像檔或指令碼時,請使用環境變數。您可以使用為所有 Batch 工作預先定義的任何環境變數,以及在建立工作時定義的任何自訂環境變數。
使用預先定義的環境變數
根據預設,工作中的可執行檔可以使用下列預先定義的環境變數:
BATCH_TASK_COUNT:這個工作群組中的工作總數。BATCH_TASK_INDEX:這項工作在工作群組中的索引編號。第一個工作的索引為0,每增加一個工作,索引就會遞增。BATCH_HOSTS_FILE:檔案路徑,列出這個任務群組中所有執行中的 VM 執行個體。如要使用這個環境變數,requireHostsFile欄位必須設為true。BATCH_TASK_RETRY_ATTEMPT:這項任務已嘗試執行的次數。在首次嘗試執行任務時,這個值為0,之後每次重試都會遞增。工作允許的重試總次數取決於maxRetryCount欄位的值,如果未定義,則為0。如要進一步瞭解重試,請參閱「自動重試工作」。
如需預先定義環境變數的使用範例,請參閱本文件「建立基本工作」一節中的先前範例可執行檔。
定義及使用自訂環境變數
您也可以在工作中定義一或多個自訂環境變數。
您可以根據資料所需範圍,在特定環境中定義每個變數:
如果變數在所有任務中的值都相同,請使用下列其中一種做法:
如果變數在所有可執行檔中具有相同的值,請使用所有可執行檔的環境 (
taskSpec的environment子欄位)。否則,如果變數對所有可執行檔都有個別值,請使用一或多個特定可執行檔的環境 (
runnables[]的environment子欄位)。
否則,如果陣列變數在每項任務中都有不同的值,請使用所有任務的環境 (
taskEnvironment)。
在所選環境中,您可以使用下列其中一個環境子欄位,定義每個變數的名稱和值:
如要直接在工作設定 JSON 檔案中定義變數,請使用標準變數 (
variables) 子欄位,如本節所示。如果資料不需加密,建議採用這個選項。如要使用加密資料定義變數,可以使用 Secret Manager 或 Cloud Key Management Service:
如要使用現有 Secret Manager 密鑰的加密內容,請使用密鑰變數 (
secretVariables) 子欄位。如要進一步瞭解如何在工作中使用 Secret,請參閱「使用 Secret Manager 保護機密資料」。如要使用現有 Cloud Key Management Service 金鑰的加密內容,請使用加密變數 (
encryptedVariables) 子欄位。如要進一步瞭解 Cloud KMS 金鑰,請參閱 Cloud Key Management Service 說明文件。
您可以使用 gcloud CLI 或 Batch API,為工作定義及使用自訂環境變數。以下範例說明如何建立兩項工作,定義及使用標準變數。第一個範例工作包含特定可執行檔的變數。第二個範例工作具有陣列變數,每個任務的值都不同。
gcloud
如要定義工作,將環境變數傳遞至各項工作執行的可執行檔,請參閱定義及使用可執行檔的環境變數範例。否則,如果您想定義工作,根據工作索引將環境變數清單傳遞至不同工作,請參閱為每項工作定義及使用環境變數的範例。
定義及使用可執行檔的環境變數
如要建立工作,使用 gcloud CLI 將環境變數傳遞至 runnable,請使用 gcloud batch jobs submit 指令,並在工作的設定檔中指定環境變數。
舉例來說,如要建立指令碼工作,定義環境變數並傳遞至 3 項工作的指令碼,請提出下列要求:
在目前目錄中建立名為
hello-world-environment-variables.json的 JSON 檔案,並加入下列內容:{ "taskGroups": [ { "taskSpec": { "runnables": [ { "script": { "text": "echo Hello ${VARIABLE_NAME}! This is task ${BATCH_TASK_INDEX}. This job has a total of ${BATCH_TASK_COUNT} tasks." }, "environment": { "variables": { "VARIABLE_NAME": "VARIABLE_VALUE" } } } ], "computeResource": { "cpuMilli": 2000, "memoryMib": 16 } }, "taskCount": 3, "parallelism": 1 } ], "allocationPolicy": { "instances": [ { "policy": { "machineType": "e2-standard-4" } } ] } }更改下列內容:
執行下列指令:
gcloud batch jobs submit example-environment-variables-job \ --location us-central1 \ --config hello-world-environment-variables.json
為每項任務定義及使用環境變數
如要使用 gcloud CLI 建立工作,根據工作索引將環境變數傳遞至工作,請使用 gcloud batch jobs submit 指令,並在工作設定檔中指定 taskEnvironments 陣列欄位。
舉例來說,如要建立的工作包含 3 個環境變數的陣列,這些變數的名稱相符但值不同,且會傳遞至工作指令碼,而這些工作的索引與陣列中的環境變數索引相符,請執行下列指令:
在目前目錄中建立名為
hello-world-task-environment-variables.json的 JSON 檔案,並加入下列內容:{ "taskGroups": [ { "taskSpec": { "runnables": [ { "script": { "text": "echo Hello ${TASK_VARIABLE_NAME}! This is task ${BATCH_TASK_INDEX}. This job has a total of ${BATCH_TASK_COUNT} tasks." }, } ], "computeResource": { "cpuMilli": 2000, "memoryMib": 16 } }, "taskCount": 3, "taskEnvironments": [ { "variables": { "TASK_VARIABLE_NAME": "TASK_VARIABLE_VALUE_0" } }, { "variables": { "TASK_VARIABLE_NAME": "TASK_VARIABLE_VALUE_1" } }, { "variables": { "TASK_VARIABLE_NAME": "TASK_VARIABLE_VALUE_2" } } ] } ], "allocationPolicy": { "instances": [ { "policy": { "machineType": "e2-standard-4" } } ] } }更改下列內容:
執行下列指令:
gcloud batch jobs submit example-task-environment-variables-job \ --location us-central1 \ --config hello-world-task-environment-variables.json
API
如要定義工作,將環境變數傳遞至各項工作執行的可執行檔,請參閱定義及使用可執行檔的環境變數範例。否則,如果您想定義工作,根據工作索引將環境變數清單傳遞至不同工作,請參閱為每項工作定義及使用環境變數的範例。
定義及使用可執行檔的環境變數
如要建立工作,使用 Batch API 將環境變數傳遞至 runnable,請使用 gcloud batch jobs submit 指令,並在 environment 欄位中指定環境變數。
舉例來說,如要建立包含環境變數的工作,並將該變數傳遞至 3 項任務的指令碼,請提出下列要求:
POST https://batch.googleapis.com/v1/projects/<var>PROJECT_ID</var>/locations/us-central1/jobs?job_id=example-environment-variables-job
{
"taskGroups": [
{
"taskSpec": {
"runnables": [
{
"script": {
"text": "echo Hello ${VARIABLE_NAME}! This is task ${BATCH_TASK_INDEX}. This job has a total of ${BATCH_TASK_COUNT} tasks."
},
"environment": {
"variables": {
"VARIABLE_NAME": "VARIABLE_VALUE"
}
}
}
],
"computeResource": {
"cpuMilli": 2000,
"memoryMib": 16
}
},
"taskCount": 3,
"parallelism": 1
}
],
"allocationPolicy": {
"instances": [
{
"policy": {
"machineType": "e2-standard-4"
}
}
]
}
}
更改下列內容:
為每項任務定義及使用環境變數
如要建立工作,並使用 Batch API 根據工作索引將環境變數傳遞至工作,請使用 jobs.create 方法,並在 taskEnvironments 陣列欄位中指定環境變數。
舉例來說,如要建立的工作包含 3 個環境變數的陣列,且這些變數的名稱相符但值不同,並根據索引將環境變數傳遞至 3 個工作的指令碼,請提出下列要求:
POST https://batch.googleapis.com/v1/projects/<var>PROJECT_ID</var>/locations/us-central1/jobs?job_id=example-task-environment-variables-job
{
"taskGroups": [
{
"taskSpec": {
"runnables": [
{
"script": {
"text": "echo Hello ${TASK_VARIABLE_NAME}! This is task ${BATCH_TASK_INDEX}. This job has a total of ${BATCH_TASK_COUNT} tasks."
},
}
],
"computeResource": {
"cpuMilli": 2000,
"memoryMib": 16
}
},
"taskCount": 3,
"taskEnvironments": [
{
"variables": {
"TASK_VARIABLE_NAME": "TASK_VARIABLE_VALUE_0"
}
},
{
"variables": {
"TASK_VARIABLE_NAME": "TASK_VARIABLE_VALUE_1"
}
},
{
"variables": {
"TASK_VARIABLE_NAME": "TASK_VARIABLE_VALUE_2"
}
}
]
}
],
"allocationPolicy": {
"instances": [
{
"policy": { "machineType": "e2-standard-4" }
}
]
}
}
更改下列內容: