本文說明如何建立及執行使用執行個體彈性的批次工作。執行個體彈性可讓您允許工作在指定的多個機型上執行,並可選擇是否要排名。
允許工作使用更多機型,即可運用執行個體彈性提高取得性,也就是有資源可用來執行工作的機率。如要進一步瞭解如何選擇要用於工作負載的可用性功能,請參閱「提高資源可用性」。舉例來說,使用執行個體彈性功能可協助您執行下列操作:
事前準備
- 如果您從未使用過 Batch,請參閱「開始使用 Batch」,並完成專案和使用者的必要條件,啟用 Batch。
-
如要取得建立工作所需的權限,請要求管理員授予您下列 IAM 角色:
- 專案的批次工作編輯者 (
roles/batch.jobsEditor) - 工作服務帳戶的服務帳戶使用者 (
roles/iam.serviceAccountUser),預設為預設 Compute Engine 服務帳戶
如要進一步瞭解如何授予角色,請參閱「管理專案、資料夾和組織的存取權」。
- 專案的批次工作編輯者 (
限制
如果工作使用執行個體彈性,則須遵守下列所有限制:
允許工作使用的機型數量越多,取得性提升幅度就越大。
工作無法指定
FLEX_START佈建模式或RESERVATION_BOUND佈建模式。工作無法使用明確指定的預留項目。(
reservation欄位必須未定義或設為NO_RESERVATION)。明確指定的預留項目包括
RESERVATION_BOUND佈建模式的所有預留項目,以及STANDARD佈建模式的部分預留項目。這些功能本質上不相容,因為只有預留項目的機型才能成功建立執行個體。每項工作最多可選取 50 個執行個體。
工作中的每個執行個體選項都必須有不重複的名稱、不重複的等級,以及一或多個不重複的機器類型。
機器類型不得重複,每項工作的每個執行個體選項只能包含一種機器類型。
每項工作最多可有 200 種不重複的機器類型。
雖然在同一個執行個體選取項目中指定多個機器類型為選用,但如果您想取得可用性較高的資源,則必須指定多個機器類型。
- 只有在某個排名的執行個體選項有多個機型時,Batch 才會嘗試選取一或多個最容易取得的機型。舉例來說,如果您希望工作使用較不容易遭到先占的 Spot VM,或希望工作能使用更多執行個體來平行執行任務,這項選擇就很重要。
- 否則,當某個等級的執行個體選項只有一種機型時,執行個體彈性只能避免資源可用性錯誤。
工作不得包含
machineType欄位,且系統會忽略工作指定的任何執行個體範本機型。您必須確認為工作指定的每項屬性,都與所有允許的機器類型相容。否則,工作可能會因無法建立執行個體,而在提交後失敗。舉例來說,建議您至少確認工作的下列屬性與所有機器類型相容:
- 位置 (如有指定,則為
allowedLocations[]欄位;否則為location) - 每項任務的運算資源 (
computeResource欄位) - 磁碟和映像檔 (
volumes[]欄位、disk[]欄位和bootDisk欄位) - 網路 (
network欄位) 所有其他執行個體屬性 (
instances[]子欄位):- 最低 CPU 平台 (
minCpuPlatform欄位) - 佈建模型 (
provisioningModel欄位) - GPU (
accelerators[]欄位)
- 最低 CPU 平台 (
- 位置 (如有指定,則為
您無法覆寫 Batch 工作的磁碟和最低 CPU 平台。所有機型都會使用您指定的值 (在
policy子欄位或執行個體範本中),或在未指定時,使用最高優先順序執行個體選取項目中機型的預設值。因此,建議您採取下列所有做法:確認開機磁碟類型與所有允許的機型相容。總之,第 4 代和更新的機型不支援永久磁碟,第 2 代和更早的機型不支援 Hyperdisk,第 3 代和更早的機型則預設使用永久開機磁碟。
除非您已確認所有允許的機器類型都支援最低 CPU 平台或選用磁碟,否則請勿指定這些項目。
如要建立可使用多種 GPU 機器類型的工作,請使用 Google Cloud CLI 或 Batch API。
如果允許工作使用搭載部分 GPU 的機型 (例如
g4-standard-6搭載 1/8 個 GPU) 和搭載完整 GPU 的機型 (大多數 GPU 機型),則工作必須手動安裝 GPU 驅動程式。
建立可使用多種機型的工作
如要建立工作,並允許使用多種機型,請選取下列其中一種方法。
控制台
如要透過 Google Cloud 控制台建立使用多種機器類型的工作,請完成下列步驟:
前往 Google Cloud 控制台的「Job list」(工作清單) 頁面。
按一下「 建立」。「Create batch job」(建立批次工作) 頁面隨即開啟。左側窗格會選取「Job details」(工作詳細資料) 頁面。
請按照下列步驟,將工作設為使用多種機型:
在左側窗格中,按一下「Resource specifications」(資源規格)。「Resource specifications」(資源規格) 頁面隨即開啟。
在「Machine type configuration」(機型設定) 部分,選取「Flexible machine types」(彈性機型)。「Selections」部分隨即顯示。
按一下「 新增所選項目」。 「Instance selections」(執行個體選項) 窗格隨即開啟。
在「New instance selection」(新增執行個體選項) 部分,按照下列步驟設定執行個體選項:
選用:在「Name」(名稱) 欄位中輸入不重複的名稱。
在「Rank」(排名) 欄位中,輸入不重複的排名。排名是零或大於零的整數,代表這個執行個體選取項目的優先順序,值越小,優先順序越高。
如要將機型新增至這個執行個體選項,請完成下列步驟:
按一下「 新增機型」。「Add machine type」(新增機器類型) 窗格隨即開啟。
在「系列」部分,選取機器系列。
在「Machine type」(機器類型) 欄位中,選取機器類型。每項工作只能在一個執行個體選項中加入各個機型。
點按「Done」(完成)。「Add machine type」(新增機型) 窗格會關閉。
選用:如要將其他機器新增至這個執行個體選項 (這個排名),請重複上一個步驟。
選用:如要為這項工作新增其他執行個體選項 (其他排名),請按一下「Add instance selection」(新增執行個體選項)。然後重複上一個步驟。
點按「Done」(完成)。「Instance selections」(執行個體選項) 窗格就會關閉。
指定工作的其他設定選項。詳情請參閱「工作建立選項」。
如要建立並提交工作,請按一下「Create」(建立)。
「Job details」(工作詳細資料) 頁面會顯示您建立的工作。
gcloud
如要在使用 Google Cloud CLI 建立工作時設定多種機器類型,請完成下列步驟:
在指定工作設定詳細資料的 JSON 檔案中,將
instanceFlexibilityPolicy欄位和子欄位加入allocationPolicy欄位。instanceFlexibilityPolicy欄位支援一或多個執行個體選項,每個選項都有專屬名稱、專屬排名,以及一或多個機器類型的清單。"allocationPolicy":{ "instanceFlexibilityPolicy":{ "instanceSelections":{ "INSTANCE_SELECTION_NAME":{ "rank": RANK, "machineTypes": [MACHINE_TYPES] } } } }更改下列內容:
INSTANCE_SELECTION_NAME:執行個體選項的名稱。如果工作有多個執行個體選項,請確保這項工作中的每個名稱都不重複。RANK:選用,大於或等於零的整數,代表這個執行個體選取項目的優先順序,值越低,優先順序越高。如未指定,預設值為0(最高優先順序)。如果工作有多個執行個體選項,請確保這項工作中的每個排名都是不重複的。MACHINE_TYPES:以半形逗號分隔的清單,列出一或多個機型 (以字串形式寫入),用於這個執行個體選取項目。每項工作只能在一個執行個體選項中加入各個機器類型。舉例來說,列出三種機型的寫法如下:"MACHINE_TYPE_1", "MACHINE_TYPE_2", "MACHINE_TYPE_3"將
MACHINE_TYPE_1、MACHINE_TYPE_2、MACHINE_TYPE_3分別替換為機型,例如e2-micro、e2-small和n1-standard-2。
詳情請參閱工作範例。
如要建立及提交工作,請使用
gcloud batch jobs submit指令。gcloud batch jobs submit JOB_NAME \ --location LOCATION \ --config JSON_CONFIGURATION_FILE更改下列內容:
JOB_NAME:工作名稱。LOCATION:工作的位置。JSON_CONFIGURATION_FILE:JSON 檔案的路徑,其中包含工作的設定詳細資料。
REST
如要使用 Batch API 建立工作,請使用 jobs.create 方法。
如要為工作指定多個機器類型,請在 JSON 檔案主體的 allocationPolicy 欄位中,加入 instanceFlexibilityPolicy 欄位和子欄位。instanceFlexibilityPolicy 欄位支援一或多個執行個體選項,每個選項都有專屬名稱、專屬排名,以及一或多個機器類型的清單。
"allocationPolicy":{
"instanceFlexibilityPolicy":{
"instanceSelections":{
"INSTANCE_SELECTION_NAME":{
"rank": RANK,
"machineTypes": [MACHINE_TYPES]
}
}
}
}
更改下列內容:
INSTANCE_SELECTION_NAME:執行個體選項的名稱。如果工作有多個執行個體選項,請確認這項工作中的每個名稱都不重複。RANK:選用,大於或等於零的整數,代表這個執行個體選取項目的優先順序,值越低,優先順序越高。如未指定,預設值為0(最高優先順序)。如果工作有多個執行個體選項,請確保這項工作中的每個排名都是不重複的。MACHINE_TYPES:以半形逗號分隔的清單,列出一或多個機型 (以字串形式寫入),用於這個執行個體選取項目。每項工作只能在一個執行個體選項中加入各個機器類型。舉例來說,列出三種機型的寫法如下:"MACHINE_TYPE_1", "MACHINE_TYPE_2", "MACHINE_TYPE_3"將
MACHINE_TYPE_1、MACHINE_TYPE_2、MACHINE_TYPE_3分別替換為機型,例如e2-micro、e2-small和n1-standard-2。
詳情請參閱工作範例。
工作 JSON 設定檔範例
舉例來說,使用 gcloud CLI 或 Batch API 時,您可以使用下列 JSON 設定檔,建立具有兩個執行個體選項的基本指令碼工作:
- 名為
first-choice的執行個體選項具有最高優先順序 ("rank": 0) 和三種機型 (e2-micro、e2-small和n1-standard-2)。 - 名為
second-choice的執行個體選項具有第二優先順序 ("rank": 1) 和一種機型 (e2-medium)。
{
"taskGroups": [
{
"taskSpec": {
"runnables": [
{
"script": {
"text": "echo Hello World! This is task $BATCH_TASK_INDEX."
}
}
]
},
"taskCount": 3
}
],
"allocationPolicy":{
"instanceFlexibilityPolicy":{
"instanceSelections":{
"first-choice":{
"rank": 0,
"machineTypes": ["e2-micro", "e2-small", "n1-standard-2"]
},
"second-choice":{
"rank": 1,
"machineTypes": ["e2-medium"]
}
}
}
}
}