運用執行個體彈性功能,提高取得執行個體的機率

本文說明如何建立及執行使用執行個體彈性的批次工作。執行個體彈性可讓您允許工作在指定的多個機型上執行,並可選擇是否要排名。

允許工作使用更多機型,即可運用執行個體彈性提高取得性,也就是有資源可用來執行工作的機率。如要進一步瞭解如何選擇要用於工作負載的可用性功能,請參閱「提高資源可用性」。舉例來說,使用執行個體彈性功能可協助您執行下列操作:

  • 降低資源可用性錯誤和相關排程延遲的可能性。
  • 選取較容易取得的資源,有助於更快完成工作,例如:
    • 提高支援平行處理的工作取得更多執行個體的機率。
    • 取得較不易遭到先占的 Spot VM。

事前準備

  1. 如果您從未使用過 Batch,請參閱「開始使用 Batch」,並完成專案和使用者的必要條件,啟用 Batch。
  2. 如要取得建立工作所需的權限,請要求管理員授予您下列 IAM 角色:

    如要進一步瞭解如何授予角色,請參閱「管理專案、資料夾和組織的存取權」。

    您或許也能透過自訂角色或其他預先定義的角色,取得必要權限。

限制

如果工作使用執行個體彈性,則須遵守下列所有限制:

  • 允許工作使用的機型數量越多,取得性提升幅度就越大。

  • 工作無法指定 FLEX_START 佈建模式或 RESERVATION_BOUND 佈建模式。

  • 工作無法使用明確指定的預留項目。(reservation 欄位必須未定義或設為 NO_RESERVATION)。

    明確指定的預留項目包括 RESERVATION_BOUND 佈建模式的所有預留項目,以及 STANDARD 佈建模式的部分預留項目。這些功能本質上不相容,因為只有預留項目的機型才能成功建立執行個體。

  • 每項工作最多可選取 50 個執行個體。

  • 工作中的每個執行個體選項都必須有不重複的名稱、不重複的等級,以及一或多個不重複的機器類型。

  • 機器類型不得重複,每項工作的每個執行個體選項只能包含一種機器類型。

  • 每項工作最多可有 200 種不重複的機器類型。

  • 雖然在同一個執行個體選取項目中指定多個機器類型為選用,但如果您想取得可用性較高的資源,則必須指定多個機器類型。

    • 只有在某個排名的執行個體選項有多個機型時,Batch 才會嘗試選取一或多個最容易取得的機型。舉例來說,如果您希望工作使用較不容易遭到先占的 Spot VM,或希望工作能使用更多執行個體來平行執行任務,這項選擇就很重要。
    • 否則,當某個等級的執行個體選項只有一種機型時,執行個體彈性只能避免資源可用性錯誤。
  • 工作不得包含 machineType 欄位,且系統會忽略工作指定的任何執行個體範本機型。

  • 您必須確認為工作指定的每項屬性,都與所有允許的機器類型相容。否則,工作可能會因無法建立執行個體,而在提交後失敗。舉例來說,建議您至少確認工作的下列屬性與所有機器類型相容:

    • 位置 (如有指定,則為 allowedLocations[] 欄位;否則為 location)
    • 每項任務的運算資源 (computeResource 欄位)
    • 磁碟和映像檔 (volumes[] 欄位、disk[] 欄位和 bootDisk 欄位)
    • 網路 (network 欄位)
    • 所有其他執行個體屬性 (instances[] 子欄位):

      • 最低 CPU 平台 (minCpuPlatform 欄位)
      • 佈建模型 (provisioningModel 欄位)
      • GPU (accelerators[] 欄位)
  • 您無法覆寫 Batch 工作的磁碟和最低 CPU 平台。所有機型都會使用您指定的值 (在 policy 子欄位或執行個體範本中),或在未指定時,使用最高優先順序執行個體選取項目中機型的預設值。因此,建議您採取下列所有做法:

    • 確認開機磁碟類型與所有允許的機型相容。總之,第 4 代和更新的機型不支援永久磁碟,第 2 代和更早的機型不支援 Hyperdisk,第 3 代和更早的機型則預設使用永久開機磁碟。

    • 除非您已確認所有允許的機器類型都支援最低 CPU 平台或選用磁碟,否則請勿指定這些項目。

  • 如要建立可使用多種 GPU 機器類型的工作,請使用 Google Cloud CLI 或 Batch API。

  • 如果允許工作使用搭載部分 GPU 的機型 (例如 g4-standard-6 搭載 1/8 個 GPU) 和搭載完整 GPU 的機型 (大多數 GPU 機型),則工作必須手動安裝 GPU 驅動程式。

建立可使用多種機型的工作

如要建立工作,並允許使用多種機型,請選取下列其中一種方法。

控制台

如要透過 Google Cloud 控制台建立使用多種機器類型的工作,請完成下列步驟:

  1. 前往 Google Cloud 控制台的「Job list」(工作清單) 頁面。

    前往工作清單

  2. 按一下「 建立」。「Create batch job」(建立批次工作) 頁面隨即開啟。左側窗格會選取「Job details」(工作詳細資料) 頁面。

  3. 請按照下列步驟,將工作設為使用多種機型:

    1. 在左側窗格中,按一下「Resource specifications」(資源規格)。「Resource specifications」(資源規格) 頁面隨即開啟。

    2. 在「Machine type configuration」(機型設定) 部分,選取「Flexible machine types」(彈性機型)。「Selections」部分隨即顯示。

    3. 按一下「 新增所選項目」。 「Instance selections」(執行個體選項) 窗格隨即開啟。

    4. 在「New instance selection」(新增執行個體選項) 部分,按照下列步驟設定執行個體選項:

      1. 選用:在「Name」(名稱) 欄位中輸入不重複的名稱。

      2. 在「Rank」(排名) 欄位中,輸入不重複的排名。排名是零或大於零的整數,代表這個執行個體選取項目的優先順序,值越小,優先順序越高。

      3. 如要將機型新增至這個執行個體選項,請完成下列步驟:

        1. 按一下「 新增機型」。「Add machine type」(新增機器類型) 窗格隨即開啟。

        2. 在「系列」部分,選取機器系列。

        3. 在「Machine type」(機器類型) 欄位中,選取機器類型。每項工作只能在一個執行個體選項中加入各個機型。

        4. 點按「Done」(完成)。「Add machine type」(新增機型) 窗格會關閉。

      4. 選用:如要將其他機器新增至這個執行個體選項 (這個排名),請重複上一個步驟。

    5. 選用:如要為這項工作新增其他執行個體選項 (其他排名),請按一下「Add instance selection」(新增執行個體選項)。然後重複上一個步驟。

    6. 點按「Done」(完成)。「Instance selections」(執行個體選項) 窗格就會關閉。

  4. 指定工作的其他設定選項。詳情請參閱「工作建立選項」。

  5. 如要建立並提交工作,請按一下「Create」(建立)。

「Job details」(工作詳細資料) 頁面會顯示您建立的工作。

gcloud

如要在使用 Google Cloud CLI 建立工作時設定多種機器類型,請完成下列步驟:

  1. 在指定工作設定詳細資料的 JSON 檔案中,將 instanceFlexibilityPolicy 欄位和子欄位加入 allocationPolicy 欄位。instanceFlexibilityPolicy 欄位支援一或多個執行個體選項,每個選項都有專屬名稱、專屬排名,以及一或多個機器類型的清單。

    "allocationPolicy":{
      "instanceFlexibilityPolicy":{
        "instanceSelections":{
          "INSTANCE_SELECTION_NAME":{
            "rank": RANK,
            "machineTypes": [MACHINE_TYPES]
          }
        }
      }
    }
    

    更改下列內容:

    • INSTANCE_SELECTION_NAME:執行個體選項的名稱。如果工作有多個執行個體選項,請確保這項工作中的每個名稱都不重複。

    • RANK:選用,大於或等於零的整數,代表這個執行個體選取項目的優先順序,值越低,優先順序越高。如未指定,預設值為 0 (最高優先順序)。如果工作有多個執行個體選項,請確保這項工作中的每個排名都是不重複的。

    • MACHINE_TYPES:以半形逗號分隔的清單,列出一或多個機型 (以字串形式寫入),用於這個執行個體選取項目。每項工作只能在一個執行個體選項中加入各個機器類型。舉例來說,列出三種機型的寫法如下:

      "MACHINE_TYPE_1", "MACHINE_TYPE_2", "MACHINE_TYPE_3"
      

      將 MACHINE_TYPE_1、MACHINE_TYPE_2、MACHINE_TYPE_3 分別替換為機型,例如 e2-micro、e2-small 和 n1-standard-2。

    詳情請參閱工作範例。

  2. 如要建立及提交工作,請使用 gcloud batch jobs submit 指令。

    gcloud batch jobs submit JOB_NAME \
      --location LOCATION \
      --config JSON_CONFIGURATION_FILE
    

    更改下列內容:

    • JOB_NAME:工作名稱。
    • LOCATION:工作的位置。
    • JSON_CONFIGURATION_FILE:JSON 檔案的路徑,其中包含工作的設定詳細資料。

REST

如要使用 Batch API 建立工作,請使用 jobs.create 方法。

如要為工作指定多個機器類型,請在 JSON 檔案主體的 allocationPolicy 欄位中,加入 instanceFlexibilityPolicy 欄位和子欄位。instanceFlexibilityPolicy 欄位支援一或多個執行個體選項,每個選項都有專屬名稱、專屬排名,以及一或多個機器類型的清單。

"allocationPolicy":{
  "instanceFlexibilityPolicy":{
    "instanceSelections":{
      "INSTANCE_SELECTION_NAME":{
        "rank": RANK,
        "machineTypes": [MACHINE_TYPES]
      }
    }
  }
}

更改下列內容:

  • INSTANCE_SELECTION_NAME:執行個體選項的名稱。如果工作有多個執行個體選項,請確認這項工作中的每個名稱都不重複。

  • RANK:選用,大於或等於零的整數,代表這個執行個體選取項目的優先順序,值越低,優先順序越高。如未指定,預設值為 0 (最高優先順序)。如果工作有多個執行個體選項,請確保這項工作中的每個排名都是不重複的。

  • MACHINE_TYPES:以半形逗號分隔的清單,列出一或多個機型 (以字串形式寫入),用於這個執行個體選取項目。每項工作只能在一個執行個體選項中加入各個機器類型。舉例來說,列出三種機型的寫法如下:

    "MACHINE_TYPE_1", "MACHINE_TYPE_2", "MACHINE_TYPE_3"
    

    將 MACHINE_TYPE_1、MACHINE_TYPE_2、MACHINE_TYPE_3 分別替換為機型,例如 e2-micro、e2-small 和 n1-standard-2。

詳情請參閱工作範例。

工作 JSON 設定檔範例

舉例來說,使用 gcloud CLI 或 Batch API 時,您可以使用下列 JSON 設定檔,建立具有兩個執行個體選項的基本指令碼工作:

  • 名為 first-choice 的執行個體選項具有最高優先順序 ("rank": 0) 和三種機型 (e2-micro、e2-small 和 n1-standard-2)。
  • 名為 second-choice 的執行個體選項具有第二優先順序 ("rank": 1) 和一種機型 (e2-medium)。
{
  "taskGroups": [
    {
      "taskSpec": {
        "runnables": [
          {
            "script": {
              "text": "echo Hello World! This is task $BATCH_TASK_INDEX."
            }
          }
        ]
      },
      "taskCount": 3
    }
  ],
  "allocationPolicy":{
    "instanceFlexibilityPolicy":{
      "instanceSelections":{
        "first-choice":{
          "rank": 0,
          "machineTypes": ["e2-micro", "e2-small", "n1-standard-2"]
        },
        "second-choice":{
          "rank": 1,
          "machineTypes": ["e2-medium"]
        }
      }
    }
  }
}

後續步驟