大量建立 AI 最佳化 A4 或 A3 Ultra VM

本文說明如何大量建立使用 A4 或 A3 Ultra 機型的虛擬機器 (VM) 執行個體。如要進一步瞭解這些加速器最佳化機型,請參閱 A4 或 A3 Ultra。

如要進一步瞭解如何大量建立 VM,請參閱 Compute Engine 說明文件中的「關於大量建立 VM」。

如要瞭解建立 VM 或叢集的其他方式,請參閱「部署選項總覽」。

限制

大量建立 A4 或 A3 Ultra VM 時,須遵守下列限制:

A4

  • 使用 A4 機型的執行個體不適用續用折扣和彈性承諾使用折扣。
  • A4 機型僅適用於特定區域和可用區。
  • 您無法使用 Persistent Disk (區域性或可用區)。您只能使用 Google Cloud Hyperdisk。
  • A4 機型僅適用於 Emerald Rapids CPU 平台。
  • 您無法將執行個體的機型變更為 A4 機型,也無法將 A4 機型變更為其他機型。您必須使用這個機型建立新的執行個體。
  • A4 機型不支援單一租戶。
  • 您無法在 A4 機器類型上執行 Windows 作業系統。
  • 如果是 A4 執行個體,當您使用 ethtool -S 監控 GPU 網路時,以 _phy 結尾的實體通訊埠計數器不會更新。這是使用 MRDMA 虛擬函式 (VF) 架構的執行個體預期行為。詳情請參閱「MRDMA 函式和網路監控工具」。
  • 2026 年 2 月 4 日前建立的 Hyperdisk ML 磁碟,無法連接至 A4 機型。

A3 Ultra

  • 使用 A3 Ultra 機型的執行個體不適用續用折扣和彈性承諾使用折扣。
  • A3 Ultra 機型僅適用於特定區域和可用區。
  • 您無法使用 Persistent Disk (區域性或可用區)。您只能使用 Google Cloud Hyperdisk。
  • A3 Ultra 機型僅適用於 Emerald Rapids CPU 平台。
  • 無法變更 A3 Ultra 機型。如要切換至或切換出這個機器類型,您必須建立新的執行個體。
  • 您無法在 A3 Ultra 機型上執行 Windows 作業系統。
  • A3 Ultra 機型不支援單一租戶。
  • 如果是 A3 Ultra 執行個體,當您使用 ethtool -S 監控 GPU 網路時,以 _phy 結尾的實體通訊埠計數器不會更新。對於使用 MRDMA 虛擬函式 (VF) 架構的執行個體,這是預期行為。詳情請參閱「MRDMA 函式和網路監控工具」。

如要使用密集配置政策,請參閱配置政策限制。

事前準備

大量建立 VM 前,請先完成下列步驟 (如尚未完成):

  1. 選擇使用模式:您選擇的使用模式會決定 GPU 資源的取得和使用方式。詳情請參閱「選擇使用方式」。
  2. 取得運算資源:取得運算資源的程序因用量選項而異。如要瞭解如何為所選用量方案取得運算資源,請參閱「運算資源總覽」。

請根據您打算如何使用本頁範例,選取對應的分頁標籤:

控制台

使用 Google Cloud 控制台存取 Google Cloud 服務和 API 時,不需要設定驗證機制。

gcloud

安裝 Google Cloud CLI,然後使用聯合身分登入 gcloud CLI。登入後, 執行下列指令來初始化 Google Cloud CLI:

gcloud init

REST

如要在本機開發環境中使用本頁的 REST API 範例,請使用您提供給 gcloud CLI 的憑證。

    安裝 Google Cloud CLI,然後使用聯合身分登入 gcloud CLI。

詳情請參閱 Google Cloud 驗證說明文件中的「使用 REST 進行驗證」一節。

必要的角色

如要取得大量建立 VM 所需的權限,請要求管理員授予您專案的 Compute 執行個體管理員 (v1) (roles/compute.instanceAdmin.v1) IAM 角色。如要進一步瞭解如何授予角色,請參閱「管理專案、資料夾和組織的存取權」。

這個預先定義的角色具備大量建立 VM 所需的權限。如要查看確切的必要權限,請展開「Required permissions」(必要權限) 部分:

所需權限

必須具備下列權限,才能大量建立 VM:

  • 專案的 compute.instances.create
  • 如要使用自訂映像檔建立 VM: compute.images.useReadOnly 映像檔
  • 如要使用快照建立 VM: compute.snapshots.useReadOnly 快照
  • 如要使用執行個體範本建立 VM: compute.instanceTemplates.useReadOnly 在執行個體範本上
  • 如要為 VM 指定子網路: compute.subnetworks.use 專案或所選子網路
  • 如要為 VM 指定靜態 IP 位址: compute.addresses.use 專案
  • 如要在使用虛擬私有雲網路時,將外部 IP 位址指派給 VM: compute.subnetworks.useExternalIp 在專案或所選子網路上
  • 如要將舊版網路指派給 VM: compute.networks.use 專案
  • 如要在使用舊版網路時,為 VM 指派外部 IP 位址: compute.networks.useExternalIp 專案
  • 如要為 VM 設定 VM 執行個體中繼資料: compute.instances.setMetadata 在專案上
  • 如要設定 VM 的標記: compute.instances.setTags 在 VM 上
  • 如要設定 VM 的標籤,請在 VM 上執行 compute.instances.setLabels
  • 如要設定 VM 使用的服務帳戶: compute.instances.setServiceAccount 在 VM 上
  • 如要為 VM 建立新磁碟: compute.disks.create 專案
  • 如要以唯讀或讀寫模式連接現有磁碟: compute.disks.use 磁碟
  • 如要以唯讀模式連接現有磁碟: compute.disks.useReadOnly 磁碟

您或許還可透過自訂角色或其他預先定義的角色取得這些權限。

總覽

如要使用 A4 或 A3 Ultra 機型大量建立執行個體,請按照下列步驟操作:

  1. 建立虛擬私有雲網路
  2. 選用:建立密集配置政策
  3. 大量建立執行個體
  4. 安裝 GPU 驅動程式
  5. 選用:啟用 NVIDIA 多實體 GPU 模式

建立虛擬私有雲網路

如要為 A4 或 A3 Ultra 機型設定網路,請為下列網路介面建立三個虛擬私有雲網路:

  • 兩個用於 gVNIC 網路介面 (NIC) 的一般虛擬私有雲網路。接著,NIC 會使用這些虛擬私有雲網路進行主機對主機通訊。
  • 一個虛擬私有雲網路,具有 CX-7 NIC 的 RoCE 網路設定檔。 VM 執行個體的 RoCE 虛擬私有雲網路必須有 8 個子網路,每個 CX-7 NIC 各一個子網路。這些 NIC 採用 RoCE (RDMA over Converged Ethernet),提供高頻寬、低延遲的通訊,這對 GPU 對 GPU 通訊至關重要。

如要進一步瞭解 NIC 排列方式,請參閱「查看網路頻寬和 NIC 排列方式」。

您可以按照操作指南手動建立網路,也可以使用提供的指令碼自動建立。

操作指南

如要建立網路,請按照下列操作說明進行:

請將這些虛擬私有雲網路的最大傳輸單位 (MTU) 設為較大的值。如果是 A4 或 A3 Ultra 機型,建議的 MTU 為 8896 位元組。如要查看其他 GPU 機型的建議 MTU 設定,請參閱「GPU 機型的 MTU 設定」。

指令碼

如要建立網路,請按照下列步驟操作。

請將這些虛擬私有雲網路的最大傳輸單位 (MTU) 設為較大的值。如果是 A4 或 A3 Ultra 機型,建議的 MTU 為 8896 位元組。如要查看其他 GPU 機型的建議 MTU 設定,請參閱「GPU 機型的 MTU 設定」。

  1. 使用下列指令碼,為 gVNIC 和 CX-7 NIC 建立虛擬私有雲網路。

    
        #!/bin/bash
    
        # Create regular VPC networks and subnets for the gVNICs
        for N in $(seq 0 1); do
          gcloud compute networks create GVNIC_NAME_PREFIX-net-$N \
            --subnet-mode=custom \
            --mtu=8896
    
          gcloud compute networks subnets create GVNIC_NAME_PREFIX-sub-$N \
            --network=GVNIC_NAME_PREFIX-net-$N \
            --region=REGION \
            --range=10.$N.0.0/16
    
          gcloud compute firewall-rules create GVNIC_NAME_PREFIX-internal-$N \
            --network=GVNIC_NAME_PREFIX-net-$N \
            --action=ALLOW \
            --rules=tcp:0-65535,udp:0-65535,icmp \
            --source-ranges=10.0.0.0/8
        done
    
        # Create SSH firewall rules
        gcloud compute firewall-rules create GVNIC_NAME_PREFIX-ssh \
          --network=GVNIC_NAME_PREFIX-net-0 \
          --action=ALLOW \
          --rules=tcp:22 \
          --source-ranges=IP_RANGE
    
        # Assumes that an external IP is only created for vNIC 0
        gcloud compute firewall-rules create GVNIC_NAME_PREFIX-allow-ping-net-0 \
          --network=GVNIC_NAME_PREFIX-net-0 \
          --action=ALLOW \
          --rules=icmp \
          --source-ranges=IP_RANGE
    
    
        #!/bin/bash
    
        # List and make sure network profiles exist in the machine type's zone
        gcloud compute network-profiles list --filter "location.name=ZONE"
    
        # Create network for RDMA NICs
        gcloud compute networks create RDMA_NAME_PREFIX-mrdma \
          --network-profile=ZONE-vpc-roce \
          --subnet-mode custom \
          --mtu=8896
    
        # Create subnets
        for N in $(seq 0 7); do
          gcloud compute networks subnets create RDMA_NAME_PREFIX-mrdma-sub-$N \
            --network=RDMA_NAME_PREFIX-mrdma \
            --region=REGION \
            --range=10.$((N+2)).0.0/16 # offset to avoid overlap with gVNICs
        done
    
          

    更改下列內容:

    • GVNIC_NAME_PREFIX:自訂名稱前置字串,用於 gVNIC 的一般虛擬私有雲網路和子網路。
    • RDMA_NAME_PREFIX:用於 VM 執行個體 RoCE 虛擬私有雲網路 (roce) 和 CX-7 NIC 子網路的自訂名稱前置字元。
    • ZONE:指定要使用的機型所在的可用可用區,例如 us-central1-a。如要瞭解區域,請參閱「各區域和可用區的 GPU 供應情形」。
    • REGION:要建立子網路的區域。這個區域必須與指定的可用區相對應。舉例來說,如果可用區是 us-central1-a,則區域為 us-central1。
    • IP_RANGE:用於 SSH 防火牆規則的 IP 範圍。
  2. 選用:如要確認虛擬私有雲網路資源是否建立成功,請在 Google Cloud 控制台中檢查網路設定:
    1. 前往 Google Cloud 控制台的「VPC Networks」(虛擬私有雲網路) 頁面。

      前往「VPC networks」(虛擬私有雲網路)

    2. 在清單中搜尋您在上一個步驟建立的網路。
    3. 如要查看子網路、防火牆規則和其他網路設定,請按一下網路名稱。

選用:建立密集配置政策

您可以建立密集配置政策,指定 VM 的配置方式。當您對 VM 套用密集配置政策時,Compute Engine 會盡可能建立彼此靠近的 VM。如果應用程式對延遲時間較為敏感,且需要盡可能提高密集度,請在建立密集配置政策時指定 maxDistance 欄位 (預先發布版)。maxDistance 值越低,VM 彼此會越靠近,但也會增加無法建立部分 VM 的可能性。

如要建立密集配置政策,請選取下列其中一個選項:

gcloud

如要建立密集配置政策,請使用 gcloud compute resource-policies create group-placement 指令:

gcloud compute resource-policies create group-placement POLICY_NAME \
    --collocation=collocated \
    --max-distance=MAX_DISTANCE \
    --region=REGION

更改下列內容:

  • POLICY_NAME:密集配置政策的名稱。
  • MAX_DISTANCE:VM 的最大距離設定,可指定 (預先發布版,建議使用) 或不指定 (移除 --max-distance 旗標)。視機型支援的功能而定,您可以指定下列其中一個值:
    • 如要將 VM 放在同一個子區塊:1
    • 如要將 VM 放在同一個區塊:2
    • 如要將 VM 放在相鄰區塊:3
    請確保最大距離設定支援您要建立的機器系列和 VM 數量。詳情請參閱 Compute Engine 說明文件中的「關於密集配置政策」。
  • REGION:要建立密集配置政策的區域。指定要建立執行個體的可用區所在區域,並確認該區域提供您要使用的機型。如要瞭解區域,請參閱「各區域和可用區的 GPU 供應情形」。

REST

如要建立密集配置政策,請向 resourcePolicies.insert 方法發出 POST 要求。在要求主體中,加入設為 COLLOCATED 的 collocation 欄位和 maxDistance 欄位。

POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/resourcePolicies
  {
    "name": "POLICY_NAME",
    "groupPlacementPolicy": {
      "collocation": "COLLOCATED",
      "maxDistance": MAX_DISTANCE
    }
  }

更改下列內容:

  • PROJECT_ID:您的專案 ID。
  • POLICY_NAME:密集配置政策的名稱。
  • MAX_DISTANCE:VM 的最大距離設定,可以指定 (預先發布版,建議使用) 或不指定 (移除 maxDistance 欄位)。視機型支援的功能而定,您可以指定下列其中一個值:
    • 如要將 VM 放在同一個子區塊:1
    • 如要將 VM 放在同一個區塊:2
    • 如要將 VM 放在相鄰區塊:3
    請確保最大距離設定支援您要建立的機器系列和 VM 數量。詳情請參閱 Compute Engine 說明文件中的「關於密集配置政策」。
  • REGION:要建立密集配置政策的區域。指定要建立執行個體的可用區所在區域,並確認該區域提供您要使用的機型。如要瞭解區域,請參閱「各區域和可用區的 GPU 供應情形」。

大量建立 A3 Ultra 或 A4 VM

如要大量建立 A3 Ultra 或 A4 VM,請使用下列任一方法。

下列指令也會設定執行個體的存取權範圍。為簡化權限管理,Google 建議您將執行個體的存取權範圍設為 cloud-platform 存取權,然後使用 IAM 角色定義執行個體可存取的服務。詳情請參閱「範圍最佳做法」。

gcloud

如要大量建立執行個體,請使用 gcloud compute instances bulk create 指令。

您需要指定的參數取決於您為這項部署作業使用的消耗選項。選取與計費模式對應的分頁。

預留項目

A4 或 A3 Ultra 執行個體支援下列預留類型:

  • 未來預留項目 (適用於運算資源區塊)
  • 日曆模式的未來預留項目

如要使用這類預留項目,執行個體必須採用取決於預留項目的佈建模式。舉例來說,請使用下列建立參數。

執行指令前,請詳閱下列所有步驟,判斷是否要加入其他旗標。

gcloud compute instances bulk create \
    --name-pattern=NAME_PATTERN \
    --count=COUNT \
     --machine-type=MACHINE_TYPE \
    --image-family=IMAGE_FAMILY \
    --image-project=IMAGE_PROJECT \
    --region=REGION \
    --boot-disk-type=hyperdisk-balanced \
    --boot-disk-size=DISK_SIZE \
    --scopes=cloud-platform \
    --network-interface=nic-type=GVNIC,network=GVNIC_NAME_PREFIX-net-0,subnet=GVNIC_NAME_PREFIX-sub-0 \
    --network-interface=nic-type=GVNIC,network=GVNIC_NAME_PREFIX-net-1,subnet=GVNIC_NAME_PREFIX-sub-1,no-address 
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-0,no-address \
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-1,no-address \
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-2,no-address \
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-3,no-address \
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-4,no-address \
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-5,no-address \
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-6,no-address \
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-7,no-address \
    --reservation-affinity=specific \
    --reservation=RESERVATION \
    --provisioning-model=RESERVATION_BOUND \
    --instance-termination-action=TERMINATION_ACTION \
    --maintenance-policy=TERMINATE \
    --restart-on-failure

操作步驟如下:

  1. 更改下列內容:

    • NAME_PATTERN:A4 或 A3 Ultra 執行個體使用的名稱模式。舉例來說,如果名稱模式使用 instance-#,系統會產生名稱為 instance-1 和 instance-2 等的 A4 或 A3 Ultra 執行個體,數量上限為 --count 指定的 A4 或 A3 Ultra 執行個體數量。
    • COUNT:要建立的 A4 或 A3 Ultra 執行個體數量。
    • MACHINE_TYPE:A4 或 A3 Ultra 執行個體要使用的機型。詳情請參閱 Compute Engine 說明文件中的「GPU 機型」。
    • IMAGE_FAMILY:要使用的 OS 映像檔系列。如需所有支援作業系統的清單,請參閱「支援的作業系統」。
    • IMAGE_PROJECT:OS 映像檔的專案 ID。
    • REGION:指定要使用的機器類型所在的區域。如要指定密集配置政策,則必須使用與密集配置政策相同的區域。如要瞭解區域,請參閱「各區域和可用區的 GPU 供應情形」。
    • DISK_SIZE:開機磁碟大小 (GB)。詳情請依磁碟類型參閱 Google Cloud Hyperdisk 大小限制或永久磁碟大小限制。
    • GVNIC_NAME_PREFIX:建立使用 gVNIC NIC 的標準虛擬私有雲網路和子網路時,指定的名稱前置字串。
    • RDMA_NAME_PREFIX:建立使用 RDMA NIC 的虛擬私有雲網路和子網路時,指定的名稱前置字串。
    • RESERVATION:預留項目名稱或預留項目中的特定區塊。如要取得預留項目名稱或可用區塊,請參閱「查看預留容量」。請根據執行個體放置需求,選擇下列其中一項:
      • 如要在多個區塊或單一區塊上建立執行個體,請按照下列步驟操作:

        projects/RESERVATION_OWNER_PROJECT_ID/reservations/RESERVATION_NAME

        此外,針對單一區塊,請套用指定區塊共置 (maxDistance=2) 的密集配置政策。Compute Engine 隨後會將政策套用至預留項目,並在同一個區塊上建立執行個體。

      • 如要在特定區塊上建立執行個體,請按照下列步驟操作:

        projects/RESERVATION_OWNER_PROJECT_ID/reservations/RESERVATION_NAME/reservationBlocks/RESERVATION_BLOCK_NAME
    • TERMINATION_ACTION:Compute Engine 是否會在預留期限結束時停止 (STOP) 或刪除 (DELETE) A4 或 A3 Ultra 執行個體。

  2. 選用:如果您選擇使用密集配置政策,請在指令中加入下列旗標:

    --resource-policies=POLICY_NAME
    

    更改下列內容:

    • POLICY_NAME:密集配置政策的名稱。
  3. 執行更改後的指令。

Spot

執行指令前,請詳閱下列所有步驟,判斷是否要加入其他旗標。

gcloud compute instances bulk create \
    --name-pattern=NAME_PATTERN \
    --count=COUNT \
     --machine-type=MACHINE_TYPE \
    --image-family=IMAGE_FAMILY \
    --image-project=IMAGE_PROJECT \
    --region=REGION \
    --boot-disk-type=hyperdisk-balanced \
    --boot-disk-size=DISK_SIZE \
    --scopes=cloud-platform \
    --network-interface=nic-type=GVNIC,network=GVNIC_NAME_PREFIX-net-0,subnet=GVNIC_NAME_PREFIX-sub-0 \
    --network-interface=nic-type=GVNIC,network=GVNIC_NAME_PREFIX-net-1,subnet=GVNIC_NAME_PREFIX-sub-1,no-address 
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-0,no-address \
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-1,no-address \
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-2,no-address \
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-3,no-address \
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-4,no-address \
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-5,no-address \
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-6,no-address \
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-7,no-address \
    --provisioning-model=SPOT \
    --instance-termination-action=TERMINATION_ACTION \
    --maintenance-policy=TERMINATE \
    --no-restart-on-failure

操作步驟如下:

  1. 更改下列內容:

    • NAME_PATTERN:A4 或 A3 Ultra 執行個體使用的名稱模式。舉例來說,如果名稱模式使用 instance-#,系統會產生名稱為 instance-1 和 instance-2 等的 A4 或 A3 Ultra 執行個體,數量上限為 --count 指定的 A4 或 A3 Ultra 執行個體數量。
    • COUNT:要建立的 A4 或 A3 Ultra 執行個體數量。
    • MACHINE_TYPE:A4 或 A3 Ultra 執行個體要使用的機型。詳情請參閱 Compute Engine 說明文件中的「GPU 機型」。
    • IMAGE_FAMILY:要使用的 OS 映像檔系列。如需所有支援作業系統的清單,請參閱「支援的作業系統」。
    • IMAGE_PROJECT:OS 映像檔的專案 ID。
    • REGION:指定要使用的機器類型所在的區域。如要指定密集配置政策,則必須使用與密集配置政策相同的區域。如要瞭解區域,請參閱「各區域和可用區的 GPU 供應情形」。
    • DISK_SIZE:開機磁碟大小 (GB)。詳情請依磁碟類型參閱 Google Cloud Hyperdisk 大小限制或永久磁碟大小限制。
    • GVNIC_NAME_PREFIX:建立使用 gVNIC NIC 的標準虛擬私有雲網路和子網路時,指定的名稱前置字串。
    • RDMA_NAME_PREFIX:建立使用 RDMA NIC 的虛擬私有雲網路和子網路時,指定的名稱前置字串。
    • TERMINATION_ACTION:Compute Engine 搶占執行個體時要採取的動作,可以是 STOP (預設) 或 DELETE。

  2. 選用:如果您選擇使用密集配置政策,請在指令中加入下列旗標:

    --resource-policies=POLICY_NAME
    

    更改下列內容:

    • POLICY_NAME:密集配置政策的名稱。
  3. 執行更改後的指令。

REST

如要大量建立執行個體,請向 instances.bulkInsert 方法發出 POST 要求。

您需要指定的參數取決於您為這項部署作業使用的消耗選項。選取與計費模式對應的分頁。

預留項目

A4 或 A3 Ultra 執行個體支援下列預留類型:

  • 未來預留項目 (適用於運算資源區塊)
  • 日曆模式的未來預留項目

如要使用這類預留項目,執行個體必須採用取決於預留項目的佈建模式。舉例來說,請使用下列建立參數。

提交要求前,請詳閱下列所有步驟,判斷是否要加入其他欄位。

POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instances/bulkInsert
{
  "namePattern": "NAME_PATTERN",
  "count": "COUNT",
  "instanceProperties": {
    "machineType": "MACHINE_TYPE",
    "disks": [
      {
        "boot": true,
        "initializeParams": {
          "diskSizeGb": "DISK_SIZE",
          "diskType": "hyperdisk-balanced",
          "sourceImage": "projects/IMAGE_PROJECT/global/images/family/IMAGE_FAMILY"
        },
        "mode": "READ_WRITE",
        "type": "PERSISTENT"
      }
    ],
    "serviceAccounts": [
      {
        "email": "default",
        "scopes": [
          "https://www.googleapis.com/auth/cloud-platform"
        ]
      }
    ],
    "networkInterfaces": [
      {
        "accessConfigs": [
          {
            "name": "external-nat",
            "type": "ONE_TO_ONE_NAT"
          }
        ],
        "network": "projects/NETWORK_PROJECT_ID/global/networks/GVNIC_NAME_PREFIX-net-0",
        "nicType": "GVNIC",
        "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/GVNIC_NAME_PREFIX-sub-0"
      },
      {
        "network": "projects/NETWORK_PROJECT_ID/global/networks/GVNIC_NAME_PREFIX-net-1",
        "nicType": "GVNIC",
        "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/GVNIC_NAME_PREFIX-sub-1"
      },
      {
        "network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
        "nicType": "MRDMA",
        "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-0"
      },
      {
        "network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
        "nicType": "MRDMA",
        "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-1"
      },
      {
        "network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
        "nicType": "MRDMA",
        "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-2"
      },
      {
        "network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
        "nicType": "MRDMA",
        "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-3"
      },
      {
        "network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
        "nicType": "MRDMA",
        "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-4"
      },
      {
        "network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
        "nicType": "MRDMA",
        "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-5"
      },
      {
        "network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
        "nicType": "MRDMA",
        "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-6"
      },
      {
        "network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
        "nicType": "MRDMA",
        "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-7"
      }
     ],
    "reservationAffinity": {
        "consumeReservationType": "SPECIFIC_RESERVATION",
        "key": "compute.googleapis.com/reservation-name",
        "values": [
          "RESERVATION"
        ]
      },
    "scheduling": {
        "provisioningModel": "RESERVATION_BOUND",
        "instanceTerminationAction": "DELETE",
        "onHostMaintenance": "TERMINATE",
        "automaticRestart": true
      }
  }
}

操作步驟如下:

  1. 更改下列內容:

    • PROJECT_ID:要建立 A4 或 A3 Ultra 執行個體的專案 ID。
    • ZONE:指定提供您要使用機型的可用區。如要指定密集配置政策,則必須使用與密集配置政策位於相同區域的可用區。如要瞭解區域,請參閱「各區域和可用區的 GPU 供應情形」。
    • NAME_PATTERN:A4 或 A3 Ultra 執行個體使用的名稱模式。舉例來說,如果名稱模式使用 instance-#,系統會產生名稱為 instance-1 和 instance-2 等的 A4 或 A3 Ultra 執行個體,數量上限為 --count 指定的 A4 或 A3 Ultra 執行個體數量。
    • COUNT:要建立的 A4 或 A3 Ultra 執行個體數量。
    • MACHINE_TYPE:A4 或 A3 Ultra 執行個體要使用的機型。詳情請參閱 Compute Engine 說明文件中的「GPU 機型」。
    • DISK_SIZE:開機磁碟大小 (GB)。詳情請依磁碟類型參閱 Google Cloud Hyperdisk 大小限制或永久磁碟大小限制。
    • IMAGE_PROJECT:OS 映像檔的專案 ID。
    • IMAGE_FAMILY:要使用的 OS 映像檔系列。如需所有支援作業系統的清單,請參閱「支援的作業系統」。
    • NETWORK_PROJECT_ID:網路的專案 ID。
    • GVNIC_NAME_PREFIX:建立使用 gVNIC NIC 的標準虛擬私有雲網路和子網路時,指定的名稱前置字串。
    • REGION:子網路的區域。
    • RDMA_NAME_PREFIX:建立使用 RDMA NIC 的虛擬私有雲網路和子網路時,指定的名稱前置字串。
    • RESERVATION:預留項目名稱或預留項目中的特定區塊。如要取得預留項目名稱或可用區塊,請參閱「查看預留容量」。請根據執行個體放置需求,選擇下列其中一項:
      • 如要在多個區塊或單一區塊上建立執行個體,請按照下列步驟操作:

        projects/RESERVATION_OWNER_PROJECT_ID/reservations/RESERVATION_NAME

        此外,針對單一區塊,請套用指定區塊共置 (maxDistance=2) 的密集配置政策。Compute Engine 隨後會將政策套用至預留項目,並在同一個區塊上建立執行個體。

      • 如要在特定區塊上建立執行個體,請按照下列步驟操作:

        projects/RESERVATION_OWNER_PROJECT_ID/reservations/RESERVATION_NAME/reservationBlocks/RESERVATION_BLOCK_NAME
    • TERMINATION_ACTION:Compute Engine 是否會在預留期限結束時停止 (STOP) 或刪除 (DELETE) A4 或 A3 Ultra 執行個體。

  2. 選用:如果您選擇使用密集配置政策,請在要求主體中新增下列 instanceProperties 子欄位:

        "resourcePolicies": [
          "projects/PROJECT_ID/regions/REGION/resourcePolicies/POLICY_NAME"
        ]
    

    更改下列內容:

    • PROJECT_ID:密集配置政策的專案 ID。
    • REGION:密集配置政策的區域。
    • POLICY_NAME:密集配置政策的名稱。
  3. 提交要求。

Spot

提交要求前,請詳閱下列所有步驟,判斷是否要加入其他欄位。

POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instances/bulkInsert
{
  "namePattern": "NAME_PATTERN",
  "count": "COUNT",
  "instanceProperties": {
    "machineType": "MACHINE_TYPE",
    "disks": [
      {
        "boot": true,
        "initializeParams": {
          "diskSizeGb": "DISK_SIZE",
          "diskType": "hyperdisk-balanced",
          "sourceImage": "projects/IMAGE_PROJECT/global/images/family/IMAGE_FAMILY"
        },
        "mode": "READ_WRITE",
        "type": "PERSISTENT"
      }
    ],
    "serviceAccounts": [
      {
        "email": "default",
        "scopes": [
          "https://www.googleapis.com/auth/cloud-platform"
        ]
      }
    ],
    "networkInterfaces": [
      {
        "accessConfigs": [
          {
            "name": "external-nat",
            "type": "ONE_TO_ONE_NAT"
          }
        ],
        "network": "projects/NETWORK_PROJECT_ID/global/networks/GVNIC_NAME_PREFIX-net-0",
        "nicType": "GVNIC",
        "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/GVNIC_NAME_PREFIX-sub-0"
      },
      {
        "network": "projects/NETWORK_PROJECT_ID/global/networks/GVNIC_NAME_PREFIX-net-1",
        "nicType": "GVNIC",
        "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/GVNIC_NAME_PREFIX-sub-1"
      },
      {
        "network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
        "nicType": "MRDMA",
        "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-0"
      },
      {
        "network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
        "nicType": "MRDMA",
        "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-1"
      },
      {
        "network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
        "nicType": "MRDMA",
        "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-2"
      },
      {
        "network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
        "nicType": "MRDMA",
        "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-3"
      },
      {
        "network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
        "nicType": "MRDMA",
        "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-4"
      },
      {
        "network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
        "nicType": "MRDMA",
        "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-5"
      },
      {
        "network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
        "nicType": "MRDMA",
        "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-6"
      },
      {
        "network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
        "nicType": "MRDMA",
        "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-7"
      }
     ],
    "scheduling":
    {
      "provisioningModel": "SPOT",
      "instanceTerminationAction": "TERMINATION_ACTION",
      "onHostMaintenance": "TERMINATE",
      "automaticRestart": false
    }
  }
}

操作步驟如下:

  1. 更改下列內容:

    • PROJECT_ID:要建立 A4 或 A3 Ultra 執行個體的專案 ID。
    • ZONE:指定提供您要使用機型的可用區。如要指定密集配置政策,則必須使用與密集配置政策位於相同區域的可用區。如要瞭解區域,請參閱「各區域和可用區的 GPU 供應情形」。
    • NAME_PATTERN:A4 或 A3 Ultra 執行個體使用的名稱模式。舉例來說,如果名稱模式使用 instance-#,系統會產生名稱為 instance-1 和 instance-2 等的 A4 或 A3 Ultra 執行個體,數量上限為 --count 指定的 A4 或 A3 Ultra 執行個體數量。
    • COUNT:要建立的 A4 或 A3 Ultra 執行個體數量。
    • MACHINE_TYPE:A4 或 A3 Ultra 執行個體要使用的機型。詳情請參閱 Compute Engine 說明文件中的「GPU 機型」。
    • DISK_SIZE:開機磁碟大小 (GB)。詳情請依磁碟類型參閱 Google Cloud Hyperdisk 大小限制或永久磁碟大小限制。
    • IMAGE_PROJECT:OS 映像檔的專案 ID。
    • IMAGE_FAMILY:要使用的 OS 映像檔系列。如需所有支援作業系統的清單,請參閱「支援的作業系統」。
    • NETWORK_PROJECT_ID:網路的專案 ID。
    • GVNIC_NAME_PREFIX:建立使用 gVNIC NIC 的標準虛擬私有雲網路和子網路時,指定的名稱前置字串。
    • REGION:子網路的區域。
    • RDMA_NAME_PREFIX:建立使用 RDMA NIC 的虛擬私有雲網路和子網路時,指定的名稱前置字串。
    • TERMINATION_ACTION:Compute Engine 搶占執行個體時要採取的動作,可以是 STOP (預設) 或 DELETE。

  2. 選用:如果您選擇使用密集配置政策,請在要求主體中新增下列 instanceProperties 子欄位:

        "resourcePolicies": [
          "projects/PROJECT_ID/regions/REGION/resourcePolicies/POLICY_NAME"
        ]
    

    更改下列內容:

    • PROJECT_ID:密集配置政策的專案 ID。
    • REGION:密集配置政策的區域。
    • POLICY_NAME:密集配置政策的名稱。
  3. 提交要求。

如要進一步瞭解大量建立 VM 時的設定選項,請參閱 Compute Engine 說明文件中的「大量建立 VM」。

安裝 GPU 驅動程式

建立執行個體後,必須安裝正確的 GPU 驅動程式,執行個體才能使用 GPU。 如果您未指定包含 GPU 驅動程式的 OS 映像檔,請參閱 Compute Engine 說明文件中的「安裝 GPU 驅動程式」。

選用:啟用 NVIDIA 多執行個體 GPU 模式

多實體 GPU (MIG) 模式是可為支援的 NVIDIA GPU 啟用的功能。建立執行個體後,您可以在連接至機器的單一 GPU 上啟用 MIG 模式。啟用 MIG 模式後,單一 GPU 會分割為最多七個獨立 GPU 執行個體。每個執行個體會同時執行,且各自擁有記憶體、快取和串流多處理器。接著,您可以在這些 GPU 執行個體上平行執行不同的工作負載。 如要進一步瞭解如何使用 MIG 模式,請參閱 NVIDIA 說明文件中的多實體 GPU (MIG) 使用手冊。

後續步驟