本文說明如何大量建立使用 A4 或 A3 Ultra 機型的虛擬機器 (VM) 執行個體。如要進一步瞭解這些加速器最佳化機型,請參閱 A4 或 A3 Ultra。
如要進一步瞭解如何大量建立 VM,請參閱 Compute Engine 說明文件中的「關於大量建立 VM」。
如要瞭解建立 VM 或叢集的其他方式,請參閱「部署選項總覽」。
限制
大量建立 A4 或 A3 Ultra VM 時,須遵守下列限制:
A4
- 使用 A4 機型的執行個體不適用續用折扣和彈性承諾使用折扣。
- A4 機型僅適用於特定區域和可用區。
- 您無法使用 Persistent Disk (區域性或可用區)。您只能使用 Google Cloud Hyperdisk。
- A4 機型僅適用於 Emerald Rapids CPU 平台。
- 您無法將執行個體的機型變更為 A4 機型,也無法將 A4 機型變更為其他機型。您必須使用這個機型建立新的執行個體。
- A4 機型不支援單一租戶。
- 您無法在 A4 機器類型上執行 Windows 作業系統。
- 如果是 A4 執行個體,當您使用
ethtool -S監控 GPU 網路時,以_phy結尾的實體通訊埠計數器不會更新。這是使用 MRDMA 虛擬函式 (VF) 架構的執行個體預期行為。詳情請參閱「MRDMA 函式和網路監控工具」。 - 2026 年 2 月 4 日前建立的 Hyperdisk ML 磁碟,無法連接至 A4 機型。
A3 Ultra
- 使用 A3 Ultra 機型的執行個體不適用續用折扣和彈性承諾使用折扣。
- A3 Ultra 機型僅適用於特定區域和可用區。
- 您無法使用 Persistent Disk (區域性或可用區)。您只能使用 Google Cloud Hyperdisk。
- A3 Ultra 機型僅適用於 Emerald Rapids CPU 平台。
- 無法變更 A3 Ultra 機型。如要切換至或切換出這個機器類型,您必須建立新的執行個體。
- 您無法在 A3 Ultra 機型上執行 Windows 作業系統。
- A3 Ultra 機型不支援單一租戶。
- 如果是 A3 Ultra 執行個體,當您使用
ethtool -S監控 GPU 網路時,以_phy結尾的實體通訊埠計數器不會更新。對於使用 MRDMA 虛擬函式 (VF) 架構的執行個體,這是預期行為。詳情請參閱「MRDMA 函式和網路監控工具」。
事前準備
大量建立 VM 前,請先完成下列步驟 (如尚未完成):
- 選擇使用模式:您選擇的使用模式會決定 GPU 資源的取得和使用方式。詳情請參閱「選擇使用方式」。
- 取得運算資源:取得運算資源的程序因用量選項而異。如要瞭解如何為所選用量方案取得運算資源,請參閱「運算資源總覽」。
請根據您打算如何使用本頁範例,選取對應的分頁標籤:
控制台
使用 Google Cloud 控制台存取 Google Cloud 服務和 API 時,不需要設定驗證機制。
gcloud
安裝 Google Cloud CLI,然後使用聯合身分登入 gcloud CLI。登入後, 執行下列指令來初始化 Google Cloud CLI:
gcloud initREST
如要在本機開發環境中使用本頁的 REST API 範例,請使用您提供給 gcloud CLI 的憑證。
安裝 Google Cloud CLI,然後使用聯合身分登入 gcloud CLI。
詳情請參閱 Google Cloud 驗證說明文件中的「使用 REST 進行驗證」一節。
必要的角色
如要取得大量建立 VM 所需的權限,請要求管理員授予您專案的 Compute 執行個體管理員 (v1) (roles/compute.instanceAdmin.v1) IAM 角色。如要進一步瞭解如何授予角色,請參閱「管理專案、資料夾和組織的存取權」。
這個預先定義的角色具備大量建立 VM 所需的權限。如要查看確切的必要權限,請展開「Required permissions」(必要權限) 部分:
所需權限
必須具備下列權限,才能大量建立 VM:
-
專案的
compute.instances.create -
如要使用自訂映像檔建立 VM:
compute.images.useReadOnly映像檔 -
如要使用快照建立 VM:
compute.snapshots.useReadOnly快照 -
如要使用執行個體範本建立 VM:
compute.instanceTemplates.useReadOnly在執行個體範本上 -
如要為 VM 指定子網路:
compute.subnetworks.use專案或所選子網路 -
如要為 VM 指定靜態 IP 位址:
compute.addresses.use專案 -
如要在使用虛擬私有雲網路時,將外部 IP 位址指派給 VM:
compute.subnetworks.useExternalIp在專案或所選子網路上 -
如要將舊版網路指派給 VM:
compute.networks.use專案 -
如要在使用舊版網路時,為 VM 指派外部 IP 位址:
compute.networks.useExternalIp專案 -
如要為 VM 設定 VM 執行個體中繼資料:
compute.instances.setMetadata在專案上 -
如要設定 VM 的標記:
compute.instances.setTags在 VM 上 -
如要設定 VM 的標籤,請在 VM 上執行
compute.instances.setLabels -
如要設定 VM 使用的服務帳戶:
compute.instances.setServiceAccount在 VM 上 -
如要為 VM 建立新磁碟:
compute.disks.create專案 -
如要以唯讀或讀寫模式連接現有磁碟:
compute.disks.use磁碟 -
如要以唯讀模式連接現有磁碟:
compute.disks.useReadOnly磁碟
總覽
如要使用 A4 或 A3 Ultra 機型大量建立執行個體,請按照下列步驟操作:
建立虛擬私有雲網路
如要為 A4 或 A3 Ultra 機型設定網路,請為下列網路介面建立三個虛擬私有雲網路:
- 兩個用於 gVNIC 網路介面 (NIC) 的一般虛擬私有雲網路。接著,NIC 會使用這些虛擬私有雲網路進行主機對主機通訊。
- 一個虛擬私有雲網路,具有 CX-7 NIC 的 RoCE 網路設定檔。 VM 執行個體的 RoCE 虛擬私有雲網路必須有 8 個子網路,每個 CX-7 NIC 各一個子網路。這些 NIC 採用 RoCE (RDMA over Converged Ethernet),提供高頻寬、低延遲的通訊,這對 GPU 對 GPU 通訊至關重要。
如要進一步瞭解 NIC 排列方式,請參閱「查看網路頻寬和 NIC 排列方式」。
您可以按照操作指南手動建立網路,也可以使用提供的指令碼自動建立。
操作指南
如要建立網路,請按照下列操作說明進行:
- 如要為 gVNIC 網路介面建立一般虛擬私有雲網路,請參閱「建立及管理虛擬私有雲網路」。
- 如要為 VM 執行個體 (
roce) 建立 RoCE 虛擬私有雲網路,請參閱「為 RDMA NIC 建立虛擬私有雲網路」。
請將這些虛擬私有雲網路的最大傳輸單位 (MTU) 設為較大的值。如果是 A4 或 A3 Ultra 機型,建議的 MTU 為 8896 位元組。如要查看其他 GPU 機型的建議 MTU 設定,請參閱「GPU 機型的 MTU 設定」。
指令碼
如要建立網路,請按照下列步驟操作。
請將這些虛擬私有雲網路的最大傳輸單位 (MTU) 設為較大的值。如果是 A4 或 A3 Ultra 機型,建議的 MTU 為 8896 位元組。如要查看其他 GPU 機型的建議 MTU 設定,請參閱「GPU 機型的 MTU 設定」。
使用下列指令碼,為 gVNIC 和 CX-7 NIC 建立虛擬私有雲網路。
#!/bin/bash # Create regular VPC networks and subnets for the gVNICs for N in $(seq 0 1); do gcloud compute networks create GVNIC_NAME_PREFIX-net-$N \ --subnet-mode=custom \ --mtu=8896 gcloud compute networks subnets create GVNIC_NAME_PREFIX-sub-$N \ --network=GVNIC_NAME_PREFIX-net-$N \ --region=REGION \ --range=10.$N.0.0/16 gcloud compute firewall-rules create GVNIC_NAME_PREFIX-internal-$N \ --network=GVNIC_NAME_PREFIX-net-$N \ --action=ALLOW \ --rules=tcp:0-65535,udp:0-65535,icmp \ --source-ranges=10.0.0.0/8 done # Create SSH firewall rules gcloud compute firewall-rules create GVNIC_NAME_PREFIX-ssh \ --network=GVNIC_NAME_PREFIX-net-0 \ --action=ALLOW \ --rules=tcp:22 \ --source-ranges=IP_RANGE # Assumes that an external IP is only created for vNIC 0 gcloud compute firewall-rules create GVNIC_NAME_PREFIX-allow-ping-net-0 \ --network=GVNIC_NAME_PREFIX-net-0 \ --action=ALLOW \ --rules=icmp \ --source-ranges=IP_RANGE #!/bin/bash # List and make sure network profiles exist in the machine type's zone gcloud compute network-profiles list --filter "location.name=ZONE" # Create network for RDMA NICs gcloud compute networks create RDMA_NAME_PREFIX-mrdma \ --network-profile=ZONE-vpc-roce \ --subnet-mode custom \ --mtu=8896 # Create subnets for N in $(seq 0 7); do gcloud compute networks subnets create RDMA_NAME_PREFIX-mrdma-sub-$N \ --network=RDMA_NAME_PREFIX-mrdma \ --region=REGION \ --range=10.$((N+2)).0.0/16 # offset to avoid overlap with gVNICs done更改下列內容:
GVNIC_NAME_PREFIX:自訂名稱前置字串,用於 gVNIC 的一般虛擬私有雲網路和子網路。-
RDMA_NAME_PREFIX:用於 VM 執行個體 RoCE 虛擬私有雲網路 (roce) 和 CX-7 NIC 子網路的自訂名稱前置字元。 ZONE:指定要使用的機型所在的可用可用區,例如us-central1-a。如要瞭解區域,請參閱「各區域和可用區的 GPU 供應情形」。REGION:要建立子網路的區域。這個區域必須與指定的可用區相對應。舉例來說,如果可用區是us-central1-a,則區域為us-central1。IP_RANGE:用於 SSH 防火牆規則的 IP 範圍。
- 選用:如要確認虛擬私有雲網路資源是否建立成功,請在 Google Cloud 控制台中檢查網路設定:
- 前往 Google Cloud 控制台的「VPC Networks」(虛擬私有雲網路) 頁面。
- 在清單中搜尋您在上一個步驟建立的網路。
- 如要查看子網路、防火牆規則和其他網路設定,請按一下網路名稱。
選用:建立密集配置政策
您可以建立密集配置政策,指定 VM 的配置方式。當您對 VM 套用密集配置政策時,Compute Engine 會盡可能建立彼此靠近的 VM。如果應用程式對延遲時間較為敏感,且需要盡可能提高密集度,請在建立密集配置政策時指定 maxDistance 欄位 (預先發布版)。maxDistance 值越低,VM 彼此會越靠近,但也會增加無法建立部分 VM 的可能性。
gcloud
如要建立密集配置政策,請使用 gcloud compute resource-policies create group-placement 指令:
gcloud compute resource-policies create group-placement POLICY_NAME \
--collocation=collocated \
--max-distance=MAX_DISTANCE \
--region=REGION
更改下列內容:
POLICY_NAME:密集配置政策的名稱。MAX_DISTANCE:VM 的最大距離設定,可指定 (預先發布版,建議使用) 或不指定 (移除--max-distance旗標)。視機型支援的功能而定,您可以指定下列其中一個值:- 如要將 VM 放在同一個子區塊:
1 - 如要將 VM 放在同一個區塊:
2 - 如要將 VM 放在相鄰區塊:
3
- 如要將 VM 放在同一個子區塊:
REGION:要建立密集配置政策的區域。指定要建立執行個體的可用區所在區域,並確認該區域提供您要使用的機型。如要瞭解區域,請參閱「各區域和可用區的 GPU 供應情形」。
REST
如要建立密集配置政策,請向 resourcePolicies.insert 方法發出 POST 要求。在要求主體中,加入設為 COLLOCATED 的 collocation 欄位和 maxDistance 欄位。
POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/resourcePolicies
{
"name": "POLICY_NAME",
"groupPlacementPolicy": {
"collocation": "COLLOCATED",
"maxDistance": MAX_DISTANCE
}
}
更改下列內容:
PROJECT_ID:您的專案 ID。POLICY_NAME:密集配置政策的名稱。MAX_DISTANCE:VM 的最大距離設定,可以指定 (預先發布版,建議使用) 或不指定 (移除maxDistance欄位)。視機型支援的功能而定,您可以指定下列其中一個值:- 如要將 VM 放在同一個子區塊:
1 - 如要將 VM 放在同一個區塊:
2 - 如要將 VM 放在相鄰區塊:
3
- 如要將 VM 放在同一個子區塊:
REGION:要建立密集配置政策的區域。指定要建立執行個體的可用區所在區域,並確認該區域提供您要使用的機型。如要瞭解區域,請參閱「各區域和可用區的 GPU 供應情形」。
大量建立 A3 Ultra 或 A4 VM
如要大量建立 A3 Ultra 或 A4 VM,請使用下列任一方法。
下列指令也會設定執行個體的存取權範圍。為簡化權限管理,Google 建議您將執行個體的存取權範圍設為cloud-platform 存取權,然後使用 IAM 角色定義執行個體可存取的服務。詳情請參閱「範圍最佳做法」。gcloud
如要大量建立執行個體,請使用 gcloud compute instances bulk create 指令。
您需要指定的參數取決於您為這項部署作業使用的消耗選項。選取與計費模式對應的分頁。
預留項目
A4 或 A3 Ultra 執行個體支援下列預留類型:
- 未來預留項目 (適用於運算資源區塊)
- 日曆模式的未來預留項目
如要使用這類預留項目,執行個體必須採用取決於預留項目的佈建模式。舉例來說,請使用下列建立參數。
執行指令前,請詳閱下列所有步驟,判斷是否要加入其他旗標。
gcloud compute instances bulk create \
--name-pattern=NAME_PATTERN \
--count=COUNT \
--machine-type=MACHINE_TYPE \
--image-family=IMAGE_FAMILY \
--image-project=IMAGE_PROJECT \
--region=REGION \
--boot-disk-type=hyperdisk-balanced \
--boot-disk-size=DISK_SIZE \
--scopes=cloud-platform \
--network-interface=nic-type=GVNIC,network=GVNIC_NAME_PREFIX-net-0,subnet=GVNIC_NAME_PREFIX-sub-0 \
--network-interface=nic-type=GVNIC,network=GVNIC_NAME_PREFIX-net-1,subnet=GVNIC_NAME_PREFIX-sub-1,no-address
--network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-0,no-address \
--network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-1,no-address \
--network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-2,no-address \
--network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-3,no-address \
--network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-4,no-address \
--network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-5,no-address \
--network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-6,no-address \
--network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-7,no-address \
--reservation-affinity=specific \
--reservation=RESERVATION \
--provisioning-model=RESERVATION_BOUND \
--instance-termination-action=TERMINATION_ACTION \
--maintenance-policy=TERMINATE \
--restart-on-failure
操作步驟如下:
-
更改下列內容:
NAME_PATTERN:A4 或 A3 Ultra 執行個體使用的名稱模式。舉例來說,如果名稱模式使用instance-#,系統會產生名稱為instance-1和instance-2等的 A4 或 A3 Ultra 執行個體,數量上限為--count指定的 A4 或 A3 Ultra 執行個體數量。COUNT:要建立的 A4 或 A3 Ultra 執行個體數量。MACHINE_TYPE:A4 或 A3 Ultra 執行個體要使用的機型。詳情請參閱 Compute Engine 說明文件中的「GPU 機型」。IMAGE_FAMILY:要使用的 OS 映像檔系列。如需所有支援作業系統的清單,請參閱「支援的作業系統」。IMAGE_PROJECT:OS 映像檔的專案 ID。REGION:指定要使用的機器類型所在的區域。如要指定密集配置政策,則必須使用與密集配置政策相同的區域。如要瞭解區域,請參閱「各區域和可用區的 GPU 供應情形」。DISK_SIZE:開機磁碟大小 (GB)。詳情請依磁碟類型參閱 Google Cloud Hyperdisk 大小限制或永久磁碟大小限制。GVNIC_NAME_PREFIX:建立使用 gVNIC NIC 的標準虛擬私有雲網路和子網路時,指定的名稱前置字串。RDMA_NAME_PREFIX:建立使用 RDMA NIC 的虛擬私有雲網路和子網路時,指定的名稱前置字串。-
RESERVATION:預留項目名稱或預留項目中的特定區塊。如要取得預留項目名稱或可用區塊,請參閱「查看預留容量」。請根據執行個體放置需求,選擇下列其中一項:如要在多個區塊或單一區塊上建立執行個體,請按照下列步驟操作:
projects/RESERVATION_OWNER_PROJECT_ID/reservations/RESERVATION_NAME
此外,針對單一區塊,請套用指定區塊共置 (
maxDistance=2) 的密集配置政策。Compute Engine 隨後會將政策套用至預留項目,並在同一個區塊上建立執行個體。如要在特定區塊上建立執行個體,請按照下列步驟操作:
projects/RESERVATION_OWNER_PROJECT_ID/reservations/RESERVATION_NAME/reservationBlocks/RESERVATION_BLOCK_NAME
TERMINATION_ACTION:Compute Engine 是否會在預留期限結束時停止 (STOP) 或刪除 (DELETE) A4 或 A3 Ultra 執行個體。
-
選用:如果您選擇使用密集配置政策,請在指令中加入下列旗標:
--resource-policies=POLICY_NAME
更改下列內容:
POLICY_NAME:密集配置政策的名稱。
- 執行更改後的指令。
Spot
執行指令前,請詳閱下列所有步驟,判斷是否要加入其他旗標。
gcloud compute instances bulk create \
--name-pattern=NAME_PATTERN \
--count=COUNT \
--machine-type=MACHINE_TYPE \
--image-family=IMAGE_FAMILY \
--image-project=IMAGE_PROJECT \
--region=REGION \
--boot-disk-type=hyperdisk-balanced \
--boot-disk-size=DISK_SIZE \
--scopes=cloud-platform \
--network-interface=nic-type=GVNIC,network=GVNIC_NAME_PREFIX-net-0,subnet=GVNIC_NAME_PREFIX-sub-0 \
--network-interface=nic-type=GVNIC,network=GVNIC_NAME_PREFIX-net-1,subnet=GVNIC_NAME_PREFIX-sub-1,no-address
--network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-0,no-address \
--network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-1,no-address \
--network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-2,no-address \
--network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-3,no-address \
--network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-4,no-address \
--network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-5,no-address \
--network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-6,no-address \
--network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-7,no-address \
--provisioning-model=SPOT \
--instance-termination-action=TERMINATION_ACTION \
--maintenance-policy=TERMINATE \
--no-restart-on-failure
操作步驟如下:
-
更改下列內容:
NAME_PATTERN:A4 或 A3 Ultra 執行個體使用的名稱模式。舉例來說,如果名稱模式使用instance-#,系統會產生名稱為instance-1和instance-2等的 A4 或 A3 Ultra 執行個體,數量上限為--count指定的 A4 或 A3 Ultra 執行個體數量。COUNT:要建立的 A4 或 A3 Ultra 執行個體數量。MACHINE_TYPE:A4 或 A3 Ultra 執行個體要使用的機型。詳情請參閱 Compute Engine 說明文件中的「GPU 機型」。IMAGE_FAMILY:要使用的 OS 映像檔系列。如需所有支援作業系統的清單,請參閱「支援的作業系統」。IMAGE_PROJECT:OS 映像檔的專案 ID。REGION:指定要使用的機器類型所在的區域。如要指定密集配置政策,則必須使用與密集配置政策相同的區域。如要瞭解區域,請參閱「各區域和可用區的 GPU 供應情形」。DISK_SIZE:開機磁碟大小 (GB)。詳情請依磁碟類型參閱 Google Cloud Hyperdisk 大小限制或永久磁碟大小限制。GVNIC_NAME_PREFIX:建立使用 gVNIC NIC 的標準虛擬私有雲網路和子網路時,指定的名稱前置字串。RDMA_NAME_PREFIX:建立使用 RDMA NIC 的虛擬私有雲網路和子網路時,指定的名稱前置字串。TERMINATION_ACTION:Compute Engine 搶占執行個體時要採取的動作,可以是STOP(預設) 或DELETE。
-
選用:如果您選擇使用密集配置政策,請在指令中加入下列旗標:
--resource-policies=POLICY_NAME
更改下列內容:
POLICY_NAME:密集配置政策的名稱。
- 執行更改後的指令。
REST
如要大量建立執行個體,請向 instances.bulkInsert 方法發出 POST 要求。
您需要指定的參數取決於您為這項部署作業使用的消耗選項。選取與計費模式對應的分頁。
預留項目
A4 或 A3 Ultra 執行個體支援下列預留類型:
- 未來預留項目 (適用於運算資源區塊)
- 日曆模式的未來預留項目
如要使用這類預留項目,執行個體必須採用取決於預留項目的佈建模式。舉例來說,請使用下列建立參數。
提交要求前,請詳閱下列所有步驟,判斷是否要加入其他欄位。
POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instances/bulkInsert
{
"namePattern": "NAME_PATTERN",
"count": "COUNT",
"instanceProperties": {
"machineType": "MACHINE_TYPE",
"disks": [
{
"boot": true,
"initializeParams": {
"diskSizeGb": "DISK_SIZE",
"diskType": "hyperdisk-balanced",
"sourceImage": "projects/IMAGE_PROJECT/global/images/family/IMAGE_FAMILY"
},
"mode": "READ_WRITE",
"type": "PERSISTENT"
}
],
"serviceAccounts": [
{
"email": "default",
"scopes": [
"https://www.googleapis.com/auth/cloud-platform"
]
}
],
"networkInterfaces": [
{
"accessConfigs": [
{
"name": "external-nat",
"type": "ONE_TO_ONE_NAT"
}
],
"network": "projects/NETWORK_PROJECT_ID/global/networks/GVNIC_NAME_PREFIX-net-0",
"nicType": "GVNIC",
"subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/GVNIC_NAME_PREFIX-sub-0"
},
{
"network": "projects/NETWORK_PROJECT_ID/global/networks/GVNIC_NAME_PREFIX-net-1",
"nicType": "GVNIC",
"subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/GVNIC_NAME_PREFIX-sub-1"
},
{
"network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
"nicType": "MRDMA",
"subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-0"
},
{
"network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
"nicType": "MRDMA",
"subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-1"
},
{
"network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
"nicType": "MRDMA",
"subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-2"
},
{
"network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
"nicType": "MRDMA",
"subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-3"
},
{
"network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
"nicType": "MRDMA",
"subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-4"
},
{
"network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
"nicType": "MRDMA",
"subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-5"
},
{
"network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
"nicType": "MRDMA",
"subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-6"
},
{
"network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
"nicType": "MRDMA",
"subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-7"
}
],
"reservationAffinity": {
"consumeReservationType": "SPECIFIC_RESERVATION",
"key": "compute.googleapis.com/reservation-name",
"values": [
"RESERVATION"
]
},
"scheduling": {
"provisioningModel": "RESERVATION_BOUND",
"instanceTerminationAction": "DELETE",
"onHostMaintenance": "TERMINATE",
"automaticRestart": true
}
}
}
操作步驟如下:
-
更改下列內容:
PROJECT_ID:要建立 A4 或 A3 Ultra 執行個體的專案 ID。ZONE:指定提供您要使用機型的可用區。如要指定密集配置政策,則必須使用與密集配置政策位於相同區域的可用區。如要瞭解區域,請參閱「各區域和可用區的 GPU 供應情形」。NAME_PATTERN:A4 或 A3 Ultra 執行個體使用的名稱模式。舉例來說,如果名稱模式使用instance-#,系統會產生名稱為instance-1和instance-2等的 A4 或 A3 Ultra 執行個體,數量上限為--count指定的 A4 或 A3 Ultra 執行個體數量。COUNT:要建立的 A4 或 A3 Ultra 執行個體數量。MACHINE_TYPE:A4 或 A3 Ultra 執行個體要使用的機型。詳情請參閱 Compute Engine 說明文件中的「GPU 機型」。DISK_SIZE:開機磁碟大小 (GB)。詳情請依磁碟類型參閱 Google Cloud Hyperdisk 大小限制或永久磁碟大小限制。IMAGE_PROJECT:OS 映像檔的專案 ID。IMAGE_FAMILY:要使用的 OS 映像檔系列。如需所有支援作業系統的清單,請參閱「支援的作業系統」。NETWORK_PROJECT_ID:網路的專案 ID。GVNIC_NAME_PREFIX:建立使用 gVNIC NIC 的標準虛擬私有雲網路和子網路時,指定的名稱前置字串。REGION:子網路的區域。RDMA_NAME_PREFIX:建立使用 RDMA NIC 的虛擬私有雲網路和子網路時,指定的名稱前置字串。-
RESERVATION:預留項目名稱或預留項目中的特定區塊。如要取得預留項目名稱或可用區塊,請參閱「查看預留容量」。請根據執行個體放置需求,選擇下列其中一項:如要在多個區塊或單一區塊上建立執行個體,請按照下列步驟操作:
projects/RESERVATION_OWNER_PROJECT_ID/reservations/RESERVATION_NAME
此外,針對單一區塊,請套用指定區塊共置 (
maxDistance=2) 的密集配置政策。Compute Engine 隨後會將政策套用至預留項目,並在同一個區塊上建立執行個體。如要在特定區塊上建立執行個體,請按照下列步驟操作:
projects/RESERVATION_OWNER_PROJECT_ID/reservations/RESERVATION_NAME/reservationBlocks/RESERVATION_BLOCK_NAME
TERMINATION_ACTION:Compute Engine 是否會在預留期限結束時停止 (STOP) 或刪除 (DELETE) A4 或 A3 Ultra 執行個體。
-
選用:如果您選擇使用密集配置政策,請在要求主體中新增下列
instanceProperties子欄位:"resourcePolicies": [ "projects/PROJECT_ID/regions/REGION/resourcePolicies/POLICY_NAME" ]更改下列內容:
PROJECT_ID:密集配置政策的專案 ID。REGION:密集配置政策的區域。POLICY_NAME:密集配置政策的名稱。
- 提交要求。
Spot
提交要求前,請詳閱下列所有步驟,判斷是否要加入其他欄位。
POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instances/bulkInsert
{
"namePattern": "NAME_PATTERN",
"count": "COUNT",
"instanceProperties": {
"machineType": "MACHINE_TYPE",
"disks": [
{
"boot": true,
"initializeParams": {
"diskSizeGb": "DISK_SIZE",
"diskType": "hyperdisk-balanced",
"sourceImage": "projects/IMAGE_PROJECT/global/images/family/IMAGE_FAMILY"
},
"mode": "READ_WRITE",
"type": "PERSISTENT"
}
],
"serviceAccounts": [
{
"email": "default",
"scopes": [
"https://www.googleapis.com/auth/cloud-platform"
]
}
],
"networkInterfaces": [
{
"accessConfigs": [
{
"name": "external-nat",
"type": "ONE_TO_ONE_NAT"
}
],
"network": "projects/NETWORK_PROJECT_ID/global/networks/GVNIC_NAME_PREFIX-net-0",
"nicType": "GVNIC",
"subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/GVNIC_NAME_PREFIX-sub-0"
},
{
"network": "projects/NETWORK_PROJECT_ID/global/networks/GVNIC_NAME_PREFIX-net-1",
"nicType": "GVNIC",
"subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/GVNIC_NAME_PREFIX-sub-1"
},
{
"network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
"nicType": "MRDMA",
"subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-0"
},
{
"network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
"nicType": "MRDMA",
"subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-1"
},
{
"network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
"nicType": "MRDMA",
"subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-2"
},
{
"network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
"nicType": "MRDMA",
"subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-3"
},
{
"network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
"nicType": "MRDMA",
"subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-4"
},
{
"network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
"nicType": "MRDMA",
"subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-5"
},
{
"network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
"nicType": "MRDMA",
"subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-6"
},
{
"network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
"nicType": "MRDMA",
"subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-7"
}
],
"scheduling":
{
"provisioningModel": "SPOT",
"instanceTerminationAction": "TERMINATION_ACTION",
"onHostMaintenance": "TERMINATE",
"automaticRestart": false
}
}
}
操作步驟如下:
-
更改下列內容:
PROJECT_ID:要建立 A4 或 A3 Ultra 執行個體的專案 ID。ZONE:指定提供您要使用機型的可用區。如要指定密集配置政策,則必須使用與密集配置政策位於相同區域的可用區。如要瞭解區域,請參閱「各區域和可用區的 GPU 供應情形」。NAME_PATTERN:A4 或 A3 Ultra 執行個體使用的名稱模式。舉例來說,如果名稱模式使用instance-#,系統會產生名稱為instance-1和instance-2等的 A4 或 A3 Ultra 執行個體,數量上限為--count指定的 A4 或 A3 Ultra 執行個體數量。COUNT:要建立的 A4 或 A3 Ultra 執行個體數量。MACHINE_TYPE:A4 或 A3 Ultra 執行個體要使用的機型。詳情請參閱 Compute Engine 說明文件中的「GPU 機型」。DISK_SIZE:開機磁碟大小 (GB)。詳情請依磁碟類型參閱 Google Cloud Hyperdisk 大小限制或永久磁碟大小限制。IMAGE_PROJECT:OS 映像檔的專案 ID。IMAGE_FAMILY:要使用的 OS 映像檔系列。如需所有支援作業系統的清單,請參閱「支援的作業系統」。NETWORK_PROJECT_ID:網路的專案 ID。GVNIC_NAME_PREFIX:建立使用 gVNIC NIC 的標準虛擬私有雲網路和子網路時,指定的名稱前置字串。REGION:子網路的區域。RDMA_NAME_PREFIX:建立使用 RDMA NIC 的虛擬私有雲網路和子網路時,指定的名稱前置字串。TERMINATION_ACTION:Compute Engine 搶占執行個體時要採取的動作,可以是STOP(預設) 或DELETE。
-
選用:如果您選擇使用密集配置政策,請在要求主體中新增下列
instanceProperties子欄位:"resourcePolicies": [ "projects/PROJECT_ID/regions/REGION/resourcePolicies/POLICY_NAME" ]更改下列內容:
PROJECT_ID:密集配置政策的專案 ID。REGION:密集配置政策的區域。POLICY_NAME:密集配置政策的名稱。
- 提交要求。
如要進一步瞭解大量建立 VM 時的設定選項,請參閱 Compute Engine 說明文件中的「大量建立 VM」。
安裝 GPU 驅動程式
建立執行個體後,必須安裝正確的 GPU 驅動程式,執行個體才能使用 GPU。 如果您未指定包含 GPU 驅動程式的 OS 映像檔,請參閱 Compute Engine 說明文件中的「安裝 GPU 驅動程式」。