Google 會運用 AI 技術將內容翻譯成你偏好的語言，但可能會出錯。

建立 AI 適用的 A4X Max MIG

叢集式 GPU

本文說明如何建立使用 A4X Max 加速器最佳化機型的代管執行個體群組 (MIG)。如要瞭解運算執行個體和叢集建立選項，請參閱「部署選項總覽」頁面。

A4X Max 執行個體類型

Compute Engine 執行個體 (或稱運算執行個體) 是託管於 Google 基礎架構的運算資源，可以是虛擬機器 (VM) 或裸機執行個體。A4X Max 執行個體是以裸機執行個體的形式提供，與 VM 執行個體不同，可直接存取底層實體硬體，不需經過虛擬化。如要進一步瞭解 A4X Max 機型，請參閱 Compute Engine 說明文件中的「A4X Max 系列」。

如要將多個 A4X Max 執行個體視為單一實體管理，請建立 MIG。如要進一步瞭解 MIG，請參閱 Compute Engine 說明文件中的「代管執行個體群組」。

限制

使用 A4X Max 機器類型建立 MIG 時，須遵守下列限制：

如果建立的區域性 MIG 使用 RDMA 網路，則 MIG 只能在設定 RDMA 網路設定檔的可用區中建立 A4X Max 執行個體。
您無法在 MIG 中設定執行個體彈性。

查看工作負載政策的限制。

您必須使用取決於預留項目佈建模式。不支援其他佈建模式。
您無法使用大小調整要求，將 A4X Max 執行個體新增至 MIG。您必須設定 MIG 的目標大小，才能新增執行個體。

事前準備

建立 MIG 前，請先完成下列步驟 (如已完成，請略過)：

選擇使用模式：您選擇的使用模式會決定如何取得及使用 GPU 資源。詳情請參閱「選擇消耗選項」。
取得容量：取得容量的程序因消費選項而異。如要瞭解如何為所選用量方案取得運算資源，請參閱「運算資源總覽」。
注意：要求 A4X Max 或 A4X 容量時，您會以所有容量模式取得容量。這個模式是 A4X Max 或 A4X 機型唯一支援的預留項目作業模式。如要進一步瞭解所有容量模式，請參閱「預留項目作業模式」。
驗證 Google API 服務代理權限：在 MIG 中建立 VM 時，Compute Engine 會使用專案中的 Google API 服務代理 (PROJECT_NUMBER@cloudservices.)。如果執行個體範本使用其他專案的資源，請確認這個服務代理具備必要權限：
- Shared VPC：如果 VM 使用 Shared VPC 網路，請將服務專案中的 Google API 服務代理，授予主專案或共用子網路的運算網路使用者 (roles/compute.networkUser) 角色。詳情請參閱「Google API 服務帳戶做為服務專案管理員」。
- 其他專案的映像檔：如果 VM 使用其他專案的映像檔，請將映像檔或擁有映像檔的專案中的 Compute 映像檔使用者 (roles/compute.imageUser) 角色，授予專案中的 Google API 服務代理。詳情請參閱「將映像檔存取權授予代管執行個體群組」。

必要的角色

如要取得建立 MIG 所需的權限，請要求管理員授予您專案的 Compute 執行個體管理員 (v1) (roles/compute.instanceAdmin.v1) IAM 角色。如要進一步瞭解如何授予角色，請參閱「管理專案、資料夾和組織的存取權」。

這個預先定義的角色具備建立 MIG 所需的權限。如要查看確切的必要權限，請展開「Required permissions」(必要權限) 部分：

所需權限

必須具備下列權限，才能建立 MIG：

如要建立 MIG： compute.instanceGroupManagers.create 在專案中

您或許還可透過自訂角色或其他預先定義的角色取得這些權限。

A4X Max 基本概念

A4X Max 叢集會依階層組織成模塊和子模塊，以利大規模、無阻塞的網路效能。預留容量和部署工作負載時，瞭解這個拓撲是關鍵。

A4X Max 執行個體: A4X Max 執行個體是單一 A4X Max 機型，連接 4 個 GPU。
子模塊: 子模塊是 A4X Max 容量的基本單位。如果是 A4X Max，子區塊包含 18 個 A4X Max 執行個體 (72 個 GPU)；這些執行個體會形成 NVLink 網域，並使用多節點 NVLink 系統連線。如要建立 A4X Max 子區塊，請套用指定 1x72 拓撲的工作負載政策。
封鎖: A4X Max 區塊由 25 個子區塊 (NVLink 網域) 組成，最多可包含 450 個 A4X Max 執行個體 (1,800 個 GPU)。子區塊會符合軌道排列，以便有效率地調整資源配置。每個子區塊都需要一個 MIG。因此，單一 A4X Max 區塊可建立 25 個 MIG。

下表列出 A4X Max 執行個體支援的拓撲選項：

拓撲 (`acceleratorTopology`)	GPU 數量	執行個體數量
`1x72`	72	18

總覽

如要建立 A4X Max 機型的 MIG，請按照下列步驟操作：

建立虛擬私有雲網路
建立工作負載政策
建立執行個體範本
建立 MIG
安裝 GPU 驅動程式

建立虛擬私有雲網路

提示：如要設定快速測試，可以略過這個步驟，改為指定單一 NIC --network-interface=nic-type=IDPF。

如要設定 A4X Max 機型適用的網路，請為下列網路介面建立三個虛擬私有雲網路：

2 個一般虛擬私有雲網路，用於 IDPF 網路介面 (NIC)。NIC 接著會使用這些虛擬私有雲網路進行主機對主機通訊。
1 個虛擬私有雲網路，具有 RoCE 金屬網路設定檔，適用於 CX-8 NIC，建立多個 A4X Max 子區塊時。裸機執行個體的 RoCE 虛擬私有雲網路會自動為所有八個 CX-8 NIC 建立名為 default-subnet-1-RDMA_NAME_PREFIX-net 的單一子網路。這些 NIC 採用 RoCE (RDMA over Converged Ethernet)，提供高頻寬、低延遲的通訊，這對於向外水平擴展至多個 A4X Max 子模塊至關重要。

如要進一步瞭解 NIC 排列方式，請參閱「查看網路頻寬和 NIC 排列方式」。

您可以按照操作指南手動建立網路，也可以使用提供的指令碼自動建立。

操作指南

如要建立網路，請按照下列操作說明進行：

如要為 IDPF 網路介面建立一般虛擬私有雲網路，請參閱「建立及管理虛擬私有雲網路」。
如要為裸機執行個體 (roce-metal) 建立 RoCE 虛擬私有雲網路，請參閱「為 RDMA NIC 建立虛擬私有雲網路」。

請將這些虛擬私有雲網路的最大傳輸單位 (MTU) 設為較大的值。如果是 A4X Max 機型，建議的 MTU 為 8896 位元組。如要查看其他 GPU 機型的建議 MTU 設定，請參閱「GPU 機型的 MTU 設定」。

指令碼

如要建立網路，請按照下列步驟操作。

使用下列指令碼，為 IDPF NIC 建立一般虛擬私有雲網路。



    #!/bin/bash

    # Create regular VPC network for the IDPF NICs
    gcloud compute networks create IDPF_NETWORK_PREFIX-net \
        --subnet-mode=custom \
        --mtu=8896 \
        --enable-ula-internal-ipv6

    # Create subnets for the IDPF NICs
    for N in $(seq 0 1); do
      gcloud compute networks subnets create IDPF_NETWORK_PREFIX-$N \
        --network=IDPF_NETWORK_PREFIX-net \
        --region=REGION \
        --stack-type=IPV6_ONLY \
        --ipv6-access-type=INTERNAL
    done

    gcloud compute firewall-rules create IDPF_NETWORK_PREFIX-internal \
      --network=IDPF_NETWORK_PREFIX-net \
        --action=ALLOW \
        --rules=tcp:0-65535,udp:0-65535,58 \
        --source-ranges=IP_RANGE

如需多個 A4X Max 子區塊，請使用下列指令碼，為裸機執行個體 (roce-metal) 建立 RoCE 虛擬私有雲網路，並將自動建立的子網路用於每個 A4X Max 執行個體上的八個 CX-8 NIC。



    #!/bin/bash

    # List and make sure network profiles exist in the machine type's zone
    gcloud compute network-profiles list --filter "location.name=ZONE"

    # Create RoCE VPC network for bare metal instances (roce-metal)
    gcloud compute networks create RDMA_NAME_PREFIX-net \
      --network-profile=ZONE-vpc-roce-metal \
      --subnet-mode custom \
      --mtu=8896

    # For RoCE VPC networks for bare metal instances, a single subnet named
    # default-subnet-1-RDMA_NAME_PREFIX-net is automatically provided.
    # For more details, see https://cloud.google.com/vpc/docs/rdma-network-profiles.

更改下列內容：

IDPF_NETWORK_PREFIX：自訂名稱前置字串，用於 IDPF NIC 的一般虛擬私有雲網路和子網路。
RDMA_NAME_PREFIX：用於 CX-8 NIC 的裸機執行個體 RoCE 虛擬私有雲網路 (roce-metal) 的自訂名稱前置字串。
ZONE：指定要使用的機型所在的可用區，例如 us-central1-a。如要瞭解區域，請參閱「各區域和可用區的 GPU 供應情形」。
REGION：：要建立子網路的區域。這個區域必須與指定的可用區相對應。舉例來說，如果可用區是 us-central1-a，則區域為 us-central1。
IP_RANGE：SSH 防火牆規則使用的 IP 範圍。

選用：如要確認虛擬私有雲網路資源已成功建立，請在 Google Cloud 控制台中檢查網路設定：
1. 前往 Google Cloud 控制台的「VPC Networks」(虛擬私有雲網路) 頁面。
  前往「VPC networks」(虛擬私有雲網路)
2. 在清單中搜尋您在上一個步驟建立的網路。
3. 如要查看子網路、防火牆規則和其他網路設定，請按一下網路名稱。

建立工作負載政策

如要在 MIG 中建立單一 A4X Max 執行個體進行測試，請略過這個步驟。否則，您必須建立工作負載政策，才能建立含有 A4X Max 執行個體的 MIG。

如要建立工作負載政策，請選取下列任一選項：

gcloud

如要建立工作負載政策，請使用 gcloud compute resource-policies create workload-policy 指令。

如要設定加速器間網路，請在指令中指定 --accelerator-topology 旗標。

請使用下列指令，建立 A4X Max 機型。1x72 的加速器拓撲表示 72 個 GPU 透過區塊內的 NVLink 連接。

gcloud compute resource-policies create workload-policy WORKLOAD_POLICY_NAME \
    --type=high-throughput \
    --accelerator-topology=1x72 \
    --region=REGION

更改下列內容：

WORKLOAD_POLICY_NAME：工作負載政策的名稱。
REGION：要建立工作負載政策的區域。指定要建立 MIG 的區域，以及要使用的可用機型。如要瞭解區域，請參閱「依區域和可用區劃分的 GPU 可用性」。

REST

如要建立工作負載政策，請向 resourcePolicies.insert 方法發出 POST 要求。

如要設定加速器間網路，請在要求中指定 acceleratorTopology 欄位。

針對 A4X Max 機型提出下列要求。1x72 的加速器拓撲表示 72 個 GPU 透過區塊內的 NVLink 連接。

POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/resourcePolicies
  {
    "name": "WORKLOAD_POLICY_NAME"
    "workloadPolicy": {
      "type": "HIGH_THROUGHPUT",
      "acceleratorTopology": "1x72"
    }
  }

更改下列內容：

PROJECT_ID：專案 ID
REGION：要建立工作負載政策的區域。指定要建立 MIG 的區域，以及要使用的可用機型。如要瞭解區域，請參閱「各區域和可用區的 GPU 供應情形」。
WORKLOAD_POLICY_NAME：工作負載政策的名稱。

建立執行個體範本

建立執行個體範本，指定 MIG 的執行個體屬性。

如要建立執行個體範本，請選取下列任一選項。

下列指令也會設定執行個體的存取權範圍。為簡化權限管理，Google 建議您將執行個體的存取權範圍設為 cloud-platform 存取權，然後使用 IAM 角色定義執行個體可存取的服務。詳情請參閱「範圍最佳做法」。

gcloud

如要建立區域性執行個體範本，請使用 gcloud compute instance-templates create 指令。

A4X Max 執行個體支援下列預留項目類型：

預留未來容量區塊
日曆模式的未來預留項目

如要使用這類預留項目，執行個體必須採用取決於預留項目的佈建模式。舉例來說，請使用下列建立參數。

gcloud compute instance-templates create INSTANCE_TEMPLATE_NAME \
    --machine-type=a4x-maxgpu-4g-metal \
    --image-family=IMAGE_FAMILY \
    --image-project=IMAGE_PROJECT \
    --instance-template-region=REGION \
    --boot-disk-type=hyperdisk-balanced \
    --boot-disk-size=DISK_SIZE \
    --scopes=cloud-platform \
    --network-interface=nic-type=IDPF,network=IDPF_NETWORK_PREFIX-net,stack-type=IPV6_ONLY,subnet=IDPF_NETWORK_PREFIX-sub-0 \
    --network-interface=nic-type=IDPF,network=IDPF_NETWORK_PREFIX-net,stack-type=IPV6_ONLY,subnet=IDPF_NETWORK_PREFIX-sub-1,no-address \
    --network-interface=subnet=default-subnet-1-RDMA_NAME_PREFIX-net,stack-type=IPV6_ONLY,nic-type=mrdma \
    --network-interface=subnet=default-subnet-1-RDMA_NAME_PREFIX-net,stack-type=IPV6_ONLY,nic-type=mrdma \
    --network-interface=subnet=default-subnet-1-RDMA_NAME_PREFIX-net,stack-type=IPV6_ONLY,nic-type=mrdma \
    --network-interface=subnet=default-subnet-1-RDMA_NAME_PREFIX-net,stack-type=IPV6_ONLY,nic-type=mrdma \
    --network-interface=subnet=default-subnet-1-RDMA_NAME_PREFIX-net,stack-type=IPV6_ONLY,nic-type=mrdma \
    --network-interface=subnet=default-subnet-1-RDMA_NAME_PREFIX-net,stack-type=IPV6_ONLY,nic-type=mrdma \
    --network-interface=subnet=default-subnet-1-RDMA_NAME_PREFIX-net,stack-type=IPV6_ONLY,nic-type=mrdma \
    --network-interface=subnet=default-subnet-1-RDMA_NAME_PREFIX-net,stack-type=IPV6_ONLY,nic-type=mrdma \
    --reservation-affinity=specific \
    --reservation=RESERVATION \
    --provisioning-model=RESERVATION_BOUND \
    --instance-termination-action=DELETE \
    --maintenance-policy=TERMINATE \
    --restart-on-failure

更改下列內容：

INSTANCE_TEMPLATE_NAME：執行個體範本的名稱。
IMAGE_FAMILY：要使用的 OS 映像檔系列。如需所有支援作業系統的清單，請參閱「支援的作業系統」。
提示：建議使用加速器 OS 映像檔，處理 AI 最佳化工作負載。除非您有特殊的 GPU 驅動程式需求，否則這些映像檔會自動安裝所有必要的 GPU 驅動程式。如要進一步瞭解 GPU 驅動程式需求，請參閱本文件的「安裝 GPU 驅動程式」一節。
IMAGE_PROJECT：OS 映像檔的專案 ID。
REGION：要建立執行個體範本的區域。指定要使用的機器類型所在的區域。如要瞭解區域，請參閱「依區域和可用區劃分的 GPU 可用性」。
DISK_SIZE：開機磁碟大小 (GB)。詳情請依磁碟類型參閱「Google Cloud Hyperdisk 大小限制」或「永久磁碟大小限制」。
IDPF_NETWORK_PREFIX：建立使用 IDPF NIC 的虛擬私有雲網路和子網路時，指定的名稱前置字串。
RDMA_NAME_PREFIX：建立使用 RDMA NIC 的虛擬私有雲網路和子網路時，指定的名稱前置字串。
RESERVATION：預留項目名稱、區塊或預留項目中的子區塊。如要取得預留項目名稱或可用區塊，請參閱「查看預留容量」。請根據執行個體位置需求，選擇下列其中一項：
- 如要在任何單一區塊上建立 A4X Max 執行個體，請按照下列步驟操作：
```
    projects/RESERVATION_OWNER_PROJECT_ID/reservations/RESERVATION_NAME
    
```
- 如要在特定區塊建立 A4X Max 執行個體，請按照下列步驟操作：
```
    projects/RESERVATION_OWNER_PROJECT_ID/reservations/RESERVATION_NAME/reservationBlocks/RESERVATION_BLOCK_NAME
    
```
- 如要在特定子區塊中建立 A4X Max 執行個體，請按照下列步驟操作：
```
    projects/RESERVATION_OWNER_PROJECT_ID/reservations/RESERVATION_NAME/reservationBlocks/RESERVATION_BLOCK_NAME/reservationSubBlocks/RESERVATION_SUBBLOCK_NAME
    
```
提示：如果預留項目位於目前專案中，則可從 RESERVATION 值中省略 projects/RESERVATION_OWNER_PROJECT_ID/reservations/。

REST

如要建立區域執行個體範本，請向 regionInstanceTemplates.insert 方法發出 POST 要求。

A4X Max 執行個體支援下列預留項目類型：

預留未來容量區塊
日曆模式的未來預留項目

如要使用這類預留項目，執行個體必須採用取決於預留項目的佈建模式。舉例來說，請使用下列建立參數。

POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/instanceTemplates
{
  "name": "INSTANCE_TEMPLATE_NAME",
  "properties": {
    "machineType": "a4x-maxgpu-4g-metal",
    "disks": [
      {
        "boot": true,
        "initializeParams": {
          "diskSizeGb": "DISK_SIZE",
          "diskType": "hyperdisk-balanced",
          "sourceImage": "projects/IMAGE_PROJECT/global/images/family/IMAGE_FAMILY"
        },
        "mode": "READ_WRITE",
        "type": "PERSISTENT"
      }
    ],
    "serviceAccounts": [
      {
        "email": "default",
        "scopes": [
          "https://www.googleapis.com/auth/cloud-platform"
        ]
      }
    ],
    "networkInterfaces": [
    {
      "accessConfigs": [
        {
          "name": "external-nat",
          "type": "ONE_TO_ONE_NAT"
        }
      ],
      "network": "projects/NETWORK_PROJECT_ID/global/networks/IDPF_NETWORK_PREFIX-net",
      "nicType": "IDPF",
      "stackType": "IPV6_ONLY",
      "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/IDPF_NETWORK_PREFIX-sub-0"
    },
    {
      "network": "projects/NETWORK_PROJECT_ID/global/networks/IDPF_NETWORK_PREFIX-net",
      "nicType": "IDPF",
      "stackType": "IPV6_ONLY",
      "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/IDPF_NETWORK_PREFIX-sub-1"
    },
    {
      "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/default-subnet-1-RDMA_NAME_PREFIX-net",
      "nicType": "MRDMA",
      "stackType": "IPV6_ONLY"
    },
    {
      "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/default-subnet-1-RDMA_NAME_PREFIX-net",
      "nicType": "MRDMA",
      "stackType": "IPV6_ONLY"
    },
    {
      "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/default-subnet-1-RDMA_NAME_PREFIX-net",
      "nicType": "MRDMA",
      "stackType": "IPV6_ONLY"
    },
    {
      "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/default-subnet-1-RDMA_NAME_PREFIX-net",
      "nicType": "MRDMA",
      "stackType": "IPV6_ONLY"
    },
    {
      "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/default-subnet-1-RDMA_NAME_PREFIX-net",
      "nicType": "MRDMA",
      "stackType": "IPV6_ONLY"
    },
    {
      "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/default-subnet-1-RDMA_NAME_PREFIX-net",
      "nicType": "MRDMA",
      "stackType": "IPV6_ONLY"
    },
    {
      "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/default-subnet-1-RDMA_NAME_PREFIX-net",
      "nicType": "MRDMA",
      "stackType": "IPV6_ONLY"
    },
    {
      "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/default-subnet-1-RDMA_NAME_PREFIX-net",
      "nicType": "MRDMA",
      "stackType": "IPV6_ONLY"
    }
  ],
    "reservationAffinity": {
        "consumeReservationType": "SPECIFIC_RESERVATION",
        "key": "compute.googleapis.com/reservation-name",
        "values": [
          "RESERVATION"
        ]
      },
    "scheduling": {
        "provisioningModel": "RESERVATION_BOUND",
        "instanceTerminationAction": "DELETE",
        "onHostMaintenance": "TERMINATE",
        "automaticRestart": true
      }
  }
}

更改下列內容：

INSTANCE_TEMPLATE_NAME：執行個體範本的名稱。
IMAGE_FAMILY：要使用的 OS 映像檔系列。如需所有支援作業系統的清單，請參閱「支援的作業系統」。
提示：建議使用加速器 OS 映像檔，處理 AI 最佳化工作負載。除非您有特殊的 GPU 驅動程式需求，否則這些映像檔會自動安裝所有必要的 GPU 驅動程式。如要進一步瞭解 GPU 驅動程式需求，請參閱本文件的「安裝 GPU 驅動程式」一節。
IMAGE_PROJECT：OS 映像檔的專案 ID。
REGION：要建立執行個體範本的區域。指定提供您要使用機器類型的區域。如要瞭解區域，請參閱「各區域和可用區的 GPU 供應情形」。
DISK_SIZE：開機磁碟大小 (GB)。詳情請依磁碟類型參閱「Google Cloud Hyperdisk 大小限制」或「永久磁碟大小限制」。
NETWORK_PROJECT_ID：網路的專案 ID。
IDPF_NETWORK_PREFIX：建立使用 IDPF NIC 的虛擬私有雲網路和子網路時，指定的名稱前置字串。
REGION：子網路的區域。
RDMA_NAME_PREFIX：建立使用 RDMA NIC 的虛擬私有雲網路和子網路時，指定的名稱前置字串。
RESERVATION：預留項目名稱、區塊或預留項目中的子區塊。如要取得預留項目名稱或可用區塊，請參閱「查看預留容量」。請根據執行個體位置需求，選擇下列其中一項：
- 如要在任何單一區塊上建立 A4X Max 執行個體，請按照下列步驟操作：
```
    projects/RESERVATION_OWNER_PROJECT_ID/reservations/RESERVATION_NAME
    
```
- 如要在特定區塊建立 A4X Max 執行個體，請按照下列步驟操作：
```
    projects/RESERVATION_OWNER_PROJECT_ID/reservations/RESERVATION_NAME/reservationBlocks/RESERVATION_BLOCK_NAME
    
```
- 如要在特定子區塊中建立 A4X Max 執行個體，請按照下列步驟操作：
```
    projects/RESERVATION_OWNER_PROJECT_ID/reservations/RESERVATION_NAME/reservationBlocks/RESERVATION_BLOCK_NAME/reservationSubBlocks/RESERVATION_SUBBLOCK_NAME
    
```
提示：如果預留項目位於目前專案中，則可從 RESERVATION 值中省略 projects/RESERVATION_OWNER_PROJECT_ID/reservations/。

建立 MIG

使用 A4X Max 機型建立 MIG 時，請使用 MIG 的目標大小指定執行個體數量。建立 MIG 時，您可以將目標大小設為所需的執行個體數量，也可以先設為零，之後再增加。請注意，您無法使用大小調整要求，將執行個體新增至 A4X Max MIG。

如要取得 1x72 的 GPU 拓撲，請建立包含 18 個 A4X Max 執行個體的 MIG。建立 MIG 時，請套用指定 acceleratorTopology 欄位的工作負載政策。套用政策後，Compute Engine 會在一個子區塊中建立所有 18 個 A4X Max 執行個體，以便使用 NVLink 網域。如果子區塊沒有足夠容量容納所有 18 個執行個體，則無法立即建立的代管執行個體會維持在 CREATING 狀態，直到有可用容量為止。這些代管執行個體代表 MIG 在有容量時建立的運算執行個體。

如果套用 acceleratorTopology 欄位設為 1x72 的工作負載政策，則無法在 MIG 中建立超過 18 個 A4X Max 執行個體。如果指定超過 18 個執行個體，MIG 建立作業就會失敗。如要建立多個 NVLink 網域，請為每個網域建立獨立的 MIG，並對每個 MIG 套用相同的工作負載政策。

如要建立 MIG，請選取下列任一選項：

gcloud

如要建立具有指定目標大小的 MIG，請使用 instance-groups managed create 指令。

重要事項：如果執行個體範本指定彈性啟動型 VM，您也必須在指令中加入 --default-action-on-vm-failure=do-nothing 旗標，關閉修復功能。

建立可用區或區域 MIG 的步驟如下：

如要建立可用區 MIG，請使用下列指令：

gcloud compute instance-groups managed create MIG_NAME \
  --template=INSTANCE_TEMPLATE_URL \
  --size=TARGET_SIZE \
  --workload-policy=WORKLOAD_POLICY_URL \
  --zone=ZONE

如要建立區域性 MIG，請使用下列指令：

gcloud compute instance-groups managed create MIG_NAME \
    --template=INSTANCE_TEMPLATE_URL \
    --size=TARGET_SIZE \
    --workload-policy=WORKLOAD_POLICY_URL \
    --region=REGION

更改下列內容：

MIG_NAME：MIG 的名稱。
INSTANCE_TEMPLATE_URL：您要用來在 MIG 中建立執行個體的執行個體範本網址。網址可以包含執行個體範本的 ID 或名稱。請指定下列其中一個值：
- 區域性執行個體範本：projects/PROJECT_ID/regions/REGION/instanceTemplates/INSTANCE_TEMPLATE_ID
- 全域執行個體範本：INSTANCE_TEMPLATE_ID
TARGET_SIZE：MIG 中要有的執行個體數量。針對加速器拓撲 1x72，將目標大小設為 18。
WORKLOAD_POLICY_URL：工作負載政策的網址，例如 projects/example-project/regions/us-central1/resourcePolicies/example-workload-policy。
ZONE：要建立 MIG 的可用區。指定工作負載政策區域內的可用區。
REGION：要建立 MIG 的區域。請指定與工作負載政策相同的區域。如果是區域性 MIG，您可以使用 --zones 旗標指定該區域中的可用區，而非指定區域。

REST

如要建立指定目標大小的 MIG，請提出 POST 要求。

重要事項：如果執行個體範本指定彈性啟動型 VM，您也必須在要求中新增 "defaultActionOnFailure": "DO_NOTHING" 欄位，關閉修復功能。

建立可用區或區域 MIG 的步驟如下：

如要建立可用區 MIG，請向 instanceGroupManagers.insert 方法發出 POST 要求。

POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instanceGroupManagers
{
  "versions": [
    {
      "instanceTemplate": "INSTANCE_TEMPLATE_URL"
    }
  ],
  "name": "MIG_NAME",
  "targetSize": TARGET_SIZE,
  "resourcePolicies": {
    "workloadPolicy": "WORKLOAD_POLICY_URL"
  }
}

如要建立區域性 MIG，請向 regionInstanceGroupManagers.insert 方法發出 POST 要求。

  POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/instanceGroupManagers
  {
    "name": "MIG_NAME",
    "instanceTemplate": "INSTANCE_TEMPLATE_URL",
    "targetSize": TARGET_SIZE,
    "resourcePolicies": {
      "workloadPolicy": "WORKLOAD_POLICY_URL"
    }
  }

更改下列內容：

PROJECT_ID：專案 ID。
ZONE：要建立 MIG 的可用區。指定工作負載政策區域內的可用區。
REGION：要建立 MIG 的區域。指定與工作負載政策相同的區域。
INSTANCE_TEMPLATE_URL：您要用來在 MIG 中建立執行個體的執行個體範本網址。網址可以包含執行個體範本的 ID 或名稱。請指定下列其中一個值：
- 區域性執行個體範本：projects/PROJECT_ID/regions/REGION/instanceTemplates/INSTANCE_TEMPLATE_ID
- 全域執行個體範本：INSTANCE_TEMPLATE_ID
MIG_NAME：MIG 的名稱。
TARGET_SIZE：MIG 中要有的執行個體數量。針對加速器拓撲 1x72，將目標大小設為 18。
WORKLOAD_POLICY_URL：工作負載政策的網址，例如 projects/example-project/regions/us-central1/resourcePolicies/example-workload-policy。

安裝 GPU 驅動程式

建立執行個體後，必須安裝正確的 GPU 驅動程式，執行個體才能使用 GPU。如果您未指定包含 GPU 驅動程式的 OS 映像檔，請參閱 Compute Engine 說明文件中的「安裝 GPU 驅動程式」。

建立 AI 適用的 A4X Max MIG 透過集合功能整理內容 你可以依據偏好儲存及分類內容。

A4X Max 執行個體類型

限制

事前準備

必要的角色

所需權限

A4X Max 基本概念

總覽

建立虛擬私有雲網路

操作指南

指令碼

建立工作負載政策

gcloud

REST

建立執行個體範本

gcloud

REST

建立 MIG

gcloud

REST

安裝 GPU 驅動程式

後續步驟

建立 AI 適用的 A4X Max MIG