Membuat MIG A4X Max yang dioptimalkan untuk AI

Dokumen ini menjelaskan cara membuat grup instance terkelola (MIG) yang menggunakan jenis mesin yang dioptimalkan akselerator A4X Max. Untuk mempelajari opsi pembuatan cluster dan instance komputasi, lihat halaman Ringkasan opsi deployment.

Jenis instance A4X Max

Instance Compute Engine, atau instance komputasi, adalah resource komputasi yang dihosting di infrastruktur Google yang dapat berupa virtual machine (VM) atau instance bare metal. Instance A4X Max tersedia sebagai instance bare metal, yang berbeda dari instance VM dengan menyediakan akses langsung yang tidak divirtualisasi ke hardware fisik yang mendasarinya. Untuk mempelajari lebih lanjut jenis mesin A4X Max, lihat seri A4X Max di dokumentasi Compute Engine.

Buat MIG jika Anda ingin mengelola beberapa instance A4X Max sebagai satu entitas. Untuk mempelajari MIG lebih lanjut, lihat Grup instance terkelola dalam dokumentasi Compute Engine.

Batasan

Saat Anda menggunakan jenis mesin A4X Max untuk membuat MIG, batasan berikut berlaku:

  • Anda harus menggunakan model penyediaan terikat pemesanan. Model penyediaan lainnya tidak didukung.

  • Anda tidak dapat menggunakan permintaan ubah ukuran untuk menambahkan instance A4X Max ke MIG. Anda harus menetapkan ukuran target MIG untuk menambahkan instance.

Sebelum memulai

Sebelum membuat MIG, jika Anda belum melakukannya, selesaikan langkah-langkah berikut:

  1. Pilih opsi pemakaian: pilihan opsi pemakaian Anda menentukan cara Anda mendapatkan dan menggunakan resource GPU. Untuk mempelajari lebih lanjut, lihat Memilih opsi konsumsi.
  2. Mendapatkan kapasitas: proses untuk mendapatkan kapasitas berbeda untuk setiap opsi konsumsi. Untuk mempelajari proses mendapatkan kapasitas untuk opsi pemakaian yang Anda pilih, lihat Ringkasan kapasitas.
  3. Memverifikasi izin Agen Layanan Google API: saat Anda membuat VM dalam MIG, Compute Engine menggunakan Agen Layanan Google API (PROJECT_NUMBER@cloudservices.) dalam project Anda. Jika template instance Anda menggunakan resource dari project lain, pastikan agen layanan ini memiliki izin yang diperlukan:

Peran yang diperlukan

Untuk mendapatkan izin yang diperlukan untuk membuat MIG, minta administrator untuk memberi Anda peran IAM Compute Instance Admin (v1) (roles/compute.instanceAdmin.v1) pada project. Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.

Peran bawaan ini berisi izin yang diperlukan untuk membuat MIG. Untuk melihat izin yang benar-benar diperlukan, perluas bagian Izin yang diperlukan:

Izin yang diperlukan

Izin berikut diperlukan untuk membuat MIG:

  • Untuk membuat MIG: compute.instanceGroupManagers.create pada project

Anda mungkin juga bisa mendapatkan izin ini dengan peran khusus atau peran bawaan lainnya.

Dasar-dasar A4X Max

Cluster A4X Max diatur ke dalam hierarki blok dan subblok untuk memfasilitasi performa jaringan non-blok berskala besar. Memahami topologi ini adalah kunci saat memesan kapasitas dan men-deploy workload.

Instance A4X Max
Instance A4X Max adalah satu jenis mesin A4X Max yang memiliki 4 GPU terpasang.
Sub-blok
Sub-blok adalah unit dasar kapasitas A4X Max. Untuk A4X Max, sub-blok terdiri dari 18 instance A4X Max (72 GPU); instance ini membentuk domain NVLink dan terhubung menggunakan sistem NVLink multi-node. Anda membuat sub-blok A4X Max dengan menerapkan kebijakan workload yang menentukan topologi 1x72.
Blokir
Blok A4X Max terdiri dari 25 sub-blok (domain NVLink), dengan total hingga 450 instance A4X Max (1.800 GPU). Subblok disejajarkan dengan rel untuk penskalaan yang efisien. Setiap sub-blok memerlukan MIG. Oleh karena itu, untuk satu blok A4X Max, Anda dapat membuat 25 MIG.

Tabel berikut menunjukkan opsi topologi yang didukung untuk instance A4X Max:

Topologi (acceleratorTopology) Jumlah GPU Jumlah instance
1x72 72 18

Ringkasan

Pembuatan MIG dengan jenis mesin A4X Max mencakup langkah-langkah berikut:

  1. Membuat jaringan VPC
  2. Membuat kebijakan workload
  3. Membuat template instance
  4. Membuat MIG
  5. Menginstal driver GPU

Membuat jaringan VPC

Untuk menyiapkan jaringan untuk jenis mesin A4X Max, buat tiga jaringan VPC untuk antarmuka jaringan berikut:

  • 2 jaringan VPC reguler untuk antarmuka jaringan (NIC) IDPF . NIC kemudian menggunakan jaringan VPC ini untuk komunikasi host-ke-host.
  • 1 jaringan VPC dengan profil jaringan metal RoCE untuk NIC CX-8 saat membuat beberapa subblok A4X Max. Jaringan VPC RoCE untuk instance bare metal secara otomatis membuat satu subnet bernama default-subnet-1-RDMA_NAME_PREFIX-net untuk kedelapan NIC CX-8. NIC ini menggunakan RDMA over Converged Ethernet (RoCE), yang menyediakan komunikasi bandwidth tinggi dan latensi rendah yang penting untuk penskalaan ke beberapa subblok A4X Max.

Untuk mengetahui informasi selengkapnya tentang pengaturan NIC, lihat Meninjau bandwidth jaringan dan pengaturan NIC.

Buat jaringan secara manual dengan mengikuti panduan petunjuk atau secara otomatis menggunakan skrip yang disediakan.

Panduan petunjuk

Untuk membuat jaringan, Anda dapat menggunakan petunjuk berikut:

Untuk jaringan VPC ini, tetapkan unit transmisi maksimum (MTU) ke nilai yang lebih besar. Untuk jenis mesin A4X Max, MTU yang direkomendasikan adalah 8896 byte. Untuk meninjau setelan MTU yang direkomendasikan untuk jenis mesin GPU lainnya, lihat Setelan MTU untuk jenis mesin GPU.

Skrip

Untuk membuat jaringan, ikuti langkah-langkah berikut.

Untuk jaringan VPC ini, tetapkan unit transmisi maksimum (MTU) ke nilai yang lebih besar. Untuk jenis mesin A4X Max, MTU yang direkomendasikan adalah 8896 byte. Untuk meninjau setelan MTU yang direkomendasikan untuk jenis mesin GPU lainnya, lihat Setelan MTU untuk jenis mesin GPU.

  1. Gunakan skrip berikut untuk membuat jaringan VPC reguler untuk NIC IDPF. 

    

    #!/bin/bash

    # Create regular VPC network for the IDPF NICs
    gcloud compute networks create IDPF_NETWORK_PREFIX-net \
        --subnet-mode=custom \
        --mtu=8896 \
        --enable-ula-internal-ipv6

    # Create subnets for the IDPF NICs
    for N in $(seq 0 1); do
      gcloud compute networks subnets create IDPF_NETWORK_PREFIX-$N \
        --network=IDPF_NETWORK_PREFIX-net \
        --region=REGION \
        --stack-type=IPV6_ONLY \
        --ipv6-access-type=INTERNAL
    done

    gcloud compute firewall-rules create IDPF_NETWORK_PREFIX-internal \
      --network=IDPF_NETWORK_PREFIX-net \
        --action=ALLOW \
        --rules=tcp:0-65535,udp:0-65535,58 \
        --source-ranges=IP_RANGE

  2. Jika Anda memerlukan beberapa subblok A4X Max, gunakan skrip berikut untuk membuat jaringan VPC RoCE untuk instance bare metal (roce-metal) dan gunakan subnet yang dibuat secara otomatis untuk delapan NIC CX-8 di setiap instance A4X Max. 

    

    #!/bin/bash

    # List and make sure network profiles exist in the machine type's zone
    gcloud compute network-profiles list --filter "location.name=ZONE"

    # Create RoCE VPC network for bare metal instances (roce-metal)
    gcloud compute networks create RDMA_NAME_PREFIX-net \
      --network-profile=ZONE-vpc-roce-metal \
      --subnet-mode custom \
      --mtu=8896

    # For RoCE VPC networks for bare metal instances, a single subnet named
    # default-subnet-1-RDMA_NAME_PREFIX-net is automatically provided.
    # For more details, see https://cloud.google.com/vpc/docs/rdma-network-profiles.

    3. Ganti kode berikut:

    • IDPF_NETWORK_PREFIX: awalan nama kustom yang akan digunakan untuk jaringan VPC reguler dan subnet untuk NIC IDPF.
    • RDMA_NAME_PREFIX: awalan nama kustom yang akan digunakan untuk jaringan VPC RoCE untuk instance bare metal (roce-metal) untuk NIC CX-8.
    • ZONE: tentukan zona tempat jenis mesin yang ingin Anda gunakan tersedia, seperti us-central1-a. Untuk mengetahui informasi tentang region, lihat Ketersediaan GPU berdasarkan region dan zona.
    • REGION: region tempat Anda ingin membuat subnet. Region ini harus sesuai dengan zona yang ditentukan. Misalnya, jika zona Anda adalah us-central1-a, maka region Anda adalah us-central1.
    • IP_RANGE: rentang IP yang akan digunakan untuk aturan firewall SSH.
  3. Opsional: Untuk memverifikasi bahwa resource jaringan VPC berhasil dibuat, periksa setelan jaringan di konsol Google Cloud :
    1. Di konsol Google Cloud , buka halaman Jaringan VPC.

      Buka jaringan VPC

    2. Telusuri daftar untuk menemukan jaringan yang Anda buat di langkah sebelumnya.
    3. Untuk melihat subnet, aturan firewall, dan setelan jaringan lainnya, klik nama jaringan.

Membuat kebijakan workload

Jika Anda ingin membuat satu instance A4X Max di MIG untuk pengujian, lewati langkah ini. Jika tidak, Anda harus membuat kebijakan workload untuk membuat MIG dengan instance A4X Max.

Untuk membuat kebijakan workload, pilih salah satu opsi berikut:

gcloud

Untuk membuat kebijakan workload, gunakan perintah gcloud compute resource-policies create workload-policy.

Untuk konfigurasi jaringan antar-akselerator, tentukan flag --accelerator-topology dalam perintah.

Gunakan perintah berikut untuk jenis mesin A4X Max. Topologi akselerator 1x72 menunjukkan bahwa 72 GPU terhubung melalui NVLink dalam satu blok.

gcloud compute resource-policies create workload-policy WORKLOAD_POLICY_NAME \
    --type=high-throughput \
    --accelerator-topology=1x72 \
    --region=REGION

Ganti kode berikut:

  • WORKLOAD_POLICY_NAME: nama kebijakan workload.
  • REGION: region tempat Anda ingin membuat kebijakan workload. Tentukan region tempat Anda ingin membuat MIG dan jenis mesin yang ingin Anda gunakan tersedia. Untuk mengetahui informasi tentang region, lihat Ketersediaan GPU berdasarkan region dan zona.

REST

Untuk membuat kebijakan workload, buat permintaan POST ke metode resourcePolicies.insert.

Untuk konfigurasi jaringan antar-akselerator, tentukan kolom acceleratorTopology dalam permintaan.

Buat permintaan berikut untuk jenis mesin A4X Max. Topologi akselerator 1x72 menunjukkan bahwa 72 GPU terhubung melalui NVLink dalam satu blok.

POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/resourcePolicies
  {
    "name": "WORKLOAD_POLICY_NAME"
    "workloadPolicy": {
      "type": "HIGH_THROUGHPUT",
      "acceleratorTopology": "1x72"
    }
  }

Ganti kode berikut:

  • PROJECT_ID: project ID Anda
  • REGION: region tempat Anda ingin membuat kebijakan workload. Tentukan region tempat Anda ingin membuat MIG dan jenis mesin yang ingin Anda gunakan tersedia. Untuk mengetahui informasi tentang region, lihat Ketersediaan GPU berdasarkan region dan zona.
  • WORKLOAD_POLICY_NAME: nama kebijakan workload.

Membuat template instance

Tentukan properti instance untuk MIG dengan membuat template instance.

Untuk membuat template instance, pilih salah satu opsi berikut.

Perintah berikut juga menetapkan cakupan akses untuk instance Anda. Untuk menyederhanakan pengelolaan izin, Google merekomendasikan agar Anda menetapkan cakupan akses pada instance ke akses cloud-platform, lalu menggunakan peran IAM untuk menentukan layanan yang dapat diakses oleh instance. Untuk mengetahui informasi selengkapnya, lihat Praktik terbaik cakupan.

gcloud

Untuk membuat template instance regional, gunakan perintah gcloud compute instance-templates create.

Instance A4X Max mendukung jenis pemesanan berikut:

  • Pemesanan untuk masa mendatang untuk blok kapasitas
  • Pemesanan untuk masa mendatang dalam mode kalender

Untuk menggunakan jenis pemesanan ini, instance harus menggunakan model penyediaan terikat pemesanan. Misalnya, gunakan parameter pembuatan berikut.

gcloud compute instance-templates create INSTANCE_TEMPLATE_NAME \
    --machine-type=a4x-maxgpu-4g-metal \
    --image-family=IMAGE_FAMILY \
    --image-project=IMAGE_PROJECT \
    --instance-template-region=REGION \
    --boot-disk-type=hyperdisk-balanced \
    --boot-disk-size=DISK_SIZE \
    --scopes=cloud-platform \
    --network-interface=nic-type=IDPF,network=IDPF_NETWORK_PREFIX-net,stack-type=IPV6_ONLY,subnet=IDPF_NETWORK_PREFIX-sub-0 \
    --network-interface=nic-type=IDPF,network=IDPF_NETWORK_PREFIX-net,stack-type=IPV6_ONLY,subnet=IDPF_NETWORK_PREFIX-sub-1,no-address \
    --network-interface=subnet=default-subnet-1-RDMA_NAME_PREFIX-net,stack-type=IPV6_ONLY,nic-type=mrdma \
    --network-interface=subnet=default-subnet-1-RDMA_NAME_PREFIX-net,stack-type=IPV6_ONLY,nic-type=mrdma \
    --network-interface=subnet=default-subnet-1-RDMA_NAME_PREFIX-net,stack-type=IPV6_ONLY,nic-type=mrdma \
    --network-interface=subnet=default-subnet-1-RDMA_NAME_PREFIX-net,stack-type=IPV6_ONLY,nic-type=mrdma \
    --network-interface=subnet=default-subnet-1-RDMA_NAME_PREFIX-net,stack-type=IPV6_ONLY,nic-type=mrdma \
    --network-interface=subnet=default-subnet-1-RDMA_NAME_PREFIX-net,stack-type=IPV6_ONLY,nic-type=mrdma \
    --network-interface=subnet=default-subnet-1-RDMA_NAME_PREFIX-net,stack-type=IPV6_ONLY,nic-type=mrdma \
    --network-interface=subnet=default-subnet-1-RDMA_NAME_PREFIX-net,stack-type=IPV6_ONLY,nic-type=mrdma \
    --reservation-affinity=specific \
    --reservation=RESERVATION \
    --provisioning-model=RESERVATION_BOUND \
    --instance-termination-action=DELETE \
    --maintenance-policy=TERMINATE \
    --restart-on-failure

Ganti kode berikut:

  • INSTANCE_TEMPLATE_NAME: nama template instance.
  • IMAGE_FAMILY: kelompok image dari OS image yang ingin Anda gunakan. Untuk daftar semua sistem operasi yang didukung, lihat Sistem operasi yang didukung.
  • IMAGE_PROJECT: project ID dari OS image.
  • REGION: region tempat Anda ingin membuat template instance. Tentukan region tempat jenis mesin yang ingin Anda gunakan tersedia. Untuk mengetahui informasi tentang region, lihat Ketersediaan GPU berdasarkan region dan zona.
  • DISK_SIZE: ukuran boot disk dalam GB. Untuk mengetahui informasi selengkapnya, lihat Batas ukuran Google Cloud Hyperdisk atau Batas ukuran Persistent Disk berdasarkan jenis disk.
  • IDPF_NETWORK_PREFIX: awalan nama yang Anda tentukan saat membuat jaringan VPC dan subnet yang menggunakan NIC IDPF.
  • RDMA_NAME_PREFIX: awalan nama yang Anda tentukan saat membuat jaringan VPC dan subnet yang menggunakan NIC RDMA.
  • RESERVATION: nama pemesanan, blok, atau subblok dalam pemesanan. Untuk mendapatkan nama pemesanan atau blok yang tersedia, lihat Melihat kapasitas yang dipesan. Berdasarkan persyaratan Anda untuk penempatan instance, pilih salah satu opsi berikut:
    • Untuk membuat instance A4X Max di satu blok: 
          projects/RESERVATION_OWNER_PROJECT_ID/reservations/RESERVATION_NAME
    • Untuk membuat instance A4X Max di blok tertentu: 
          projects/RESERVATION_OWNER_PROJECT_ID/reservations/RESERVATION_NAME/reservationBlocks/RESERVATION_BLOCK_NAME
    • Untuk membuat instance A4X Max di subblok tertentu: 
          projects/RESERVATION_OWNER_PROJECT_ID/reservations/RESERVATION_NAME/reservationBlocks/RESERVATION_BLOCK_NAME/reservationSubBlocks/RESERVATION_SUBBLOCK_NAME

REST

Untuk membuat template instance regional, buat permintaan POST ke metode regionInstanceTemplates.insert.

Instance A4X Max mendukung jenis pemesanan berikut:

  • Pemesanan untuk masa mendatang untuk blok kapasitas
  • Pemesanan untuk masa mendatang dalam mode kalender

Untuk menggunakan jenis pemesanan ini, instance harus menggunakan model penyediaan terikat pemesanan. Misalnya, gunakan parameter pembuatan berikut.

POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/instanceTemplates
{
  "name": "INSTANCE_TEMPLATE_NAME",
  "properties": {
    "machineType": "a4x-maxgpu-4g-metal",
    "disks": [
      {
        "boot": true,
        "initializeParams": {
          "diskSizeGb": "DISK_SIZE",
          "diskType": "hyperdisk-balanced",
          "sourceImage": "projects/IMAGE_PROJECT/global/images/family/IMAGE_FAMILY"
        },
        "mode": "READ_WRITE",
        "type": "PERSISTENT"
      }
    ],
    "serviceAccounts": [
      {
        "email": "default",
        "scopes": [
          "https://www.googleapis.com/auth/cloud-platform"
        ]
      }
    ],
    "networkInterfaces": [
    {
      "accessConfigs": [
        {
          "name": "external-nat",
          "type": "ONE_TO_ONE_NAT"
        }
      ],
      "network": "projects/NETWORK_PROJECT_ID/global/networks/IDPF_NETWORK_PREFIX-net",
      "nicType": "IDPF",
      "stackType": "IPV6_ONLY",
      "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/IDPF_NETWORK_PREFIX-sub-0"
    },
    {
      "network": "projects/NETWORK_PROJECT_ID/global/networks/IDPF_NETWORK_PREFIX-net",
      "nicType": "IDPF",
      "stackType": "IPV6_ONLY",
      "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/IDPF_NETWORK_PREFIX-sub-1"
    },
    {
      "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/default-subnet-1-RDMA_NAME_PREFIX-net",
      "nicType": "MRDMA",
      "stackType": "IPV6_ONLY"
    },
    {
      "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/default-subnet-1-RDMA_NAME_PREFIX-net",
      "nicType": "MRDMA",
      "stackType": "IPV6_ONLY"
    },
    {
      "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/default-subnet-1-RDMA_NAME_PREFIX-net",
      "nicType": "MRDMA",
      "stackType": "IPV6_ONLY"
    },
    {
      "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/default-subnet-1-RDMA_NAME_PREFIX-net",
      "nicType": "MRDMA",
      "stackType": "IPV6_ONLY"
    },
    {
      "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/default-subnet-1-RDMA_NAME_PREFIX-net",
      "nicType": "MRDMA",
      "stackType": "IPV6_ONLY"
    },
    {
      "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/default-subnet-1-RDMA_NAME_PREFIX-net",
      "nicType": "MRDMA",
      "stackType": "IPV6_ONLY"
    },
    {
      "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/default-subnet-1-RDMA_NAME_PREFIX-net",
      "nicType": "MRDMA",
      "stackType": "IPV6_ONLY"
    },
    {
      "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/default-subnet-1-RDMA_NAME_PREFIX-net",
      "nicType": "MRDMA",
      "stackType": "IPV6_ONLY"
    }
  ],
    "reservationAffinity": {
        "consumeReservationType": "SPECIFIC_RESERVATION",
        "key": "compute.googleapis.com/reservation-name",
        "values": [
          "RESERVATION"
        ]
      },
    "scheduling": {
        "provisioningModel": "RESERVATION_BOUND",
        "instanceTerminationAction": "DELETE",
        "onHostMaintenance": "TERMINATE",
        "automaticRestart": true
      }
  }
}

Ganti kode berikut:

  • INSTANCE_TEMPLATE_NAME: nama template instance.
  • IMAGE_FAMILY: kelompok image dari OS image yang ingin Anda gunakan. Untuk daftar semua sistem operasi yang didukung, lihat Sistem operasi yang didukung.
  • IMAGE_PROJECT: project ID dari OS image.
  • REGION: region tempat Anda ingin membuat template instance. Tentukan region tempat jenis mesin yang ingin Anda gunakan tersedia. Untuk mengetahui informasi tentang region, lihat Ketersediaan GPU berdasarkan region dan zona.
  • DISK_SIZE: ukuran boot disk dalam GB. Untuk mengetahui informasi selengkapnya, lihat Batas ukuran Google Cloud Hyperdisk atau Batas ukuran Persistent Disk berdasarkan jenis disk.
  • NETWORK_PROJECT_ID: project ID jaringan.
  • IDPF_NETWORK_PREFIX: awalan nama yang Anda tentukan saat membuat jaringan VPC dan subnet yang menggunakan NIC IDPF.
  • REGION: region subnetwork.
  • RDMA_NAME_PREFIX: awalan nama yang Anda tentukan saat membuat jaringan VPC dan subnet yang menggunakan NIC RDMA.
  • RESERVATION: nama pemesanan, blok, atau subblok dalam pemesanan. Untuk mendapatkan nama pemesanan atau blok yang tersedia, lihat Melihat kapasitas yang dipesan. Berdasarkan persyaratan Anda untuk penempatan instance, pilih salah satu opsi berikut:
    • Untuk membuat instance A4X Max di satu blok: 
          projects/RESERVATION_OWNER_PROJECT_ID/reservations/RESERVATION_NAME
    • Untuk membuat instance A4X Max di blok tertentu: 
          projects/RESERVATION_OWNER_PROJECT_ID/reservations/RESERVATION_NAME/reservationBlocks/RESERVATION_BLOCK_NAME
    • Untuk membuat instance A4X Max di subblok tertentu: 
          projects/RESERVATION_OWNER_PROJECT_ID/reservations/RESERVATION_NAME/reservationBlocks/RESERVATION_BLOCK_NAME/reservationSubBlocks/RESERVATION_SUBBLOCK_NAME

Membuat MIG

Saat membuat MIG menggunakan jenis mesin A4X Max, tentukan jumlah instance menggunakan ukuran target MIG. Anda dapat menetapkan ukuran target selama pembuatan MIG ke jumlah instance yang diperlukan atau memulai dengan nol dan meningkatkannya nanti. Perhatikan bahwa Anda tidak dapat menggunakan permintaan ubah ukuran untuk menambahkan instance ke MIG A4X Max.

Untuk mendapatkan topologi GPU 1x72, buat MIG dengan 18 instance A4X Max. Saat Anda membuat MIG, terapkan kebijakan workload yang menentukan kolom acceleratorTopology. Penerapan kebijakan ini memastikan bahwa Compute Engine membuat 18 instance A4X Max dalam satu sub-blok untuk menggunakan domain NVLink. Jika sub-blok tidak memiliki kapasitas untuk semua 18 instance, instance terkelola yang tidak dapat segera dibuat akan tetap dalam status CREATING hingga kapasitas tersedia. Instance terkelola ini mewakili instance komputasi yang dibuat MIG saat ada kapasitas.

Saat menerapkan kebijakan workload dengan kolom acceleratorTopology yang ditetapkan ke 1x72, Anda tidak dapat membuat lebih dari 18 instance A4X Max dalam MIG. Menentukan lebih dari 18 instance akan menyebabkan pembuatan MIG gagal. Untuk membuat beberapa domain NVLink, buat MIG terpisah untuk setiap domain dan terapkan kebijakan workload yang sama ke setiap MIG.

Untuk membuat MIG, pilih salah satu opsi berikut:

gcloud

Untuk membuat MIG dengan ukuran target yang ditentukan, gunakan perintah instance-groups managed create.

Buat MIG zona atau regional sebagai berikut:

  • Untuk membuat MIG zona, gunakan perintah berikut: 
    gcloud compute instance-groups managed create MIG_NAME \
  --template=INSTANCE_TEMPLATE_URL \
  --size=TARGET_SIZE \
  --workload-policy=WORKLOAD_POLICY_URL \
  --zone=ZONE
  • Untuk membuat MIG regional, gunakan perintah berikut: 
    gcloud compute instance-groups managed create MIG_NAME \
    --template=INSTANCE_TEMPLATE_URL \
    --size=TARGET_SIZE \
    --workload-policy=WORKLOAD_POLICY_URL \
    --region=REGION
Ganti kode berikut:
  • MIG_NAME: nama MIG.
  • INSTANCE_TEMPLATE_URL: URL template instance yang ingin Anda gunakan untuk membuat instance di MIG. URL dapat berisi ID atau nama template instance. Tentukan salah satu nilai berikut:
    • Untuk template instance regional: projects/PROJECT_ID/regions/REGION/instanceTemplates/INSTANCE_TEMPLATE_ID
    • Untuk template instance global: INSTANCE_TEMPLATE_ID
  • TARGET_SIZE: jumlah instance yang Anda inginkan di MIG. Untuk topologi akselerator 1x72, tetapkan ukuran target ke 18.
  • WORKLOAD_POLICY_URL: URL kebijakan workload—misalnya, projects/example-project/regions/us-central1/resourcePolicies/example-workload-policy.
  • ZONE: zona tempat Anda ingin membuat MIG. Tentukan zona dalam region kebijakan workload.
  • REGION: region tempat Anda ingin membuat MIG. Tentukan region yang sama dengan kebijakan workload. Untuk MIG regional, Anda dapat menentukan zona di region tersebut, bukan region, menggunakan flag --zones.

REST

Untuk membuat MIG dengan ukuran target yang ditentukan, buat permintaan POST.

Buat MIG zona atau regional sebagai berikut:

  • Untuk membuat MIG zona, buat permintaan POST ke metode instanceGroupManagers.insert. 
    POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instanceGroupManagers
{
  "versions": [
    {
      "instanceTemplate": "INSTANCE_TEMPLATE_URL"
    }
  ],
  "name": "MIG_NAME",
  "targetSize": TARGET_SIZE,
  "resourcePolicies": {
    "workloadPolicy": "WORKLOAD_POLICY_URL"
  }
}
  • Untuk membuat MIG regional, buat permintaan POST ke metode regionInstanceGroupManagers.insert. 
      POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/instanceGroupManagers
  {
    "name": "MIG_NAME",
    "instanceTemplate": "INSTANCE_TEMPLATE_URL",
    "targetSize": TARGET_SIZE,
    "resourcePolicies": {
      "workloadPolicy": "WORKLOAD_POLICY_URL"
    }
  }
Ganti kode berikut:
  • PROJECT_ID: project ID.
  • ZONE: zona tempat Anda ingin membuat MIG. Tentukan zona dalam region kebijakan workload.
  • REGION: region tempat Anda ingin membuat MIG. Tentukan region yang sama dengan kebijakan workload.
  • INSTANCE_TEMPLATE_URL: URL template instance yang ingin Anda gunakan untuk membuat instance di MIG. URL dapat berisi ID atau nama template instance. Tentukan salah satu nilai berikut:
    • Untuk template instance regional: projects/PROJECT_ID/regions/REGION/instanceTemplates/INSTANCE_TEMPLATE_ID
    • Untuk template instance global: INSTANCE_TEMPLATE_ID
  • MIG_NAME: nama MIG.
  • TARGET_SIZE: jumlah instance yang Anda inginkan di MIG. Untuk topologi akselerator 1x72, tetapkan ukuran target ke 18.
  • WORKLOAD_POLICY_URL: URL kebijakan workload—misalnya, projects/example-project/regions/us-central1/resourcePolicies/example-workload-policy.

Menginstal driver GPU

Setelah Anda membuat instance, instance tersebut tidak dapat menggunakan GPU-nya kecuali jika driver GPU yang benar sudah diinstal. Jika Anda tidak menentukan OS image yang menyertakan driver GPU, lihat Menginstal driver GPU dalam dokumentasi Compute Engine.

Apa langkah selanjutnya?