Membuat VM A4X yang dioptimalkan untuk AI secara massal

Dokumen ini menjelaskan cara membuat instance virtual machine (VM) secara massal yang menggunakan jenis mesin A4X. Untuk mempelajari lebih lanjut jenis mesin yang dioptimalkan untuk akselerator ini, lihat A4X.

Untuk mempelajari cara lain dalam membuat VM atau cluster, lihat Ringkasan opsi deployment.

Batasan

Saat Anda membuat VM A4X secara massal, batasan berikut berlaku:

Tinjau juga batasan untuk kebijakan penempatan.

Sebelum memulai

Sebelum membuat VM secara massal, jika Anda belum melakukannya, selesaikan langkah-langkah berikut:

  1. Pilih opsi pemakaian: pilihan opsi pemakaian Anda menentukan cara Anda mendapatkan dan menggunakan resource GPU. Untuk mempelajari lebih lanjut, lihat Memilih opsi konsumsi.
  2. Mendapatkan kapasitas: proses untuk mendapatkan kapasitas berbeda untuk setiap opsi konsumsi. Untuk mempelajari proses mendapatkan kapasitas untuk opsi pemakaian yang Anda pilih, lihat Ringkasan kapasitas.

Pilih tab untuk melihat bagaimana Anda berencana menggunakan contoh di halaman ini:

Konsol

Saat menggunakan konsol Google Cloud untuk mengakses layanan dan API Google Cloud , Anda tidak perlu menyiapkan autentikasi.

gcloud

Instal Google Cloud CLI, lalu login ke gcloud CLI dengan identitas gabungan Anda. Setelah login, lakukan inisialisasi Google Cloud CLI dengan menjalankan perintah berikut:

gcloud init

REST

Untuk menggunakan contoh REST API di halaman ini dalam lingkungan pengembangan lokal, gunakan kredensial yang Anda berikan ke gcloud CLI.

    Instal Google Cloud CLI, lalu login ke gcloud CLI dengan identitas gabungan Anda.

Untuk mengetahui informasi selengkapnya, lihat Melakukan autentikasi untuk menggunakan REST dalam dokumentasi autentikasi Google Cloud .

Peran yang diperlukan

Untuk mendapatkan izin yang diperlukan untuk membuat VM secara massal, minta administrator untuk memberi Anda peran IAM Compute Instance Admin (v1) (roles/compute.instanceAdmin.v1) di project. Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.

Peran bawaan ini berisi izin yang diperlukan untuk membuat VM secara massal. Untuk melihat izin yang benar-benar diperlukan, perluas bagian Izin yang diperlukan:

Izin yang diperlukan

Izin berikut diperlukan untuk membuat VM secara massal:

  • compute.instances.create pada project
  • Untuk menggunakan image kustom guna membuat VM: compute.images.useReadOnly pada image
  • Untuk menggunakan snapshot guna membuat VM: compute.snapshots.useReadOnly pada snapshot
  • Untuk menggunakan template instance guna membuat VM: compute.instanceTemplates.useReadOnly pada template instance
  • Untuk menentukan subnet bagi VM Anda: compute.subnetworks.use pada project atau pada subnet yang dipilih
  • Untuk menentukan alamat IP statis bagi VM: compute.addresses.use pada project
  • Untuk menetapkan alamat IP eksternal ke VM saat menggunakan jaringan VPC: compute.subnetworks.useExternalIp pada project atau pada subnet yang dipilih
  • Untuk menetapkan jaringan lama ke VM: compute.networks.use pada project
  • Untuk menetapkan alamat IP eksternal ke VM saat menggunakan jaringan lama: compute.networks.useExternalIp pada project
  • Untuk menetapkan metadata instance VM untuk VM: compute.instances.setMetadata pada project
  • Untuk menetapkan tag bagi VM: compute.instances.setTags pada VM
  • Untuk menetapkan label bagi VM: compute.instances.setLabels pada VM
  • Untuk menetapkan akun layanan yang akan digunakan VM: compute.instances.setServiceAccount pada VM
  • Untuk membuat disk baru bagi VM: compute.disks.create pada project
  • Untuk memasang disk yang ada dalam mode hanya baca atau baca-tulis: compute.disks.use pada disk
  • Untuk memasang disk yang ada dalam mode hanya baca: compute.disks.useReadOnly pada disk

Anda mungkin juga bisa mendapatkan izin ini dengan peran khusus atau peran bawaan lainnya.

Dasar-dasar A4X

Cluster A4X diatur ke dalam hierarki blok dan subblok untuk memfasilitasi performa jaringan non-pemblokiran berskala besar. Memahami topologi ini adalah kunci saat memesan kapasitas dan men-deploy workload.

Instance A4X
Instance A4X adalah satu jenis mesin A4X yang memiliki 4 GPU terpasang.
Sub-blok
Sub-blok adalah unit dasar kapasitas A4X. Untuk A4X, sub-blok terdiri dari 18 instance A4X (72 GPU); instance ini membentuk domain NVLink dan terhubung menggunakan sistem NVLink multi-node. Anda membuat sub-blok A4X dengan menerapkan kebijakan penempatan rapat yang menentukan topologi 1x72.
Blokir
Blok A4X terdiri dari 25 sub-blok (domain NVLink), dengan total hingga 450 instance A4X (1.800 GPU). Subblok rail-aligned untuk penskalaan yang efisien. Setiap sub-blok memerlukan kebijakan penempatan rapat. Oleh karena itu, untuk satu blok A4X, Anda dapat membuat 25 kebijakan penempatan rapat.

Tabel berikut menunjukkan opsi topologi yang didukung untuk instance A4X:

Topologi (gpuTopology) Jumlah GPU Jumlah instance
1x72 72 18

Ringkasan

Membuat instance secara massal dengan jenis mesin A4X mencakup langkah-langkah berikut:

  1. Membuat jaringan VPC
  2. Membuat kebijakan penempatan rapat
  3. Membuat instance secara massal
  4. Menginstal driver GPU
  5. Opsional: Mengaktifkan mode GPU Multi-Instance NVIDIA

Membuat jaringan VPC

Untuk menyiapkan jaringan bagi jenis mesin A4X, buat tiga jaringan VPC untuk antarmuka jaringan berikut:

  • Dua jaringan VPC reguler untuk antarmuka jaringan (NIC) gVNIC. NIC kemudian menggunakan jaringan VPC ini untuk komunikasi host-ke-host.
  • Satu jaringan VPC dengan profil jaringan RoCE untuk NIC CX-7 saat membuat beberapa subblok A4X. Jaringan VPC RoCE untuk instance VM harus memiliki 4 subnet, satu subnet untuk setiap NIC CX-7. NIC ini menggunakan RDMA over Converged Ethernet (RoCE), yang menyediakan komunikasi ber-bandwidth tinggi dan berlatensi rendah yang penting untuk penyebaran skala ke beberapa subblok A4X.

Untuk mengetahui informasi selengkapnya tentang pengaturan NIC, lihat Meninjau bandwidth jaringan dan pengaturan NIC.

Buat jaringan secara manual dengan mengikuti panduan petunjuk atau secara otomatis menggunakan skrip yang disediakan.

Panduan petunjuk

Untuk membuat jaringan, Anda dapat menggunakan petunjuk berikut:

Untuk jaringan VPC ini, tetapkan unit transmisi maksimum (MTU) ke nilai yang lebih besar. Untuk jenis mesin A4X, MTU yang direkomendasikan adalah 8896 byte. Untuk meninjau setelan MTU yang direkomendasikan untuk jenis mesin GPU lainnya, lihat Setelan MTU untuk jenis mesin GPU.

Skrip

Untuk membuat jaringan, ikuti langkah-langkah berikut.

Untuk jaringan VPC ini, tetapkan unit transmisi maksimum (MTU) ke nilai yang lebih besar. Untuk jenis mesin A4X, MTU yang direkomendasikan adalah 8896 byte. Untuk meninjau setelan MTU yang direkomendasikan untuk jenis mesin GPU lainnya, lihat Setelan MTU untuk jenis mesin GPU.

  1. Gunakan skrip berikut untuk membuat jaringan VPC reguler untuk gVNIC.

    
    
        #!/bin/bash
    
        # Create regular VPC networks and subnets for the gVNICs
        for N in $(seq 0 1); do
          gcloud compute networks create GVNIC_NAME_PREFIX-net-$N \
            --subnet-mode=custom \
            --mtu=8896
    
          gcloud compute networks subnets create GVNIC_NAME_PREFIX-sub-$N \
            --network=GVNIC_NAME_PREFIX-net-$N \
            --region=REGION \
            --range=192.168.$N.0/24
    
          gcloud compute firewall-rules create GVNIC_NAME_PREFIX-internal-$N \
            --network=GVNIC_NAME_PREFIX-net-$N \
            --action=ALLOW \
            --rules=tcp:0-65535,udp:0-65535,icmp \
            --source-ranges=192.168.0.0/16
        done
    
        # Create SSH firewall rules
        gcloud compute firewall-rules create GVNIC_NAME_PREFIX-ssh \
          --network=GVNIC_NAME_PREFIX-net-0 \
          --action=ALLOW \
          --rules=tcp:22 \
          --source-ranges=IP_RANGE
    
        # Assumes that an external IP is only created for vNIC 0
        gcloud compute firewall-rules create GVNIC_NAME_PREFIX-allow-ping-net-0 \
          --network=GVNIC_NAME_PREFIX-net-0 \
          --action=ALLOW \
          --rules=icmp \
          --source-ranges=IP_RANGE
    
    
          
  2. Jika Anda memerlukan beberapa subblok A4X, gunakan skrip berikut untuk membuat jaringan VPC RoCE untuk instance VM (roce) dan subnet untuk empat NIC CX-7 di setiap instance A4X.

    
    
        #!/bin/bash
    
        # List and make sure network profiles exist in the machine type's zone
        gcloud compute network-profiles list --filter "location.name=ZONE"
    
        # Create network for RDMA NICs
        gcloud compute networks create RDMA_NAME_PREFIX-mrdma \
          --network-profile=ZONE-vpc-roce \
          --subnet-mode custom \
          --mtu=8896
    
        # Create subnets
        for N in $(seq 0 3); do
          gcloud compute networks subnets create RDMA_NAME_PREFIX-mrdma-sub-$N \
            --network=RDMA_NAME_PREFIX-mrdma \
            --region=REGION \
            --range=192.168.$((N+2)).0/24 # offset to avoid overlap with gVNICs
        done
    
    
          

    Ganti kode berikut:

    • GVNIC_NAME_PREFIX: awalan nama kustom yang akan digunakan untuk jaringan VPC reguler dan subnet untuk gVNIC.
    • RDMA_NAME_PREFIX: awalan nama kustom yang akan digunakan untuk jaringan VPC RoCE untuk instance VM (roce) dan subnet untuk NIC CX-7.
    • ZONE: tentukan zona tempat jenis mesin yang ingin Anda gunakan tersedia, seperti us-central1-a. Untuk mengetahui informasi tentang region, lihat Ketersediaan GPU berdasarkan region dan zona.
    • REGION: region tempat Anda ingin membuat subnet. Region ini harus sesuai dengan zona yang ditentukan. Misalnya, jika zona Anda adalah us-central1-a, maka region Anda adalah us-central1.
    • IP_RANGE: rentang IP yang akan digunakan untuk aturan firewall SSH.
  3. Opsional: Untuk memverifikasi bahwa resource jaringan VPC berhasil dibuat, periksa setelan jaringan di konsol Google Cloud :
    1. Di konsol Google Cloud , buka halaman Jaringan VPC.

      Buka jaringan VPC

    2. Telusuri daftar untuk menemukan jaringan yang Anda buat di langkah sebelumnya.
    3. Untuk melihat subnet, aturan firewall, dan setelan jaringan lainnya, klik nama jaringan.

Membuat kebijakan penempatan rapat.

Untuk membuat kebijakan penempatan rapat, pilih salah satu opsi berikut:

gcloud

Untuk membuat kebijakan penempatan rapat, gunakan perintah gcloud compute resource-policies create group-placement:

gcloud compute resource-policies create group-placement POLICY_NAME \
    --collocation=collocated \
    --gpu-topology=1x72 \
    --region=REGION

Ganti kode berikut:

  • POLICY_NAME: nama kebijakan penempatan rapat.
  • REGION: region tempat Anda ingin membuat kebijakan penempatan rapat. Tentukan region yang berisi zona tempat Anda berencana membuat instance, dan pastikan jenis mesin yang ingin Anda gunakan tersedia di region tersebut. Untuk mengetahui informasi tentang region, lihat Ketersediaan GPU berdasarkan region dan zona.

REST

Untuk membuat kebijakan penempatan rapat, buat permintaan POST ke metode resourcePolicies.insert.

POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/resourcePolicies
  {
    "name": "POLICY_NAME",
    "groupPlacementPolicy": {
      "collocation": "COLLOCATED",
      "gpuTopology": "1x72"
    }
  }

Ganti kode berikut:

  • PROJECT_ID: project ID Anda.
  • POLICY_NAME: nama kebijakan penempatan rapat.
  • REGION: region tempat Anda ingin membuat kebijakan penempatan rapat. Tentukan region yang berisi zona tempat Anda berencana membuat instance, dan pastikan jenis mesin yang ingin Anda gunakan tersedia di region tersebut. Untuk mengetahui informasi tentang region, lihat Ketersediaan GPU berdasarkan region dan zona.

Membuat instance A4X secara massal

Untuk mendapatkan topologi GPU 1x72, buat 18 instance A4X. Saat Anda membuat instance, terapkan kebijakan penempatan rapat yang menentukan kolom gpuTopology. Penerapan kebijakan ini memastikan Compute Engine membuat 18 instance A4X dalam satu sub-blok untuk menggunakan domain NVLink. Jika sub-blok tidak memiliki kapasitas untuk semua 18 instance A4X, pembuatan massal akan gagal dan tidak akan membuat instance apa pun.

Jika workload Anda dapat beroperasi dengan kurang dari 18 instance A4X, Anda dapat menetapkan kolom minCount ke jumlah minimum instance yang diperlukan untuk workload Anda. Jika Anda ingin menggunakan kapasitas yang tersedia, tetapkan kolom minCount ke 1.

Untuk membuat instance A4X secara massal, pilih salah satu opsi berikut.

Perintah berikut juga menetapkan cakupan akses untuk instance Anda. Untuk menyederhanakan pengelolaan izin, Google merekomendasikan agar Anda menetapkan cakupan akses pada instance ke akses cloud-platform, lalu menggunakan peran IAM untuk menentukan layanan yang dapat diakses oleh instance. Untuk mengetahui informasi selengkapnya, lihat Praktik terbaik cakupan.

gcloud

Untuk membuat instance A4X secara massal, gunakan perintah gcloud compute instances bulk create.

Instance A4X mendukung jenis pemesanan berikut:

  • Pemesanan untuk masa mendatang untuk blok kapasitas
  • Pemesanan untuk masa mendatang dalam mode Calendar

Untuk menggunakan jenis pemesanan ini, instance harus menggunakan model penyediaan terikat pemesanan. Misalnya, gunakan parameter pembuatan berikut.

gcloud compute instances bulk create \
    --name-pattern=NAME_PATTERN \
    --count=COUNT \
     --machine-type=a4x-highgpu-4g \
    --image-family=IMAGE_FAMILY \
    --image-project=IMAGE_PROJECT \
    --region=REGION \
    --boot-disk-type=hyperdisk-balanced \
    --boot-disk-size=DISK_SIZE \
    --scopes=cloud-platform \
    --network-interface=nic-type=GVNIC,network=GVNIC_NAME_PREFIX-net-0,subnet=GVNIC_NAME_PREFIX-sub-0 \
    --network-interface=nic-type=GVNIC,network=GVNIC_NAME_PREFIX-net-1,subnet=GVNIC_NAME_PREFIX-sub-1,no-address 
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-0,no-address \
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-1,no-address \
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-2,no-address \
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-3,no-address \
    --reservation-affinity=specific \
    --reservation=RESERVATION \
    --provisioning-model=RESERVATION_BOUND \
    --instance-termination-action=TERMINATION_ACTION \
    --maintenance-policy=TERMINATE \
    --restart-on-failure \
    --resource-policies=POLICY_NAME

Ganti kode berikut:

  • NAME_PATTERN: pola nama yang akan digunakan untuk instance A4X. Misalnya, menggunakan instance-# untuk pola nama akan menghasilkan instance A4X dengan nama seperti instance-1 dan instance-2, hingga jumlah instance A4X yang ditentukan oleh --count.
  • COUNT: jumlah instance A4X yang akan dibuat.
  • IMAGE_FAMILY: kelompok image dari OS image yang ingin Anda gunakan. Untuk daftar semua sistem operasi yang didukung, lihat Sistem operasi yang didukung.
  • IMAGE_PROJECT: project ID dari OS image.
  • REGION: tentukan region tempat jenis mesin yang ingin Anda gunakan tersedia. Anda harus menggunakan region yang sama dengan kebijakan penempatan rapat. Untuk mengetahui informasi tentang region, lihat Ketersediaan GPU berdasarkan region dan zona.
  • DISK_SIZE: ukuran boot disk dalam GB. Untuk mengetahui informasi selengkapnya, lihat Batas ukuran Google Cloud Hyperdisk atau Batas ukuran Persistent Disk berdasarkan jenis disk.
  • GVNIC_NAME_PREFIX: awalan nama yang Anda tentukan saat membuat jaringan VPC standar dan subnet yang menggunakan NIC gVNIC.
  • RDMA_NAME_PREFIX: awalan nama yang Anda tentukan saat membuat jaringan VPC dan subnet yang menggunakan NIC RDMA.
  • RESERVATION: nama pemesanan, blok, atau subblok dalam pemesanan. Untuk mendapatkan nama pemesanan atau blok yang tersedia, lihat Melihat kapasitas yang dipesan. Berdasarkan persyaratan Anda untuk penempatan instance, pilih salah satu opsi berikut:
    • Untuk membuat instance A4X di satu blok:
          projects/RESERVATION_OWNER_PROJECT_ID/reservations/RESERVATION_NAME
          
    • Untuk membuat instance A4X di blok tertentu:
          projects/RESERVATION_OWNER_PROJECT_ID/reservations/RESERVATION_NAME/reservationBlocks/RESERVATION_BLOCK_NAME
          
    • Untuk membuat instance A4X di subblok tertentu:
          projects/RESERVATION_OWNER_PROJECT_ID/reservations/RESERVATION_NAME/reservationBlocks/RESERVATION_BLOCK_NAME/reservationSubBlocks/RESERVATION_SUBBLOCK_NAME
          
  • TERMINATION_ACTION: apakah Compute Engine menghentikan (STOP) atau menghapus (DELETE) instance A4X di akhir periode pemesanan.

  • POLICY_NAME: nama kebijakan penempatan rapat.

REST

Untuk membuat instance A4X secara massal, buat permintaan POST ke metode instances.bulkInsert.

Instance A4X mendukung jenis pemesanan berikut:

  • Pemesanan untuk masa mendatang untuk blok kapasitas
  • Pemesanan untuk masa mendatang dalam mode Calendar

Untuk menggunakan jenis pemesanan ini, instance harus menggunakan model penyediaan terikat pemesanan. Misalnya, gunakan parameter pembuatan berikut.

POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instances/bulkInsert
{
  "namePattern": "NAME_PATTERN",
  "count": "COUNT",
  "instanceProperties": {
    "machineType": "a4x-highgpu-4g",
    "disks": [
      {
        "boot": true,
        "initializeParams": {
          "diskSizeGb": "DISK_SIZE",
          "diskType": "hyperdisk-balanced",
          "sourceImage": "projects/IMAGE_PROJECT/global/images/family/IMAGE_FAMILY"
        },
        "mode": "READ_WRITE",
        "type": "PERSISTENT"
      }
    ],
    "serviceAccounts": [
      {
        "email": "default",
        "scopes": [
          "https://www.googleapis.com/auth/cloud-platform"
        ]
      }
    ],
    "networkInterfaces": [
      {
        "accessConfigs": [
          {
            "name": "external-nat",
            "type": "ONE_TO_ONE_NAT"
          }
        ],
        "network": "projects/NETWORK_PROJECT_ID/global/networks/GVNIC_NAME_PREFIX-net-0",
        "nicType": "GVNIC",
        "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/GVNIC_NAME_PREFIX-sub-0"
      },
      {
        "network": "projects/NETWORK_PROJECT_ID/global/networks/GVNIC_NAME_PREFIX-net-1",
        "nicType": "GVNIC",
        "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/GVNIC_NAME_PREFIX-sub-1"
      },
      {
        "network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
        "nicType": "MRDMA",
        "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-0"
      },
      {
        "network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
        "nicType": "MRDMA",
        "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-1"
      },
      {
        "network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
        "nicType": "MRDMA",
        "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-2"
      },
      {
        "network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
        "nicType": "MRDMA",
        "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-3"
      }
     ],
    "reservationAffinity": {
        "consumeReservationType": "SPECIFIC_RESERVATION",
        "key": "compute.googleapis.com/reservation-name",
        "values": [
          "RESERVATION"
        ]
      },
    "scheduling": {
        "provisioningModel": "RESERVATION_BOUND",
        "instanceTerminationAction": "DELETE",
        "onHostMaintenance": "TERMINATE",
        "automaticRestart": true
      },
    "resourcePolicies": [
      "projects/PROJECT_ID/regions/REGION/resourcePolicies/POLICY_NAME"
    ]
  }
}

Ganti kode berikut:

  • PROJECT_ID: project ID dari project tempat Anda ingin membuat instance A4X.
  • ZONE: tentukan zona tempat jenis mesin yang ingin Anda gunakan tersedia. Anda harus menggunakan zona di region yang sama dengan kebijakan penempatan rapat. Untuk mengetahui informasi tentang region, lihat Ketersediaan GPU berdasarkan region dan zona.
  • NAME_PATTERN: pola nama yang akan digunakan untuk instance A4X. Misalnya, menggunakan instance-# untuk pola nama akan menghasilkan instance A4X dengan nama seperti instance-1 dan instance-2, hingga jumlah instance A4X yang ditentukan oleh --count.
  • COUNT: jumlah instance A4X yang akan dibuat.
  • DISK_SIZE: ukuran boot disk dalam GB. Untuk mengetahui informasi selengkapnya, lihat Batas ukuran Google Cloud Hyperdisk atau Batas ukuran Persistent Disk berdasarkan jenis disk.
  • IMAGE_PROJECT: project ID dari OS image.
  • IMAGE_FAMILY: kelompok image dari OS image yang ingin Anda gunakan. Untuk daftar semua sistem operasi yang didukung, lihat Sistem operasi yang didukung.
  • NETWORK_PROJECT_ID: project ID jaringan.
  • GVNIC_NAME_PREFIX: awalan nama yang Anda tentukan saat membuat jaringan VPC standar dan subnet yang menggunakan NIC gVNIC.
  • REGION: region subnetwork.
  • RDMA_NAME_PREFIX: awalan nama yang Anda tentukan saat membuat jaringan VPC dan subnet yang menggunakan NIC RDMA.
  • RESERVATION: nama pemesanan, blok, atau subblok dalam pemesanan. Untuk mendapatkan nama pemesanan atau blok yang tersedia, lihat Melihat kapasitas yang dipesan. Berdasarkan persyaratan Anda untuk penempatan instance, pilih salah satu opsi berikut:
    • Untuk membuat instance A4X di satu blok:
          projects/RESERVATION_OWNER_PROJECT_ID/reservations/RESERVATION_NAME
          
    • Untuk membuat instance A4X di blok tertentu:
          projects/RESERVATION_OWNER_PROJECT_ID/reservations/RESERVATION_NAME/reservationBlocks/RESERVATION_BLOCK_NAME
          
    • Untuk membuat instance A4X di subblok tertentu:
          projects/RESERVATION_OWNER_PROJECT_ID/reservations/RESERVATION_NAME/reservationBlocks/RESERVATION_BLOCK_NAME/reservationSubBlocks/RESERVATION_SUBBLOCK_NAME
          
  • TERMINATION_ACTION: apakah Compute Engine menghentikan (STOP) atau menghapus (DELETE) instance A4X di akhir periode pemesanan.

  • PROJECT_ID: project ID dari kebijakan penempatan rapat.
  • REGION: region kebijakan penempatan rapat.
  • POLICY_NAME: nama kebijakan penempatan rapat.

Untuk mengetahui informasi selengkapnya tentang opsi konfigurasi saat membuat VM secara massal, lihat Membuat VM secara massal dalam dokumentasi Compute Engine.

Menginstal driver GPU

Setelah Anda membuat instance, instance tersebut tidak dapat menggunakan GPU-nya kecuali jika driver GPU yang benar sudah diinstal. Jika Anda tidak menentukan OS image yang menyertakan driver GPU, lihat Menginstal driver GPU dalam dokumentasi Compute Engine.

Opsional: Mengaktifkan mode GPU Multi-Instance NVIDIA

Mode Multi-Instance GPU (MIG) adalah fitur yang dapat Anda aktifkan untuk GPU NVIDIA yang didukung. Setelah membuat instance, Anda dapat mengaktifkan mode MIG pada satu GPU yang terpasang ke mesin Anda. Dengan mengaktifkan mode MIG, satu GPU dipartisi menjadi hingga tujuh instance GPU independen. Setiap instance berjalan secara bersamaan, masing-masing dengan memori, cache, dan multiprosesor streaming sendiri. Kemudian, Anda dapat menjalankan berbagai workload di instance GPU ini secara paralel. Untuk mengetahui informasi selengkapnya tentang penggunaan mode MIG, lihat Panduan Pengguna Multi-Instance GPU (MIG) dalam dokumentasi NVIDIA.

Langkah berikutnya