Crea un gruppo di istanze gestite A4X ottimizzato per l'AI

Questo documento descrive come creare un gruppo di istanze gestite (MIG) che utilizza i tipi di macchine A4X. Per saperne di più su questo tipo di macchina ottimizzata per l'acceleratore, consulta A4X.

Crea un MIG se vuoi gestire più macchine virtuali (VM) come singola entità. Per saperne di più sui MIG, consulta Gruppi di istanze gestite nella documentazione di Compute Engine.

Per scoprire altri modi per creare VM o cluster, consulta Panoramica delle opzioni di deployment.

Limitazioni

Quando crei un MIG con VM A4X, tieni conto delle limitazioni sia per il tipo di macchina sia per il MIG.

Limitazioni per le VM A4X

Si applicano le seguenti limitazioni specifiche per la macchina:

Limitazioni per il MIG

Quando utilizzi i tipi di macchina A4X per creare un MIG, si applicano le seguenti limitazioni:

  • Devi utilizzare il modello di provisioning con prenotazione. Altri modelli di provisioning non sono supportati.

  • Non puoi utilizzare una richiesta di ridimensionamento per aggiungere istanze A4X al MIG. Devi impostare le dimensioni target del MIG per aggiungere le istanze.

Prima di iniziare

Prima di creare un MIG, se non l'hai ancora fatto, completa i seguenti passaggi:

  1. Scegli un'opzione di consumo: la scelta dell'opzione di consumo determina il modo in cui ottieni e utilizzi le risorse GPU. Per saperne di più, consulta Scegli un'opzione di consumo.
  2. Ottenere capacità: il processo per ottenere capacità varia in base a ciascuna opzione di consumo. Per scoprire la procedura per ottenere la capacità per l'opzione di consumo scelta, consulta la panoramica della capacità.
  3. Verifica le autorizzazioni di Google APIs Service Agent: quando crei VM in un MIG, Compute Engine utilizza Google APIs Service Agent (PROJECT_NUMBER@cloudservices.) nel tuo progetto. Se il template di istanza utilizza risorse di un altro progetto, verifica che questo agente di servizio disponga delle autorizzazioni richieste:

Ruoli obbligatori

Per ottenere le autorizzazioni necessarie per creare un MIG, chiedi all'amministratore di concederti il ruolo IAM Compute Instance Admin (v1) (roles/compute.instanceAdmin.v1) sul progetto. Per saperne di più sulla concessione dei ruoli, consulta Gestisci l'accesso a progetti, cartelle e organizzazioni.

Questo ruolo predefinito contiene le autorizzazioni necessarie per creare un MIG. Per vedere quali sono esattamente le autorizzazioni richieste, espandi la sezione Autorizzazioni obbligatorie:

Autorizzazioni obbligatorie

Per creare un MIG sono necessarie le seguenti autorizzazioni:

  • Per creare un MIG: compute.instanceGroupManagers.create sul progetto

Potresti anche ottenere queste autorizzazioni con ruoli personalizzati o altri ruoli predefiniti.

Nozioni di base su A4X

Un cluster A4X è organizzato in una gerarchia di blocchi e sottoblocchi per facilitare le prestazioni di rete non bloccanti su larga scala. Comprendere questa topologia è fondamentale per prenotare la capacità ed eseguire il deployment dei workload.

Istanza A4X
Un'istanza A4X è un singolo tipo di macchina A4X con 4 GPU collegate.
Blocco secondario
Un blocco secondario è l'unità fondamentale della capacità di A4X. Per A4X, un blocco secondario è composto da 18 istanze A4X (72 GPU). Queste istanze formano un dominio NVLink e sono connesse tramite un sistema NVLink multi-nodo. Puoi creare un blocco secondario A4X applicando una policy del workload che specifica una topologia 1x72.
Blocca
Un blocco A4X è composto da 25 sottoblocchi (domini NVLink), per un totale di 450 istanze A4X (1800 GPU). I blocchi secondari sono con allineamento ai rail per una scalabilità efficiente. Ogni blocco secondario richiede un MIG. Pertanto, per un singolo blocco A4X, puoi creare 25 MIG.

La tabella seguente mostra le opzioni di topologia supportate per le istanze A4X:

Topologia (acceleratorTopology) Numero di GPU Numero di istanze
1x72 72 18

Panoramica

La creazione di un MIG con il tipo di macchina A4X prevede i seguenti passaggi:

  1. Crea reti VPC
  2. Crea una policy del workload
  3. Crea un template di istanza
  4. Crea un MIG
  5. Installa i driver della GPU
  6. (Facoltativo) Attiva la modalità GPU multi-istanza NVIDIA

Crea reti VPC

Per configurare la rete per i tipi di macchine A4X, crea tre reti VPC per le seguenti interfacce di rete:

  • 2 reti VPC standard per le interfacce di rete (NIC) gVNIC. Le NIC utilizzano poi queste reti VPC per la comunicazione da host a host.
  • 1 rete VPC con il profilo di rete RoCE per le NIC CX-7 quando crei più blocchi secondari A4X. La rete VPC RoCE per le istanze VM deve avere 4 subnet, una per ogni NIC CX-7. Queste NIC utilizzano RDMA over Converged Ethernet (RoCE), fornendo la comunicazione ad alta larghezza di banda e bassa latenza essenziale per fare lo scale out su più blocchi secondari A4X.

Per ulteriori informazioni sulla disposizione delle NIC, consulta Controlla la larghezza di banda della rete e la disposizione delle NIC.

Crea le reti manualmente seguendo le guide di istruzioni o automaticamente utilizzando lo script fornito.

Guide di istruzioni

Per creare le reti, puoi seguire queste istruzioni:

Per queste reti VPC, imposta l'unità massima di trasmissione (MTU) su un valore maggiore. Per i tipi di macchine A4X, l'MTU consigliata è 8896 byte. Per esaminare le impostazioni MTU consigliate per altri tipi di macchine GPU, consulta Impostazioni MTU per i tipi di macchine GPU.

Script

Per creare le reti, segui questi passaggi.

Per queste reti VPC, imposta l'unità massima di trasmissione (MTU) su un valore maggiore. Per i tipi di macchine A4X, l'MTU consigliata è 8896 byte. Per esaminare le impostazioni MTU consigliate per altri tipi di macchine GPU, consulta Impostazioni MTU per i tipi di macchine GPU.

  1. Utilizza il seguente script per creare reti VPC regolari per le gVNIC. 

    

    #!/bin/bash

    # Create regular VPC networks and subnets for the gVNICs
    for N in $(seq 0 1); do
      gcloud compute networks create GVNIC_NAME_PREFIX-net-$N \
        --subnet-mode=custom \
        --mtu=8896

      gcloud compute networks subnets create GVNIC_NAME_PREFIX-sub-$N \
        --network=GVNIC_NAME_PREFIX-net-$N \
        --region=REGION \
        --range=192.168.$N.0/24

      gcloud compute firewall-rules create GVNIC_NAME_PREFIX-internal-$N \
        --network=GVNIC_NAME_PREFIX-net-$N \
        --action=ALLOW \
        --rules=tcp:0-65535,udp:0-65535,icmp \
        --source-ranges=192.168.0.0/16
    done

    # Create SSH firewall rules
    gcloud compute firewall-rules create GVNIC_NAME_PREFIX-ssh \
      --network=GVNIC_NAME_PREFIX-net-0 \
      --action=ALLOW \
      --rules=tcp:22 \
      --source-ranges=IP_RANGE

    # Assumes that an external IP is only created for vNIC 0
    gcloud compute firewall-rules create GVNIC_NAME_PREFIX-allow-ping-net-0 \
      --network=GVNIC_NAME_PREFIX-net-0 \
      --action=ALLOW \
      --rules=icmp \
      --source-ranges=IP_RANGE

  2. Se hai bisogno di più blocchi secondari A4X, utilizza il seguente script per creare la rete VPC RoCE per le istanze VM (roce) e le subnet per le quattro NIC CX-7 su ogni istanza A4X. 

    

    #!/bin/bash

    # List and make sure network profiles exist in the machine type's zone
    gcloud compute network-profiles list --filter "location.name=ZONE"

    # Create network for RDMA NICs
    gcloud compute networks create RDMA_NAME_PREFIX-mrdma \
      --network-profile=ZONE-vpc-roce \
      --subnet-mode custom \
      --mtu=8896

    # Create subnets
    for N in $(seq 0 3); do
      gcloud compute networks subnets create RDMA_NAME_PREFIX-mrdma-sub-$N \
        --network=RDMA_NAME_PREFIX-mrdma \
        --region=REGION \
        --range=192.168.$((N+2)).0/24 # offset to avoid overlap with gVNICs
    done

    3. Sostituisci quanto segue:

    • GVNIC_NAME_PREFIX: il prefisso del nome personalizzato da utilizzare per le reti VPC e le subnet standard per le gVNIC.
    • RDMA_NAME_PREFIX: il prefisso del nome personalizzato da utilizzare per la rete VPC RoCE per le istanze VM (roce) e le subnet per le NIC CX-7.
    • ZONE: specifica una zona in cui è disponibile il tipo di macchina che vuoi utilizzare, ad esempio us-central1-a. Per informazioni sulle regioni, consulta Disponibilità delle GPU per regioni e zone.
    • REGION: la regione in cui vuoi creare le subnet. Questa regione deve corrispondere alla zona specificata. Ad esempio, se la zona è us-central1-a, la regione è us-central1.
    • IP_RANGE: l'intervallo IP da utilizzare per le regole firewall SSH.
  3. (Facoltativo) Per verificare che le risorse della rete VPC siano state create correttamente, controlla le impostazioni della rete nella console Google Cloud :
    1. Nella console Google Cloud , vai alla pagina Reti VPC.

      Vai a Reti VPC

    2. Cerca nell'elenco le reti che hai creato nel passaggio precedente.
    3. Per visualizzare le subnet, le regole firewall e altre impostazioni di rete, fai clic sul nome della rete.

Crea un template di istanza

Specifica le proprietà delle VM per un MIG creando un template di istanza.

Per creare un template di istanza, seleziona una delle seguenti opzioni.

I seguenti comandi impostano anche l'ambito di accesso per le tue istanze. Per semplificare la gestione delle autorizzazioni, Google consiglia di impostare l'ambito di accesso su un'istanza per l'accesso cloud-platform e quindi di utilizzare i ruoli IAM per definire i servizi a cui l'istanza può accedere. Per saperne di più, consulta le best practice per gli ambiti.

gcloud

Per creare un template di istanza regionale, utilizza il comando gcloud compute instance-templates create.

Le istanze A4X supportano i seguenti tipi di prenotazioni:

  • Prenotazioni future per blocchi di capacità
  • Prenotazioni future in modalità calendario

Per utilizzare questi tipi di prenotazioni, un'istanza deve utilizzare il modello di provisioning con prenotazione. Ad esempio, utilizza i seguenti parametri di creazione.

gcloud compute instance-templates create INSTANCE_TEMPLATE_NAME \
    --machine-type=a4x-highgpu-4g \
    --image-family=IMAGE_FAMILY \
    --image-project=IMAGE_PROJECT \
    --instance-template-region=REGION \
    --boot-disk-type=hyperdisk-balanced \
    --boot-disk-size=DISK_SIZE \
    --scopes=cloud-platform \
    --network-interface=nic-type=GVNIC,network=GVNIC_NAME_PREFIX-net-0,subnet=GVNIC_NAME_PREFIX-sub-0 \
    --network-interface=nic-type=GVNIC,network=GVNIC_NAME_PREFIX-net-1,subnet=GVNIC_NAME_PREFIX-sub-1,no-address 
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-0,no-address \
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-1,no-address \
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-2,no-address \
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-3,no-address \
    --reservation-affinity=specific \
    --reservation=RESERVATION \
    --provisioning-model=RESERVATION_BOUND \
    --instance-termination-action=DELETE \
    --maintenance-policy=TERMINATE \
    --restart-on-failure

Sostituisci quanto segue:

  • INSTANCE_TEMPLATE_NAME: il nome del template di istanza.
  • IMAGE_FAMILY: la famiglia di immagini sistema operativo che vuoi utilizzare. Per un elenco di tutti i sistemi operativi supportati, consulta Sistemi operativi supportati.
  • IMAGE_PROJECT: l'ID progetto dell'immagine sistema operativo.
  • REGION: la regione in cui vuoi creare il template di istanza. Specifica una regione in cui è disponibile il tipo di macchina che vuoi utilizzare. Per informazioni sulle regioni, consulta Disponibilità delle GPU per regioni e zone.
  • DISK_SIZE: le dimensioni del disco di avvio in GB. Per ulteriori informazioni, consulta i limiti di dimensioni di Google Cloud Hyperdisk o i limiti di dimensioni di Persistent Disk in base al tipo di disco.
  • GVNIC_NAME_PREFIX: il prefisso del nome specificato durante la creazione delle reti VPC e delle subnet standard che utilizzano NIC gVNIC.
  • RDMA_NAME_PREFIX: il prefisso del nome specificato durante la creazione delle reti VPC e delle subnet che utilizzano le NIC RDMA.
  • RESERVATION: il nome della prenotazione, un blocco o un sottoblocco all'interno di una prenotazione. Per ottenere il nome della prenotazione o i blocchi disponibili, consulta Visualizza la capacità prenotata. In base ai tuoi requisiti per il posizionamento delle istanze, scegli una delle seguenti opzioni:
    • Per creare istanze A4X su un singolo blocco: 
          projects/RESERVATION_OWNER_PROJECT_ID/reservations/RESERVATION_NAME
    • Per creare istanze A4X su un blocco specifico: 
          projects/RESERVATION_OWNER_PROJECT_ID/reservations/RESERVATION_NAME/reservationBlocks/RESERVATION_BLOCK_NAME
    • Per creare istanze A4X in un blocco secondario specifico: 
          projects/RESERVATION_OWNER_PROJECT_ID/reservations/RESERVATION_NAME/reservationBlocks/RESERVATION_BLOCK_NAME/reservationSubBlocks/RESERVATION_SUBBLOCK_NAME

REST

Per creare un template di istanza regionale, effettua una richiesta POST al metodo regionInstanceTemplates.insert.

Le istanze A4X supportano i seguenti tipi di prenotazioni:

  • Prenotazioni future per blocchi di capacità
  • Prenotazioni future in modalità calendario

Per utilizzare questi tipi di prenotazioni, un'istanza deve utilizzare il modello di provisioning con prenotazione. Ad esempio, utilizza i seguenti parametri di creazione.

POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/instanceTemplates
{
  "name": "INSTANCE_TEMPLATE_NAME",
  "properties": {
    "machineType": "a4x-highgpu-4g",
    "disks": [
      {
        "boot": true,
        "initializeParams": {
          "diskSizeGb": "DISK_SIZE",
          "diskType": "hyperdisk-balanced",
          "sourceImage": "projects/IMAGE_PROJECT/global/images/family/IMAGE_FAMILY"
        },
        "mode": "READ_WRITE",
        "type": "PERSISTENT"
      }
    ],
    "serviceAccounts": [
      {
        "email": "default",
        "scopes": [
          "https://www.googleapis.com/auth/cloud-platform"
        ]
      }
    ],
    "networkInterfaces": [
      {
        "accessConfigs": [
          {
            "name": "external-nat",
            "type": "ONE_TO_ONE_NAT"
          }
        ],
        "network": "projects/NETWORK_PROJECT_ID/global/networks/GVNIC_NAME_PREFIX-net-0",
        "nicType": "GVNIC",
        "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/GVNIC_NAME_PREFIX-sub-0"
      },
      {
        "network": "projects/NETWORK_PROJECT_ID/global/networks/GVNIC_NAME_PREFIX-net-1",
        "nicType": "GVNIC",
        "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/GVNIC_NAME_PREFIX-sub-1"
      },
      {
        "network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
        "nicType": "MRDMA",
        "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-0"
      },
      {
        "network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
        "nicType": "MRDMA",
        "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-1"
      },
      {
        "network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
        "nicType": "MRDMA",
        "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-2"
      },
      {
        "network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
        "nicType": "MRDMA",
        "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-3"
      }
    ],
    "reservationAffinity": {
        "consumeReservationType": "SPECIFIC_RESERVATION",
        "key": "compute.googleapis.com/reservation-name",
        "values": [
          "RESERVATION"
        ]
      },
    "scheduling": {
        "provisioningModel": "RESERVATION_BOUND",
        "instanceTerminationAction": "DELETE",
        "onHostMaintenance": "TERMINATE",
        "automaticRestart": true
      }
  }
}

Sostituisci quanto segue:

  • INSTANCE_TEMPLATE_NAME: il nome del template di istanza.
  • IMAGE_FAMILY: la famiglia di immagini sistema operativo che vuoi utilizzare. Per un elenco di tutti i sistemi operativi supportati, consulta Sistemi operativi supportati.
  • IMAGE_PROJECT: l'ID progetto dell'immagine sistema operativo.
  • REGION: la regione in cui vuoi creare il template di istanza. Specifica una regione in cui è disponibile il tipo di macchina che vuoi utilizzare. Per informazioni sulle regioni, consulta Disponibilità delle GPU per regioni e zone.
  • DISK_SIZE: le dimensioni del disco di avvio in GB. Per ulteriori informazioni, consulta i limiti di dimensioni di Google Cloud Hyperdisk o i limiti di dimensioni di Persistent Disk in base al tipo di disco.
  • NETWORK_PROJECT_ID: l'ID progetto della rete.
  • GVNIC_NAME_PREFIX: il prefisso del nome specificato durante la creazione delle reti VPC e delle subnet standard che utilizzano NIC gVNIC.
  • REGION: la regione della subnet.
  • RDMA_NAME_PREFIX: il prefisso del nome specificato durante la creazione delle reti VPC e delle subnet che utilizzano le NIC RDMA.
  • RESERVATION: il nome della prenotazione, un blocco o un sottoblocco all'interno di una prenotazione. Per ottenere il nome della prenotazione o i blocchi disponibili, consulta Visualizza la capacità prenotata. In base ai tuoi requisiti per il posizionamento delle istanze, scegli una delle seguenti opzioni:
    • Per creare istanze A4X su un singolo blocco: 
          projects/RESERVATION_OWNER_PROJECT_ID/reservations/RESERVATION_NAME
    • Per creare istanze A4X su un blocco specifico: 
          projects/RESERVATION_OWNER_PROJECT_ID/reservations/RESERVATION_NAME/reservationBlocks/RESERVATION_BLOCK_NAME
    • Per creare istanze A4X in un blocco secondario specifico: 
          projects/RESERVATION_OWNER_PROJECT_ID/reservations/RESERVATION_NAME/reservationBlocks/RESERVATION_BLOCK_NAME/reservationSubBlocks/RESERVATION_SUBBLOCK_NAME

Crea un MIG

Quando utilizzi un tipo di macchina A4X, devi creare un MIG specificandone le dimensioni target.

Per ottenere una topologia GPU di 1x72, crea un MIG con 18 istanze A4X. Quando crei il MIG, applica la policy di workload che specifica il campo acceleratorTopology. L'applicazione della policy garantisce che Compute Engine crei tutte le 18 istanze A4X in un unico blocco secondario per utilizzare un dominio NVLink. Se un blocco secondario non ha capacità per tutte le 18 istanze, qualsiasi istanza gestita che non può essere creata immediatamente rimarrà nello stato CREATING finché non sarà disponibile la capacità. Queste istanze gestite rappresentano le istanze di computing create dal MIG quando la capacità è disponibile.

Quando applichi una policy del workload con il campo acceleratorTopology impostato su 1x72, non puoi creare più di 18 istanze A4X in un MIG. Se specifichi più di 18 istanze, la creazione del MIG non va a buon fine. Per creare più domini NVLink, crea un MIG separato per ogni dominio e applica la stessa policy del workload a ogni MIG.

Per creare un MIG, seleziona una delle seguenti opzioni:

gcloud

Per creare un MIG con una dimensione target specificata, utilizza il comando instance-groups managed create.

Crea un MIG a livello di zona o di regione come segue:

  • Per creare un MIG a livello di zona, utilizza il seguente comando: 
    gcloud compute instance-groups managed create MIG_NAME \
  --template=INSTANCE_TEMPLATE_URL \
  --size=TARGET_SIZE \
  --workload-policy=WORKLOAD_POLICY_URL \
  --zone=ZONE
  • Per creare un MIG a livello di regione, utilizza il seguente comando: 
    gcloud compute instance-groups managed create MIG_NAME \
    --template=INSTANCE_TEMPLATE_URL \
    --size=TARGET_SIZE \
    --workload-policy=WORKLOAD_POLICY_URL \
    --region=REGION
Sostituisci quanto segue:
  • MIG_NAME: il nome del MIG.
  • INSTANCE_TEMPLATE_URL: l'URL del template di istanza che vuoi utilizzare per creare istanze nel MIG. L'URL può contenere l'ID o il nome del template di istanza. Specifica uno dei seguenti valori:
    • Per un template di istanza regionale: projects/PROJECT_ID/regions/REGION/instanceTemplates/INSTANCE_TEMPLATE_ID
    • Per un template di istanza globale: INSTANCE_TEMPLATE_ID
  • TARGET_SIZE: il numero di istanze che vuoi nel MIG. Per la topologia dell'acceleratore 1x72, imposta la dimensione target su 18.
  • WORKLOAD_POLICY_URL: l'URL della policy del workload, ad esempio projects/example-project/regions/us-central1/resourcePolicies/example-workload-policy.
  • ZONE: la zona in cui vuoi creare il MIG. Specifica una zona all'interno della regione della policy del workload.
  • REGION: la regione in cui vuoi creare il MIG. Specifica la stessa regione della policy del workload. Per un MIG a livello di regione, anziché una regione, puoi specificare le zone in quella regione utilizzando il flag --zones.

REST

Per creare un MIG con una dimensione target specificata, invia una richiesta POST.

Crea un MIG a livello di zona o di regione come segue:

  • Per creare un MIG a livello di zona, invia una richiesta POST al metodo instanceGroupManagers.insert. 
    POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instanceGroupManagers
{
  "versions": [
    {
      "instanceTemplate": "INSTANCE_TEMPLATE_URL"
    }
  ],
  "name": "MIG_NAME",
  "targetSize": TARGET_SIZE,
  "resourcePolicies": {
    "workloadPolicy": "WORKLOAD_POLICY_URL"
  }
}
  • Per creare un MIG a livello di regione, invia una richiesta POST al metodo regionInstanceGroupManagers.insert. 
      POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/instanceGroupManagers
  {
    "name": "MIG_NAME",
    "instanceTemplate": "INSTANCE_TEMPLATE_URL",
    "targetSize": TARGET_SIZE,
    "resourcePolicies": {
      "workloadPolicy": "WORKLOAD_POLICY_URL"
    }
  }
Sostituisci quanto segue:
  • PROJECT_ID: l'ID progetto
  • ZONE: la zona in cui vuoi creare il MIG. Specifica una zona all'interno della regione della policy del workload.
  • REGION: la regione in cui vuoi creare il MIG. Specifica la stessa regione della policy del workload.
  • INSTANCE_TEMPLATE_URL: l'URL del template di istanza che vuoi utilizzare per creare istanze nel MIG. L'URL può contenere l'ID o il nome del template di istanza. Specifica uno dei seguenti valori:
    • Per un template di istanza regionale: projects/PROJECT_ID/regions/REGION/instanceTemplates/INSTANCE_TEMPLATE_ID
    • Per un template di istanza globale: INSTANCE_TEMPLATE_ID
  • MIG_NAME: il nome del MIG.
  • TARGET_SIZE: il numero di istanze che vuoi nel MIG. Per la topologia dell'acceleratore 1x72, imposta la dimensione target su 18.
  • WORKLOAD_POLICY_URL: l'URL della policy del workload, ad esempio projects/example-project/regions/us-central1/resourcePolicies/example-workload-policy.

Installa i driver della GPU

Dopo aver creato un'istanza, questa non può utilizzare le GPU a meno che non siano già installati i driver GPU corretti. Se non hai specificato un'immagine sistema operativo che include i driver GPU, consulta Installa i driver GPU nella documentazione di Compute Engine.

(Facoltativo) Attiva la modalità GPU multi-istanza NVIDIA

La modalità GPU multi-istanza (MIG) è una funzionalità che puoi attivare per una GPU NVIDIA supportata. Dopo aver creato un'istanza, puoi attivare la modalità MIG su una singola GPU collegata alla tua macchina. Con la modalità MIG attivata, la singola GPU viene partizionata in un massimo di sette istanze GPU indipendenti. Ogni istanza viene eseguita contemporaneamente, ognuna con la propria memoria, cache e i propri multiprocessori streaming. Puoi quindi eseguire diversi workload su queste istanze GPU in parallelo. Per saperne di più sull'utilizzo della modalità MIG, consulta la guida dell'utente per le GPU multi-istanza (MIG) nella documentazione di NVIDIA.

Passaggi successivi