Crea un MIG A4X Max ottimizzato per l'AI

Questo documento descrive come creare un gruppo di istanze gestite (MIG) che utilizza tipi di macchine A4X Max ottimizzate per l'acceleratore. Per scoprire le opzioni di creazione di istanze di computing e cluster, consulta la pagina Panoramica delle opzioni di deployment.

Tipo di istanza A4X Max

Un'istanza Compute Engine, o istanza di computing, è una risorsa di computing ospitata sull'infrastruttura di Google che può essere una macchina virtuale (VM) o un'istanza bare metal. Le istanze A4X Max sono disponibili come istanze bare metal, che differiscono dalle istanze VM in quanto forniscono un accesso diretto e non virtualizzato all'hardware fisico sottostante. Per saperne di più sul tipo di macchina A4X Max, consulta Serie A4X Max nella documentazione di Compute Engine.

Crea un MIG se vuoi gestire più istanze A4X Max come singola entità. Per saperne di più sui MIG, consulta Gruppi di istanze gestite nella documentazione di Compute Engine.

Limitazioni

Quando utilizzi i tipi di macchine A4X Max per creare un MIG, si applicano le seguenti limitazioni:

  • Devi utilizzare il modello di provisioning con prenotazione. Altri modelli di provisioning non sono supportati.

  • Non puoi utilizzare una richiesta di ridimensionamento per aggiungere istanze A4X Max al MIG. Devi impostare le dimensioni target del MIG per aggiungere le istanze.

Prima di iniziare

Prima di creare un MIG, se non l'hai ancora fatto, completa i seguenti passaggi:

  1. Scegli un'opzione di consumo: la scelta dell'opzione di consumo determina il modo in cui ottieni e utilizzi le risorse GPU. Per saperne di più, consulta Scegli un'opzione di consumo.
  2. Ottenere capacità: il processo per ottenere capacità varia in base a ciascuna opzione di consumo. Per scoprire la procedura per ottenere la capacità per l'opzione di consumo scelta, consulta la panoramica della capacità.
  3. Verifica le autorizzazioni di Google APIs Service Agent: quando crei VM in un MIG, Compute Engine utilizza Google APIs Service Agent (PROJECT_NUMBER@cloudservices.) nel tuo progetto. Se il template di istanza utilizza risorse di un altro progetto, verifica che questo agente di servizio disponga delle autorizzazioni richieste:

Ruoli obbligatori

Per ottenere le autorizzazioni necessarie per creare un MIG, chiedi all'amministratore di concederti il ruolo IAM Compute Instance Admin (v1) (roles/compute.instanceAdmin.v1) sul progetto. Per saperne di più sulla concessione dei ruoli, consulta Gestisci l'accesso a progetti, cartelle e organizzazioni.

Questo ruolo predefinito contiene le autorizzazioni necessarie per creare un MIG. Per vedere quali sono esattamente le autorizzazioni richieste, espandi la sezione Autorizzazioni obbligatorie:

Autorizzazioni obbligatorie

Per creare un MIG sono necessarie le seguenti autorizzazioni:

  • Per creare un MIG: compute.instanceGroupManagers.create sul progetto

Potresti anche ottenere queste autorizzazioni con ruoli personalizzati o altri ruoli predefiniti.

Nozioni di base di A4X Max

Un cluster A4X Max è organizzato in una gerarchia di blocchi e sottoblocchi per facilitare le prestazioni di rete non bloccanti su larga scala. Comprendere questa topologia è fondamentale per prenotare la capacità ed eseguire il deployment dei workload.

Istanza A4X Max
Un'istanza A4X Max è un singolo tipo di macchina A4X Max con 4 GPU collegate.
Blocco secondario
Un blocco secondario è l'unità fondamentale della capacità massima di A4X. Per A4X Max, un blocco secondario è composto da 18 istanze A4X Max (72 GPU). Queste istanze formano un dominio NVLink e sono connesse utilizzando un sistema NVLink multinodo. Puoi creare un blocco secondario A4X Max applicando una policy del workload che specifica una topologia 1x72.
Blocca
Un blocco A4X Max è composto da 25 sottoblocchi (domini NVLink), per un totale di 450 istanze A4X Max (1800 GPU). I blocchi secondari sono con allineamento ai rail per una scalabilità efficiente. Ogni blocco secondario richiede un MIG. Pertanto, per un singolo blocco A4X Max, puoi creare 25 MIG.

La tabella seguente mostra le opzioni di topologia supportate per le istanze A4X Max:

Topologia (acceleratorTopology) Numero di GPU Numero di istanze
1x72 72 18

Panoramica

La creazione di un MIG con il tipo di macchina A4X Max prevede i seguenti passaggi:

  1. Crea reti VPC
  2. Crea una policy del workload
  3. Crea un template di istanza
  4. Crea un MIG
  5. Installa i driver della GPU

Crea reti VPC

Per configurare la rete per i tipi di macchine A4X Max, crea tre reti VPC per le seguenti interfacce di rete:

  • 2 reti VPC normali per le interfacce di rete (NIC) IDPF. Le NIC utilizzano poi queste reti VPC per la comunicazione da host a host.
  • 1 rete VPC con il profilo di rete RoCE Metal per le NIC CX-8 quando crei più blocchi secondari A4X Max. Una rete VPC RoCE per le istanze bare metal crea automaticamente una singola subnet denominata default-subnet-1-RDMA_NAME_PREFIX-net per tutte e otto le NIC CX-8. Queste NIC utilizzano RDMA over Converged Ethernet (RoCE), fornendo la comunicazione ad alta larghezza di banda e bassa latenza essenziale per fare lo scale out su più blocchi secondari A4X Max.

Per ulteriori informazioni sulla disposizione delle NIC, consulta Controlla la larghezza di banda della rete e la disposizione delle NIC.

Crea le reti manualmente seguendo le guide di istruzioni o automaticamente utilizzando lo script fornito.

Guide di istruzioni

Per creare le reti, puoi seguire queste istruzioni:

Per queste reti VPC, imposta l'unità massima di trasmissione (MTU) su un valore maggiore. Per i tipi di macchine A4X Max, l'MTU consigliata è 8896 byte. Per esaminare le impostazioni MTU consigliate per altri tipi di macchine GPU, consulta Impostazioni MTU per i tipi di macchine GPU.

Script

Per creare le reti, segui questi passaggi.

Per queste reti VPC, imposta l'unità massima di trasmissione (MTU) su un valore maggiore. Per i tipi di macchine A4X Max, l'MTU consigliata è 8896 byte. Per esaminare le impostazioni MTU consigliate per altri tipi di macchine GPU, consulta Impostazioni MTU per i tipi di macchine GPU.

  1. Utilizza il seguente script per creare reti VPC regolari per le NIC IDPF. 

    

    #!/bin/bash

    # Create regular VPC network for the IDPF NICs
    gcloud compute networks create IDPF_NETWORK_PREFIX-net \
        --subnet-mode=custom \
        --mtu=8896 \
        --enable-ula-internal-ipv6

    # Create subnets for the IDPF NICs
    for N in $(seq 0 1); do
      gcloud compute networks subnets create IDPF_NETWORK_PREFIX-$N \
        --network=IDPF_NETWORK_PREFIX-net \
        --region=REGION \
        --stack-type=IPV6_ONLY \
        --ipv6-access-type=INTERNAL
    done

    gcloud compute firewall-rules create IDPF_NETWORK_PREFIX-internal \
      --network=IDPF_NETWORK_PREFIX-net \
        --action=ALLOW \
        --rules=tcp:0-65535,udp:0-65535,58 \
        --source-ranges=IP_RANGE

  2. Se hai bisogno di più blocchi secondari A4X Max, utilizza il seguente script per creare la rete VPC RoCE per le istanze bare metal (roce-metal) e utilizza la subnet creata automaticamente per le otto NIC CX-8 su ogni istanza A4X Max. 

    

    #!/bin/bash

    # List and make sure network profiles exist in the machine type's zone
    gcloud compute network-profiles list --filter "location.name=ZONE"

    # Create RoCE VPC network for bare metal instances (roce-metal)
    gcloud compute networks create RDMA_NAME_PREFIX-net \
      --network-profile=ZONE-vpc-roce-metal \
      --subnet-mode custom \
      --mtu=8896

    # For RoCE VPC networks for bare metal instances, a single subnet named
    # default-subnet-1-RDMA_NAME_PREFIX-net is automatically provided.
    # For more details, see https://cloud.google.com/vpc/docs/rdma-network-profiles.

    3. Sostituisci quanto segue:

    • IDPF_NETWORK_PREFIX: il prefisso del nome personalizzato da utilizzare per le reti VPC e le subnet normali per le NIC IDPF.
    • RDMA_NAME_PREFIX: il prefisso del nome personalizzato da utilizzare per la rete VPC RoCE per le istanze bare metal (roce-metal) per le NIC CX-8.
    • ZONE: specifica una zona in cui è disponibile il tipo di macchina che vuoi utilizzare, ad esempio us-central1-a. Per informazioni sulle regioni, consulta Disponibilità delle GPU per regioni e zone.
    • REGION: la regione in cui vuoi creare le subnet. Questa regione deve corrispondere alla zona specificata. Ad esempio, se la zona è us-central1-a, la regione è us-central1.
    • IP_RANGE: l'intervallo IP da utilizzare per le regole firewall SSH.
  3. (Facoltativo) Per verificare che le risorse della rete VPC siano state create correttamente, controlla le impostazioni della rete nella console Google Cloud :
    1. Nella console Google Cloud , vai alla pagina Reti VPC.

      Vai a Reti VPC

    2. Cerca nell'elenco le reti che hai creato nel passaggio precedente.
    3. Per visualizzare le subnet, le regole firewall e altre impostazioni di rete, fai clic sul nome della rete.

Crea una policy del workload

Se vuoi creare una singola istanza A4X Max nel MIG per i test, salta questo passaggio. In caso contrario, devi creare una policy del workload per creare un MIG con istanze A4X Max.

Per creare una policy dei workload, seleziona una delle seguenti opzioni:

gcloud

Per creare una policy del workload, utilizza il comando gcloud compute resource-policies create workload-policy.

Per la configurazione di rete tra acceleratori, specifica il flag --accelerator-topology nel comando.

Utilizza il seguente comando per il tipo di macchina A4X Max. La topologia dell'acceleratore di 1x72 indica che 72 GPU sono connesse tramite un NVLink all'interno di un blocco.

gcloud compute resource-policies create workload-policy WORKLOAD_POLICY_NAME \
    --type=high-throughput \
    --accelerator-topology=1x72 \
    --region=REGION

Sostituisci quanto segue:

  • WORKLOAD_POLICY_NAME: il nome della policy del workload.
  • REGION: la regione in cui vuoi creare la policy del workload. Specifica una regione in cui vuoi creare il MIG e in cui è disponibile il tipo di macchina che vuoi utilizzare. Per informazioni sulle regioni, consulta Disponibilità delle GPU per regioni e zone.

REST

Per creare una policy del workload, invia una richiesta POST al metodo resourcePolicies.insert.

Per la configurazione di rete tra acceleratori, specifica il campo acceleratorTopology nella richiesta.

Effettua la seguente richiesta per il tipo di macchina A4X Max. La topologia dell'acceleratore 1x72 indica che 72 GPU sono connesse tramite un NVLink all'interno di un blocco.

POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/resourcePolicies
  {
    "name": "WORKLOAD_POLICY_NAME"
    "workloadPolicy": {
      "type": "HIGH_THROUGHPUT",
      "acceleratorTopology": "1x72"
    }
  }

Sostituisci quanto segue:

  • PROJECT_ID: il tuo ID progetto
  • REGION: la regione in cui vuoi creare la policy del workload. Specifica una regione in cui vuoi creare il MIG e in cui è disponibile il tipo di macchina che vuoi utilizzare. Per informazioni sulle regioni, consulta Disponibilità delle GPU per regioni e zone.
  • WORKLOAD_POLICY_NAME: il nome della policy del workload.

Crea un template di istanza

Specifica le proprietà delle istanze per un MIG creando un template di istanza.

Per creare un template di istanza, seleziona una delle seguenti opzioni.

I seguenti comandi impostano anche l'ambito di accesso per le tue istanze. Per semplificare la gestione delle autorizzazioni, Google consiglia di impostare l'ambito di accesso su un'istanza per l'accesso cloud-platform e quindi di utilizzare i ruoli IAM per definire i servizi a cui l'istanza può accedere. Per saperne di più, consulta le best practice per gli ambiti.

gcloud

Per creare un template di istanza regionale, utilizza il comando gcloud compute instance-templates create.

Le istanze A4X Max supportano i seguenti tipi di prenotazioni:

  • Prenotazioni future per blocchi di capacità
  • Prenotazioni future in modalità calendario

Per utilizzare questi tipi di prenotazioni, un'istanza deve utilizzare il modello di provisioning con prenotazione. Ad esempio, utilizza i seguenti parametri di creazione.

gcloud compute instance-templates create INSTANCE_TEMPLATE_NAME \
    --machine-type=a4x-maxgpu-4g-metal \
    --image-family=IMAGE_FAMILY \
    --image-project=IMAGE_PROJECT \
    --instance-template-region=REGION \
    --boot-disk-type=hyperdisk-balanced \
    --boot-disk-size=DISK_SIZE \
    --scopes=cloud-platform \
    --network-interface=nic-type=IDPF,network=IDPF_NETWORK_PREFIX-net,stack-type=IPV6_ONLY,subnet=IDPF_NETWORK_PREFIX-sub-0 \
    --network-interface=nic-type=IDPF,network=IDPF_NETWORK_PREFIX-net,stack-type=IPV6_ONLY,subnet=IDPF_NETWORK_PREFIX-sub-1,no-address \
    --network-interface=subnet=default-subnet-1-RDMA_NAME_PREFIX-net,stack-type=IPV6_ONLY,nic-type=mrdma \
    --network-interface=subnet=default-subnet-1-RDMA_NAME_PREFIX-net,stack-type=IPV6_ONLY,nic-type=mrdma \
    --network-interface=subnet=default-subnet-1-RDMA_NAME_PREFIX-net,stack-type=IPV6_ONLY,nic-type=mrdma \
    --network-interface=subnet=default-subnet-1-RDMA_NAME_PREFIX-net,stack-type=IPV6_ONLY,nic-type=mrdma \
    --network-interface=subnet=default-subnet-1-RDMA_NAME_PREFIX-net,stack-type=IPV6_ONLY,nic-type=mrdma \
    --network-interface=subnet=default-subnet-1-RDMA_NAME_PREFIX-net,stack-type=IPV6_ONLY,nic-type=mrdma \
    --network-interface=subnet=default-subnet-1-RDMA_NAME_PREFIX-net,stack-type=IPV6_ONLY,nic-type=mrdma \
    --network-interface=subnet=default-subnet-1-RDMA_NAME_PREFIX-net,stack-type=IPV6_ONLY,nic-type=mrdma \
    --reservation-affinity=specific \
    --reservation=RESERVATION \
    --provisioning-model=RESERVATION_BOUND \
    --instance-termination-action=DELETE \
    --maintenance-policy=TERMINATE \
    --restart-on-failure

Sostituisci quanto segue:

  • INSTANCE_TEMPLATE_NAME: il nome del template di istanza.
  • IMAGE_FAMILY: la famiglia di immagini sistema operativo che vuoi utilizzare. Per un elenco di tutti i sistemi operativi supportati, consulta Sistemi operativi supportati.
  • IMAGE_PROJECT: l'ID progetto dell'immagine sistema operativo.
  • REGION: la regione in cui vuoi creare il template di istanza. Specifica una regione in cui è disponibile il tipo di macchina che vuoi utilizzare. Per informazioni sulle regioni, consulta Disponibilità delle GPU per regioni e zone.
  • DISK_SIZE: le dimensioni del disco di avvio in GB. Per ulteriori informazioni, consulta i limiti di dimensioni di Google Cloud Hyperdisk o i limiti di dimensioni di Persistent Disk in base al tipo di disco.
  • IDPF_NETWORK_PREFIX: il prefisso del nome che hai specificato durante la creazione delle reti VPC e delle subnet che utilizzano le NIC IDPF.
  • RDMA_NAME_PREFIX: il prefisso del nome specificato durante la creazione delle reti VPC e delle subnet che utilizzano le NIC RDMA.
  • RESERVATION: il nome della prenotazione, un blocco o un sottoblocco all'interno di una prenotazione. Per ottenere il nome della prenotazione o i blocchi disponibili, consulta Visualizza la capacità prenotata. In base ai tuoi requisiti per il posizionamento delle istanze, scegli una delle seguenti opzioni:
    • Per creare istanze A4X Max su un singolo blocco: 
          projects/RESERVATION_OWNER_PROJECT_ID/reservations/RESERVATION_NAME
    • Per creare istanze A4X Max su un blocco specifico: 
          projects/RESERVATION_OWNER_PROJECT_ID/reservations/RESERVATION_NAME/reservationBlocks/RESERVATION_BLOCK_NAME
    • Per creare istanze A4X Max in un blocco secondario specifico: 
          projects/RESERVATION_OWNER_PROJECT_ID/reservations/RESERVATION_NAME/reservationBlocks/RESERVATION_BLOCK_NAME/reservationSubBlocks/RESERVATION_SUBBLOCK_NAME

REST

Per creare un template di istanza regionale, effettua una richiesta POST al metodo regionInstanceTemplates.insert.

Le istanze A4X Max supportano i seguenti tipi di prenotazioni:

  • Prenotazioni future per blocchi di capacità
  • Prenotazioni future in modalità calendario

Per utilizzare questi tipi di prenotazioni, un'istanza deve utilizzare il modello di provisioning con prenotazione. Ad esempio, utilizza i seguenti parametri di creazione.

POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/instanceTemplates
{
  "name": "INSTANCE_TEMPLATE_NAME",
  "properties": {
    "machineType": "a4x-maxgpu-4g-metal",
    "disks": [
      {
        "boot": true,
        "initializeParams": {
          "diskSizeGb": "DISK_SIZE",
          "diskType": "hyperdisk-balanced",
          "sourceImage": "projects/IMAGE_PROJECT/global/images/family/IMAGE_FAMILY"
        },
        "mode": "READ_WRITE",
        "type": "PERSISTENT"
      }
    ],
    "serviceAccounts": [
      {
        "email": "default",
        "scopes": [
          "https://www.googleapis.com/auth/cloud-platform"
        ]
      }
    ],
    "networkInterfaces": [
    {
      "accessConfigs": [
        {
          "name": "external-nat",
          "type": "ONE_TO_ONE_NAT"
        }
      ],
      "network": "projects/NETWORK_PROJECT_ID/global/networks/IDPF_NETWORK_PREFIX-net",
      "nicType": "IDPF",
      "stackType": "IPV6_ONLY",
      "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/IDPF_NETWORK_PREFIX-sub-0"
    },
    {
      "network": "projects/NETWORK_PROJECT_ID/global/networks/IDPF_NETWORK_PREFIX-net",
      "nicType": "IDPF",
      "stackType": "IPV6_ONLY",
      "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/IDPF_NETWORK_PREFIX-sub-1"
    },
    {
      "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/default-subnet-1-RDMA_NAME_PREFIX-net",
      "nicType": "MRDMA",
      "stackType": "IPV6_ONLY"
    },
    {
      "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/default-subnet-1-RDMA_NAME_PREFIX-net",
      "nicType": "MRDMA",
      "stackType": "IPV6_ONLY"
    },
    {
      "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/default-subnet-1-RDMA_NAME_PREFIX-net",
      "nicType": "MRDMA",
      "stackType": "IPV6_ONLY"
    },
    {
      "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/default-subnet-1-RDMA_NAME_PREFIX-net",
      "nicType": "MRDMA",
      "stackType": "IPV6_ONLY"
    },
    {
      "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/default-subnet-1-RDMA_NAME_PREFIX-net",
      "nicType": "MRDMA",
      "stackType": "IPV6_ONLY"
    },
    {
      "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/default-subnet-1-RDMA_NAME_PREFIX-net",
      "nicType": "MRDMA",
      "stackType": "IPV6_ONLY"
    },
    {
      "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/default-subnet-1-RDMA_NAME_PREFIX-net",
      "nicType": "MRDMA",
      "stackType": "IPV6_ONLY"
    },
    {
      "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/default-subnet-1-RDMA_NAME_PREFIX-net",
      "nicType": "MRDMA",
      "stackType": "IPV6_ONLY"
    }
  ],
    "reservationAffinity": {
        "consumeReservationType": "SPECIFIC_RESERVATION",
        "key": "compute.googleapis.com/reservation-name",
        "values": [
          "RESERVATION"
        ]
      },
    "scheduling": {
        "provisioningModel": "RESERVATION_BOUND",
        "instanceTerminationAction": "DELETE",
        "onHostMaintenance": "TERMINATE",
        "automaticRestart": true
      }
  }
}

Sostituisci quanto segue:

  • INSTANCE_TEMPLATE_NAME: il nome del template di istanza.
  • IMAGE_FAMILY: la famiglia di immagini sistema operativo che vuoi utilizzare. Per un elenco di tutti i sistemi operativi supportati, consulta Sistemi operativi supportati.
  • IMAGE_PROJECT: l'ID progetto dell'immagine sistema operativo.
  • REGION: la regione in cui vuoi creare il template di istanza. Specifica una regione in cui è disponibile il tipo di macchina che vuoi utilizzare. Per informazioni sulle regioni, consulta Disponibilità delle GPU per regioni e zone.
  • DISK_SIZE: le dimensioni del disco di avvio in GB. Per ulteriori informazioni, consulta i limiti di dimensioni di Google Cloud Hyperdisk o i limiti di dimensioni di Persistent Disk in base al tipo di disco.
  • NETWORK_PROJECT_ID: l'ID progetto della rete.
  • IDPF_NETWORK_PREFIX: il prefisso del nome specificato durante la creazione delle reti VPC e delle subnet che utilizzano le NIC IDPF.
  • REGION: la regione della subnet.
  • RDMA_NAME_PREFIX: il prefisso del nome specificato durante la creazione delle reti VPC e delle subnet che utilizzano le NIC RDMA.
  • RESERVATION: il nome della prenotazione, un blocco o un sottoblocco all'interno di una prenotazione. Per ottenere il nome della prenotazione o i blocchi disponibili, consulta Visualizza la capacità prenotata. In base ai tuoi requisiti per il posizionamento delle istanze, scegli una delle seguenti opzioni:
    • Per creare istanze A4X Max su un singolo blocco: 
          projects/RESERVATION_OWNER_PROJECT_ID/reservations/RESERVATION_NAME
    • Per creare istanze A4X Max su un blocco specifico: 
          projects/RESERVATION_OWNER_PROJECT_ID/reservations/RESERVATION_NAME/reservationBlocks/RESERVATION_BLOCK_NAME
    • Per creare istanze A4X Max in un blocco secondario specifico: 
          projects/RESERVATION_OWNER_PROJECT_ID/reservations/RESERVATION_NAME/reservationBlocks/RESERVATION_BLOCK_NAME/reservationSubBlocks/RESERVATION_SUBBLOCK_NAME

Crea un MIG

Quando crei un MIG utilizzando il tipo di macchina A4X Max, specifica il numero di istanze utilizzando le dimensioni target del MIG. Durante la creazione del MIG, puoi impostare le dimensioni target sul numero di istanze richieste o iniziare con zero e aumentarle in un secondo momento. Tieni presente che non puoi utilizzare le richieste di ridimensionamento per aggiungere istanze a un MIG A4X Max.

Per ottenere una topologia GPU di 1x72, crea un MIG con 18 istanze A4X Max. Quando crei il MIG, applica la policy di workload che specifica il campo acceleratorTopology. L'applicazione della policy garantisce che Compute Engine crei tutte le 18 istanze A4X Max in un unico blocco secondario per utilizzare un dominio NVLink. Se un blocco secondario non ha capacità per tutte le 18 istanze, qualsiasi istanza gestita che non può essere creata immediatamente rimarrà nello stato CREATING finché non sarà disponibile la capacità. Queste istanze gestite rappresentano le istanze di computing create dal MIG quando la capacità è disponibile.

Quando applichi una policy del workload con il campo acceleratorTopology impostato su 1x72, non puoi creare più di 18 istanze A4X Max in un MIG. Se specifichi più di 18 istanze, la creazione del MIG non va a buon fine. Per creare più domini NVLink, crea un MIG separato per ogni dominio e applica la stessa policy del workload a ogni MIG.

Per creare un MIG, seleziona una delle seguenti opzioni:

gcloud

Per creare un MIG con una dimensione target specificata, utilizza il comando instance-groups managed create.

Crea un MIG a livello di zona o di regione come segue:

  • Per creare un MIG a livello di zona, utilizza il seguente comando: 
    gcloud compute instance-groups managed create MIG_NAME \
  --template=INSTANCE_TEMPLATE_URL \
  --size=TARGET_SIZE \
  --workload-policy=WORKLOAD_POLICY_URL \
  --zone=ZONE
  • Per creare un MIG a livello di regione, utilizza il seguente comando: 
    gcloud compute instance-groups managed create MIG_NAME \
    --template=INSTANCE_TEMPLATE_URL \
    --size=TARGET_SIZE \
    --workload-policy=WORKLOAD_POLICY_URL \
    --region=REGION
Sostituisci quanto segue:
  • MIG_NAME: il nome del MIG.
  • INSTANCE_TEMPLATE_URL: l'URL del template di istanza che vuoi utilizzare per creare istanze nel MIG. L'URL può contenere l'ID o il nome del template di istanza. Specifica uno dei seguenti valori:
    • Per un template di istanza regionale: projects/PROJECT_ID/regions/REGION/instanceTemplates/INSTANCE_TEMPLATE_ID
    • Per un template di istanza globale: INSTANCE_TEMPLATE_ID
  • TARGET_SIZE: il numero di istanze che vuoi nel MIG. Per la topologia dell'acceleratore 1x72, imposta la dimensione target su 18.
  • WORKLOAD_POLICY_URL: l'URL della policy del workload, ad esempio projects/example-project/regions/us-central1/resourcePolicies/example-workload-policy.
  • ZONE: la zona in cui vuoi creare il MIG. Specifica una zona all'interno della regione della policy del workload.
  • REGION: la regione in cui vuoi creare il MIG. Specifica la stessa regione della policy del workload. Per un MIG a livello di regione, anziché una regione, puoi specificare le zone in quella regione utilizzando il flag --zones.

REST

Per creare un MIG con una dimensione target specificata, invia una richiesta POST.

Crea un MIG a livello di zona o di regione come segue:

  • Per creare un MIG a livello di zona, invia una richiesta POST al metodo instanceGroupManagers.insert. 
    POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instanceGroupManagers
{
  "versions": [
    {
      "instanceTemplate": "INSTANCE_TEMPLATE_URL"
    }
  ],
  "name": "MIG_NAME",
  "targetSize": TARGET_SIZE,
  "resourcePolicies": {
    "workloadPolicy": "WORKLOAD_POLICY_URL"
  }
}
  • Per creare un MIG a livello di regione, invia una richiesta POST al metodo regionInstanceGroupManagers.insert. 
      POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/instanceGroupManagers
  {
    "name": "MIG_NAME",
    "instanceTemplate": "INSTANCE_TEMPLATE_URL",
    "targetSize": TARGET_SIZE,
    "resourcePolicies": {
      "workloadPolicy": "WORKLOAD_POLICY_URL"
    }
  }
Sostituisci quanto segue:
  • PROJECT_ID: l'ID progetto
  • ZONE: la zona in cui vuoi creare il MIG. Specifica una zona all'interno della regione della policy del workload.
  • REGION: la regione in cui vuoi creare il MIG. Specifica la stessa regione della policy del workload.
  • INSTANCE_TEMPLATE_URL: l'URL del template di istanza che vuoi utilizzare per creare istanze nel MIG. L'URL può contenere l'ID o il nome del template di istanza. Specifica uno dei seguenti valori:
    • Per un template di istanza regionale: projects/PROJECT_ID/regions/REGION/instanceTemplates/INSTANCE_TEMPLATE_ID
    • Per un template di istanza globale: INSTANCE_TEMPLATE_ID
  • MIG_NAME: il nome del MIG.
  • TARGET_SIZE: il numero di istanze che vuoi nel MIG. Per la topologia dell'acceleratore 1x72, imposta la dimensione target su 18.
  • WORKLOAD_POLICY_URL: l'URL della policy del workload, ad esempio projects/example-project/regions/us-central1/resourcePolicies/example-workload-policy.

Installa i driver della GPU

Dopo aver creato un'istanza, questa non può utilizzare le GPU a meno che non siano già installati i driver GPU corretti. Se non hai specificato un'immagine sistema operativo che include i driver GPU, consulta Installa i driver GPU nella documentazione di Compute Engine.

Passaggi successivi