KI-optimierte A4X-VMs im Bulk erstellen

In diesem Dokument wird beschrieben, wie Sie VM-Instanzen mit A4X-Maschinentypen im Bulk erstellen. Weitere Informationen zu diesem beschleunigungsoptimierten Maschinentyp finden Sie unter A4X.

Weitere Informationen zu anderen Möglichkeiten, VMs oder Cluster zu erstellen, finden Sie unter Übersicht über Bereitstellungsoptionen.

Beschränkungen

Wenn Sie A4X-VMs im Bulk erstellen, gelten die folgenden Einschränkungen:

Lesen Sie auch die Einschränkungen für Platzierungsrichtlinien.

Hinweis

Führen Sie vor dem Erstellen von VMs im Bulk die folgenden Schritte aus, falls Sie dies noch nicht getan haben:

  1. Nutzungsoption auswählen: Die gewählte Nutzungsoption bestimmt, wie Sie GPU-Ressourcen erhalten und verwenden. Weitere Informationen finden Sie unter Nutzungsoption auswählen.
  2. Kapazität erhalten: Der Prozess zum Erhalten von Kapazität unterscheidet sich je nach Verbrauchsoption. Informationen zum Erhalten von Kapazität für die von Ihnen gewählte Verbrauchsoption finden Sie unter Kapazität – Übersicht.

Wählen Sie den Tab für die gewünschte Verwendung der Beispiele auf dieser Seite aus:

Console

Wenn Sie über die Google Cloud Console auf Dienste und APIs von Google Cloud zugreifen, müssen Sie die Authentifizierung nicht einrichten.

gcloud

Installieren Sie die Google Cloud CLI und melden Sie sich dann mit Ihrer föderierten Identität in der gcloud CLI an. Nach der Anmeldung initialisieren Sie die Google Cloud CLI mit dem folgenden Befehl:

gcloud init

REST

Wenn Sie die REST API-Beispiele auf dieser Seite in einer lokalen Entwicklungsumgebung verwenden möchten, verwenden Sie die Anmeldedaten, die Sie der gcloud CLI bereitstellen.

    Installieren Sie die Google Cloud CLI und melden Sie sich dann mit Ihrer föderierten Identität in der gcloud CLI an.

Weitere Informationen finden Sie in der Dokumentation zur Google Cloud -Authentifizierung unter Für die Verwendung von REST authentifizieren.

Erforderliche Rollen

Um die erforderlichen Berechtigungen zum Erstellen mehrerer VMs zu erhalten, bitten Sie Ihren Administrator, Ihnen die IAM-Rolle Compute Instance Admin (v1) (roles/compute.instanceAdmin.v1) für das Projekt zuzuweisen. Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Diese vordefinierte Rolle enthält die Berechtigungen, die zum Erstellen von VMs im Bulk erforderlich sind. Maximieren Sie den Abschnitt Erforderliche Berechtigungen, um die genau erforderlichen Berechtigungen anzuzeigen:

Erforderliche Berechtigungen

Die folgenden Berechtigungen sind erforderlich, um VMs im Bulk zu erstellen:

  • compute.instances.create für das Projekt
  • Zum Erstellen der VM mit einem benutzerdefinierten Image: compute.images.useReadOnly für das Image
  • Zum Erstellen der VM mit einem Snapshot: compute.snapshots.useReadOnly für den Snapshot
  • Zum Erstellen der VM mit einer Instanzvorlage: compute.instanceTemplates.useReadOnly für die Instanzvorlage
  • Zum Angeben eines Subnetzes für Ihre VM: compute.subnetworks.use für das Projekt oder für das ausgewählte Subnetz
  • Zum Festlegen einer statischen IP-Adresse für die VM: compute.addresses.use für das Projekt
  • Zum Zuweisen einer externen IP-Adresse zur VM, wenn Sie ein VPC-Netzwerk verwenden: compute.subnetworks.useExternalIp für das Projekt oder für das ausgewählte Subnetz
  • Zum Zuweisen eines Legacy-Netzwerks zur VM: compute.networks.use für das Projekt
  • Zum Zuweisen einer externen IP-Adresse zur VM, wenn Sie ein Legacy-Netzwerk verwenden: compute.networks.useExternalIp für das Projekt
  • Zum Festlegen von Metadaten der VM-Instanz für die VM: compute.instances.setMetadata für das Projekt
  • Zum Festlegen von Tags für die VM: compute.instances.setTags für die VM
  • Zum Festlegen von Labels für die VM: compute.instances.setLabels für die VM
  • Zum Festlegen eines Dienstkontos für die VM: compute.instances.setServiceAccount für die VM
  • Zum Erstellen eines neuen Laufwerks für die VM: compute.disks.create für das Projekt
  • Zum Anhängen eines vorhandenen Laufwerks im Lese- oder Lese-/Schreibmodus: compute.disks.use für das Laufwerk
  • Zum Anhängen eines vorhandenen Laufwerks im Lesemodus: compute.disks.useReadOnly für das Laufwerk

Sie können diese Berechtigungen auch mit benutzerdefinierten Rollen oder anderen vordefinierten Rollen erhalten.

A4X-Grundlagen

Ein A4X-Cluster ist in einer Hierarchie von Blöcken und Unterblöcken organisiert, um eine nicht blockierende Netzwerkleistung in großem Maßstab zu ermöglichen. Diese Topologie ist wichtig, wenn Sie Kapazität reservieren und Arbeitslasten bereitstellen.

A4X-Instanz
Eine A4X-Instanz ist ein einzelner A4X-Maschinentyp mit 4 angehängten GPUs.
Unterblock
Ein Unterblock ist die grundlegende Einheit der A4X-Kapazität. Bei A4X besteht ein Unterblock aus 18 A4X-Instanzen (72 GPUs). Diese Instanzen bilden eine NVLink-Domain und sind über ein Multi-Knoten-NVLink-System verbunden. Sie erstellen einen A4X-Unterblock, indem Sie eine Richtlinie für kompakte Platzierung anwenden, die eine 1x72-Topologie angibt.
Blockieren
Ein A4X-Block besteht aus 25 Unterblöcken (NVLink-Domains) mit insgesamt bis zu 450 A4X-Instanzen (1.800 GPUs). Die Subblöcke sind für eine effiziente Skalierung mit Rail-Architektur ausgerichtet. Für jeden Unterblock ist eine Richtlinie für kompakte Platzierung erforderlich. Daher können Sie für einen einzelnen A4X-Block 25 Richtlinien für kompakte Platzierung erstellen.

In der folgenden Tabelle sind die unterstützten Topologieoptionen für A4X-Instanzen aufgeführt:

Topologie (gpuTopology) Anzahl der GPUs Anzahl der Instanzen
1x72 72 18

Übersicht

Das Erstellen von Instanzen im Bulk mit dem A4X-Maschinentyp umfasst die folgenden Schritte:

  1. VPC-Netzwerke erstellen
  2. Richtlinie für kompakte Platzierung erstellen
  3. Instanzen im Bulk erstellen
  4. GPU-Treiber installieren
  5. Optional: NVIDIA-Multi-Instanz-GPU-Modus aktivieren

VPC-Netzwerke erstellen

Wenn Sie das Netzwerk für A4X-Maschinentypen einrichten möchten, erstellen Sie drei VPC-Netzwerke für die folgenden Netzwerkschnittstellen:

  • Zwei reguläre VPC-Netzwerke für die gVNIC-Netzwerkschnittstellen (NICs). Die NICs verwenden dann diese VPC-Netzwerke für die Host-zu-Host-Kommunikation.
  • Ein VPC-Netzwerk mit dem RoCE-Netzwerkprofil für die CX-7-NICs beim Erstellen mehrerer A4X-Subblöcke. Das RoCE-VPC-Netzwerk für VM-Instanzen muss vier Subnetze haben, ein Subnetz für jede CX-7-NIC. Diese NICs verwenden RDMA over Converged Ethernet (RoCE) und bieten die Kommunikation mit hoher Bandbreite und niedriger Latenz, die für die horizontale Skalierung auf mehrere A4X-Subblöcke erforderlich ist.

Weitere Informationen zur NIC-Anordnung finden Sie unter Netzwerkbandbreite und NIC-Anordnung prüfen.

Erstellen Sie die Netzwerke entweder manuell anhand der Anleitungen oder automatisch mit dem bereitgestellten Script.

Anleitungen

So erstellen Sie die Netzwerke:

Legen Sie für diese VPC-Netzwerke die maximale Übertragungseinheit (MTU) auf einen höheren Wert fest. Für A4X-Maschinentypen wird eine MTU von 8896 Byte empfohlen. Informationen zu den empfohlenen MTU-Einstellungen für andere GPU-Maschinentypen finden Sie unter MTU-Einstellungen für GPU-Maschinentypen.

Skript

So erstellen Sie die Netzwerke:

Legen Sie für diese VPC-Netzwerke die maximale Übertragungseinheit (MTU) auf einen höheren Wert fest. Für A4X-Maschinentypen wird eine MTU von 8896 Byte empfohlen. Informationen zu den empfohlenen MTU-Einstellungen für andere GPU-Maschinentypen finden Sie unter MTU-Einstellungen für GPU-Maschinentypen.

  1. Verwenden Sie das folgende Script, um reguläre VPC-Netzwerke für die gVNICs zu erstellen.

    
    
        #!/bin/bash
    
        # Create regular VPC networks and subnets for the gVNICs
        for N in $(seq 0 1); do
          gcloud compute networks create GVNIC_NAME_PREFIX-net-$N \
            --subnet-mode=custom \
            --mtu=8896
    
          gcloud compute networks subnets create GVNIC_NAME_PREFIX-sub-$N \
            --network=GVNIC_NAME_PREFIX-net-$N \
            --region=REGION \
            --range=192.168.$N.0/24
    
          gcloud compute firewall-rules create GVNIC_NAME_PREFIX-internal-$N \
            --network=GVNIC_NAME_PREFIX-net-$N \
            --action=ALLOW \
            --rules=tcp:0-65535,udp:0-65535,icmp \
            --source-ranges=192.168.0.0/16
        done
    
        # Create SSH firewall rules
        gcloud compute firewall-rules create GVNIC_NAME_PREFIX-ssh \
          --network=GVNIC_NAME_PREFIX-net-0 \
          --action=ALLOW \
          --rules=tcp:22 \
          --source-ranges=IP_RANGE
    
        # Assumes that an external IP is only created for vNIC 0
        gcloud compute firewall-rules create GVNIC_NAME_PREFIX-allow-ping-net-0 \
          --network=GVNIC_NAME_PREFIX-net-0 \
          --action=ALLOW \
          --rules=icmp \
          --source-ranges=IP_RANGE
    
    
          
  2. Wenn Sie mehrere A4X-Subblöcke benötigen, verwenden Sie das folgende Skript, um das RoCE-VPC-Netzwerk für VM-Instanzen (roce) und Subnetze für die vier CX-7-NICs auf jeder A4X-Instanz zu erstellen.

    
    
        #!/bin/bash
    
        # List and make sure network profiles exist in the machine type's zone
        gcloud compute network-profiles list --filter "location.name=ZONE"
    
        # Create network for RDMA NICs
        gcloud compute networks create RDMA_NAME_PREFIX-mrdma \
          --network-profile=ZONE-vpc-roce \
          --subnet-mode custom \
          --mtu=8896
    
        # Create subnets
        for N in $(seq 0 3); do
          gcloud compute networks subnets create RDMA_NAME_PREFIX-mrdma-sub-$N \
            --network=RDMA_NAME_PREFIX-mrdma \
            --region=REGION \
            --range=192.168.$((N+2)).0/24 # offset to avoid overlap with gVNICs
        done
    
    
          

    Ersetzen Sie Folgendes:

    • GVNIC_NAME_PREFIX: Das benutzerdefinierte Namenspräfix, das für die regulären VPC-Netzwerke und -Subnetze für die gVNICs verwendet werden soll.
    • RDMA_NAME_PREFIX: Das benutzerdefinierte Namenspräfix, das für das RoCE-VPC-Netzwerk für VM-Instanzen (roce) und Subnetze für die CX-7-NICs verwendet werden soll.
    • ZONE: Geben Sie eine Zone an, in der der gewünschte Maschinentyp verfügbar ist, z. B. us-central1-a. Informationen zu Regionen finden Sie unter GPU-Verfügbarkeit nach Regionen und Zonen.
    • REGION: Die Region, in der Sie die Subnetze erstellen möchten. Diese Region muss der angegebenen Zone entsprechen. Wenn Ihre Zone beispielsweise us-central1-a ist, lautet Ihre Region us-central1.
    • IP_RANGE: Der IP-Bereich, der für die SSH-Firewallregeln verwendet werden soll.
  3. Optional: Prüfen Sie in der Google Cloud -Konsole die Netzwerkeinstellungen, um festzustellen, ob die VPC-Netzwerkressourcen erfolgreich erstellt wurden:
    1. Rufen Sie in der Google Cloud Console die Seite VPC-Netzwerke auf.

      Zur Seite VPC-Netzwerke

    2. Suchen Sie in der Liste nach den Netzwerken, die Sie im vorherigen Schritt erstellt haben.
    3. Klicken Sie auf den Namen des Netzwerks, um die Subnetze, Firewallregeln und andere Netzwerkeinstellungen aufzurufen.

Richtlinie für kompakte Platzierung erstellen

Wählen Sie eine der folgenden Optionen aus, um eine Richtlinie für kompakte Platzierung zu erstellen:

gcloud

Verwenden Sie zum Erstellen einer Richtlinie für kompakte Platzierung den Befehl gcloud compute resource-policies create group-placement:

gcloud compute resource-policies create group-placement POLICY_NAME \
    --collocation=collocated \
    --gpu-topology=1x72 \
    --region=REGION

Ersetzen Sie Folgendes:

  • POLICY_NAME: der Name der Richtlinie für kompakte Platzierung.
  • REGION: Die Region, in der Sie die Richtlinie für kompakte Platzierung erstellen möchten. Geben Sie die Region an, die die Zone enthält, in der Sie Instanzen erstellen möchten, und prüfen Sie, ob der gewünschte Maschinentyp in dieser Region verfügbar ist. Informationen zu Regionen finden Sie unter GPU-Verfügbarkeit nach Regionen und Zonen.

REST

Um eine Richtlinie für kompakte Platzierung zu erstellen, senden Sie eine POST-Anfrage an die Methode resourcePolicies.insert.

POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/resourcePolicies
  {
    "name": "POLICY_NAME",
    "groupPlacementPolicy": {
      "collocation": "COLLOCATED",
      "gpuTopology": "1x72"
    }
  }

Ersetzen Sie Folgendes:

  • PROJECT_ID: Ihre Projekt-ID.
  • POLICY_NAME: der Name der Richtlinie für kompakte Platzierung.
  • REGION: Die Region, in der Sie die Richtlinie für kompakte Platzierung erstellen möchten. Geben Sie die Region an, die die Zone enthält, in der Sie Instanzen erstellen möchten, und prüfen Sie, ob der gewünschte Maschinentyp in dieser Region verfügbar ist. Informationen zu Regionen finden Sie unter GPU-Verfügbarkeit nach Regionen und Zonen.

A4X-Instanzen im Bulk erstellen

Wenn Sie eine GPU-Topologie von 1x72 erhalten möchten, erstellen Sie 18 A4X-Instanzen. Wenden Sie beim Erstellen der Instanzen die Richtlinie für kompakte Platzierung an, die das Feld gpuTopology angibt. Durch die Anwendung der Richtlinie wird sichergestellt, dass Compute Engine alle 18 A4X-Instanzen in einem Unterblock erstellt, um eine NVLink-Domain zu verwenden. Wenn ein Unterblock nicht genügend Kapazität für alle 18 A4X-Instanzen hat, schlägt die Bulk-Erstellung fehl und es werden keine Instanzen erstellt.

Wenn Ihre Arbeitslast mit weniger als 18 A4X-Instanzen ausgeführt werden kann, können Sie das Feld minCount auf die Mindestanzahl von Instanzen festlegen, die für Ihre Arbeitslast erforderlich sind. Wenn Sie die gesamte verfügbare Kapazität nutzen möchten, setzen Sie das Feld minCount auf 1.

Wählen Sie eine der folgenden Optionen aus, um mehrere A4X-Instanzen auf einmal zu erstellen.

Mit den folgenden Befehlen wird auch der Zugriffsbereich für Ihre Instanzen festgelegt. Um die Berechtigungsverwaltung zu vereinfachen, empfiehlt Google, den Zugriffsbereich einer Instanz auf cloud-platform-Zugriff festzulegen und dann mithilfe von IAM-Rollen zu definieren, auf welche Dienste die Instanz zugreifen kann. Weitere Informationen finden Sie unter Best Practices für Bereiche.

gcloud

Verwenden Sie den Befehl gcloud compute instances bulk create, um A4X-Instanzen im Bulk zu erstellen.

A4X-Instanzen unterstützen die folgenden Arten von Reservierungen:

  • Vorausschauende Reservierungen für Kapazitätsblöcke
  • Vorausschauende Reservierungen im Kalendermodus

Damit diese Arten von Reservierungen genutzt werden können, muss eine Instanz das reservierungsgebundene Bereitstellungsmodell verwenden. Verwenden Sie beispielsweise die folgenden Erstellungsparameter.

gcloud compute instances bulk create \
    --name-pattern=NAME_PATTERN \
    --count=COUNT \
     --machine-type=a4x-highgpu-4g \
    --image-family=IMAGE_FAMILY \
    --image-project=IMAGE_PROJECT \
    --region=REGION \
    --boot-disk-type=hyperdisk-balanced \
    --boot-disk-size=DISK_SIZE \
    --scopes=cloud-platform \
    --network-interface=nic-type=GVNIC,network=GVNIC_NAME_PREFIX-net-0,subnet=GVNIC_NAME_PREFIX-sub-0 \
    --network-interface=nic-type=GVNIC,network=GVNIC_NAME_PREFIX-net-1,subnet=GVNIC_NAME_PREFIX-sub-1,no-address 
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-0,no-address \
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-1,no-address \
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-2,no-address \
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-3,no-address \
    --reservation-affinity=specific \
    --reservation=RESERVATION \
    --provisioning-model=RESERVATION_BOUND \
    --instance-termination-action=TERMINATION_ACTION \
    --maintenance-policy=TERMINATE \
    --restart-on-failure \
    --resource-policies=POLICY_NAME

Ersetzen Sie Folgendes:

  • NAME_PATTERN: das Namensmuster, das für die A4X-Instanzen verwendet werden soll. Wenn Sie z. B. instance-# für das Namensmuster verwenden, werden A4X-Instanzen mit Namen wie instance-1 und instance-2 bis zu der durch --count angegebenen Anzahl von A4X-Instanzen erzeugt.
  • COUNT: die Anzahl der zu erstellenden A4X-Instanzen.
  • IMAGE_FAMILY: die Image-Familie des Betriebssystem-Images, das Sie verwenden möchten. Eine Liste aller unterstützten Betriebssysteme finden Sie unter Unterstützte Betriebssysteme.
  • IMAGE_PROJECT: die Projekt-ID des Betriebssystem-Images.
  • REGION: Geben Sie eine Region an, in der der gewünschte Maschinentyp verfügbar ist. Sie müssen dieselbe Region wie die Richtlinie für kompakte Platzierung verwenden. Informationen zu Regionen finden Sie unter GPU-Verfügbarkeit nach Regionen und Zonen.
  • DISK_SIZE: Die Größe des Bootlaufwerks in GB. Weitere Informationen finden Sie je nach Laufwerkstyp unter Größenbeschränkungen für Google Cloud Hyperdisk oder Größenbeschränkungen für Persistent Disk.
  • GVNIC_NAME_PREFIX: Das Namenspräfix, das Sie beim Erstellen der Standard-VPC-Netzwerke und -Subnetze angegeben haben, die gVNIC-NICs verwenden.
  • RDMA_NAME_PREFIX: Das Namenspräfix, das Sie beim Erstellen der VPC-Netzwerke und Subnetze angegeben haben, die RDMA-NICs verwenden.
  • RESERVATION: der Reservierungsname, ein Block oder ein Unterblock innerhalb einer Reservierung. Informationen zum Abrufen des Reservierungsnamens oder der verfügbaren Blöcke finden Sie unter Reservierte Kapazität ansehen. Wählen Sie je nach Ihren Anforderungen an die Instanzplatzierung eine der folgenden Optionen aus:
    • So erstellen Sie A4X-Instanzen in einem einzelnen Block:
          projects/RESERVATION_OWNER_PROJECT_ID/reservations/RESERVATION_NAME
          
    • So erstellen Sie A4X-Instanzen in einem bestimmten Block:
          projects/RESERVATION_OWNER_PROJECT_ID/reservations/RESERVATION_NAME/reservationBlocks/RESERVATION_BLOCK_NAME
          
    • So erstellen Sie A4X-Instanzen in einem bestimmten Subblock:
          projects/RESERVATION_OWNER_PROJECT_ID/reservations/RESERVATION_NAME/reservationBlocks/RESERVATION_BLOCK_NAME/reservationSubBlocks/RESERVATION_SUBBLOCK_NAME
          
  • TERMINATION_ACTION: Gibt an, ob Compute Engine die A4X-Instanz am Ende des Reservierungszeitraums beendet (STOP) oder löscht (DELETE).

  • POLICY_NAME: der Name der Richtlinie für kompakte Platzierung.

REST

Wenn Sie mehrere A4X-Instanzen gleichzeitig erstellen möchten, senden Sie eine POST-Anfrage an die Methode instances.bulkInsert.

A4X-Instanzen unterstützen die folgenden Arten von Reservierungen:

  • Vorausschauende Reservierungen für Kapazitätsblöcke
  • Vorausschauende Reservierungen im Kalendermodus

Damit diese Arten von Reservierungen genutzt werden können, muss eine Instanz das reservierungsgebundene Bereitstellungsmodell verwenden. Verwenden Sie beispielsweise die folgenden Erstellungsparameter.

POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instances/bulkInsert
{
  "namePattern": "NAME_PATTERN",
  "count": "COUNT",
  "instanceProperties": {
    "machineType": "a4x-highgpu-4g",
    "disks": [
      {
        "boot": true,
        "initializeParams": {
          "diskSizeGb": "DISK_SIZE",
          "diskType": "hyperdisk-balanced",
          "sourceImage": "projects/IMAGE_PROJECT/global/images/family/IMAGE_FAMILY"
        },
        "mode": "READ_WRITE",
        "type": "PERSISTENT"
      }
    ],
    "serviceAccounts": [
      {
        "email": "default",
        "scopes": [
          "https://www.googleapis.com/auth/cloud-platform"
        ]
      }
    ],
    "networkInterfaces": [
      {
        "accessConfigs": [
          {
            "name": "external-nat",
            "type": "ONE_TO_ONE_NAT"
          }
        ],
        "network": "projects/NETWORK_PROJECT_ID/global/networks/GVNIC_NAME_PREFIX-net-0",
        "nicType": "GVNIC",
        "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/GVNIC_NAME_PREFIX-sub-0"
      },
      {
        "network": "projects/NETWORK_PROJECT_ID/global/networks/GVNIC_NAME_PREFIX-net-1",
        "nicType": "GVNIC",
        "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/GVNIC_NAME_PREFIX-sub-1"
      },
      {
        "network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
        "nicType": "MRDMA",
        "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-0"
      },
      {
        "network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
        "nicType": "MRDMA",
        "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-1"
      },
      {
        "network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
        "nicType": "MRDMA",
        "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-2"
      },
      {
        "network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
        "nicType": "MRDMA",
        "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-3"
      }
     ],
    "reservationAffinity": {
        "consumeReservationType": "SPECIFIC_RESERVATION",
        "key": "compute.googleapis.com/reservation-name",
        "values": [
          "RESERVATION"
        ]
      },
    "scheduling": {
        "provisioningModel": "RESERVATION_BOUND",
        "instanceTerminationAction": "DELETE",
        "onHostMaintenance": "TERMINATE",
        "automaticRestart": true
      },
    "resourcePolicies": [
      "projects/PROJECT_ID/regions/REGION/resourcePolicies/POLICY_NAME"
    ]
  }
}

Ersetzen Sie Folgendes:

  • PROJECT_ID: die Projekt-ID des Projekts, in dem Sie die A4X-Instanz erstellen möchten.
  • ZONE: Geben Sie eine Zone an, in der der gewünschte Maschinentyp verfügbar ist. Sie müssen eine Zone in derselben Region wie die Richtlinie für kompakte Platzierung verwenden. Informationen zu Regionen finden Sie unter GPU-Verfügbarkeit nach Regionen und Zonen.
  • NAME_PATTERN: das Namensmuster, das für die A4X-Instanzen verwendet werden soll. Wenn Sie z. B. instance-# für das Namensmuster verwenden, werden A4X-Instanzen mit Namen wie instance-1 und instance-2 bis zu der durch --count angegebenen Anzahl von A4X-Instanzen erzeugt.
  • COUNT: die Anzahl der zu erstellenden A4X-Instanzen.
  • DISK_SIZE: Die Größe des Bootlaufwerks in GB. Weitere Informationen finden Sie je nach Laufwerkstyp unter Größenbeschränkungen für Google Cloud Hyperdisk oder Größenbeschränkungen für Persistent Disk.
  • IMAGE_PROJECT: die Projekt-ID des Betriebssystem-Images.
  • IMAGE_FAMILY: die Image-Familie des Betriebssystem-Images, das Sie verwenden möchten. Eine Liste aller unterstützten Betriebssysteme finden Sie unter Unterstützte Betriebssysteme.
  • NETWORK_PROJECT_ID: die Projekt-ID des Netzwerks.
  • GVNIC_NAME_PREFIX: Das Namenspräfix, das Sie beim Erstellen der Standard-VPC-Netzwerke und -Subnetze angegeben haben, die gVNIC-NICs verwenden.
  • REGION: die Region des Subnetzwerks.
  • RDMA_NAME_PREFIX: Das Namenspräfix, das Sie beim Erstellen der VPC-Netzwerke und Subnetze angegeben haben, die RDMA-NICs verwenden.
  • RESERVATION: der Reservierungsname, ein Block oder ein Unterblock innerhalb einer Reservierung. Informationen zum Abrufen des Reservierungsnamens oder der verfügbaren Blöcke finden Sie unter Reservierte Kapazität ansehen. Wählen Sie je nach Ihren Anforderungen an die Instanzplatzierung eine der folgenden Optionen aus:
    • So erstellen Sie A4X-Instanzen in einem einzelnen Block:
          projects/RESERVATION_OWNER_PROJECT_ID/reservations/RESERVATION_NAME
          
    • So erstellen Sie A4X-Instanzen in einem bestimmten Block:
          projects/RESERVATION_OWNER_PROJECT_ID/reservations/RESERVATION_NAME/reservationBlocks/RESERVATION_BLOCK_NAME
          
    • So erstellen Sie A4X-Instanzen in einem bestimmten Subblock:
          projects/RESERVATION_OWNER_PROJECT_ID/reservations/RESERVATION_NAME/reservationBlocks/RESERVATION_BLOCK_NAME/reservationSubBlocks/RESERVATION_SUBBLOCK_NAME
          
  • TERMINATION_ACTION: Gibt an, ob Compute Engine die A4X-Instanz am Ende des Reservierungszeitraums beendet (STOP) oder löscht (DELETE).

  • PROJECT_ID: die Projekt-ID der Richtlinie für kompakte Platzierung.
  • REGION: die Region der Richtlinie für kompakte Platzierung.
  • POLICY_NAME: der Name der Richtlinie für kompakte Platzierung.

Weitere Informationen zu den Konfigurationsoptionen beim Erstellen von VMs im Bulk finden Sie in der Compute Engine-Dokumentation unter VMs im Bulk erstellen.

GPU-Treiber installieren

Nachdem Sie eine Instanz erstellt haben, kann die Instanz ihre GPUs nur verwenden, wenn die richtigen GPU-Treiber bereits installiert sind. Wenn Sie kein Betriebssystem-Image mit GPU-Treibern angegeben haben, finden Sie weitere Informationen unter GPU-Treiber installieren in der Compute Engine-Dokumentation.

Optional: NVIDIA-Multi-Instanz-GPU-Modus aktivieren

Der Multi-Instanz-GPU-Modus (MIG) ist eine Funktion, die Sie für eine unterstützte NVIDIA-GPU aktivieren können. Nachdem Sie eine Instanz erstellt haben, können Sie den MIG-Modus auf einer einzelnen GPU aktivieren, die an Ihre Maschine angehängt ist. Wenn der MIG-Modus aktiviert ist, wird die einzelne GPU in bis zu sieben unabhängige GPU-Instanzen partitioniert. Jede Instanz wird gleichzeitig ausgeführt, wobei jede Instanz über eigenen Arbeitsspeicher, Cache und eigene Streaming-Multiprozessoren verfügt. Anschließend können Sie verschiedene Arbeitslasten parallel auf diesen GPU-Instanzen ausführen. Weitere Informationen zur Verwendung des MIG-Modus finden Sie im Nutzerhandbuch für Multi-Instanz-GPUs (MIG) in der NVIDIA-Dokumentation.

Nächste Schritte