KI-optimierte A4X-MIG erstellen

In diesem Dokument wird beschrieben, wie Sie eine verwaltete Instanzgruppe (Managed Instance Group, MIG) erstellen, die A4X-Maschinentypen verwendet. Weitere Informationen zu diesem beschleunigungsoptimierten Maschinentyp finden Sie unter A4X.

Erstellen Sie eine MIG, wenn Sie mehrere virtuelle Maschinen (VMs) als eine einzige Entität verwalten möchten. Weitere Informationen zu MIGs finden Sie in der Compute Engine-Dokumentation unter Verwaltete Instanzgruppen.

Weitere Informationen zu anderen Möglichkeiten, VMs oder Cluster zu erstellen, finden Sie unter Bereitstellungsoptionen – Übersicht.

Beschränkungen

Wenn Sie eine MIG mit A4X-VMs erstellen, beachten Sie die Einschränkungen für den Maschinentyp und die MIG.

Einschränkungen für A4X-VMs

Es gelten die folgenden maschinenspezifischen Einschränkungen:

  • Sie erhalten weder Rabatte für kontinuierliche Nutzung noch flexible Rabatte für zugesicherte Nutzung für Instanzen, die diesen Maschinentyp verwenden.
  • Sie können Instanzen nur in bestimmten Regionen und Zonen erstellen.
  • Sie können keinen nichtflüchtigen Speicher (regional oder zonal) verwenden. Sie können nur Google Cloud Hyperdisk verwenden.
  • Dieser Maschinentyp ist nur auf der NVIDIA Grace-Plattform verfügbar.
  • Änderungen des Maschinentyps werden für A4X nicht unterstützt. Wenn Sie zu diesem Maschinentyp wechseln oder ihn ändern möchten, müssen Sie eine neue Instanz erstellen.
  • Sie können Windows-Betriebssysteme nicht auf diesem Maschinentyp ausführen. Eine Liste der unterstützten Linux-Betriebssysteme finden Sie unter Unterstützte Betriebssysteme für GPU-Instanzen.
  • Wenn Sie bei A4X-Instanzen ethtool -S zum Überwachen des GPU-Netzwerks verwenden, werden die Zähler für physische Ports, die auf _phy enden, nicht aktualisiert. Dies ist das erwartete Verhalten für Instanzen, die die MRDMA-VF-Architektur (Virtual Function) verwenden. Weitere Informationen finden Sie unter MRDMA-Funktionen und Netzwerkmonitoring-Tools.
  • A4X-Instanzen unterstützen Folgendes nicht:
  • Sie können Hyperdisk ML-Laufwerke, die vor dem 4. Februar 2026 erstellt wurden, nicht an A4X-Maschinentypen anhängen.

Beschränkungen für die MIG

Wenn Sie A4X-Maschinentypen zum Erstellen einer MIG verwenden, gelten die folgenden Einschränkungen:

  • Sie müssen das reservierungsgebundene Bereitstellungsmodell verwenden. Andere Bereitstellungsmodelle werden nicht unterstützt.

  • Sie können keine Anfrage zur Größenanpassung verwenden, um der MIG A4X-Instanzen hinzuzufügen. Sie müssen die Zielgröße der MIG festlegen, um die Instanzen hinzuzufügen.

Hinweis

Führen Sie vor dem Erstellen einer MIG die folgenden Schritte aus, falls Sie dies noch nicht getan haben:

  1. Nutzungsoption auswählen: Die gewählte Nutzungsoption bestimmt, wie Sie GPU-Ressourcen erhalten und verwenden. Weitere Informationen finden Sie unter Nutzungsoption auswählen.
  2. Kapazität erhalten: Der Prozess zum Erhalten von Kapazität unterscheidet sich je nach Verbrauchsoption. Informationen zum Erhalten von Kapazität für die von Ihnen ausgewählte Nutzungsoption finden Sie unter Kapazitätsübersicht.
  3. Berechtigungen des Google APIs-Dienst-Agents prüfen: Wenn Sie VMs in einer MIG erstellen, verwendet Compute Engine den Google APIs-Dienst-Agent (PROJECT_NUMBER@cloudservices.) in Ihrem Projekt. Wenn Ihre Instanzvorlage Ressourcen aus einem anderen Projekt verwendet, prüfen Sie, ob dieser Dienst-Agent die erforderlichen Berechtigungen hat:

Erforderliche Rollen

Bitten Sie Ihren Administrator, Ihnen die IAM-Rolle Compute Instance Admin (v1) (roles/compute.instanceAdmin.v1) für das Projekt zu gewähren, um die Berechtigungen zu erhalten, die Sie zum Erstellen einer MIG benötigen. Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Diese vordefinierte Rolle enthält die Berechtigungen, die zum Erstellen einer MIG erforderlich sind. Maximieren Sie den Abschnitt Erforderliche Berechtigungen, um die notwendigen Berechtigungen anzuzeigen:

Erforderliche Berechtigungen

Die folgenden Berechtigungen sind zum Erstellen einer MIG erforderlich:

  • Zum Erstellen einer MIG: compute.instanceGroupManagers.create für das Projekt

Sie können diese Berechtigungen auch mit benutzerdefinierten Rollen oder anderen vordefinierten Rollen erhalten.

A4X-Grundlagen

Ein A4X-Cluster ist in einer Hierarchie von Blöcken und Unterblöcken organisiert, um eine umfangreiche, nicht blockierende Netzwerkleistung zu ermöglichen. Diese Topologie ist wichtig, wenn Sie Kapazität reservieren und Arbeitslasten bereitstellen.

A4X-Instanz
Eine A4X-Instanz ist ein einzelner A4X-Maschinentyp mit 4 angehängten GPUs.
Unterblock
Ein Unterblock ist die grundlegende Einheit der A4X-Kapazität. Bei A4X besteht ein Unterblock aus 18 A4X-Instanzen (72 GPUs). Diese Instanzen bilden eine NVLink-Domain und sind über ein Multi-Knoten-NVLink-System verbunden. Sie erstellen einen A4X-Unterblock, indem Sie eine Arbeitslastrichtlinie anwenden, die eine 1x72-Topologie angibt.
Blockieren
Ein A4X-Block besteht aus 25 Unterblöcken (NVLink-Domains) mit insgesamt bis zu 450 A4X-Instanzen (1.800 GPUs). Die Unterblöcke sind für eine effiziente Skalierung mit Rail-Architektur ausgerichtet. Für jeden Unterblock ist eine MIG erforderlich. Daher können Sie für einen einzelnen A4X-Block 25 MIGs erstellen.

In der folgenden Tabelle sind die unterstützten Topologieoptionen für A4X-Instanzen aufgeführt:

Topologie (acceleratorTopology) Anzahl der GPUs Anzahl der Instanzen
1x72 72 18

Übersicht

Das Erstellen einer MIG mit dem Maschinentyp A4X umfasst die folgenden Schritte:

  1. VPC-Netzwerke erstellen
  2. Arbeitslastrichtlinie erstellen
  3. Instanzvorlage erstellen
  4. Eine MIG erstellen
  5. GPU-Treiber installieren
  6. Optional: NVIDIA-Multi-Instanz-GPU-Modus aktivieren

VPC-Netzwerke erstellen

Wenn Sie das Netzwerk für A4X-Maschinentypen einrichten möchten, erstellen Sie drei VPC-Netzwerke für die folgenden Netzwerkschnittstellen:

  • 2 reguläre VPC-Netzwerke für die gVNIC-Netzwerkschnittstellen (NICs). Die NICs verwenden diese VPC-Netzwerke dann für die Host-zu-Host-Kommunikation.
  • 1 VPC-Netzwerk mit dem RoCE-Netzwerkprofil für die CX-7-NICs beim Erstellen mehrerer A4X-Subblöcke. Das RoCE-VPC-Netzwerk für VM-Instanzen muss vier Subnetze haben, ein Subnetz für jede CX-7-NIC. Diese NICs verwenden RDMA over Converged Ethernet (RoCE) und bieten die Kommunikation mit hoher Bandbreite und niedriger Latenz, die für die horizontale Skalierung auf mehrere A4X-Unterblöcke erforderlich ist.

Weitere Informationen zur NIC-Anordnung finden Sie unter Netzwerkbandbreite und NIC-Anordnung prüfen.

Erstellen Sie die Netzwerke entweder manuell anhand der Anleitung oder automatisch mit dem bereitgestellten Script.

Anleitungen

So erstellen Sie die Netzwerke:

Legen Sie für diese VPC-Netzwerke einen höheren Wert für die maximale Übertragungseinheit (MTU) fest. Für A4X-Maschinentypen wird eine MTU von 8896 Byte empfohlen. Informationen zu den empfohlenen MTU-Einstellungen für andere GPU-Maschinentypen finden Sie unter MTU-Einstellungen für GPU-Maschinentypen.

Skript

So erstellen Sie die Netzwerke:

Legen Sie für diese VPC-Netzwerke einen höheren Wert für die maximale Übertragungseinheit (MTU) fest. Für A4X-Maschinentypen wird eine MTU von 8896 Byte empfohlen. Informationen zu den empfohlenen MTU-Einstellungen für andere GPU-Maschinentypen finden Sie unter MTU-Einstellungen für GPU-Maschinentypen.

  1. Verwenden Sie das folgende Script, um reguläre VPC-Netzwerke für die gVNICs zu erstellen. 

    

    #!/bin/bash

    # Create regular VPC networks and subnets for the gVNICs
    for N in $(seq 0 1); do
      gcloud compute networks create GVNIC_NAME_PREFIX-net-$N \
        --subnet-mode=custom \
        --mtu=8896

      gcloud compute networks subnets create GVNIC_NAME_PREFIX-sub-$N \
        --network=GVNIC_NAME_PREFIX-net-$N \
        --region=REGION \
        --range=192.168.$N.0/24

      gcloud compute firewall-rules create GVNIC_NAME_PREFIX-internal-$N \
        --network=GVNIC_NAME_PREFIX-net-$N \
        --action=ALLOW \
        --rules=tcp:0-65535,udp:0-65535,icmp \
        --source-ranges=192.168.0.0/16
    done

    # Create SSH firewall rules
    gcloud compute firewall-rules create GVNIC_NAME_PREFIX-ssh \
      --network=GVNIC_NAME_PREFIX-net-0 \
      --action=ALLOW \
      --rules=tcp:22 \
      --source-ranges=IP_RANGE

    # Assumes that an external IP is only created for vNIC 0
    gcloud compute firewall-rules create GVNIC_NAME_PREFIX-allow-ping-net-0 \
      --network=GVNIC_NAME_PREFIX-net-0 \
      --action=ALLOW \
      --rules=icmp \
      --source-ranges=IP_RANGE

  2. Wenn Sie mehrere A4X-Subblöcke benötigen, verwenden Sie das folgende Script, um das RoCE-VPC-Netzwerk für VM-Instanzen (roce) und Subnetze für die vier CX-7-NICs auf jeder A4X-Instanz zu erstellen. 

    

    #!/bin/bash

    # List and make sure network profiles exist in the machine type's zone
    gcloud compute network-profiles list --filter "location.name=ZONE"

    # Create network for RDMA NICs
    gcloud compute networks create RDMA_NAME_PREFIX-mrdma \
      --network-profile=ZONE-vpc-roce \
      --subnet-mode custom \
      --mtu=8896

    # Create subnets
    for N in $(seq 0 3); do
      gcloud compute networks subnets create RDMA_NAME_PREFIX-mrdma-sub-$N \
        --network=RDMA_NAME_PREFIX-mrdma \
        --region=REGION \
        --range=192.168.$((N+2)).0/24 # offset to avoid overlap with gVNICs
    done

    3. Ersetzen Sie Folgendes:

    • GVNIC_NAME_PREFIX: Das benutzerdefinierte Namenspräfix, das für die regulären VPC-Netzwerke und -Subnetze für die gVNICs verwendet werden soll.
    • RDMA_NAME_PREFIX: Das benutzerdefinierte Namenspräfix, das für das RoCE-VPC-Netzwerk für VM-Instanzen (roce) und Subnetze für die CX-7-NICs verwendet werden soll.
    • ZONE: Geben Sie eine Zone an, in der der gewünschte Maschinentyp verfügbar ist, z. B. us-central1-a. Informationen zu Regionen finden Sie unter GPU-Verfügbarkeit nach Regionen und Zonen.
    • REGION: Die Region, in der Sie die Subnetze erstellen möchten. Diese Region muss der angegebenen Zone entsprechen. Wenn Ihre Zone beispielsweise us-central1-a ist, lautet Ihre Region us-central1.
    • IP_RANGE: Der IP-Bereich, der für die SSH-Firewallregeln verwendet werden soll.
  3. Optional: Prüfen Sie in der Google Cloud -Konsole die Netzwerkeinstellungen, um festzustellen, ob die VPC-Netzwerkressourcen erfolgreich erstellt wurden:
    1. Rufen Sie in der Google Cloud Console die Seite VPC-Netzwerke auf.

      Zur Seite VPC-Netzwerke

    2. Suchen Sie in der Liste nach den Netzwerken, die Sie im vorherigen Schritt erstellt haben.
    3. Klicken Sie auf den Namen des Netzwerks, um die Subnetze, Firewallregeln und andere Netzwerkeinstellungen aufzurufen.

Instanzvorlage erstellen

Geben Sie die VM-Attribute für eine MIG an, indem Sie eine Instanzvorlage erstellen.

Wählen Sie eine der folgenden Optionen aus, um eine Instanzvorlage zu erstellen.

Mit den folgenden Befehlen wird auch der Zugriffsbereich für Ihre Instanzen festgelegt. Um die Berechtigungsverwaltung zu vereinfachen, empfiehlt Google, den Zugriffsbereich für eine Instanz auf cloud-platform-Zugriff festzulegen und dann mithilfe von IAM-Rollen zu definieren, auf welche Dienste die Instanz zugreifen kann. Weitere Informationen finden Sie unter Best Practices für Bereiche.

gcloud

Verwenden Sie zum Erstellen einer regionalen Instanzvorlage den Befehl gcloud compute instance-templates create.

A4X-Instanzen unterstützen die folgenden Arten von Reservierungen:

  • Vorausschauende Reservierungen für Kapazitätsblöcke
  • Vorausschauende Reservierungen im Kalendermodus

Damit diese Arten von Reservierungen genutzt werden können, muss eine Instanz das reservierungsgebundene Bereitstellungsmodell verwenden. Verwenden Sie beispielsweise die folgenden Erstellungsparameter.

gcloud compute instance-templates create INSTANCE_TEMPLATE_NAME \
    --machine-type=a4x-highgpu-4g \
    --image-family=IMAGE_FAMILY \
    --image-project=IMAGE_PROJECT \
    --instance-template-region=REGION \
    --boot-disk-type=hyperdisk-balanced \
    --boot-disk-size=DISK_SIZE \
    --scopes=cloud-platform \
    --network-interface=nic-type=GVNIC,network=GVNIC_NAME_PREFIX-net-0,subnet=GVNIC_NAME_PREFIX-sub-0 \
    --network-interface=nic-type=GVNIC,network=GVNIC_NAME_PREFIX-net-1,subnet=GVNIC_NAME_PREFIX-sub-1,no-address 
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-0,no-address \
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-1,no-address \
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-2,no-address \
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-3,no-address \
    --reservation-affinity=specific \
    --reservation=RESERVATION \
    --provisioning-model=RESERVATION_BOUND \
    --instance-termination-action=DELETE \
    --maintenance-policy=TERMINATE \
    --restart-on-failure

Ersetzen Sie Folgendes:

  • INSTANCE_TEMPLATE_NAME ist der Name der Instanzvorlage.
  • IMAGE_FAMILY: die Image-Familie des Betriebssystem-Images, das Sie verwenden möchten. Eine Liste aller unterstützten Betriebssysteme finden Sie unter Unterstützte Betriebssysteme.
  • IMAGE_PROJECT: die Projekt-ID des Betriebssystem-Images.
  • REGION: die Region, in der Sie die Instanzvorlage erstellen möchten. Geben Sie eine Region an, in der der gewünschte Maschinentyp verfügbar ist. Informationen zu Regionen finden Sie unter GPU-Verfügbarkeit nach Regionen und Zonen.
  • DISK_SIZE: Die Größe des Bootlaufwerks in GB. Weitere Informationen finden Sie je nach Laufwerkstyp unter Größenbeschränkungen für Google Cloud Hyperdisk oder Größenbeschränkungen für Persistent Disk.
  • GVNIC_NAME_PREFIX: Das Namenspräfix, das Sie beim Erstellen der standardmäßigen VPC-Netzwerke und -Subnetze angegeben haben, die gVNIC-NICs verwenden.
  • RDMA_NAME_PREFIX: Das Namenspräfix, das Sie beim Erstellen der VPC-Netzwerke und -Subnetze angegeben haben, die RDMA-NICs verwenden.
  • RESERVATION: der Name der Reservierung, ein Block oder ein Unterblock innerhalb einer Reservierung. Informationen zum Abrufen des Reservierungsnamens oder der verfügbaren Blöcke finden Sie unter Reservierte Kapazität ansehen. Wählen Sie je nach Ihren Anforderungen an die Instanzplatzierung eine der folgenden Optionen aus:
    • So erstellen Sie A4X-Instanzen in einem einzelnen Block: 
          projects/RESERVATION_OWNER_PROJECT_ID/reservations/RESERVATION_NAME
    • So erstellen Sie A4X-Instanzen in einem bestimmten Block: 
          projects/RESERVATION_OWNER_PROJECT_ID/reservations/RESERVATION_NAME/reservationBlocks/RESERVATION_BLOCK_NAME
    • So erstellen Sie A4X-Instanzen in einem bestimmten Subblock: 
          projects/RESERVATION_OWNER_PROJECT_ID/reservations/RESERVATION_NAME/reservationBlocks/RESERVATION_BLOCK_NAME/reservationSubBlocks/RESERVATION_SUBBLOCK_NAME

REST

Senden Sie zum Erstellen einer regionalen Instanzvorlage eine POST-Anfrage an die regionInstanceTemplates.insert-Methode.

A4X-Instanzen unterstützen die folgenden Arten von Reservierungen:

  • Vorausschauende Reservierungen für Kapazitätsblöcke
  • Vorausschauende Reservierungen im Kalendermodus

Damit diese Arten von Reservierungen genutzt werden können, muss eine Instanz das reservierungsgebundene Bereitstellungsmodell verwenden. Verwenden Sie beispielsweise die folgenden Erstellungsparameter.

POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/instanceTemplates
{
  "name": "INSTANCE_TEMPLATE_NAME",
  "properties": {
    "machineType": "a4x-highgpu-4g",
    "disks": [
      {
        "boot": true,
        "initializeParams": {
          "diskSizeGb": "DISK_SIZE",
          "diskType": "hyperdisk-balanced",
          "sourceImage": "projects/IMAGE_PROJECT/global/images/family/IMAGE_FAMILY"
        },
        "mode": "READ_WRITE",
        "type": "PERSISTENT"
      }
    ],
    "serviceAccounts": [
      {
        "email": "default",
        "scopes": [
          "https://www.googleapis.com/auth/cloud-platform"
        ]
      }
    ],
    "networkInterfaces": [
      {
        "accessConfigs": [
          {
            "name": "external-nat",
            "type": "ONE_TO_ONE_NAT"
          }
        ],
        "network": "projects/NETWORK_PROJECT_ID/global/networks/GVNIC_NAME_PREFIX-net-0",
        "nicType": "GVNIC",
        "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/GVNIC_NAME_PREFIX-sub-0"
      },
      {
        "network": "projects/NETWORK_PROJECT_ID/global/networks/GVNIC_NAME_PREFIX-net-1",
        "nicType": "GVNIC",
        "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/GVNIC_NAME_PREFIX-sub-1"
      },
      {
        "network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
        "nicType": "MRDMA",
        "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-0"
      },
      {
        "network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
        "nicType": "MRDMA",
        "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-1"
      },
      {
        "network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
        "nicType": "MRDMA",
        "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-2"
      },
      {
        "network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
        "nicType": "MRDMA",
        "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-3"
      }
    ],
    "reservationAffinity": {
        "consumeReservationType": "SPECIFIC_RESERVATION",
        "key": "compute.googleapis.com/reservation-name",
        "values": [
          "RESERVATION"
        ]
      },
    "scheduling": {
        "provisioningModel": "RESERVATION_BOUND",
        "instanceTerminationAction": "DELETE",
        "onHostMaintenance": "TERMINATE",
        "automaticRestart": true
      }
  }
}

Ersetzen Sie Folgendes:

  • INSTANCE_TEMPLATE_NAME ist der Name der Instanzvorlage.
  • IMAGE_FAMILY: die Image-Familie des Betriebssystem-Images, das Sie verwenden möchten. Eine Liste aller unterstützten Betriebssysteme finden Sie unter Unterstützte Betriebssysteme.
  • IMAGE_PROJECT: die Projekt-ID des Betriebssystem-Images.
  • REGION: die Region, in der Sie die Instanzvorlage erstellen möchten. Geben Sie eine Region an, in der der gewünschte Maschinentyp verfügbar ist. Informationen zu Regionen finden Sie unter GPU-Verfügbarkeit nach Regionen und Zonen.
  • DISK_SIZE: Die Größe des Bootlaufwerks in GB. Weitere Informationen finden Sie je nach Laufwerkstyp unter Größenbeschränkungen für Google Cloud Hyperdisk oder Größenbeschränkungen für Persistent Disk.
  • NETWORK_PROJECT_ID: die Projekt-ID des Netzwerks.
  • GVNIC_NAME_PREFIX: Das Namenspräfix, das Sie beim Erstellen der standardmäßigen VPC-Netzwerke und -Subnetze angegeben haben, die gVNIC-NICs verwenden.
  • REGION: die Region des Subnetzwerks.
  • RDMA_NAME_PREFIX: Das Namenspräfix, das Sie beim Erstellen der VPC-Netzwerke und -Subnetze angegeben haben, die RDMA-NICs verwenden.
  • RESERVATION: der Name der Reservierung, ein Block oder ein Unterblock innerhalb einer Reservierung. Informationen zum Abrufen des Reservierungsnamens oder der verfügbaren Blöcke finden Sie unter Reservierte Kapazität ansehen. Wählen Sie je nach Ihren Anforderungen an die Instanzplatzierung eine der folgenden Optionen aus:
    • So erstellen Sie A4X-Instanzen in einem einzelnen Block: 
          projects/RESERVATION_OWNER_PROJECT_ID/reservations/RESERVATION_NAME
    • So erstellen Sie A4X-Instanzen in einem bestimmten Block: 
          projects/RESERVATION_OWNER_PROJECT_ID/reservations/RESERVATION_NAME/reservationBlocks/RESERVATION_BLOCK_NAME
    • So erstellen Sie A4X-Instanzen in einem bestimmten Subblock: 
          projects/RESERVATION_OWNER_PROJECT_ID/reservations/RESERVATION_NAME/reservationBlocks/RESERVATION_BLOCK_NAME/reservationSubBlocks/RESERVATION_SUBBLOCK_NAME

Eine MIG erstellen.

Wenn Sie einen A4X-Maschinentyp verwenden, müssen Sie eine MIG erstellen und ihre Zielgröße angeben.

Wenn Sie eine GPU-Topologie von 1x72 erhalten möchten, erstellen Sie eine MIG mit 18 A4X-Instanzen. Wenden Sie beim Erstellen der verwalteten Instanzgruppe die Arbeitslastrichtlinie an, die das Feld acceleratorTopology angibt. Durch die Anwendung der Richtlinie wird sichergestellt, dass Compute Engine alle 18 A4X-Instanzen in einem Unterblock erstellt, um eine NVLink-Domain zu verwenden. Wenn ein Unterblock nicht genügend Kapazität für alle 18 Instanzen hat, bleiben alle verwalteten Instanzen, die nicht sofort erstellt werden können, im Status CREATING, bis Kapazität verfügbar ist. Diese verwalteten Instanzen stellen die Compute-Instanzen dar, die die MIG erstellt, wenn Kapazität vorhanden ist.

Wenn Sie eine Arbeitslastrichtlinie anwenden, bei der das Feld acceleratorTopology auf 1x72 festgelegt ist, können Sie in einer MIG nicht mehr als 18 A4X-Instanzen erstellen. Wenn Sie mehr als 18 Instanzen angeben, schlägt die Erstellung der MIG fehl. Wenn Sie mehrere NVLink-Domains erstellen möchten, erstellen Sie für jede Domain eine separate MIG und wenden Sie auf jede MIG dieselbe Arbeitslastrichtlinie an.

Wählen Sie eine der folgenden Optionen aus, um eine MIG zu erstellen:

gcloud

Verwenden Sie den Befehl instance-groups managed create, um eine MIG mit einer bestimmten Zielgröße zu erstellen.

So erstellen Sie eine zonale oder regionale MIG:

  • Verwenden Sie den folgenden Befehl, um eine zonale MIG zu erstellen: 
    gcloud compute instance-groups managed create MIG_NAME \
  --template=INSTANCE_TEMPLATE_URL \
  --size=TARGET_SIZE \
  --workload-policy=WORKLOAD_POLICY_URL \
  --zone=ZONE
  • Verwenden Sie zum Erstellen einer regionalen MIG den folgenden Befehl: 
    gcloud compute instance-groups managed create MIG_NAME \
    --template=INSTANCE_TEMPLATE_URL \
    --size=TARGET_SIZE \
    --workload-policy=WORKLOAD_POLICY_URL \
    --region=REGION
Ersetzen Sie Folgendes:
  • MIG_NAME: Name der MIG.
  • INSTANCE_TEMPLATE_URL: Die URL der Instanzvorlage, die Sie zum Erstellen von Instanzen in der MIG verwenden möchten. Die URL kann entweder die ID oder den Namen der Instanzvorlage enthalten. Geben Sie einen der folgenden Werte an:
    • Für eine regionale Instanzvorlage: projects/PROJECT_ID/regions/REGION/instanceTemplates/INSTANCE_TEMPLATE_ID
    • Für eine globale Instanzvorlage: INSTANCE_TEMPLATE_ID
  • TARGET_SIZE: die Anzahl der Instanzen, die Sie in der MIG haben möchten. Legen Sie für die Beschleunigertopologie 1x72 die Zielgröße auf 18 fest.
  • WORKLOAD_POLICY_URL: Die URL der Arbeitslastrichtlinie, z. B. projects/example-project/regions/us-central1/resourcePolicies/example-workload-policy.
  • ZONE: die Zone, in der Sie die MIG erstellen möchten. Geben Sie eine Zone innerhalb der Region der Arbeitslastrichtlinie an.
  • REGION: die Region, in der Sie die MIG erstellen möchten. Geben Sie dieselbe Region wie die der Arbeitslastrichtlinie an. Bei einer regionalen MIG können Sie anstelle einer Region die Zonen in dieser Region mit dem Flag --zones angeben.

REST

Wenn Sie eine MIG mit einer bestimmten Zielgröße erstellen möchten, senden Sie eine POST-Anfrage.

So erstellen Sie eine zonale oder regionale MIG:

  • Wenn Sie eine zonale MIG erstellen möchten, senden Sie eine POST-Anfrage an die Methode instanceGroupManagers.insert. 
    POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instanceGroupManagers
{
  "versions": [
    {
      "instanceTemplate": "INSTANCE_TEMPLATE_URL"
    }
  ],
  "name": "MIG_NAME",
  "targetSize": TARGET_SIZE,
  "resourcePolicies": {
    "workloadPolicy": "WORKLOAD_POLICY_URL"
  }
}
  • Wenn Sie eine regionale MIG erstellen möchten, senden Sie eine POST-Anfrage an die Methode regionInstanceGroupManagers.insert. 
      POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/instanceGroupManagers
  {
    "name": "MIG_NAME",
    "instanceTemplate": "INSTANCE_TEMPLATE_URL",
    "targetSize": TARGET_SIZE,
    "resourcePolicies": {
      "workloadPolicy": "WORKLOAD_POLICY_URL"
    }
  }
Ersetzen Sie Folgendes:
  • PROJECT_ID: Projekt-ID.
  • ZONE: die Zone, in der Sie die MIG erstellen möchten. Geben Sie eine Zone innerhalb der Region der Arbeitslastrichtlinie an.
  • REGION: die Region, in der Sie die MIG erstellen möchten. Geben Sie dieselbe Region wie für die Arbeitslastrichtlinie an.
  • INSTANCE_TEMPLATE_URL: Die URL der Instanzvorlage, die Sie zum Erstellen von Instanzen in der MIG verwenden möchten. Die URL kann entweder die ID oder den Namen der Instanzvorlage enthalten. Geben Sie einen der folgenden Werte an:
    • Für eine regionale Instanzvorlage: projects/PROJECT_ID/regions/REGION/instanceTemplates/INSTANCE_TEMPLATE_ID
    • Für eine globale Instanzvorlage: INSTANCE_TEMPLATE_ID
  • MIG_NAME: Name der MIG.
  • TARGET_SIZE: die Anzahl der Instanzen, die Sie in der MIG haben möchten. Legen Sie für die Beschleunigertopologie 1x72 die Zielgröße auf 18 fest.
  • WORKLOAD_POLICY_URL: Die URL der Arbeitslastrichtlinie, z. B. projects/example-project/regions/us-central1/resourcePolicies/example-workload-policy.

GPU-Treiber installieren

Nachdem Sie eine Instanz erstellt haben, kann die Instanz ihre GPUs nur verwenden, wenn die richtigen GPU-Treiber bereits installiert sind. Wenn Sie kein Betriebssystem-Image mit GPU-Treibern angegeben haben, finden Sie weitere Informationen unter GPU-Treiber installieren in der Compute Engine-Dokumentation.

Optional: NVIDIA-Multi-Instanz-GPU-Modus aktivieren

Der MIG-Modus (Multi-Instance GPU) ist eine Funktion, die Sie für eine unterstützte NVIDIA-GPU aktivieren können. Nachdem Sie eine Instanz erstellt haben, können Sie den MIG-Modus auf einer einzelnen GPU aktivieren, die an Ihre Maschine angehängt ist. Wenn der MIG-Modus aktiviert ist, wird die einzelne GPU in bis zu sieben unabhängige GPU-Instanzen partitioniert. Jede Instanz wird gleichzeitig ausgeführt, wobei jede Instanz über eigenen Arbeitsspeicher, Cache und eigene Streaming-Multiprozessoren verfügt. Anschließend können Sie verschiedene Arbeitslasten parallel auf diesen GPU-Instanzen ausführen. Weitere Informationen zur Verwendung des MIG-Modus finden Sie im Nutzerhandbuch für Multi-Instanz-GPUs (MIG) in der NVIDIA-Dokumentation.

Nächste Schritte