KI-optimierte A4X Max-MIG erstellen

Geclusterte GPUs

In diesem Dokument wird beschrieben, wie Sie eine verwaltete Instanzgruppe (Managed Instance Group, MIG) erstellen, die beschleunigeroptimierte A4X Max-Maschinentypen verwendet. Informationen zu den Optionen für die Erstellung von Compute-Instanzen und Clustern finden Sie auf der Seite Übersicht über die Bereitstellungsoptionen.

A4X Max-Instanztyp

Eine Compute Engine-Instanz, oder Compute-Instanz, ist eine Computing-Ressource, die in der Infrastruktur von Google gehostet wird und entweder eine virtuelle Maschine (VM) oder eine Bare-Metal-Instanz sein kann. A4X Max-Instanzen sind als Bare-Metal-Instanzen verfügbar, die sich von VM-Instanzen dadurch unterscheiden, dass sie direkten, nicht virtualisierten Zugriff auf die zugrunde liegende physische Hardware bieten. Weitere Informationen zum Maschinentyp A4X Max finden Sie in der Compute Engine-Dokumentation unter A4X Max-Serie.

Erstellen Sie eine MIG, wenn Sie mehrere A4X Max-Instanzen als eine einzige Entität verwalten möchten. Weitere Informationen zu MIGs finden Sie in der Compute Engine-Dokumentation unter Verwaltete Instanzgruppen.

Beschränkungen

Wenn Sie A4X Max-Maschinentypen zum Erstellen einer MIG verwenden, gelten die folgenden Einschränkungen:

• Wenn Sie eine regionale MIG erstellen, die RDMA-Netzwerke verwendet, kann die MIG nur A4X Max-Instanzen in der Zone erstellen, in der Sie das Netzwerkprofil für RDMA konfiguriert haben.

• Sie können die Instanzflexibilität in der MIG nicht konfigurieren.

• Lesen Sie die Einschränkungen für Arbeitslastrichtlinien.

• Sie müssen das reservierungsgebundene Bereitstellungsmodell verwenden. Andere Bereitstellungsmodelle werden nicht unterstützt.

• Sie können keine Anfrage zur Größenanpassung verwenden, um der MIG A4X Max-Instanzen hinzuzufügen. Sie müssen die Zielgröße der MIG festlegen, um die Instanzen hinzuzufügen.

Hinweis

Führen Sie vor dem Erstellen einer MIG die folgenden Schritte aus, falls Sie dies noch nicht getan haben:

1. Nutzungsoption auswählen: Die gewählte Nutzungsoption bestimmt, wie Sie GPU-Ressourcen erhalten und verwenden. Weitere Informationen finden Sie unter Nutzungsoption auswählen.
2. Kapazität erhalten: Der Prozess zum Erhalten von Kapazität unterscheidet sich je nach Verbrauchsoption. Informationen zum Erhalten von Kapazität für die von Ihnen ausgewählte Nutzungsoption finden Sie unter Kapazitätsübersicht.
   Hinweis: Wenn Sie A4X Max- oder A4X-Kapazität anfordern, erhalten Sie diese im Modus „Gesamte Kapazität“. Dieser Modus ist der einzige unterstützte Betriebsmodus für Reservierungen für die Maschinentypen A4X Max oder A4X. Weitere Informationen zum Modus „Gesamte Kapazität“ finden Sie unter Reservierungsbetriebsmodus.
3. Berechtigungen des Google APIs-Dienst-Agents prüfen: Wenn Sie VMs in einer MIG erstellen, verwendet Compute Engine den Google APIs-Dienst-Agent (PROJECT_NUMBER@cloudservices.) in Ihrem Projekt. Wenn Ihre Instanzvorlage Ressourcen aus einem anderen Projekt verwendet, prüfen Sie, ob dieser Dienst-Agent die erforderlichen Berechtigungen hat:
   • Gemeinsam genutzte VPC: Wenn die VMs ein freigegebene VPC-Netzwerk verwenden, weisen Sie dem Google APIs-Dienst-Agent im Dienstprojekt die Rolle Compute-Netzwerknutzer (roles/compute.networkUser) für das Hostprojekt oder die gemeinsam genutzten Subnetze zu. Weitere Informationen finden Sie unter Google API-Dienstkonto als Dienstprojektadministrator.
   • Images aus anderen Projekten: Wenn die VMs ein Image aus einem anderen Projekt verwenden, weisen Sie dem Google APIs-Dienst-Agent in Ihrem Projekt die Rolle Compute-Image-Nutzer (roles/compute.imageUser) für das Image oder das Projekt zu, zu dem das Image gehört. Weitere Informationen finden Sie unter Einer verwalteten Instanzgruppe Zugriff auf Images gewähren.

Erforderliche Rollen

Bitten Sie Ihren Administrator, Ihnen die IAM-Rolle Compute Instance Admin (v1) (roles/compute.instanceAdmin.v1) für das Projekt zu gewähren, um die Berechtigungen zu erhalten, die Sie zum Erstellen einer MIG benötigen. Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Diese vordefinierte Rolle enthält die Berechtigungen, die zum Erstellen einer MIG erforderlich sind. Maximieren Sie den Abschnitt Erforderliche Berechtigungen, um die notwendigen Berechtigungen anzuzeigen:

Erforderliche Berechtigungen

Die folgenden Berechtigungen sind zum Erstellen einer MIG erforderlich:

• Zum Erstellen einer MIG: compute.instanceGroupManagers.create für das Projekt

Sie können diese Berechtigungen auch mit benutzerdefinierten Rollen oder anderen vordefinierten Rollen erhalten.

A4X Max-Grundlagen

Ein A4X Max-Cluster ist in einer Hierarchie von Blöcken und Unterblöcken organisiert, um eine nicht blockierende Netzwerkleistung in großem Umfang zu ermöglichen. Diese Topologie ist wichtig, wenn Sie Kapazität reservieren und Arbeitslasten bereitstellen.

A4X Max-Instanz

Eine A4X Max-Instanz ist ein einzelner A4X Max-Maschinentyp mit 4 angehängten GPUs.

Unterblock

Ein Unterblock ist die grundlegende Einheit der A4X Max-Kapazität. Bei A4X Max besteht ein Unterblock aus 18 A4X Max-Instanzen (72 GPUs). Diese Instanzen bilden eine NVLink-Domain und sind über ein Multi-Node-NVLink-System verbunden. Sie erstellen einen A4X Max-Unterblock, indem Sie eine Arbeitslastrichtlinie anwenden, die eine 1x72-Topologie angibt.

Blockieren

Ein A4X Max-Block besteht aus 25 Unterblöcken (NVLink-Domains) mit insgesamt bis zu 450 A4X Max-Instanzen (1.800 GPUs). Die Unterblöcke sind für eine effiziente Skalierung mit Rail-Architektur ausgerichtet. Für jeden Unterblock ist eine MIG erforderlich. Daher können Sie für einen einzelnen A4X Max-Block 25 MIGs erstellen.

In der folgenden Tabelle sind die unterstützten Topologieoptionen für A4X Max-Instanzen aufgeführt:

Topologie (acceleratorTopology)	Anzahl der GPUs	Anzahl der Instanzen
1x72	72	18

Übersicht

Das Erstellen einer MIG mit dem Maschinentyp A4X Max umfasst die folgenden Schritte:

1. VPC-Netzwerke erstellen
2. Arbeitslastrichtlinie erstellen
3. Instanzvorlage erstellen
4. Eine MIG erstellen
5. GPU-Treiber installieren

VPC-Netzwerke erstellen

Tipp: Wenn Sie einen Schnelltest einrichten, können Sie diesen Schritt überspringen und stattdessen eine einzelne NIC --network-interface=nic-type=IDPF angeben.

Wenn Sie das Netzwerk für A4X Max-Maschinentypen einrichten möchten, erstellen Sie drei VPC-Netzwerke für die folgenden Netzwerkschnittstellen:

• 2 reguläre VPC-Netzwerke für die IDPF -Netzwerkschnittstellen (NICs). Die NICs verwenden diese VPC-Netzwerke dann für die Host-zu-Host-Kommunikation.
• 1 VPC-Netzwerk mit dem RoCE-Metal-Netzwerkprofil für die CX-8-NICs, wenn mehrere A4X Max-Subblöcke erstellt werden. In einem RoCE-VPC-Netzwerk für Bare-Metal-Instanzen wird automatisch ein einzelnes Subnetz mit dem Namen default-subnet-1-RDMA_NAME_PREFIX-net für alle acht CX-8-NICs erstellt. Diese NICs verwenden RDMA over Converged Ethernet (RoCE) und bieten die Kommunikation mit hoher Bandbreite und niedriger Latenz, die für die horizontale Skalierung auf mehrere A4X Max-Unterblöcke erforderlich ist.

Wichtig: Für einen einzelnen A4X Max-Subblock müssen Sie kein VPC-Netzwerk mit dem RoCE-Metal-Netzwerkprofil erstellen, da die direkte GPU-zu-GPU-Kommunikation innerhalb eines einzelnen Subblocks über den Multi-Knoten-NVLink erfolgt.

Weitere Informationen zur NIC-Anordnung finden Sie unter Netzwerkbandbreite und NIC-Anordnung prüfen.

Erstellen Sie die Netzwerke entweder manuell anhand der Anleitung oder automatisch mit dem bereitgestellten Script.

Anleitungen

So erstellen Sie die Netzwerke:

• Informationen zum Erstellen der regulären VPC-Netzwerke für die IDPF-Netzwerkschnittstellen finden Sie unter VPC-Netzwerke erstellen und verwalten.
• Informationen zum Erstellen des RoCE-VPC-Netzwerk für Bare-Metal-Instanzen (roce-metal) finden Sie unter Virtual Private Cloud-Netzwerk für RDMA-NICs erstellen.

Legen Sie für diese VPC-Netzwerke einen höheren Wert für die maximale Übertragungseinheit (MTU) fest. Für A4X Max-Maschinentypen beträgt die empfohlene MTU 8896 Byte. Informationen zu den empfohlenen MTU-Einstellungen für andere GPU-Maschinentypen finden Sie unter MTU-Einstellungen für GPU-Maschinentypen.

Skript

So erstellen Sie die Netzwerke:

Legen Sie für diese VPC-Netzwerke einen höheren Wert für die maximale Übertragungseinheit (MTU) fest. Für A4X Max-Maschinentypen beträgt die empfohlene MTU 8896 Byte. Informationen zu den empfohlenen MTU-Einstellungen für andere GPU-Maschinentypen finden Sie unter MTU-Einstellungen für GPU-Maschinentypen.

1. Verwenden Sie das folgende Skript, um reguläre VPC-Netzwerke für die IDPF-NICs zu erstellen.

   
   
       #!/bin/bash
   
       # Create regular VPC network for the IDPF NICs
       gcloud compute networks create IDPF_NETWORK_PREFIX-net \
           --subnet-mode=custom \
           --mtu=8896 \
           --enable-ula-internal-ipv6
   
       # Create subnets for the IDPF NICs
       for N in $(seq 0 1); do
         gcloud compute networks subnets create IDPF_NETWORK_PREFIX-$N \
           --network=IDPF_NETWORK_PREFIX-net \
           --region=REGION \
           --stack-type=IPV6_ONLY \
           --ipv6-access-type=INTERNAL
       done
   
       gcloud compute firewall-rules create IDPF_NETWORK_PREFIX-internal \
         --network=IDPF_NETWORK_PREFIX-net \
           --action=ALLOW \
           --rules=tcp:0-65535,udp:0-65535,58 \
           --source-ranges=IP_RANGE
   
   
   
         

2. Wenn Sie mehrere A4X Max-Subblöcke benötigen, verwenden Sie das folgende Script, um das RoCE-VPC-Netzwerk für Bare-Metal-Instanzen (roce-metal) zu erstellen, und verwenden Sie das automatisch erstellte Subnetz für die acht CX-8-NICs auf jeder A4X Max-Instanz.

   Wichtig: Wenn deine Bereitstellung nur aus einem einzigen A4X Max-Subblock besteht, kannst du diesen Schritt überspringen.

   
   
       #!/bin/bash
   
       # List and make sure network profiles exist in the machine type's zone
       gcloud compute network-profiles list --filter "location.name=ZONE"
   
       # Create RoCE VPC network for bare metal instances (roce-metal)
       gcloud compute networks create RDMA_NAME_PREFIX-net \
         --network-profile=ZONE-vpc-roce-metal \
         --subnet-mode custom \
         --mtu=8896
   
       # For RoCE VPC networks for bare metal instances, a single subnet named
       # default-subnet-1-RDMA_NAME_PREFIX-net is automatically provided.
       # For more details, see https://cloud.google.com/vpc/docs/rdma-network-profiles.
   
   
         

Ersetzen Sie Folgendes:

• IDPF_NETWORK_PREFIX: Das benutzerdefinierte Namenspräfix, das für die regulären VPC-Netzwerke und -Subnetze für die IDPF-NICs verwendet werden soll.
• RDMA_NAME_PREFIX: das benutzerdefinierte Namenspräfix, das für das RoCE-VPC-Netzwerk für Bare-Metal-Instanzen (roce-metal) für die CX-8-NICs verwendet werden soll.
• ZONE: Geben Sie eine Zone an, in der der gewünschte Maschinentyp verfügbar ist, z. B. us-central1-a. Informationen zu Regionen finden Sie unter GPU-Verfügbarkeit nach Regionen und Zonen.
• REGION: Die Region, in der Sie die Subnetze erstellen möchten. Diese Region muss der angegebenen Zone entsprechen. Wenn Ihre Zone beispielsweise us-central1-a ist, lautet Ihre Region us-central1.
• IP_RANGE: Der IP-Bereich, der für die SSH-Firewallregeln verwendet werden soll.
3. Optional: Prüfen Sie in der Google Cloud -Konsole die Netzwerkeinstellungen, um festzustellen, ob die VPC-Netzwerkressourcen erfolgreich erstellt wurden:
   1. Rufen Sie in der Google Cloud Console die Seite VPC-Netzwerke auf.

      Zur Seite VPC-Netzwerke

   2. Suchen Sie in der Liste nach den Netzwerken, die Sie im vorherigen Schritt erstellt haben.
   3. Klicken Sie auf den Namen des Netzwerks, um die Subnetze, Firewallregeln und andere Netzwerkeinstellungen aufzurufen.

Arbeitslastrichtlinie erstellen

Wenn Sie eine einzelne A4X Max-Instanz in der MIG zu Testzwecken erstellen möchten, überspringen Sie diesen Schritt. Andernfalls müssen Sie eine Arbeitslastrichtlinie erstellen, um eine MIG mit A4X Max-Instanzen zu erstellen.

Wählen Sie eine der folgenden Optionen aus, um eine Arbeitslastrichtlinie zu erstellen:

gcloud

Verwenden Sie zum Erstellen einer Arbeitslastrichtlinie den Befehl gcloud compute resource-policies create workload-policy.

Geben Sie für die Netzwerkkonfiguration zwischen Beschleunigern das Flag --accelerator-topology im Befehl an.

Verwenden Sie den folgenden Befehl für den Maschinentyp A4X Max. Die Beschleunigertopologie von 1x72 gibt an, dass 72 GPUs über einen NVLink innerhalb eines Blocks verbunden sind.

gcloud compute resource-policies create workload-policy WORKLOAD_POLICY_NAME \
    --type=high-throughput \
    --accelerator-topology=1x72 \
    --region=REGION

Ersetzen Sie Folgendes:

• WORKLOAD_POLICY_NAME: der Name der Arbeitslastrichtlinie.
• REGION: Die Region, in der Sie die Arbeitslastrichtlinie erstellen möchten. Geben Sie eine Region an, in der Sie die MIG erstellen möchten und in der der gewünschte Maschinentyp verfügbar ist. Informationen zu Regionen finden Sie unter GPU-Verfügbarkeit nach Regionen und Zonen.

REST

Senden Sie zum Erstellen einer Arbeitslastrichtlinie eine POST-Anfrage an die Methode resourcePolicies.insert.

Geben Sie für die Netzwerkkonfiguration zwischen Beschleunigern das Feld acceleratorTopology in der Anfrage an.

Stellen Sie die folgende Anfrage für den Maschinentyp A4X Max. Die Beschleunigertopologie von 1x72 gibt an, dass 72 GPUs über einen NVLink innerhalb eines Blocks verbunden sind.

POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/resourcePolicies
  {
    "name": "WORKLOAD_POLICY_NAME"
    "workloadPolicy": {
      "type": "HIGH_THROUGHPUT",
      "acceleratorTopology": "1x72"
    }
  }

Ersetzen Sie Folgendes:

• PROJECT_ID: Ihre Projekt-ID.
• REGION: Die Region, in der Sie die Arbeitslastrichtlinie erstellen möchten. Geben Sie eine Region an, in der Sie die MIG erstellen möchten und in der der gewünschte Maschinentyp verfügbar ist. Informationen zu Regionen finden Sie unter GPU-Verfügbarkeit nach Regionen und Zonen.
• WORKLOAD_POLICY_NAME: der Name der Arbeitslastrichtlinie.

Instanzvorlage erstellen

Geben Sie die Instanzattribute für eine MIG an, indem Sie eine Instanzvorlage erstellen.

Wählen Sie eine der folgenden Optionen aus, um eine Instanzvorlage zu erstellen.

Mit den folgenden Befehlen wird auch der Zugriffsbereich für Ihre Instanzen festgelegt. Um die Berechtigungsverwaltung zu vereinfachen, empfiehlt Google, den Zugriffsbereich für eine Instanz auf cloud-platform-Zugriff festzulegen und dann mithilfe von IAM-Rollen zu definieren, auf welche Dienste die Instanz zugreifen kann. Weitere Informationen finden Sie unter Best Practices für Bereiche.

gcloud

Verwenden Sie zum Erstellen einer regionalen Instanzvorlage den Befehl gcloud compute instance-templates create.

Wichtig: Im folgenden Beispiel wird die Netzwerkeinrichtung für mehrere Unterblöcke verwendet. Wenn Sie nur einen einzelnen A4X Max-Unterblock erstellen und im Schritt VPC-Netzwerke erstellen nur das IDPF-Netzwerk erstellt haben, entfernen Sie die acht RDMA-Subnetze, die durch den NIC-Typ MRDMA gekennzeichnet sind, aus dem Beispiel.

A4X Max-Instanzen unterstützen die folgenden Arten von Reservierungen:

• Vorausschauende Reservierungen für Kapazitätsblöcke
• Vorausschauende Reservierungen im Kalendermodus

Damit diese Arten von Reservierungen genutzt werden können, muss eine Instanz das reservierungsgebundene Bereitstellungsmodell verwenden. Verwenden Sie beispielsweise die folgenden Erstellungsparameter.

gcloud compute instance-templates create INSTANCE_TEMPLATE_NAME \
    --machine-type=a4x-maxgpu-4g-metal \
    --image-family=IMAGE_FAMILY \
    --image-project=IMAGE_PROJECT \
    --instance-template-region=REGION \
    --boot-disk-type=hyperdisk-balanced \
    --boot-disk-size=DISK_SIZE \
    --scopes=cloud-platform \
    --network-interface=nic-type=IDPF,network=IDPF_NETWORK_PREFIX-net,stack-type=IPV6_ONLY,subnet=IDPF_NETWORK_PREFIX-sub-0 \
    --network-interface=nic-type=IDPF,network=IDPF_NETWORK_PREFIX-net,stack-type=IPV6_ONLY,subnet=IDPF_NETWORK_PREFIX-sub-1,no-address \
    --network-interface=subnet=default-subnet-1-RDMA_NAME_PREFIX-net,stack-type=IPV6_ONLY,nic-type=mrdma \
    --network-interface=subnet=default-subnet-1-RDMA_NAME_PREFIX-net,stack-type=IPV6_ONLY,nic-type=mrdma \
    --network-interface=subnet=default-subnet-1-RDMA_NAME_PREFIX-net,stack-type=IPV6_ONLY,nic-type=mrdma \
    --network-interface=subnet=default-subnet-1-RDMA_NAME_PREFIX-net,stack-type=IPV6_ONLY,nic-type=mrdma \
    --network-interface=subnet=default-subnet-1-RDMA_NAME_PREFIX-net,stack-type=IPV6_ONLY,nic-type=mrdma \
    --network-interface=subnet=default-subnet-1-RDMA_NAME_PREFIX-net,stack-type=IPV6_ONLY,nic-type=mrdma \
    --network-interface=subnet=default-subnet-1-RDMA_NAME_PREFIX-net,stack-type=IPV6_ONLY,nic-type=mrdma \
    --network-interface=subnet=default-subnet-1-RDMA_NAME_PREFIX-net,stack-type=IPV6_ONLY,nic-type=mrdma \
    --reservation-affinity=specific \
    --reservation=RESERVATION \
    --provisioning-model=RESERVATION_BOUND \
    --instance-termination-action=DELETE \
    --maintenance-policy=TERMINATE \
    --restart-on-failure

Ersetzen Sie Folgendes:

• INSTANCE_TEMPLATE_NAME ist der Name der Instanzvorlage.
• IMAGE_FAMILY: die Image-Familie des Betriebssystem-Images, das Sie verwenden möchten. Eine Liste aller unterstützten Betriebssysteme finden Sie unter Unterstützte Betriebssysteme.
  Tipp: Wir empfehlen, für KI-optimierte Arbeitslasten Beschleuniger-Betriebssystem-Images zu verwenden. Sofern Sie keine besonderen Anforderungen an GPU-Treiber haben, werden mit diesen Images alle erforderlichen GPU-Treiber automatisch installiert. Weitere Informationen zu den Anforderungen an GPU-Treiber finden Sie in diesem Dokument unter GPU-Treiber installieren.
• IMAGE_PROJECT: die Projekt-ID des Betriebssystem-Images.
• REGION: die Region, in der Sie die Instanzvorlage erstellen möchten. Geben Sie eine Region an, in der der gewünschte Maschinentyp verfügbar ist. Informationen zu Regionen finden Sie unter GPU-Verfügbarkeit nach Regionen und Zonen.
• DISK_SIZE: Die Größe des Bootlaufwerks in GB. Weitere Informationen finden Sie je nach Laufwerkstyp unter Größenbeschränkungen für Google Cloud Hyperdisk oder Größenbeschränkungen für Persistent Disk.
• IDPF_NETWORK_PREFIX: Das Namenspräfix, das Sie beim Erstellen der VPC-Netzwerke und -Subnetze angegeben haben, die IDPF-NICs verwenden.
• RDMA_NAME_PREFIX: Das Namenspräfix, das Sie beim Erstellen der VPC-Netzwerke und -Subnetze angegeben haben, die RDMA-NICs verwenden.
• RESERVATION: der Name der Reservierung, ein Block oder ein Unterblock innerhalb einer Reservierung. Informationen zum Abrufen des Reservierungsnamens oder der verfügbaren Blöcke finden Sie unter Reservierte Kapazität ansehen. Wählen Sie je nach Ihren Anforderungen an die Instanzplatzierung eine der folgenden Optionen aus:
  • So erstellen Sie A4X Max-Instanzen in einem einzelnen Block:

        projects/RESERVATION_OWNER_PROJECT_ID/reservations/RESERVATION_NAME
        

  • So erstellen Sie A4X Max-Instanzen in einem bestimmten Block:

        projects/RESERVATION_OWNER_PROJECT_ID/reservations/RESERVATION_NAME/reservationBlocks/RESERVATION_BLOCK_NAME
        

  • So erstellen Sie A4X Max-Instanzen in einem bestimmten Subblock:

        projects/RESERVATION_OWNER_PROJECT_ID/reservations/RESERVATION_NAME/reservationBlocks/RESERVATION_BLOCK_NAME/reservationSubBlocks/RESERVATION_SUBBLOCK_NAME
        

  Tipp: Wenn die Reservierung im aktuellen Projekt vorhanden ist, können Sie projects/RESERVATION_OWNER_PROJECT_ID/reservations/ im Wert RESERVATION weglassen.

REST

Senden Sie zum Erstellen einer regionalen Instanzvorlage eine POST-Anfrage an die regionInstanceTemplates.insert-Methode.

Wichtig: Im folgenden Beispiel wird die Netzwerkeinrichtung für mehrere Unterblöcke verwendet. Wenn Sie nur einen einzelnen A4X Max-Unterblock erstellen und im Schritt VPC-Netzwerke erstellen nur das IDPF-Netzwerk erstellt haben, entfernen Sie die acht RDMA-Subnetze, die durch den NIC-Typ MRDMA gekennzeichnet sind, aus dem Beispiel.

A4X Max-Instanzen unterstützen die folgenden Arten von Reservierungen:

• Vorausschauende Reservierungen für Kapazitätsblöcke
• Vorausschauende Reservierungen im Kalendermodus

Damit diese Arten von Reservierungen genutzt werden können, muss eine Instanz das reservierungsgebundene Bereitstellungsmodell verwenden. Verwenden Sie beispielsweise die folgenden Erstellungsparameter.

POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/instanceTemplates
{
  "name": "INSTANCE_TEMPLATE_NAME",
  "properties": {
    "machineType": "a4x-maxgpu-4g-metal",
    "disks": [
      {
        "boot": true,
        "initializeParams": {
          "diskSizeGb": "DISK_SIZE",
          "diskType": "hyperdisk-balanced",
          "sourceImage": "projects/IMAGE_PROJECT/global/images/family/IMAGE_FAMILY"
        },
        "mode": "READ_WRITE",
        "type": "PERSISTENT"
      }
    ],
    "serviceAccounts": [
      {
        "email": "default",
        "scopes": [
          "https://www.googleapis.com/auth/cloud-platform"
        ]
      }
    ],
    "networkInterfaces": [
    {
      "accessConfigs": [
        {
          "name": "external-nat",
          "type": "ONE_TO_ONE_NAT"
        }
      ],
      "network": "projects/NETWORK_PROJECT_ID/global/networks/IDPF_NETWORK_PREFIX-net",
      "nicType": "IDPF",
      "stackType": "IPV6_ONLY",
      "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/IDPF_NETWORK_PREFIX-sub-0"
    },
    {
      "network": "projects/NETWORK_PROJECT_ID/global/networks/IDPF_NETWORK_PREFIX-net",
      "nicType": "IDPF",
      "stackType": "IPV6_ONLY",
      "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/IDPF_NETWORK_PREFIX-sub-1"
    },
    {
      "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/default-subnet-1-RDMA_NAME_PREFIX-net",
      "nicType": "MRDMA",
      "stackType": "IPV6_ONLY"
    },
    {
      "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/default-subnet-1-RDMA_NAME_PREFIX-net",
      "nicType": "MRDMA",
      "stackType": "IPV6_ONLY"
    },
    {
      "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/default-subnet-1-RDMA_NAME_PREFIX-net",
      "nicType": "MRDMA",
      "stackType": "IPV6_ONLY"
    },
    {
      "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/default-subnet-1-RDMA_NAME_PREFIX-net",
      "nicType": "MRDMA",
      "stackType": "IPV6_ONLY"
    },
    {
      "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/default-subnet-1-RDMA_NAME_PREFIX-net",
      "nicType": "MRDMA",
      "stackType": "IPV6_ONLY"
    },
    {
      "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/default-subnet-1-RDMA_NAME_PREFIX-net",
      "nicType": "MRDMA",
      "stackType": "IPV6_ONLY"
    },
    {
      "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/default-subnet-1-RDMA_NAME_PREFIX-net",
      "nicType": "MRDMA",
      "stackType": "IPV6_ONLY"
    },
    {
      "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/default-subnet-1-RDMA_NAME_PREFIX-net",
      "nicType": "MRDMA",
      "stackType": "IPV6_ONLY"
    }
  ],
    "reservationAffinity": {
        "consumeReservationType": "SPECIFIC_RESERVATION",
        "key": "compute.googleapis.com/reservation-name",
        "values": [
          "RESERVATION"
        ]
      },
    "scheduling": {
        "provisioningModel": "RESERVATION_BOUND",
        "instanceTerminationAction": "DELETE",
        "onHostMaintenance": "TERMINATE",
        "automaticRestart": true
      }
  }
}

Ersetzen Sie Folgendes:

• INSTANCE_TEMPLATE_NAME ist der Name der Instanzvorlage.
• IMAGE_FAMILY: die Image-Familie des Betriebssystem-Images, das Sie verwenden möchten. Eine Liste aller unterstützten Betriebssysteme finden Sie unter Unterstützte Betriebssysteme.
  Tipp: Wir empfehlen, für KI-optimierte Arbeitslasten Beschleuniger-Betriebssystem-Images zu verwenden. Sofern Sie keine besonderen Anforderungen an GPU-Treiber haben, werden mit diesen Images alle erforderlichen GPU-Treiber automatisch installiert. Weitere Informationen zu den Anforderungen an GPU-Treiber finden Sie in diesem Dokument unter GPU-Treiber installieren.
• IMAGE_PROJECT: die Projekt-ID des Betriebssystem-Images.
• REGION: die Region, in der Sie die Instanzvorlage erstellen möchten. Geben Sie eine Region an, in der der gewünschte Maschinentyp verfügbar ist. Informationen zu Regionen finden Sie unter GPU-Verfügbarkeit nach Regionen und Zonen.
• DISK_SIZE: Die Größe des Bootlaufwerks in GB. Weitere Informationen finden Sie je nach Laufwerkstyp unter Größenbeschränkungen für Google Cloud Hyperdisk oder Größenbeschränkungen für Persistent Disk.
• NETWORK_PROJECT_ID: die Projekt-ID des Netzwerks.
• IDPF_NETWORK_PREFIX: Das Namenspräfix, das Sie beim Erstellen der VPC-Netzwerke und -Subnetze angegeben haben, die IDPF-NICs verwenden.
• REGION: die Region des Subnetzwerks.
• RDMA_NAME_PREFIX: Das Namenspräfix, das Sie beim Erstellen der VPC-Netzwerke und -Subnetze angegeben haben, die RDMA-NICs verwenden.
• RESERVATION: der Name der Reservierung, ein Block oder ein Unterblock innerhalb einer Reservierung. Informationen zum Abrufen des Reservierungsnamens oder der verfügbaren Blöcke finden Sie unter Reservierte Kapazität ansehen. Wählen Sie je nach Ihren Anforderungen an die Instanzplatzierung eine der folgenden Optionen aus:
  • So erstellen Sie A4X Max-Instanzen in einem einzelnen Block:

        projects/RESERVATION_OWNER_PROJECT_ID/reservations/RESERVATION_NAME
        

  • So erstellen Sie A4X Max-Instanzen in einem bestimmten Block:

        projects/RESERVATION_OWNER_PROJECT_ID/reservations/RESERVATION_NAME/reservationBlocks/RESERVATION_BLOCK_NAME
        

  • So erstellen Sie A4X Max-Instanzen in einem bestimmten Subblock:

        projects/RESERVATION_OWNER_PROJECT_ID/reservations/RESERVATION_NAME/reservationBlocks/RESERVATION_BLOCK_NAME/reservationSubBlocks/RESERVATION_SUBBLOCK_NAME
        

  Tipp: Wenn die Reservierung im aktuellen Projekt vorhanden ist, können Sie projects/RESERVATION_OWNER_PROJECT_ID/reservations/ im Wert RESERVATION weglassen.

Eine MIG erstellen.

Wenn Sie eine MIG mit dem Maschinentyp A4X Max erstellen, geben Sie die Anzahl der Instanzen mithilfe der Zielgröße der MIG an. Sie können die Zielgröße beim Erstellen der MIG entweder auf die erforderliche Anzahl von Instanzen festlegen oder mit null beginnen und sie später erhöhen. Beachten Sie, dass Sie keine Anfragen zur Größenanpassung verwenden können, um einer A4X Max-MIG Instanzen hinzuzufügen.

Wenn Sie eine GPU-Topologie von 1x72 erhalten möchten, erstellen Sie eine MIG mit 18 A4X Max-Instanzen. Wenden Sie beim Erstellen der verwalteten Instanzgruppe die Arbeitslastrichtlinie an, die das Feld acceleratorTopology angibt. Durch die Anwendung der Richtlinie wird sichergestellt, dass Compute Engine alle 18 A4X Max-Instanzen in einem Unterblock erstellt, um eine NVLink-Domain zu verwenden. Wenn ein Unterblock nicht genügend Kapazität für alle 18 Instanzen hat, bleiben alle verwalteten Instanzen, die nicht sofort erstellt werden können, im Status CREATING, bis Kapazität verfügbar ist. Diese verwalteten Instanzen stellen die Compute-Instanzen dar, die die MIG erstellt, wenn Kapazität vorhanden ist.

Wichtig: Wenn Sie eine A4X Max-MIG mit einer 1x72-Topologie erstellen, weist Compute Engine dieser MIG einen gesamten Unterblock mit 18 Instanzen (NVLink-Domain) zu. Wenn Sie weniger als 18 Instanzen erstellen, bleiben die nicht verwendeten Instanzen in diesem Unterblock inaktiv und sind für andere MIGs nicht verfügbar. Es ist jedoch möglich, diese nicht verwendeten Instanzen durch Ändern der Größe der MIG bereitzustellen. Für eine maximale Ressourceneffizienz empfehlen wir, genau 18 Instanzen in einer MIG zu erstellen.

Wenn Sie eine Arbeitslastrichtlinie anwenden, bei der das Feld acceleratorTopology auf 1x72 festgelegt ist, können Sie in einer MIG nicht mehr als 18 A4X Max-Instanzen erstellen. Wenn Sie mehr als 18 Instanzen angeben, schlägt die Erstellung der MIG fehl. Wenn Sie mehrere NVLink-Domains erstellen möchten, erstellen Sie für jede Domain eine separate MIG und wenden Sie auf jede MIG dieselbe Arbeitslastrichtlinie an.

Wählen Sie eine der folgenden Optionen aus, um eine MIG zu erstellen:

gcloud

Verwenden Sie den Befehl instance-groups managed create, um eine MIG mit einer bestimmten Zielgröße zu erstellen.

Wichtig: Wenn in der Instanzvorlage Flex-Start-VMs angegeben sind, müssen Sie auch Reparaturen deaktivieren, indem Sie dem Befehl das Flag --default-action-on-vm-failure=do-nothing hinzufügen.

So erstellen Sie eine zonale oder regionale MIG:

• Verwenden Sie den folgenden Befehl, um eine zonale MIG zu erstellen:

  gcloud compute instance-groups managed create MIG_NAME \
    --template=INSTANCE_TEMPLATE_URL \
    --size=TARGET_SIZE \
    --workload-policy=WORKLOAD_POLICY_URL \
    --zone=ZONE
  

• Verwenden Sie zum Erstellen einer regionalen MIG den folgenden Befehl:

  gcloud compute instance-groups managed create MIG_NAME \
      --template=INSTANCE_TEMPLATE_URL \
      --size=TARGET_SIZE \
      --workload-policy=WORKLOAD_POLICY_URL \
      --region=REGION
  

Ersetzen Sie Folgendes:

• MIG_NAME: Name der MIG.
• INSTANCE_TEMPLATE_URL: Die URL der Instanzvorlage, die Sie zum Erstellen von Instanzen in der MIG verwenden möchten. Die URL kann entweder die ID oder den Namen der Instanzvorlage enthalten. Geben Sie einen der folgenden Werte an:
  • Für eine regionale Instanzvorlage: projects/PROJECT_ID/regions/REGION/instanceTemplates/INSTANCE_TEMPLATE_ID
  • Für eine globale Instanzvorlage: INSTANCE_TEMPLATE_ID
• TARGET_SIZE: die Anzahl der Instanzen, die Sie in der MIG haben möchten. Legen Sie für die Beschleunigertopologie 1x72 die Zielgröße auf 18 fest.
• WORKLOAD_POLICY_URL: Die URL der Arbeitslastrichtlinie, z. B. projects/example-project/regions/us-central1/resourcePolicies/example-workload-policy.
• ZONE: die Zone, in der Sie die MIG erstellen möchten. Geben Sie eine Zone innerhalb der Region der Arbeitslastrichtlinie an.
• REGION: die Region, in der Sie die MIG erstellen möchten. Geben Sie dieselbe Region wie die der Arbeitslastrichtlinie an. Bei einer regionalen MIG können Sie anstelle einer Region die Zonen in dieser Region mit dem Flag --zones angeben.

REST

Wenn Sie eine MIG mit einer bestimmten Zielgröße erstellen möchten, senden Sie eine POST-Anfrage.

Wichtig: Wenn in der Instanzvorlage Flex-Start-VMs angegeben sind, müssen Sie auch Reparaturen deaktivieren, indem Sie der Anfrage das Feld "defaultActionOnFailure": "DO_NOTHING" hinzufügen.

So erstellen Sie eine zonale oder regionale MIG:

• Wenn Sie eine zonale MIG erstellen möchten, senden Sie eine POST-Anfrage an die Methode instanceGroupManagers.insert.

  POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instanceGroupManagers
  {
    "versions": [
      {
        "instanceTemplate": "INSTANCE_TEMPLATE_URL"
      }
    ],
    "name": "MIG_NAME",
    "targetSize": TARGET_SIZE,
    "resourcePolicies": {
      "workloadPolicy": "WORKLOAD_POLICY_URL"
    }
  }
  

• Wenn Sie eine regionale MIG erstellen möchten, senden Sie eine POST-Anfrage an die Methode regionInstanceGroupManagers.insert.

    POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/instanceGroupManagers
    {
      "name": "MIG_NAME",
      "instanceTemplate": "INSTANCE_TEMPLATE_URL",
      "targetSize": TARGET_SIZE,
      "resourcePolicies": {
        "workloadPolicy": "WORKLOAD_POLICY_URL"
      }
    }
  

Ersetzen Sie Folgendes:

• PROJECT_ID: Projekt-ID.
• ZONE: die Zone, in der Sie die MIG erstellen möchten. Geben Sie eine Zone innerhalb der Region der Arbeitslastrichtlinie an.
• REGION: die Region, in der Sie die MIG erstellen möchten. Geben Sie dieselbe Region wie für die Arbeitslastrichtlinie an.
• INSTANCE_TEMPLATE_URL: Die URL der Instanzvorlage, die Sie zum Erstellen von Instanzen in der MIG verwenden möchten. Die URL kann entweder die ID oder den Namen der Instanzvorlage enthalten. Geben Sie einen der folgenden Werte an:
  • Für eine regionale Instanzvorlage: projects/PROJECT_ID/regions/REGION/instanceTemplates/INSTANCE_TEMPLATE_ID
  • Für eine globale Instanzvorlage: INSTANCE_TEMPLATE_ID
• MIG_NAME: Name der MIG.
• TARGET_SIZE: die Anzahl der Instanzen, die Sie in der MIG haben möchten. Legen Sie für die Beschleunigertopologie 1x72 die Zielgröße auf 18 fest.
• WORKLOAD_POLICY_URL: Die URL der Arbeitslastrichtlinie, z. B. projects/example-project/regions/us-central1/resourcePolicies/example-workload-policy.

GPU-Treiber installieren

Nachdem Sie eine Instanz erstellt haben, kann die Instanz ihre GPUs nur verwenden, wenn die richtigen GPU-Treiber bereits installiert sind. Wenn Sie kein Betriebssystem-Image mit GPU-Treibern angegeben haben, finden Sie weitere Informationen unter GPU-Treiber installieren in der Compute Engine-Dokumentation.

Nächste Schritte

• Topologie einer Compute-Instanz ansehen
• VMs überwachen
• Fehlerhaften Host melden
• Fehler bei der Nutzung von Reservierungen beheben