Vollständig verwalteten Slurm-Cluster für KI-Arbeitslasten erstellen

In diesem Dokument wird beschrieben, wie Sie einen vollständig verwalteten Slurm-Cluster mit Cluster Director und den Maschinentypen A4X, A4, A3 Ultra oder A3 Mega konfigurieren und bereitstellen. Weitere Informationen zu diesen beschleunigungsoptimierten Maschinentypen finden Sie unter GPU-Beschleuniger.

Cluster Director ist ein Produkt von Google Cloud, das die Einrichtung und Konfiguration von Slurm-Clustern automatisiert. Dieses Produkt richtet sich an IT-Administratoren und KI-Forscher, die den Aufwand für die Verwaltung eines Clusters vermeiden und sich auf die Ausführung ihrer Arbeitslasten konzentrieren möchten. Wenn Sie mehr Kontrolle über die Clusterbereitstellung haben möchten, erstellen Sie Ihren Cluster mit dem Cluster Toolkit.

Beschränkungen

Je nach Maschinentyp, den die Compute Engine-Instanzen in Ihrem Cluster verwenden, gelten die folgenden Einschränkungen:

A4X

  • Sie erhalten weder Rabatte für kontinuierliche Nutzung noch flexible Rabatte für zugesicherte Nutzung für Instanzen, die diesen Maschinentyp verwenden.
  • Sie können Instanzen nur in bestimmten Regionen und Zonen erstellen.
  • Sie können keinen nichtflüchtigen Speicher (regional oder zonal) verwenden. Sie können nur Google Cloud Hyperdisk verwenden.
  • Dieser Maschinentyp ist nur auf der NVIDIA Grace-Plattform verfügbar.
  • Änderungen des Maschinentyps werden für A4X nicht unterstützt. Wenn Sie zu diesem Maschinentyp wechseln oder ihn ändern möchten, müssen Sie eine neue Instanz erstellen.
  • Sie können Windows-Betriebssysteme nicht auf diesem Maschinentyp ausführen. Eine Liste der unterstützten Linux-Betriebssysteme finden Sie unter Unterstützte Betriebssysteme für GPU-Instanzen.
  • Wenn Sie bei A4X-Instanzen ethtool -S zum Überwachen des GPU-Netzwerks verwenden, werden die Zähler für physische Ports, die auf _phy enden, nicht aktualisiert. Dies ist das erwartete Verhalten für Instanzen, die die MRDMA-VF-Architektur (Virtual Function) verwenden. Weitere Informationen finden Sie unter MRDMA-Funktionen und Netzwerkmonitoring-Tools.
  • A4X-Instanzen unterstützen Folgendes nicht:
  • Sie können Hyperdisk ML-Laufwerke, die vor dem 4. Februar 2026 erstellt wurden, nicht an A4X-Maschinentypen anhängen.

A4

  • Sie erhalten weder Rabatte für kontinuierliche Nutzung noch flexible Rabatte für zugesicherte Nutzung für Instanzen, die einen A4-Maschinentyp verwenden.
  • Sie können einen A4-Maschinentyp nur in bestimmten Regionen und Zonen verwenden.
  • Sie können keinen nichtflüchtigen Speicher (regional oder zonal) verwenden. Sie können nur Google Cloud Hyperdisk verwenden.
  • Der A4-Maschinentyp ist nur auf der Emerald Rapids-CPU-Plattform verfügbar.
  • Sie können den Maschinentyp einer Instanz nicht in einen A4-Maschinentyp oder von einem A4-Maschinentyp in einen anderen Maschinentyp ändern. Sie müssen eine neue Instanz mit diesem Maschinentyp erstellen.
  • A4-Maschinentypen unterstützen keine einzelnen Mandanten.
  • Sie können Windows-Betriebssysteme nicht auf einem A4-Maschinentyp ausführen.
  • Wenn Sie bei A4-Instanzen ethtool -S zum Überwachen des GPU-Netzwerks verwenden, werden die Zähler für physische Ports, die auf _phy enden, nicht aktualisiert. Dies ist das erwartete Verhalten für Instanzen, die die MRDMA-VF-Architektur (Virtual Function) verwenden. Weitere Informationen finden Sie unter MRDMA-Funktionen und Netzwerkmonitoring-Tools.
  • Sie können Hyperdisk ML-Laufwerke, die vor dem 4. Februar 2026 erstellt wurden, nicht an A4-Maschinentypen anhängen.

A3 Ultra

  • Sie erhalten weder Rabatte für kontinuierliche Nutzung noch flexible Rabatte für zugesicherte Nutzung für Instanzen, die einen A3-Ultra-Maschinentyp verwenden.
  • Sie können einen A3-Ultra-Maschinentyp nur in bestimmten Regionen und Zonen verwenden.
  • Sie können keinen nichtflüchtigen Speicher (regional oder zonal) verwenden. Sie können nur Google Cloud Hyperdisk verwenden.
  • Der A3 Ultra-Maschinentyp ist nur auf der Emerald Rapids-CPU-Plattform verfügbar.
  • Änderungen des Maschinentyps werden für den A3 Ultra-Maschinentyp nicht unterstützt. Wenn Sie zu diesem Maschinentyp wechseln oder von diesem Maschinentyp zu einem anderen wechseln möchten, müssen Sie eine neue Instanz erstellen.
  • Sie können Windows-Betriebssysteme nicht auf einem A3-Ultra-Maschinentyp ausführen.
  • A3 Ultra-Maschinentypen unterstützen keine einzelnen Mandanten.
  • Wenn Sie bei A3 Ultra-Instanzen ethtool -S zum Überwachen des GPU-Netzwerks verwenden, werden die Zähler für physische Ports, die auf _phy enden, nicht aktualisiert. Dies ist das erwartete Verhalten für Instanzen, die die MRDMA-VF-Architektur (Virtual Function) verwenden. Weitere Informationen finden Sie unter MRDMA-Funktionen und Netzwerkmonitoring-Tools.

A3 Mega

Hinweis

Führen Sie vor dem Erstellen eines Slurm-Clusters die folgenden Schritte aus, falls Sie dies noch nicht getan haben:

  1. Nutzungsoption auswählen: Die gewählte Nutzungsoption bestimmt, wie Sie GPU-Ressourcen erhalten und verwenden. Weitere Informationen finden Sie unter Nutzungsoption auswählen.
  2. Kapazität erhalten: Der Prozess zum Erhalten von Kapazität unterscheidet sich je nach Verbrauchsoption. Informationen zum Erhalten von Kapazität für die von Ihnen ausgewählte Nutzungsoption finden Sie unter Kapazitätsübersicht.
  3. Prüfen Sie, ob Sie genügend Filestore-Kapazitätskontingent haben: Sie benötigen vor der Bereitstellung genügend Filestore-Kontingent in Ihrer Zielregion. Für die Maschinentypen A4X, A4, A3 Ultra und A3 Mega benötigen Sie mindestens 10 TiB (10.240 GiB) HIGH_SCALE_SSD-Kapazität (zonal).

    Informationen zum Prüfen von Kontingenten oder zum Anfordern einer Kontingenterhöhung finden Sie hier:

  4. Trusted Image-Richtlinie prüfen: Wenn die Organisation, in der sich Ihr Projekt befindet, eine Trusted Image-Richtlinie (constraints/compute.trustedImageProjects) hat, prüfen Sie, ob das Projekt clusterdirector-public-images in der Liste der zulässigen Projekte enthalten ist. Weitere Informationen finden Sie unter Trusted Image-Richtlinien einrichten.

Erforderliche Rollen

Zum Erstellen eines Slurm-Clusters benötigen Sie die folgenden IAM-Rollen und -Berechtigungen:

  • Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Ausführen der Kurzanleitung benötigen:

    • Zum Erstellen und Verwalten eines Clusters: Cluster Director-Bearbeiter (roles/hypercomputecluster.editor) für Ihr Projekt
    • Zum Erstellen und Verwalten von VMs in einem Cluster: Compute Instance Admin (v1) (roles/compute.instanceAdmin.v1) für Ihr Projekt
    • So nutzen Sie eine Reservierung für ein Einzelprojekt: Compute Instance Admin (v1) (roles/compute.instanceAdmin.v1) für Ihr Projekt
    • So nutzen Sie eine freigegebene Reservierung: Compute Instance Admin (v1) (roles/compute.instanceAdmin.v1) sowohl für das Inhaberprojekt als auch für alle Nutzerprojekte, in denen Sie die Reservierung nutzen möchten
    • So stellen Sie eine Verbindung zum Login-Knoten in einem Cluster her:

    Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

    Sie können die erforderlichen Berechtigungen auch über benutzerdefinierte Rollen oder andere vordefinierte Rollen erhalten.

  • Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen für das Compute Engine-Standarddienstkonto zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Ausführen der Kurzanleitung benötigen:

Slurm-Cluster erstellen

So erstellen Sie einen KI-optimierten Cluster mit Cluster Director:

  1. Konfigurationen für Rechenressourcen konfigurieren

  2. Netzwerk konfigurieren

  3. Speicherressourcen konfigurieren

  4. Slurm-Umgebung konfigurieren

Konfigurationen für Rechenressourcen konfigurieren

Führen Sie die folgenden Schritte aus, um beim Erstellen eines Clusters Compute-Ressourcenkonfigurationen zu konfigurieren:

  1. Rufen Sie in der Google Cloud Console die Seite Cluster Director auf.

    Zu Cluster Director

  2. Klicken Sie auf Cluster erstellen.

  3. Klicken Sie im angezeigten Dialogfeld auf Referenzarchitektur. Die Seite Cluster erstellen wird geöffnet.

  4. Klicken Sie auf eine der verfügbaren Vorlagen. Sie können die Vorlage optional bearbeiten, um sie an die Anforderungen Ihrer Arbeitslast anzupassen.

  5. Klicken Sie auf Anpassen.

  6. Geben Sie im Abschnitt Compute im Feld Clustername einen Namen für den Cluster ein. Der Name kann bis zu 10 Zeichen enthalten und darf nur Ziffern oder Kleinbuchstaben (a–z) enthalten.

  7. So fügen Sie der vorkonfigurierten Konfiguration der Rechenressourcen Informationen hinzu oder bearbeiten die Anzahl und den Typ der Compute-Instanzen, die in den Konfigurationen angegeben sind:

    1. Klicken Sie im Abschnitt Compute auf Ressourcenkonfiguration bearbeiten. Der Bereich Ressourcenkonfiguration hinzufügen wird angezeigt.

    2. Optional: Wenn Sie den Namen der Konfiguration der Rechenressource ändern möchten, geben Sie im Feld Name einen neuen Namen ein.

    3. Optional: Wenn Sie die Anzahl und den Typ der Compute-Instanzen ändern möchten, die Ihr Cluster verwendet, folgen Sie im Abschnitt Maschinenkonfiguration den Aufforderungen, um die Compute-Ressourcen zu aktualisieren.

    4. Geben Sie im Abschnitt Nutzungsoptionen die Nutzungsoption an, die Sie zum Abrufen von Ressourcen verwenden möchten:

      • So erstellen Sie Compute-Instanzen mithilfe einer Reservierung:

        1. Klicken Sie auf den Tab Reservierung verwenden.

        2. Klicken Sie auf Reservierung auswählen. Der Bereich Reservierung auswählen wird angezeigt. Wenn Sie eine Reservierung von A4X-VMs verwenden möchten, können Sie optional den Block oder Unterblock auswählen, um die Platzierung Ihrer VMs zu steuern.

        3. Wählen Sie die Reservierung aus, die Sie verwenden möchten. Klicken Sie dann auf Auswählen. Durch diese Aktion werden die Region und die Zone Ihrer Rechenressourcen automatisch festgelegt.

      • So erstellen Sie Flex-Start-VMs:

        1. Klicke auf den Tab Flex-Start.

        2. Geben Sie im Abschnitt Zeitlimit für die VM die Laufzeit für die Compute-Instanzen an. Der Wert muss zwischen 10 Minuten und 7 Tagen liegen.

        3. Wählen Sie im Abschnitt Standort die Region aus, in der Sie Flex-Start-VMs erstellen möchten. In derGoogle Cloud Console werden die verfügbaren Regionen automatisch so gefiltert, dass nur die Regionen angezeigt werden, die Flex-Start-VMs für den ausgewählten Maschinentyp unterstützen.

      • So erstellen Sie Spot-VMs:

        1. Klicken Sie auf den Tab Spot verwenden.

        2. Wählen Sie in der Liste Bei VM-Beendigung eine der folgenden Optionen aus:

          • Wählen Sie Löschen aus, um Spot-VMs bei vorzeitigem Beenden zu löschen.

          • Wählen Sie Beenden aus, um Spot-VMs bei vorzeitigem Beenden zu beenden.

        3. Wählen Sie im Abschnitt Standort die Region und die Zone aus, in der Sie Spot-VMs erstellen möchten. In derGoogle Cloud Console werden die verfügbaren Regionen automatisch gefiltert, sodass nur die Regionen angezeigt werden, die Spot-VMs für den ausgewählten Maschinentyp unterstützen.

    5. Klicken Sie auf Fertig.

    6. Optional: Wenn Sie zusätzliche Konfigurationen für Rechenressourcen für eine Partition erstellen möchten, klicken Sie auf Ressourcenkonfiguration hinzufügen und folgen Sie den Aufforderungen, um die Rechenressourcen anzugeben.

  8. Klicken Sie auf Weiter.

Netzwerk konfigurieren

Führen Sie die folgenden Schritte aus, um das Netzwerk zu konfigurieren, das Ihr Cluster verwendet:

  1. Führen Sie im Abschnitt VPC-Netzwerk (Virtual Private Cloud) auswählen einen der folgenden Schritte aus:

    • Empfohlen: Wenn Sie möchten, dass AI Hypercomputer automatisch ein vorkonfiguriertes VPC-Netzwerk für Ihren Cluster erstellt, gehen Sie so vor:

      1. Wählen Sie Neues VPC-Netzwerk erstellen aus.

      2. Geben Sie im Feld Netzwerkname einen Namen für das VPC-Netzwerk ein.

    • So verwenden Sie ein vorhandenes VPC- oder freigegebene VPC-Netzwerk:

      1. Wählen Sie VPC-Netzwerk im aktuellen Projekt verwenden oder Gemeinsam freigegebene VPC-Netzwerk verwenden, das in einem anderen Projekt gehostet wird aus.

      2. Wählen Sie in der Liste VPC-Netzwerk auswählen oder Gemeinsam genutztes VPC-Netzwerk ein VPC- oder freigegebene VPC-Netzwerk aus, das die erforderlichen Konfigurationen erfüllt.

      3. Wählen Sie in der Liste Subnetzwerk auswählen ein vorhandenes Subnetzwerk aus.

  2. Klicken Sie auf Weiter.

Speicherressourcen konfigurieren

Wenn Sie einen Cluster aus einer Cluster Director-Vorlage erstellen, konfiguriert Cluster Director automatisch eine Filestore- oder Managed Lustre-Instanz als Speicherressource für Ihren Cluster.

Wenn Sie die Speicherressourcen, die Ihr Cluster verwendet, optional hinzufügen oder bearbeiten möchten, führen Sie im Abschnitt Speicher die folgenden Schritte aus. Weitere Informationen zu den Speicherdiensten, die Sie konfigurieren können, finden Sie unter Unterstützte Speicherdienste für Cluster Director.

  1. Optional: Wenn Sie eine Speicherressource bearbeiten möchten, klicken Sie auf Speicherplan bearbeiten und folgen Sie den Anweisungen, um die Konfiguration der Speicherressource zu aktualisieren.

  2. Optional: Wenn Sie Ihrem Cluster Speicherressourcen hinzufügen möchten, klicken Sie auf Speicherkonfiguration hinzufügen und folgen Sie dann den Anweisungen, um die Konfiguration für die Speicherressourcen anzugeben.

    Eine Liste der verfügbaren Speicherdienste, die Sie konfigurieren können, finden Sie unter Unterstützte Speicherdienste für Cluster Director.

  3. Klicken Sie auf Weiter.

Slurm-Umgebung konfigurieren

Führen Sie die folgenden Schritte aus, um die Slurm-Umgebung in Ihrem Cluster zu konfigurieren:

  1. Optional: Wenn Sie die Anzahl und den Typ der Compute-Instanzen bearbeiten möchten, die der Login-Knoten verwendet, maximieren Sie den Abschnitt Login-Knoten und folgen Sie den Aufforderungen, um die Compute-Ressourcen zu aktualisieren.

  2. Optional: Wenn Sie Partitionen Ihres Clusters bearbeiten möchten, um Ihre Rechenressourcen zu organisieren, maximieren Sie den Abschnitt Partitionen und führen Sie einen der folgenden Schritte aus:

    • Wenn Sie eine Partition hinzufügen möchten, klicken Sie auf Partition hinzufügen und gehen Sie dann so vor:

      1. Geben Sie im Feld Partitionsname einen Namen für die Partition ein.

      2. Klicken Sie zum Bearbeiten eines Knotensatzes auf Knotensatz ein-/ausblenden. Klicken Sie andernfalls auf Knotensatz hinzufügen, um einen Knotensatz hinzuzufügen.

      3. Geben Sie im Feld Nodeset-Name einen Namen für das Nodeset ein.

      4. Wählen Sie im Feld Ressourcenkonfiguration eine Konfiguration für die Rechenressource aus, die Sie in den vorherigen Schritten erstellt haben.

      5. Wählen Sie in der Liste Quell-Image eines der unterstützten Betriebssystem-Images für AI Hypercomputer aus.

      6. Geben Sie im Feld Statische Knotenanzahl die Mindestanzahl von Compute-Instanzen ein, die immer im Cluster ausgeführt werden müssen.

      7. Geben Sie im Feld Dynamische Knotenanzahl die maximale Anzahl von Compute-Instanzen ein, auf die der AI Hypercomputer den Cluster bei Traffic-Spitzen erhöhen kann.

      8. Geben Sie in der Liste Bootlaufwerktyp und im Feld Größe des Bootlaufwerks den Typ und die Größe des Bootlaufwerks für die Compute-Instanzen ein.

      9. Klicken Sie auf Fertig.

    • Klicken Sie zum Entfernen einer Partition auf Partition löschen.

  3. Optional: So fügen Sie Ihrer Slurm-Umgebung Prolog- oder Epilog-Skripts hinzu:

    1. Maximieren Sie den Abschnitt Erweiterte Orchestrierungseinstellungen.

    2. Folgen Sie im Bereich Skripts der Anleitung, um Skripts hinzuzufügen.

  4. Klicken Sie auf Erstellen. Die Seite Cluster wird angezeigt. Das Erstellen des Clusters kann einige Zeit dauern. Die Dauer hängt von der Anzahl der angeforderten Compute-Instanzen und der Ressourcenverfügbarkeit in der Zone der Compute-Instanzen ab. Sind die angeforderten Ressourcen nicht verfügbar, behält AI Hypercomputer die Erstellungsanfrage bei, bis die Ressourcen verfügbar werden. Wenn Sie den Status des Vorgangs zum Erstellen des Clusters aufrufen möchten, rufen Sie die Details des Clusters auf.

Verbindung zum Slurm-Cluster herstellen

Wenn der AI Hypercomputer Ihren Login-Knoten erstellt, ändert sich der Clusterstatus in Bereit. Anschließend können Sie eine Verbindung zu Ihrem Cluster herstellen. Sie können jedoch erst Arbeitslasten ausführen, nachdem der AI Hypercomputer die Rechenknoten im Cluster erstellt hat.

So stellen Sie über dieGoogle Cloud Console eine SSH-Verbindung zum Login-Knoten eines Clusters her:

  1. Rufen Sie in der Google Cloud Console die Seite Cluster auf.

    Zu den Clustern

  2. Klicken Sie in der Tabelle Cluster in der Spalte Name auf den Namen des Clusters, den Sie im vorherigen Abschnitt erstellt haben. Eine Seite mit den Details des Clusters wird angezeigt, wobei der Tab Details ausgewählt ist.

  3. Klicken Sie auf den Tab Knoten.

  4. Suchen Sie im Abschnitt Login-Knoten in der Spalte Verbinden nach dem Login-Knoten des Clusters mit dem Namen CLUSTER_NAME-login-001.

  5. Klicken Sie in der Spalte Verbinden des Login-Knotens auf den Button SSH. Das Fenster SSH im Browser wird geöffnet.

  6. Wenn Sie dazu aufgefordert werden, klicken Sie auf Autorisieren. Das Herstellen der Verbindung zum Knoten kann bis zu einer Minute dauern.

Status des Slurm-Clusters prüfen

Bevor Sie einen Job auf einem Compute-Knoten ausführen, führt Slurm automatisch eine schnelle GPU-Systemdiagnose auf dem Knoten aus. Wenn der Knoten die Prüfung nicht besteht, wird er von Slurm geleert und es werden keine neuen Jobs mehr darauf geplant.

Wenn Sie den GPU-Zustand und die Netzwerkbandbreite auf den Rechenknoten in einer Clusterpartition genauer testen möchten, können Sie NVIDIA Collective Communications Library (NCCL)-Tests manuell ausführen. Wenn bei einem NCCL-Test fehlerhafte Knoten erkannt werden, können Sie die Knoten reparieren oder den Cluster ändern. Mit NCCL-Tests können Sie den Zustand eines Clusters prüfen, bevor Sie kritische Arbeitslasten ausführen. Weitere Informationen finden Sie unter Clusterzustand prüfen.

Slurm-Cluster löschen

Wählen Sie eine der folgenden Optionen aus, um einen Slurm-Cluster in Ihrem Projekt zu löschen:

  1. Rufen Sie in der Google Cloud Console die Seite Cluster auf.

    Zu den Clustern

  2. Klicken Sie in der Tabelle Cluster in der Spalte Name auf den Namen des Clusters, den Sie löschen möchten. Eine Seite mit den Details des Clusters wird angezeigt, wobei der Tab Details ausgewählt ist.

  3. Klicken Sie auf  Löschen.

  4. Geben Sie im angezeigten Dialogfeld den Namen des Clusters ein und klicken Sie zur Bestätigung auf Löschen. Die Seite Cluster wird angezeigt. Das Löschen des Clusters kann einige Zeit dauern.

Nächste Schritte