Auf dieser Seite wird beschrieben, wie Sie einen Slurm-Cluster für Hochleistungs-Computing (HPC) erstellen, der Remote Direct Memory Access (RDMA) mit H4D-VMs mit erweiterten Clusterverwaltungsfunktionen verwendet. Sie verwenden die gcloud CLI und das Cluster Toolkit, um den Cluster zu konfigurieren.
Die H4D-Maschinenserie wurde speziell für die Anforderungen anspruchsvoller HPC-Arbeitslasten entwickelt. H4D bietet Instanzen mit verbesserter Arbeitslastskalierbarkeit durch Cloud RDMA-Netzwerke mit einem Durchsatz von 200 Gbit/s. Weitere Informationen zu computing-optimierten H4D-Maschinentypen in Google Cloudfinden Sie unter H4D-Maschinenserie.
Hinweis
Führen Sie vor dem Erstellen eines Slurm-Clusters die folgenden Schritte aus, falls Sie dies noch nicht getan haben:
- Nutzungsoption auswählen: Die ausgewählte Option bestimmt, wie Sie vCPU-Ressourcen abrufen und verwenden möchten.
- Kapazität abrufen: Rufen Sie die Kapazität für die ausgewählte Nutzungsoption ab.
- Prüfen Sie, ob Sie genügend Filestore- oder Google Cloud Managed Lustre-Kontingent haben: Sie benötigen vor der Bereitstellung genügend Filestore- oder Managed Lustre-Kontingent in Ihrer Zielregion und -zone.
Das erforderliche Mindestkontingent hängt vom Speicherdienst und den Maschinentypen in Ihrem Cluster ab:
- Managed Lustre:
- A4X Max: Erfordert ein Kontingent von mindestens 18.000 GiB Speicherkapazität und 9 GB/s Durchsatz.
- A4X, A4, A3 Ultra, A3 Mega und A3 High: Erfordert ein Kontingent für die Speicherkapazität von mindestens 36.000 GiB und ein Kontingent für den Durchsatz von mindestens 18 GB/s.
- Filestore:
- A4X Max, A4X, A4, A3 Ultra und A3 Mega: Erfordert ein Mindestkontingent von 10 TiB (10.240 GiB) an HIGH_SCALE_SSD-Kapazität (zonal).
- A3 High: Erfordert ein Mindestkontingent von 2,5 TiB (2.560 GiB) an BASIC_SSD-Kapazität (Standard).
Informationen zum Prüfen von Kontingenten oder zum Anfordern einer Kontingenterhöhung finden Sie hier:
- Informationen zum Prüfen des Kontingents in Ihrem Projekt finden Sie unter API-spezifische Kontingente aufrufen.
- Wenn Sie nicht genügend Kontingent haben, fordern Sie eine Erhöhung des Filestore-Kontingents an oder fordern Sie zusätzliches Managed Lustre-Kontingent an.
- Managed Lustre:
- Cluster Toolkit installieren: Zum Bereitstellen von Slurm-Clustern müssen Sie das Cluster Toolkit in der Version
v1.62.0oder höher verwenden.Informationen zum Installieren des Cluster Toolkits finden Sie unter Cluster Toolkit einrichten.
Weitere Informationen finden Sie unter Nutzungsoption auswählen und Kapazität erhalten.
Aktivieren Sie Cloud Shell in der Google Cloud Console.
Unten in der Google Cloud Console wird eine Cloud Shell-Sitzung gestartet und eine Eingabeaufforderung angezeigt. Cloud Shell ist eine Shell-Umgebung, in der das Google Cloud CLI bereits installiert ist und Werte für Ihr aktuelles Projekt bereits festgelegt sind. Das Initialisieren der Sitzung kann einige Sekunden dauern.
Storage-Bucket einrichten
Cluster-Blueprints verwenden Terraform-Module, um die Cloud-Infrastruktur bereitzustellen. Als Best Practice für die Arbeit mit Terraform empfiehlt es sich, den Status remote in einer versionsfähigen Datei zu speichern. Auf Google Cloudkönnen Sie einen Cloud Storage-Bucket mit aktivierter Versionierung erstellen.
Führen Sie die folgenden Befehle aus, um diesen Bucket zu erstellen und die Versionsverwaltung über die Befehlszeile zu aktivieren:
gcloud storage buckets create gs://BUCKET_NAME \
--project=PROJECT_ID \
--default-storage-class=STANDARD --location=BUCKET_REGION \
--uniform-bucket-level-access
gcloud storage buckets update gs://BUCKET_NAME --versioning
Ersetzen Sie Folgendes:
BUCKET_NAME: Ein Name für Ihren Cloud Storage-Bucket, der den Anforderungen für Bucket-Namen entspricht.PROJECT_ID: Ihre Projekt-ID.BUCKET_REGION: ein beliebiger verfügbarer Standort.
Cluster Toolkit-Verzeichnis öffnen
Prüfen Sie mit dem folgenden Befehl, ob Sie sich im Cluster Toolkit-Verzeichnis befinden:
cd cluster-toolkit
Für diese Clusterbereitstellung ist Cluster Toolkit v1.70.0 oder höher erforderlich. Führen Sie den folgenden Befehl aus, um die Version zu prüfen:
./gcluster --version
Bereitstellungsdatei erstellen
Erstellen Sie eine Bereitstellungsdatei, um den Cloud Storage-Bucket anzugeben, legen Sie Namen für Ihr Netzwerk und Subnetzwerk fest und legen Sie Bereitstellungsvariablen wie Projekt-ID, Region und Zone fest.
So erstellen Sie eine Bereitstellungsdatei für den Maschinentyp H4D:
Die Parameter, die Sie Ihrer Bereitstellungsdatei hinzufügen müssen, hängen von der Verbrauchsoption ab, die Sie für Ihre Bereitstellung verwenden. Wählen Sie den Tab aus, der der gewünschten Nutzungsoption entspricht.
Reservierungsgebunden
Erstellen Sie mit einem Texteditor eine YAML-Datei mit dem Namen h4d-slurm-deployment.yaml und fügen Sie den folgenden Inhalt hinzu, um die Bereitstellungsdatei zu erstellen.
terraform_backend_defaults:
type: gcs
configuration:
bucket: BUCKET_NAME
vars:
deployment_name: DEPLOYMENT_NAME
project_id: PROJECT_ID
region: REGION
zone: ZONE
h4d_cluster_size: NUMBER_OF_INSTANCES
h4d_reservation_name: RESERVATION_NAME
Ersetzen Sie Folgendes:
BUCKET_NAME: Der Name Ihres Cloud Storage-Buckets, den Sie im vorherigen Abschnitt erstellt haben.DEPLOYMENT_NAME: Ein Name für Ihre Bereitstellung. Wenn Sie mehrere Cluster erstellen, müssen Sie für jeden einen eindeutigen Namen auswählen.PROJECT_ID: Ihre Projekt-ID.REGION: die Region, in der sich die reservierten Maschinen befinden.ZONE: die Zone, in der Sie den Cluster bereitstellen möchten. Wenn Sie eine reservierungsbasierte Verbrauchsoption verwenden, wurden die Regions- und Zoneninformationen von Ihrem Account-Management-Team bereitgestellt, als die Kapazität bereitgestellt wurde.NUMBER_OF_INSTANCES: die Anzahl der Compute Engine-Instanzen, die Sie für den Cluster benötigen.RESERVATION_NAME: der Name Ihrer Reservierung.
Flex-Start
Erstellen Sie mit einem Texteditor eine YAML-Datei mit dem Namen h4d-slurm-deployment.yaml und fügen Sie den folgenden Inhalt hinzu, um die Bereitstellungsdatei zu erstellen.
terraform_backend_defaults:
type: gcs
configuration:
bucket: BUCKET_NAME
vars:
deployment_name: DEPLOYMENT_NAME
project_id: PROJECT_ID
region: REGION
zone: ZONE
h4d_cluster_size: NUMBER_OF_INSTANCES
h4d_dws_flex_enabled: true
Ersetzen Sie Folgendes:
BUCKET_NAME: Der Name Ihres Cloud Storage-Buckets, den Sie im vorherigen Abschnitt erstellt haben.DEPLOYMENT_NAME: Ein Name für Ihre Bereitstellung. Wenn Sie mehrere Cluster erstellen, müssen Sie für jeden einen eindeutigen Namen auswählen.PROJECT_ID: Ihre Projekt-ID.REGION: die Region, in der Sie Ihren Cluster bereitstellen möchten.ZONE: die Zone, in der Sie den Cluster bereitstellen möchten.NUMBER_OF_INSTANCES: die Anzahl der Compute Engine-Instanzen, die Sie für den Cluster benötigen.
Bei dieser Bereitstellung werden statische Rechenknoten bereitgestellt. Das bedeutet, dass der Cluster immer eine feste Anzahl von Knoten hat. Wenn Sie stattdessen das Autoscaling für Ihren Cluster aktivieren möchten, verwenden Sie die Datei examples/h4d/hpc-slurm-h4d.yaml und bearbeiten Sie die Werte von node_count_static und node_count_dynamic_max so, dass sie den folgenden Werten entsprechen:
node_count_static: 0
node_count_dynamic_max: $(vars.h4d_cluster_size)
Spot
Erstellen Sie mit einem Texteditor eine YAML-Datei mit dem Namen h4d-slurm-deployment.yaml und fügen Sie den folgenden Inhalt hinzu, um die Bereitstellungsdatei zu erstellen.
terraform_backend_defaults:
type: gcs
configuration:
bucket: BUCKET_NAME
vars:
deployment_name: DEPLOYMENT_NAME
project_id: PROJECT_ID
region: REGION
zone: ZONE
h4d_cluster_size: NUMBER_OF_INSTANCES
h4d_enable_spot_vm: true
Ersetzen Sie Folgendes:
BUCKET_NAME: Der Name Ihres Cloud Storage-Buckets, den Sie im vorherigen Abschnitt erstellt haben.DEPLOYMENT_NAME: Ein Name für Ihre Bereitstellung. Wenn Sie mehrere Cluster erstellen, müssen Sie für jeden einen eindeutigen Namen auswählen.PROJECT_ID: Ihre Projekt-ID.REGION: die Region, in der Sie Ihren Cluster bereitstellen möchten.ZONE: die Zone, in der Sie den Cluster bereitstellen möchten.NUMBER_OF_INSTANCES: die Anzahl der Compute Engine-Instanzen, die Sie für den Cluster benötigen.
H4D-Slurm-Cluster bereitstellen
Das Cluster Toolkit stellt den Cluster basierend auf der im vorherigen Schritt erstellten Bereitstellungsdatei und dem Standard-Cluster-Blueprint bereit. Weitere Informationen zur Software, die vom Blueprint installiert wird, finden Sie unter Weitere Informationen zu benutzerdefinierten Slurm-Images.
In Cloud Shell können Sie den Cluster im Verzeichnis, in dem Sie das Cluster Toolkit installiert und die Bereitstellungsdatei erstellt haben, mit dem folgenden Befehl bereitstellen, der die H4D Slurm-Blueprint-Datei verwendet. Dieser Schritt dauert etwa 20–30 Minuten.
./gcluster deploy -d h4d-slurm-deployment.yaml examples/hpc-slurm-h4d/hpc-slurm-h4d.yaml --auto-approve
Verbindung zum Slurm-Cluster herstellen
Für den Zugriff auf Ihren Cluster müssen Sie sich beim Slurm-Login-Knoten anmelden. Für die Anmeldung können Sie entweder die Google Cloud Console oder die Google Cloud CLI verwenden.
Console
Rufen Sie die Seite Compute Engine > VM-Instanzen auf.
Suchen Sie den Login-Knoten. Der Name muss dem Muster
DEPLOYMENT_NAME+login-001entsprechen.Klicken Sie in der Spalte Verbinden des Login-Knotens auf SSH.
gcloud
Führen Sie die folgenden Schritte aus, um eine Verbindung zum Login-Knoten herzustellen:
Identifizieren Sie den Login-Knoten mit dem Befehl
gcloud compute instances list.gcloud compute instances list \ --zones=
ZONE\ --filter="name ~ login" --format "value(name)"Wenn in der Ausgabe mehrere Slurm-Cluster aufgeführt sind, können Sie Ihren Login-Knoten anhand des von Ihnen angegebenen
DEPLOYMENT_NAMEidentifizieren.Verwenden Sie den Befehl
gcloud compute ssh, um eine Verbindung zum Login-Knoten herzustellen.gcloud compute ssh LOGIN_NODE \ --zone=
ZONE--tunnel-through-iapErsetzen Sie Folgendes:
ZONE: die Zone, in der sich die VMs für Ihren Cluster befinden.LOGIN_NODE: Der Name des Login-Knotens, den Sie im vorherigen Schritt ermittelt haben.
Slurm-Cluster neu bereitstellen
Wenn Sie die Anzahl der Rechenknoten erhöhen oder Ihrem Cluster neue Partitionen hinzufügen müssen, müssen Sie möglicherweise die Konfigurationen für Ihren Slurm-Cluster aktualisieren, indem Sie ihn noch einmal bereitstellen.
So stellen Sie den Cluster mit einem vorhandenen Image noch einmal bereit:
Führen Sie dazu diesen Befehl aus:
./gcluster deploy -d h4d-slurm-deployment.yaml examples/h4d/h4d-slurm-deployment.yaml --only cluster-env,cluster --auto-approve -w
Dieser Befehl ist nur für erneute Bereitstellungen gedacht, bei denen bereits ein Image vorhanden ist. Er stellt nur den Cluster und seine Infrastruktur neu bereit.
Slurm-Cluster löschen
Führen Sie die folgenden Schritte aus, um den Slurm-Cluster und die darin enthaltenen Instanzen zu entfernen:
Trennen Sie die Verbindung zum Cluster, falls noch nicht geschehen.
Bevor Sie den Löschbefehl ausführen, wechseln Sie zum Stammverzeichnis des Cluster Toolkit-Verzeichnisses. Standardmäßig befindet sich DEPLOYMENT_FOLDER im Stammverzeichnis des Cluster Toolkit-Verzeichnisses.
Führen Sie den folgenden Befehl aus, um den Cluster zu löschen:
./gcluster destroy DEPLOYMENT_FOLDER --auto-approve
Ersetzen Sie Folgendes:
DEPLOYMENT_FOLDER: der Name des Bereitstellungsordners. Er entspricht in der Regel DEPLOYMENT_NAME.
Wenn das Entfernen des Clusters abgeschlossen ist, sollte eine Meldung wie die folgende angezeigt werden:
Destroy complete! Resources: xx destroyed.
Informationen zum sauberen Löschen der Infrastruktur und erweiterte Anleitungen zur manuellen Bereitstellung finden Sie im Bereitstellungsordner im Stammverzeichnis des Cluster Toolkit-Verzeichnisses: DEPLOYMENT_FOLDER/instructions.txt