Benutzerdefinierten KI-optimierten GKE-Cluster erstellen, der G2 oder G4 verwendet

Allgemeine GPUs

In diesem Dokument wird beschrieben, wie Sie benutzerdefinierte Google Kubernetes Engine-Cluster (GKE) erstellen, die die beschleunigungsoptimierten Maschinenserien G2 (NVIDIA L4) oder G4 (NVIDIA RTX PRO 6000) verwenden, um Ihre Arbeitslasten für künstliche Intelligenz (KI) und maschinelles Lernen (ML) zu unterstützen. G2 und G4 sind allgemeine GPU-Maschinenserien, die unabhängige Compute-Ressourcen für Mainstream-KI-Aufgaben bieten, wie kleine bis mittlere Inferenz und grafikintensive Anwendungen.

GKE bietet eine einzige Plattformoberfläche zum Ausführen verschiedener Arbeitslasten für Ihr Unternehmen und reduziert so den Betriebsaufwand für die Verwaltung mehrerer Plattformen.

So erstellen Sie einen KI-optimierten GKE-Cluster mit G2 oder G4:

1. GKE-Umgebung erstellen
2. Mit dem Cluster verbinden
3. Pod-Manifeste konfigurieren

Hinweis

Führen Sie die folgenden Aufgaben aus, bevor Sie beginnen:

• Aktivieren Sie die Google Kubernetes Engine API.
Google Kubernetes Engine API aktivieren
• Wenn Sie die Google Cloud CLI für diese Aufgabe verwenden möchten, installieren und dann initialisieren Sie die gcloud CLI. Wenn Sie die gcloud CLI bereits installiert haben, rufen Sie die neueste Version mit dem gcloud components update Befehl ab. Ältere gcloud CLI-Versionen unterstützen möglicherweise nicht die Ausführung der Befehle in diesem Dokument.
  Hinweis: Legen Sie für vorhandene Installationen der gcloud CLI das Attribut compute/region fest. Wenn Sie hauptsächlich zonale Cluster verwenden, legen Sie stattdessen compute/zone fest. Wenn Sie einen standardmäßigen Speicherort festlegen, können Sie in der gcloud CLI Fehler wie diesen vermeiden: One of [--zone, --region] must be supplied: Please specify location. Bei bestimmten Befehlen müssen Sie möglicherweise den Speicherort angeben, wenn er sich von dem von Ihnen festgelegten Standard unterscheidet.

Erforderliche Rollen

Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen für das Projekt zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Erstellen und Verwalten eines GKE-Cluster benötigen:

• Kubernetes Engine-Administrator (roles/container.admin)
• Compute Admin (roles/compute.admin)

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Sie können die erforderlichen Berechtigungen auch über benutzerdefinierte Rollen oder andere vordefinierte Rollen erhalten.

Nutzungsoption auswählen und Kapazität abrufen

1. Nutzungsoption auswählen. Treffen Sie Ihre Auswahl basierend darauf, wie Sie GPU-Ressourcen erhalten und verwenden möchten. Weitere Informationen finden Sie unter Nutzungsoption auswählen.

   Berücksichtigen Sie für GKE die folgenden zusätzlichen Informationen, wenn Sie eine Nutzungsoption auswählen:

   • Weitere Informationen zu Flex-Start (Vorschau) und GKE finden Sie unter GPU-Verfügbarkeit mit Flex-Start.
   • Flex-Start verwendet eine kompakte Platzierung nach dem Best-Effort-Prinzip. Informationen zum Untersuchen Ihrer Topologie finden Sie unter Physische Topologie von Knoten in Ihrem GKE-Cluster ansehen.
   • Sie können Topologieinformationen nur abrufen, wenn Sie Spot-VMs verwenden und eine kompakte Platzierung konfigurieren.

2. Kapazität abrufen. Informationen zum Abrufen von Kapazität für Ihre Nutzungs option.

Voraussetzungen

Wenn Sie einen KI-optimierten GKE-Cluster mit G2 oder G4 erstellen möchten, müssen die folgenden Voraussetzungen erfüllt sein:

• GKE-Version:Für G4-Maschinen (RTX PRO 6000) ist GKE-Version 1.32.4-gke.1698000 oder höher erforderlich.
• GPU-Treiber:Ihre GPU-Knoten müssen die NVIDIA-Treiberversion 535 oder höher verwenden.

Beschränkungen

Die folgenden Einschränkungen gelten für G2 und G4 als allgemeine GPU Maschinenserien:

• Lokale SSDs:G2- und G4-Maschinentypen enthalten standardmäßig keine lokalen SSD-Laufwerke. Sie müssen sie bei Bedarf manuell anhängen.
• NCCL Fast Socket: Sie können NCCL Fast Socket nicht mit G2- oder G4-Maschinen in GKE verwenden. G2- und G4-Maschinen unterstützen zwar die Kommunikation zwischen mehreren Knoten, verwenden aber das Standard-VPC-Netzwerk. Für verteiltes Training im großen Maßstab, das einen maximalen Netzwerkdurchsatz erfordert, empfehlen wir die Verwendung der Clustered GPU-Maschinenserien wie A3 High oder A3 Mega (mit GPUDirect TCPX) oder A3 Ultra und A4 (mit GPUDirect RDMA).

GKE-Umgebung erstellen

Sie können einen Cluster im Autopilot- oder Standardmodus erstellen.

Autopilot

Führen Sie den folgenden Befehl aus, um einen Autopilot-Cluster zu erstellen:

gcloud container clusters create-auto CLUSTER_NAME \
    --region=REGION

Ersetzen Sie Folgendes:

• CLUSTER_NAME: Der Name Ihres Clusters.
• REGION: Die Region für Ihren Cluster.

Standard

Erstellen Sie einen Standardcluster und einen GPU-Knotenpool:

1. Führen Sie den folgenden Befehl aus, um einen Standardcluster zu erstellen:

   gcloud container clusters create CLUSTER_NAME \
       --region=REGION \
       --enable-ip-alias
   

   Ersetzen Sie Folgendes:

   • CLUSTER_NAME: Der Name Ihres Clusters.
   • REGION: Die Region für Ihren Cluster.

2. Erstellen Sie den Knotenpool. Nachdem Sie den Cluster erstellt haben, können Sie einen Knotenpool mit G2 oder G4 hinzufügen. Für Arbeitslasten mit mehreren Knoten, die G2 (L4) oder G4 (RTX PRO 6000) verwenden, empfehlen wir die Verwendung einer Richtlinie für kompakte Platzierung , um die Netzwerklatenz zwischen Knoten zu minimieren.

   Verwenden Sie den folgenden Befehl, um einen Knotenpool zu erstellen:

   Tipp: Wenn Sie grafikintensive Arbeitslasten auf dieser VM ausführen möchten, müssen Sie den Beschleunigertyp nvidia-l4-vws (für G2) oder nvidia-rtx-pro-6000-vws (für G4) verwenden, da er NVIDIA RTX Virtual Workstation (vWS) unterstützt. Wenn Sie eine Instanz erstellen, die NVIDIA RTX Virtual Workstation verwendet, fügt Compute Engine automatisch eine vWS-Lizenz hinzu. Informationen zu Preisen für virtuelle Workstations finden Sie auf der Seite GPU-Preise.

   G2 (NVIDIA L4)

   gcloud container node-pools create NODE_POOL_NAME \
       --cluster=CLUSTER_NAME \
       --region=REGION \
       --node-locations=ZONE \
       --machine-type=MACHINE_TYPE \
       --accelerator=type=nvidia-l4,count=AMOUNT,gpu-driver-version=LATEST \
       --placement-type=COMPACT \
       --scopes="https://www.googleapis.com/auth/cloud-platform" \
       --local-ssd-count=LOCAL_SSD_COUNT
   

   G4 (NVIDIA RTX PRO 6000)

   gcloud container node-pools create NODE_POOL_NAME \
       --cluster=CLUSTER_NAME \
       --region=REGION \
       --node-locations=ZONE \
       --machine-type=MACHINE_TYPE \
       --accelerator=type=nvidia-rtx-pro-6000,count=AMOUNT,gpu-driver-version=LATEST \
       --disk-type=hyperdisk-balanced \
       --placement-type=COMPACT \
       --scopes="https://www.googleapis.com/auth/cloud-platform" \
       --local-ssd-count=LOCAL_SSD_COUNT
   

   G4 Virtual Workstation (vWS)

   gcloud container node-pools create NODE_POOL_NAME \
       --cluster=CLUSTER_NAME \
       --region=REGION \
       --node-locations=ZONE \
       --machine-type=MACHINE_TYPE \
       --accelerator=type=nvidia-rtx-pro-6000-vws,count=AMOUNT,gpu-driver-version=LATEST \
       --disk-type=hyperdisk-balanced \
       --placement-type=COMPACT \
       --scopes="https://www.googleapis.com/auth/cloud-platform" \
       --local-ssd-count=LOCAL_SSD_COUNT
   

   Ersetzen Sie Folgendes:

   • NODE_POOL_NAME: Der Name des Knotenpools.
   • CLUSTER_NAME: Der Name Ihres Clusters.
   • REGION: Die Region für Ihren Cluster.
   • ZONE: Eine oder mehrere Zonen in Ihrer Region, in denen die angeforderten GPUs verfügbar sind, z. B. us-central1-a. Dies ist bei Verwendung einer kompakten Platzierung erforderlich.
   • MACHINE_TYPE: Der Maschinentyp für Ihre Knoten, z. B. g2-standard-4 für G2-Maschinen und g4-standard-48 für G4-Maschinen.
   • AMOUNT: Die Anzahl der GPUs, die an jeden Knoten angehängt werden sollen.
   • LOCAL_SSD_COUNT: Die Anzahl der lokalen SSD-Volumes, die auf jedem Knoten bereitgestellt werden sollen.

Mit dem Cluster verbinden

Stellen Sie eine Verbindung zu Ihrem Cluster her, damit Sie die kubectl-Befehle in den nächsten Abschnitten ausführen können:

gcloud container clusters get-credentials CLUSTER_NAME \
    --region=REGION

Ersetzen Sie Folgendes:

• CLUSTER_NAME: Der Name Ihres Clusters.
• REGION: Die Region für Ihren Cluster.

Weitere Informationen finden Sie unter kubectl installieren und Clusterzugriff konfigurieren.

Pod-Manifeste konfigurieren (nur Autopilot)

Wenn Sie einen Autopilot-Cluster erstellt haben, müssen Sie die entsprechenden GPUs in Ihren Pod-Manifesten auswählen, damit GKE die Hardware bereitstellt.

1. Geben Sie den ausgewählten GPU-Typ und die spezifische Reservierung mit Knotenselektoren an:

   spec:
     nodeSelector:
       cloud.google.com/gke-accelerator: ACCELERATOR
       cloud.google.com/gke-gpu-driver-version: latest
       # Optional: Include if using reserved capacity
       cloud.google.com/reservation-name: RESERVATION_NAME
       cloud.google.com/reservation-affinity: "specific"
   

   Ersetzen Sie Folgendes:

   • ACCELERATOR: Der von Ihnen reservierte Beschleuniger. Sie müssen nvidia-l4 (für G2), nvidia-rtx-pro-6000 (für G4) oder nvidia-rtx-pro-6000-vws (für G4 mit Virtual Workstation) verwenden.
   • RESERVATION_NAME: Der Name der Compute Engine-Kapazitätsreservierung. Informationen zum Verwenden freigegebener Reservierungen oder bestimmter Blöcke und Unterblöcke von Reservierungen finden Sie in den entsprechenden Abschnitten unter Reservierte zonale Ressourcen aufnehmen.

2. Fügen Sie dem Container, der GPUs anfordert, die folgenden Ressourcen hinzu:

   containers:
     - name: my-container
       resources:
         limits:
           nvidia.com/gpu: AMOUNT
   

   Ersetzen Sie AMOUNT durch die Anzahl der GPUs, die an jeden Knoten angehängt werden sollen.

Nächste Schritte

• GKE-Arbeitslasten planen
• Knotenzustandsprognose aktivieren