Google verwendet KI-Technologie, um Inhalte in Ihre bevorzugte Sprache zu übersetzen. KI-Übersetzungen können Fehler enthalten.

Benutzerdefinierten KI-optimierten GKE-Cluster erstellen, der A2 verwendet

Allgemeine GPUs

In diesem Dokument wird beschrieben, wie Sie benutzerdefinierte Google Kubernetes Engine-Cluster (GKE-Cluster) erstellen, die die beschleunigungsoptimierten Maschinentypen A2 Standard (A100 40 GB) oder A2 Ultra (A100 80 GB) verwenden, um Ihre Arbeitslasten für künstliche Intelligenz (KI) und maschinelles Lernen (ML) zu unterstützen. A2 ist eine allgemeine GPU-Maschinenserie, die unabhängige Rechenressourcen für gängige KI-Aufgaben bietet wie das Trainieren kleinerer Modelle und die Inferenz auf einem einzelnen Host.

GKE bietet eine einheitliche Plattform, auf der Sie eine Vielzahl von Arbeitslasten für Ihr Unternehmen ausführen können. So wird der Betriebsaufwand für die Verwaltung mehrerer Plattformen reduziert.

So erstellen Sie einen KI-optimierten GKE-Cluster, der die A2-Maschinenserie verwendet:

GKE-Umgebung erstellen
Mit dem Cluster verbinden
Pod-Manifeste konfigurieren

Hinweis

Führen Sie die folgenden Aufgaben aus, bevor Sie beginnen:

Aktivieren Sie die Google Kubernetes Engine API.

Google Kubernetes Engine API aktivieren

Wenn Sie die Google Cloud CLI für diese Aufgabe verwenden möchten, installieren und dann initialisieren Sie die gcloud CLI. Wenn Sie die gcloud CLI bereits installiert haben, rufen Sie die neueste Version mit dem gcloud components update Befehl ab. Ältere gcloud CLI-Versionen unterstützen möglicherweise nicht die Ausführung der Befehle in diesem Dokument.
Hinweis: Legen Sie für vorhandene Installationen der gcloud CLI das Attribut compute/region fest. Wenn Sie hauptsächlich zonale Cluster verwenden, legen Sie stattdessen compute/zone fest. Wenn Sie einen standardmäßigen Speicherort festlegen, können Sie in der gcloud CLI Fehler wie diesen vermeiden: One of [--zone, --region] must be supplied: Please specify location. Bei bestimmten Befehlen müssen Sie möglicherweise den Speicherort angeben, wenn er sich von dem von Ihnen festgelegten Standard unterscheidet.

Erforderliche Rollen

Bitten Sie Ihren Administrator, Ihnen die folgenden IAM-Rollen für das Projekt zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Erstellen und Verwalten eines GKE-Cluster benötigen:

Kubernetes Engine-Administrator (roles/container.admin)
Compute Admin (roles/compute.admin)

Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Sie können die erforderlichen Berechtigungen auch über benutzerdefinierte Rollen oder andere vordefinierte Rollen erhalten.

Nutzungsoption auswählen und Kapazität abrufen

Nutzungsoption auswählen. Treffen Sie Ihre Auswahl basierend darauf, wie Sie GPU-Ressourcen erhalten und verwenden möchten. Weitere Informationen finden Sie unter Nutzungsoption auswählen.

Berücksichtigen Sie für GKE die folgenden zusätzlichen Informationen, wenn Sie eine Nutzungsoption auswählen:
- Weitere Informationen zu Flex-Start (Vorschau) und GKE finden Sie unter GPU-Verfügbarkeit mit Flex-Start.
- Flex-Start verwendet eine kompakte Platzierung nach dem Best-Effort-Prinzip. Informationen zum Untersuchen Ihrer Topologie finden Sie unter Physische Topologie von Knoten in Ihrem GKE-Cluster ansehen.
- Sie können Topologieinformationen nur abrufen, wenn Sie Spot-VMs verwenden und eine kompakte Platzierung konfigurieren.
Kapazität abrufen. Informationen zum Abrufen von Kapazität für Ihre Nutzungs option.

Voraussetzungen

Für einen KI-optimierten GKE-Cluster, der A2-Maschinen verwendet, müssen Ihre GPU-Knoten die NVIDIA-Treiberversion 450.80.02 oder höher verwenden.

Beschränkungen

Die folgenden Einschränkungen gelten für A2-Maschinen als allgemeine GPU:

GPU mit mehreren Instanzen:Obwohl A2-Maschinen (A100-GPUs) die Hardwarepartitionierung unterstützen, wird die GPU mit mehreren Instanzen (NVIDIA) bei Verwendung von GKE Autopilot nicht unterstützt. Für Arbeitslasten, die eine A100-GPU-Partitionierung erfordern, müssen Sie GKE Standard verwenden.

GKE-Umgebung erstellen

Sie können einen Cluster im Autopilot- oder Standard-Modus erstellen.

Autopilot

Führen Sie den folgenden Befehl aus, um einen Autopilot-Cluster zu erstellen:

  gcloud container clusters create-auto CLUSTER_NAME \
      --region=REGION

Ersetzen Sie Folgendes:

CLUSTER_NAME: Der Name Ihres Clusters.
REGION: Die Region für Ihren Cluster.

Standard

Erstellen Sie einen Standard-Cluster und einen GPU-Knotenpool:

Führen Sie den folgenden Befehl aus, um einen Standard-Cluster zu erstellen:
```
gcloud container clusters create CLUSTER_NAME \
    --region=REGION \
    --enable-ip-alias
```
Ersetzen Sie Folgendes:
- CLUSTER_NAME: Der Name Ihres Clusters.
- REGION: Die Region für Ihren Cluster.
Erstellen Sie den Knotenpool. Nachdem Sie den Cluster erstellt haben, können Sie einen Knotenpool mit A2-GPUs hinzufügen.

Wichtige Hinweise:
- Bei A2-Standard-Maschinentypen (a2-highgpu) müssen Sie lokale SSD-Laufwerke manuell an Ihre Knoten anhängen, um sie für Scratch-Speicher oder Caching zu verwenden. Verwenden Sie das Flag --local-ssd-count.
- A2-Ultra-Maschinentypen (a2-ultragpu) enthalten standardmäßig automatisch eine feste Anzahl lokaler SSD-Laufwerke.
- Für Trainingsarbeitslasten mit mehreren Knoten empfehlen wir die Verwendung einer Richtlinie für kompakte Platzierung um die Netzwerklatenz zwischen Knoten zu minimieren.
- Für Trainingsarbeitslasten mit mehreren Knoten empfehlen wir außerdem, NCCL Fast Socket zu aktivieren, um die Netzwerkleistung zu verbessern.
A2 Standard (A100 40GB)
gcloud container node-pools create NODE_POOL_NAME \ --cluster=CLUSTER_NAME \ --region=REGION \ --node-locations=ZONE \ --machine-type=MACHINE_TYPE \ --accelerator=type=nvidia-tesla-a100,count=AMOUNT,gpu-driver-version=LATEST \ --placement-type=COMPACT \ --scopes="https://www.googleapis.com/auth/cloud-platform" \ --local-ssd-count=LOCAL_SSD_COUNT
A2 Ultra (A100 80GB)
gcloud container node-pools create NODE_POOL_NAME \ --cluster=CLUSTER_NAME \ --region=REGION \ --node-locations=ZONE \ --machine-type=MACHINE_TYPE \ --accelerator=type=nvidia-a100-80gb,count=AMOUNT,gpu-driver-version=LATEST \ --placement-type=COMPACT \ --scopes="https://www.googleapis.com/auth/cloud-platform"
Ersetzen Sie Folgendes:
- CLUSTER_NAME: Der Name Ihres Clusters.
- REGION: Die Region für Ihren Cluster.
- ZONE: Eine oder mehrere Zonen in Ihrer Region, in denen die angeforderten GPUs verfügbar sind, z. B. us-central1-a. Dies ist bei Verwendung einer kompakten Platzierung erforderlich.
- NODE_POOL_NAME: Der Name des Knotenpools.
- MACHINE_TYPE: Der Maschinentyp für Ihre Knoten, z. B. a2-highgpu-1g.
- AMOUNT: Die Anzahl der GPUs, die an jeden Knoten angehängt werden sollen.
- LOCAL_SSD_COUNT: Die Anzahl der lokalen SSD-Volumes, die auf jedem Knoten bereitgestellt werden sollen.

Mit dem Cluster verbinden

Stellen Sie eine Verbindung zu Ihrem Cluster her, damit Sie die kubectl-Befehle in den nächsten Abschnitten ausführen können:

gcloud container clusters get-credentials CLUSTER_NAME \
    --region=REGION

Ersetzen Sie Folgendes:

CLUSTER_NAME: Der Name Ihres Clusters.
REGION: Die Region für Ihren Cluster.

Weitere Informationen finden Sie unter kubectl installieren und Clusterzugriff konfigurieren.

Pod-Manifest konfigurieren (nur Autopilot)

Wenn Sie einen Autopilot-Cluster erstellt haben, müssen Sie die entsprechenden GPUs in Ihren Pod-Manifesten auswählen, damit GKE die Hardware bereitstellt.

Geben Sie den ausgewählten GPU-Typ und die spezifische Reservierung mit Knotenselektoren an:
```
spec:
  nodeSelector:
    cloud.google.com/gke-accelerator: ACCELERATOR
    cloud.google.com/gke-gpu-driver-version: latest
    # Optional: Include if using reserved capacity
    cloud.google.com/reservation-name: RESERVATION_NAME
    cloud.google.com/reservation-affinity: "specific"
```
Ersetzen Sie Folgendes:
- ACCELERATOR: Der von Ihnen reservierte Beschleuniger. Sie müssen nvidia-tesla-a100 (für A2 Standard) oder nvidia-a100-80gb (für A2 Ultra) verwenden.
- RESERVATION_NAME: Der Name der Compute Engine-Kapazitätsreservierung. Informationen zur Nutzung freigegebener Reservierungen oder bestimmter Blöcke und Unterblöcke von Reservierungen finden Sie in den entsprechenden Abschnitten unter Reservierte zonale Ressourcen aufnehmen.
Fügen Sie dem Container, der GPUs anfordert, die folgenden Ressourcen hinzu:
```
containers:
  - name: my-container
    resources:
      limits:
        nvidia.com/gpu: AMOUNT
```
Ersetzen Sie AMOUNT durch die Anzahl der GPUs, die an jeden Knoten angehängt werden sollen.

Benutzerdefinierten KI-optimierten GKE-Cluster erstellen, der A2 verwendet Mit Sammlungen den Überblick behalten Sie können Inhalte basierend auf Ihren Einstellungen speichern und kategorisieren.