Google utilise la technologie IA pour traduire le contenu dans votre langue préférée. Les traductions générées par IA peuvent contenir des erreurs.

Créer un cluster GKE personnalisé optimisé pour l'IA qui utilise G2 ou G4

GPU généraux

Ce document explique comment créer des clusters Google Kubernetes Engine (GKE) personnalisés qui utilisent la série de machines optimisées pour les accélérateurs G2 (NVIDIA L4) ou G4 (NVIDIA RTX PRO 6000) pour prendre en charge vos charges de travail d'intelligence artificielle (IA) et de machine learning (ML). Les séries de machines G2 et G4 sont des GPU généraux, qui fournissent des ressources de calcul indépendantes conçues pour les tâches d'IA courantes telles que l'inférence à petite ou moyenne échelle et les applications gourmandes en ressources graphiques.

GKE fournit une plate-forme unique pour exécuter un ensemble varié de charges de travail pour votre organisation, ce qui réduit la charge opérationnelle liée à la gestion de plusieurs plates-formes.

Pour créer un cluster GKE optimisé pour l'IA avec G2 ou G4, procédez comme suit :

Créer l'environnement GKE
Vous connecter à votre cluster
Configurer les manifestes de vos pods

Avant de commencer

Avant de commencer, effectuez les tâches suivantes :

Activez l'API Google Kubernetes Engine.

Activer l'API Google Kubernetes Engine

Si vous souhaitez utiliser Google Cloud CLI pour cette tâche, installez puis initialisez la gcloud CLI. Si vous avez déjà installé la gcloud CLI, obtenez la dernière version en exécutant la gcloud components update commande. Il est possible que les versions antérieures de la gcloud CLI ne permettent pas d'exécuter les commandes de ce document.
Remarque : Pour les installations de la gcloud CLI existantes, veillez à définir la propriété compute/region. Si vous utilisez principalement des clusters zonaux, définissez plutôt compute/zone. En définissant un emplacement par défaut, vous pouvez éviter les erreurs gcloud CLI de ce type : One of [--zone, --region] must be supplied: Please specify location. Vous devrez peut-être spécifier l'emplacement dans certaines commandes si celui de votre cluster diffère de l'emplacement par défaut que vous avez défini.

Rôles requis

Pour obtenir les autorisations nécessaires pour créer et gérer un cluster GKE, demandez à votre administrateur de vous accorder les rôles IAM suivants sur le projet :

Administrateur Kubernetes Engine (roles/container.admin)
Administrateur de Compute (roles/compute.admin)

Pour en savoir plus sur l'attribution de rôles, consultez Gérer l'accès aux projets, aux dossiers et aux organisations.

Vous pouvez également obtenir les autorisations requises avec des rôles personnalisés ou d'autres rôles prédéfinis.

Choisir une option de consommation et obtenir de la capacité

Choisissez une option de consommation. Faites votre choix en fonction de la manière dont vous souhaitez obtenir et utiliser les ressources GPU. Pour en savoir plus, consultez Choisir une option de consommation.

Pour GKE, tenez compte des informations supplémentaires suivantes lorsque vous choisissez une option de consommation :
- Pour en savoir plus sur le démarrage flexible (aperçu) et GKE, consultez À propos de la disponibilité des GPU avec le démarrage flexible.
- Le démarrage flexible utilise un placement compact au mieux. Pour examiner votre topologie, consultez Afficher la topologie physique des nœuds de votre cluster GKE.
- Vous ne pouvez obtenir des informations sur la topologie lorsque vous utilisez des VM Spot que si vous configurez un placement compact.
Obtenez de la capacité. Découvrez comment obtenir de la capacité pour votre option de consommation.

Conditions requises

Pour créer un cluster GKE optimisé pour l'IA qui utilise G2 ou G4, assurez-vous de respecter les conditions requises suivantes :

Version de GKE : les machines G4 (RTX PRO 6000) nécessitent la version 1.32.4-gke.1698000 ou ultérieure de GKE.
Pilotes GPU : vos nœuds GPU doivent utiliser le pilote NVIDIA version 535 ou ultérieure.

Limites

Les limites suivantes s'appliquent à G2 et G4 en tant que séries de machines GPU générales :

Disques SSD locaux : les types de machines G2 et G4 n'incluent pas de disques SSD locaux par défaut. Vous devez les associer manuellement si nécessaire.
NCCL Fast Socket : vous ne pouvez pas utiliser NCCL Fast Socket avec des machines G2 ou G4 sur GKE. Bien que les machines G2 et G4 soient compatibles avec la communication multinoeuds, elles utilisent la mise en réseau VPC standard. Pour l'entraînement distribué à grande échelle qui nécessite un débit réseau maximal, nous vous recommandons d'utiliser la série de machines GPU en cluster, telle que A3 High ou A3 Mega (qui utilisent GPUDirect TCPX) ou A3 Ultra et A4 (qui utilisent GPUDirect RDMA).

Créer l'environnement GKE

Vous pouvez créer un cluster en mode Autopilot ou Standard.

Autopilot

Pour créer un cluster Autopilot, exécutez la commande suivante :

gcloud container clusters create-auto CLUSTER_NAME \
    --region=REGION

Remplacez les éléments suivants :

CLUSTER_NAME : nom du cluster
REGION : région de votre cluster

Standard

Créez un cluster Standard et un pool de nœuds GPU :

Pour créer un cluster Standard, exécutez la commande suivante :
```
gcloud container clusters create CLUSTER_NAME \
    --region=REGION \
    --enable-ip-alias
```
Remplacez les éléments suivants :
- CLUSTER_NAME : nom du cluster
- REGION : région de votre cluster
Créez le pool de nœuds. Une fois votre cluster créé, vous pouvez ajouter un pool de nœuds avec G2 ou G4. Pour les charges de travail multinoeuds utilisant G2 (L4) ou G4 (RTX PRO 6000), nous vous recommandons d'utiliser une stratégie d'emplacement compact afin de réduire la latence réseau entre les nœuds.

Pour créer un pool de nœuds, exécutez la commande suivante :

Conseil : Pour exécuter des charges de travail gourmandes en ressources graphiques sur cette VM, vous devez utiliser le type d'accélérateur nvidia-l4-vws (pour G2) ou nvidia-rtx-pro-6000-vws (pour G4), car il est compatible avec NVIDIA RTX Virtual Workstation (vWS). Lorsque vous créez une instance qui utilise NVIDIA RTX Virtual Workstation, Compute Engine ajoute automatiquement une licence vWS. Pour en savoir plus sur la tarification des postes de travail virtuels, consultez la page Tarifs des GPU.
G2 (NVIDIA L4)
gcloud container node-pools create NODE_POOL_NAME \ --cluster=CLUSTER_NAME \ --region=REGION \ --node-locations=ZONE \ --machine-type=MACHINE_TYPE \ --accelerator=type=nvidia-l4,count=AMOUNT,gpu-driver-version=LATEST \ --placement-type=COMPACT \ --scopes="https://www.googleapis.com/auth/cloud-platform" \ --local-ssd-count=LOCAL_SSD_COUNT
G4 (NVIDIA RTX PRO 6000)
gcloud container node-pools create NODE_POOL_NAME \ --cluster=CLUSTER_NAME \ --region=REGION \ --node-locations=ZONE \ --machine-type=MACHINE_TYPE \ --accelerator=type=nvidia-rtx-pro-6000,count=AMOUNT,gpu-driver-version=LATEST \ --disk-type=hyperdisk-balanced \ --placement-type=COMPACT \ --scopes="https://www.googleapis.com/auth/cloud-platform" \ --local-ssd-count=LOCAL_SSD_COUNT
Poste de travail virtuel G4 (vWS)
gcloud container node-pools create NODE_POOL_NAME \ --cluster=CLUSTER_NAME \ --region=REGION \ --node-locations=ZONE \ --machine-type=MACHINE_TYPE \ --accelerator=type=nvidia-rtx-pro-6000-vws,count=AMOUNT,gpu-driver-version=LATEST \ --disk-type=hyperdisk-balanced \ --placement-type=COMPACT \ --scopes="https://www.googleapis.com/auth/cloud-platform" \ --local-ssd-count=LOCAL_SSD_COUNT
Remplacez les éléments suivants :
- NODE_POOL_NAME : nom de votre pool de nœuds.
- CLUSTER_NAME : nom du cluster
- REGION : région de votre cluster
- ZONE: une ou plusieurs zones de votre région dans lesquelles les GPU demandés sont disponibles, par exemple us-central1-a. Cela est nécessaire lorsque vous utilisez un placement compact.
- MACHINE_TYPE: type de machine pour vos nœuds, par exemple g2-standard-4 pour les machines G2 et g4-standard-48 pour les machines G4.
- AMOUNT : nombre de GPU à associer à chaque nœud.
- LOCAL_SSD_COUNT: nombre de volumes SSD locaux à provisionner sur chaque nœud.

Vous connecter à votre cluster

Connectez-vous à votre cluster pour pouvoir exécuter les commandes kubectl dans les sections suivantes :

gcloud container clusters get-credentials CLUSTER_NAME \
    --region=REGION

Remplacez les éléments suivants :

CLUSTER_NAME : nom du cluster
REGION : région de votre cluster

Pour en savoir plus, consultez Installer kubectl et configurer l'accès au cluster.

Configurer les manifestes de vos pods (Autopilot uniquement)

Si vous avez créé un cluster Autopilot, vous devez sélectionner les GPU appropriés dans les manifestes de vos pods afin que GKE provisionne le matériel.

Spécifiez le type de GPU choisi et la réservation spécifique à l'aide de sélecteurs de nœuds :
```
spec:
  nodeSelector:
    cloud.google.com/gke-accelerator: ACCELERATOR
    cloud.google.com/gke-gpu-driver-version: latest
    # Optional: Include if using reserved capacity
    cloud.google.com/reservation-name: RESERVATION_NAME
    cloud.google.com/reservation-affinity: "specific"
```
Remplacez les éléments suivants :
- ACCELERATOR : accélérateur que vous avez réservé. Vous devez utiliser nvidia-l4 (pour G2), nvidia-rtx-pro-6000 (pour G4) ou nvidia-rtx-pro-6000-vws (pour G4 avec poste de travail virtuel).
- RESERVATION_NAME : nom de la réservation de capacité Compute Engine. Pour consommer des réservations partagées, ou des blocs et sous-blocs spécifiques de réservations, consultez les sections correspondantes dans Consommer des ressources de chemin zonal réservées.
Ajoutez les ressources suivantes au conteneur qui demande des GPU :
```
containers:
  - name: my-container
    resources:
      limits:
        nvidia.com/gpu: AMOUNT
```
Remplacez AMOUNT par le nombre de GPU à associer à chaque nœud.

Créer un cluster GKE personnalisé optimisé pour l'IA qui utilise G2 ou G4 Restez organisé à l'aide des collections Enregistrez et classez les contenus selon vos préférences.