Vous pouvez activer et gérer les ressources de processeur graphique (GPU) sur vos conteneurs. Par exemple, vous préférerez peut-être exécuter des notebooks d'intelligence artificielle (IA) et de machine learning (ML) dans un environnement GPU. Pour exécuter des charges de travail de conteneur GPU, vous devez disposer d'un cluster Kubernetes compatible avec les appareils GPU. La compatibilité avec les GPU est activée par défaut pour les clusters Kubernetes pour lesquels des machines GPU sont provisionnées.
Ce document s'adresse aux développeurs d'applications du groupe d'opérateurs d'applications, qui sont chargés de créer des charges de travail d'application pour leur organisation. Pour en savoir plus, consultez la documentation sur les audiences pour GDC sous air gap.
Avant de commencer
Pour effectuer les tâches décrites dans ce document, vous devez demander les autorisations nécessaires et préparer votre environnement.
Demander des rôles IAM
Vous devez disposer de rôles spécifiques pour obtenir les autorisations nécessaires au déploiement de GPU sur vos conteneurs. Les rôles dont vous avez besoin dépendent de l'environnement dans lequel vous travaillez : un cluster partagé au niveau de l'organisation ou un cluster standard au niveau du projet. Pour en savoir plus, consultez Configurations de cluster Kubernetes.
Rôles de cluster partagés
Pour vérifier les pools de nœuds compatibles avec les GPU et déployer des charges de travail GPU dans un cluster partagé, demandez les rôles suivants en fonction de la tâche à effectuer :
- Administrateur de cluster d'utilisateur (
user-cluster-admin) : créez, supprimez, modifiez ou affichez les ressources d'un cluster partagé hébergé sur le serveur de l'API Management. Ce rôle vous permet de vérifier les GPU du cluster partagé et n'est pas lié à l'espace de noms de votre projet. - Administrateur d'espace de noms (
namespace-admin) : créer, supprimer, modifier ou afficher les ressources d'un cluster partagé hébergé dans le projet. Ce rôle vous permet de déployer des charges de travail GPU sur un cluster partagé et est lié à l'espace de noms de votre projet.
Rôles de cluster standards
Pour vérifier les pools de nœuds compatibles avec les GPU et déployer des charges de travail GPU sur un cluster standard, demandez à l'administrateur de projet IAM de vous accorder les rôles suivants :
- Administrateur de cluster standard (
standard-cluster-admin) : crée, supprime, modifie ou affiche les ressources d'un cluster standard hébergé sur le serveur de l'API Management. Ce rôle vous permet de vérifier les GPU dans le cluster standard et est lié à l'espace de noms de votre projet. - Développeur de cluster (
cluster-developer) : crée, supprime, modifie ou affiche un cluster standard. Ce rôle vous permet de déployer des charges de travail GPU sur un cluster standard en fournissant un accès aux API du plan de données hébergées dans le cluster standard. Ce rôle est lié à l'espace de noms de votre projet.
Préparer votre environnement
Pour configurer un conteneur afin qu'il utilise des ressources GPU, assurez-vous de disposer des ressources suivantes :
Un cluster Kubernetes avec un type de machine GPU :
- Clusters partagés : compatibles avec les pools de nœuds GPU dans toutes les versions.
- Clusters standards : compatibilité officielle avec les pools de nœuds GPU à partir de la version 1.16.2, correctif d'urgence 1. Les pools de nœuds GPU de cluster standard ne sont pas compatibles avec les versions antérieures. Pour en savoir plus sur les types de machines et les modèles de GPU disponibles, consultez Types de machines des nœuds de cluster.
Recherchez le nom du cluster Kubernetes ou demandez-le à un membre du groupe d'administrateurs de la plate-forme.
Connectez-vous et générez le fichier kubeconfig pour le cluster Kubernetes.
Utilisez le chemin d'accès kubeconfig du cluster Kubernetes pour remplacer
KUBERNETES_CLUSTER_KUBECONFIGdans ces instructions.Connectez-vous et générez le fichier kubeconfig pour le serveur d'API de gestion zonale qui héberge votre cluster Kubernetes. Utilisez ce chemin d'accès pour remplacer
MANAGEMENT_API_SERVERdans ces instructions.Connectez-vous et générez le fichier kubeconfig pour le cluster d'infrastructure de l'organisation dans la zone destinée à héberger vos GPU.
Configurer un conteneur pour utiliser des ressources GPU
Pour utiliser ces GPU dans un conteneur, procédez comme suit :
Vérifiez que votre cluster Kubernetes dispose de pools de nœuds compatibles avec les GPU :
kubectl describe clusters.cluster.gdc.goog/KUBERNETES_CLUSTER_NAME \ -n KUBERNETES_CLUSTER_NAMESPACE \ --kubeconfig MANAGEMENT_API_SERVERRemplacez les éléments suivants :
KUBERNETES_CLUSTER_NAME: nom du cluster.KUBERNETES_CLUSTER_NAMESPACE: espace de noms du cluster. Pour les clusters partagés, utilisez l'espace de nomsplatform. Pour les clusters standards, utilisez l'espace de noms du projet du cluster.MANAGEMENT_API_SERVER: chemin d'accès du fichier kubeconfig pour le serveur d'API zonal où est hébergé le cluster Kubernetes. Si vous n'avez pas encore généré de fichier kubeconfig pour le serveur d'API dans votre zone cible, consultez Se connecter.
Le résultat pertinent est semblable à l'extrait suivant :
# Several lines of code are omitted here. spec: nodePools: - machineTypeName: a2-ultragpu-1g-gdc nodeCount: 2 # Several lines of code are omitted here.Pour obtenir la liste complète des types de machines GPU et des profils de GPU multi-instances (MIG) compatibles, consultez Types de machines des nœuds de cluster.
Ajoutez les champs
.containers.resources.requestset.containers.resources.limitsà la spécification de votre conteneur.Dans GDC, les ressources GPU sont exposées dans Kubernetes comme suit :
- Ressources GPU entières : au format
nvidia.com/gpu-pod-GPU_MODEL. Utilisez ces noms de ressources lorsque vous demandez des GPU physiques complets. Des GPU entiers sont requis sur les clusters standards et sur les clusters partagés sans partitionnement de GPU multi-instance (MIG). - Ressources de partition MIG : au format
nvidia.com/mig-SLICE-GPU_MODEL. Utilisez ces noms de ressources lorsque vous demandez des tranches de GPU partitionnées sur des clusters partagés configurés avec un schéma de partitionnement MIG.
Pour connaître les noms des ressources Kubernetes pouvant être allouées pour chaque type de machine GPU compatible, consultez Noms des ressources GPU. Vous pouvez également vérifier l'allocation de ressources GPU sur un nœud actif pour inspecter les ressources allouables disponibles.
La spécification de conteneur suivante demande un GPU A100 de 80 Go entier à partir d'un nœud
a2-ultragpu-1g-gdcoua2-ultragpu-2g-gdc:# Several lines of code are omitted here. containers: - name: my-container image: "my-image" resources: requests: nvidia.com/gpu-pod-NVIDIA_A100_80GB_PCIE: 1 limits: nvidia.com/gpu-pod-NVIDIA_A100_80GB_PCIE: 1 # Several lines of code are omitted here.Si vous utilisez un cluster partagé configuré avec un MIG, la spécification de conteneur suivante demande trois partitions d'un GPU à partir d'un nœud
a2-ultragpu-1g-gdc:# Several lines of code are omitted here. containers: - name: my-container image: "my-image" resources: requests: nvidia.com/mig-1g.10gb-NVIDIA_A100_80GB_PCIE: 3 limits: nvidia.com/mig-1g.10gb-NVIDIA_A100_80GB_PCIE: 3 # Several lines of code are omitted here.- Ressources GPU entières : au format
Les conteneurs nécessitent également des autorisations supplémentaires pour accéder aux GPU. Pour chaque conteneur qui demande des GPU, ajoutez les autorisations suivantes à votre spécification de conteneur :
# Several lines of code are omitted here. securityContext: seLinuxOptions: type: unconfined_t # Several lines of code are omitted here.Appliquez le fichier manifeste de votre conteneur :
kubectl apply -f CONTAINER_MANIFEST_FILE \ -n KUBERNETES_CLUSTER_NAMESPACE \ --kubeconfig KUBERNETES_CLUSTER_KUBECONFIGRemplacez les éléments suivants :
CONTAINER_MANIFEST_FILE: fichier manifeste YAML de votre charge de travail de conteneur.KUBERNETES_CLUSTER_NAMESPACE: espace de noms du cluster. Pour les clusters partagés, utilisez l'espace de nomsplatform. Pour les clusters standards, utilisez l'espace de noms du projet du cluster.KUBERNETES_CLUSTER_KUBECONFIG: chemin d'accès kubeconfig du cluster.
Vérifier l'allocation des ressources GPU
Pour vérifier l'allocation de vos ressources GPU, utilisez la commande suivante :
kubectl describe nodes NODE_NAME --kubeconfig KUBERNETES_CLUSTER_KUBECONFIGRemplacez les éléments suivants :
NODE_NAME: nœud gérant les GPU que vous souhaitez inspecter.KUBERNETES_CLUSTER_KUBECONFIG: chemin d'accès kubeconfig du cluster.
Le résultat pertinent est semblable à l'extrait suivant :
# Several lines of code are omitted here. Capacity: nvidia.com/mig-1g.10gb-NVIDIA_A100_80GB_PCIE: 7 Allocatable: nvidia.com/mig-1g.10gb-NVIDIA_A100_80GB_PCIE: 7 # Several lines of code are omitted here.
Notez les noms de ressources de vos GPU. Vous devez les spécifier lorsque vous configurez un conteneur pour utiliser des ressources GPU.