Ce document fournit des recommandations sur les accélérateurs, les options de consommation et les outils de déploiement les mieux adaptés aux différentes charges de travail d'intelligence artificielle (IA), de machine learning (ML) et de calcul hautes performances (HPC). Utilisez ce document pour identifier le meilleur déploiement pour votre charge de travail.
Pour obtenir des informations et des recommandations sur les piliers d'infrastructure pour les charges de travail d'IA, de ML et de HPC, consultez les documents suivants :
- À propos des accélérateurs GPU
- Présentation de la mise en réseau des GPU
- Présentation des services de stockage
Présentation des charges de travail
L'architecture AI Hypercomputer est compatible avec les cas d'utilisation suivants :
| Charge de travail | Description | Recommandation |
|---|---|---|
| Pré-entraînement des modèles de fondation | Cela implique de créer un modèle de langage à l'aide d'un grand ensemble de données. Le pré-entraînement des modèles de fondation permet d'obtenir un nouveau modèle capable d'effectuer des tâches générales. Les modèles sont classés en fonction de leur taille comme suit :
|
Consultez les recommandations pour les modèles pré-entraînés. |
| Réglage fin | Cela implique de prendre un modèle entraîné et de l'adapter pour effectuer des tâches spécifiques à l'aide d'ensembles de données spécialisés ou d'autres techniques. Le réglage est généralement effectué sur des modèles volumineux. | Consultez les recommandations pour affiner les modèles. |
| Inférence ou mise en service | Cela implique de prendre un modèle entraîné ou affiné et de le mettre à la disposition des utilisateurs ou des applications. Les charges de travail d'inférence sont classées en fonction de la taille des modèles, comme suit :
|
Consultez les recommandations pour l'inférence. |
| ML pour les modèles de petite ou moyenne taille | Cela implique d'entraîner et de diffuser des modèles de ML de taille et de complexité réduites, généralement pour des tâches plus spécialisées. | Consultez les recommandations concernant le ML pour les modèles de petite ou moyenne taille. |
| HPC | Il s'agit d'agréger des ressources informatiques afin d'obtenir des performances supérieures à celles d'une station de travail, d'un serveur ou d'un ordinateur unique. Le HPC permet de résoudre des problèmes dans les domaines de la recherche universitaire, de la science, de la conception, de la simulation et de l'informatique décisionnelle. | Consultez les recommandations pour le HPC. |
Recommandations pour les modèles de pré-entraînement
Pour pré-entraîner des modèles de fondation, de grands clusters d'accélérateurs lisent en continu de grands volumes de données. Ces accélérateurs ajustent les pondérations par le biais de passes avant et arrière pour apprendre à partir des données. Ces jobs d'entraînement s'exécutent pendant des semaines, voire des mois.
Les sections suivantes décrivent les accélérateurs et les options de consommation que nous vous recommandons d'utiliser pour pré-entraîner des modèles de fondation.
Accélérateurs recommandés
Pour pré-entraîner des modèles de fondation sur Google Cloud, nous vous recommandons d'utiliser les types de machines optimisés pour les accélérateurs A5X (NVIDIA Vera Rubin), A4X Max (NVIDIA GB300), A4X (NVIDIA GB200), A4 (NVIDIA B200), A3 Ultra (NVIDIA H200 141 Go), A3 Mega (NVIDIA H100 80 Go) ou A3 High (NVIDIA H100 80 Go), et d'utiliser un orchestrateur pour déployer le cluster.
Pour déployer ces clusters d'accélérateurs, nous vous recommandons également d'utiliser Cluster Director ou Cluster Toolkit. Pour en savoir plus, consultez le guide de déploiement de cluster correspondant au type de machine de votre choix dans le tableau suivant.
| Charges de travail | Recommandations | Guide de déploiement de cluster | |
|---|---|---|---|
| Type de machine | Outil d'orchestration | ||
| Pré-entraînement des modèles de fondation |
|
GKE | Créer un cluster GKE optimisé pour l'IA avec Cluster Toolkit |
| Slurm | |||
| Entraînement de grands modèles | A3 Ultra (NVIDIA H200 141 Go) | GKE | Créer un cluster GKE optimisé pour l'IA avec Cluster Toolkit |
| Slurm | |||
| Entraînement de grands modèles |
|
GKE | Maximiser la bande passante réseau des GPU dans les clusters en mode Standard |
| Slurm | |||
Option de consommation recommandée
Pour obtenir un niveau d'assurance élevé lors de l'obtention de grands clusters d'accélérateurs, nous vous recommandons d'utiliser une réservation. Plus précisément, pour réduire les coûts des ressources réservées, nous vous recommandons de demander une durée de réservation suffisamment longue pour bénéficier de remises sur engagement d'utilisation. Pour en savoir plus sur les options de consommation, consultez Choisir une option de consommation.
Recommandations pour l'affinage des modèles
Pour affiner les grands modèles de fondation, des clusters d'accélérateurs plus petits lisent des volumes de données modérés. Ces accélérateurs ajustent le modèle pour effectuer des tâches spécifiques. Ces jobs de réglage s'exécutent pendant des jours, voire des semaines.
Les sections suivantes décrivent les accélérateurs et l'option de consommation recommandés pour affiner les modèles.
Accélérateurs recommandés
Pour affiner les modèles sur Google Cloud, nous vous recommandons d'utiliser les types de machines optimisés pour l'accélérateur A3 Ultra (NVIDIA H200 141 Go), A3 Mega (NVIDIA H100 80 Go) ou A3 High (NVIDIA H100 80 Go), et d'utiliser un orchestrateur pour déployer le cluster.
Pour déployer ces clusters d'accélérateurs, nous vous recommandons également d'utiliser Cluster Director ou Cluster Toolkit. Pour en savoir plus, consultez le guide de déploiement de cluster correspondant au type de machine de votre choix dans le tableau suivant.
| Charges de travail | Recommandations | Guide de déploiement de cluster | |
|---|---|---|---|
| Type de machine | Outil d'orchestration | ||
| Affiner des modèles volumineux | A3 Ultra (NVIDIA H200 141 Go) | GKE | Créer un cluster GKE optimisé pour l'IA avec Cluster Toolkit |
| Slurm | |||
| Affiner des modèles volumineux |
|
GKE | Maximiser la bande passante réseau des GPU dans les clusters en mode Standard |
| Slurm | |||
Option de consommation recommandée
Pour les charges de travail de réglage, utilisez une réservation future en mode Agenda pour provisionner des ressources. Pour en savoir plus sur les options de consommation, consultez Choisir une option de consommation.
Recommandations pour l'inférence
Les sections suivantes décrivent les accélérateurs et les options de consommation recommandés pour l'inférence.
Accélérateurs recommandés
Les accélérateurs recommandés pour l'inférence dépendent du type d'inférence que vous effectuez : inférence de modèle volumineux ou de pointe multi-hôte, ou inférence de pointe à hôte unique.
Accélérateurs recommandés (multi-hôte)
Pour effectuer une inférence de modèle de pointe ou de grand modèle multi-hôte sur Google Cloud, utilisez les types de machines optimisés pour les accélérateurs A5X (NVIDIA Vera Rubin), A4X Max (NVIDIA GB300), A4X (NVIDIA GB200), A4 (NVIDIA B200), A3 Ultra (NVIDIA H200 141 Go), A3 Mega (NVIDIA H100 80 Go) ou A3 High (NVIDIA H100 80 Go), et déployez les instances à l'aide d'un orchestrateur. Pour déployer ces clusters d'accélérateurs, nous vous recommandons également d'utiliser Cluster Director ou Cluster Toolkit. Le tableau fournit des liens vers les guides de déploiement de cluster pour chaque type de machine recommandé.
| Charges de travail | Recommandations | Guide de déploiement de cluster | |
|---|---|---|---|
| Type de machine | Outil d'orchestration | ||
| Inférence de pointe multihôte |
|
GKE | Créer un cluster GKE optimisé pour l'IA avec Cluster Toolkit |
| Slurm | |||
| Inférence de grands modèles | A3 Ultra (NVIDIA H200 141 Go) | GKE | Créer un cluster GKE optimisé pour l'IA avec Cluster Toolkit |
| Slurm | |||
| Inférence de grands modèles |
|
GKE | Maximiser la bande passante réseau des GPU dans les clusters en mode Standard |
| Slurm | |||
Accélérateurs recommandés (hôte unique)
Le tableau présente les accélérateurs que nous vous recommandons d'utiliser pour effectuer une inférence de pointe sur un seul hôte. Le tableau fournit des liens vers les guides de déploiement de VM pour chaque type de machine recommandé.
| Charges de travail | Recommandations | Guide de déploiement de VM | |
|---|---|---|---|
| Type de machine | Outil d'orchestration | ||
| Inférence de pointe et standard sur un seul hôte |
|
N/A | Créer une instance A4 ou A3 Ultra |
|
Créer une instance A3 High ou A3 Edge | ||
| A2 (NVIDIA A100) | Créer une instance A2 | ||
| G4 (NVIDIA RTX PRO 6000) | Créer une instance G4 | ||
| G2 (NVIDIA L4) | Créer une instance G2 | ||
| N1 (NVIDIA T4 ou V100) | Créer une instance N1 | ||
Option de consommation recommandée
Pour l'inférence, utilisez une réservation de longue durée ou une réservation future en mode Agenda. Pour en savoir plus sur les options de consommation, consultez Choisir une option de consommation.
Recommandations pour les modèles de petite ou moyenne taille
Pour les charges de travail de ML impliquant des modèles de petite à moyenne taille, il est essentiel de trouver un équilibre optimal entre prix et performances.
Accélérateurs recommandés
Le tableau suivant présente les accélérateurs recommandés pour les charges de travail de ML de modèles de petite à moyenne taille.
| Charges de travail | Recommandations | Guide de déploiement de VM | |
|---|---|---|---|
| Type de machine | Outil d'orchestration | ||
| ML pour les modèles de petite ou moyenne taille | A3 Edge (NVIDIA H100 80 Go) | N/A | Créer une instance A3 Edge |
| A2 (NVIDIA A100) | Créer une instance A2 | ||
| G4 (NVIDIA RTX PRO 6000) | Créer une instance G4 | ||
| G2 (NVIDIA L4) | Créer une instance G2 | ||
| N1 (NVIDIA T4 ou V100) | Créer une instance N1 | ||
Recommandations pour le HPC
Pour les charges de travail HPC, toutes les séries de machines optimisées pour les accélérateurs ou les séries de machines optimisées pour le calcul fonctionnent bien. Si vous utilisez une série de machines optimisée pour les accélérateurs, la solution la plus adaptée dépend de la quantité de calculs devant être déchargée sur le GPU. Pour obtenir une liste détaillée des recommandations concernant les charges de travail HPC, consultez Bonnes pratiques pour exécuter des charges de travail HPC.
Résumé des recommandations
Le tableau suivant récapitule les accélérateurs et les options de consommation recommandés pour chaque charge de travail.
| Ressource | Recommandation |
|---|---|
| Pré-entraînement du modèle | |
| Famille de machines | Utilisez l'un des types de machines optimisés pour les accélérateurs suivants : A5X (NVIDIA Vera Rubin), A4X Max (NVIDIA GB300), A4X (NVIDIA GB200), A4 (NVIDIA B200), A3 Ultra (NVIDIA H200 141 Go), A3 Mega (NVIDIA H100 80 Go) ou A3 High (NVIDIA H100 80 Go). |
| Option d'utilisation | Utilisez des réservations futures standards pour les blocs de capacité (pour A5X, A4X Max et A4X) ou des réservations futures standards |
| Affinage de modèles | |
| Famille de machines | Utilisez les types de machines optimisés pour l'accélérateur A3 Ultra (NVIDIA H200 141 Go), A3 Mega (NVIDIA H100 80 Go) ou A3 High (NVIDIA H100 80 Go). |
| Option d'utilisation | 'Utiliser les réservations futures standards |
| Inférence | |
| Famille de machines | Utilisez l'un des types de machines suivants : A5X (NVIDIA Vera Rubin), A4X Max (NVIDIA GB300), A4X (NVIDIA GB200), A4 (NVIDIA B200), A3 Ultra (NVIDIA H200 141 Go), A3 Mega (NVIDIA H100 80 Go), A3 High (NVIDIA H100 80 Go), A3 Edge (NVIDIA H100 80 Go), A2 (NVIDIA A100), G4 (NVIDIA RTX PRO 6000), G2 (NVIDIA L4) ou N1 (NVIDIA T4 ou V100) |
| Option d'utilisation | Utilisez des réservations, des instances à la demande ou des instances Spot (sauf pour les séries A5X, A4X Max et A4X, qui ne sont pas compatibles avec les instances Spot ou à la demande). |
| ML pour les modèles de petite ou moyenne taille | |
| Famille de machines | Utilisez l'un des types de machines suivants : A3 Edge (NVIDIA H100 80 Go), A2 (NVIDIA A100), G4 (NVIDIA RTX PRO 6000), G2 (NVIDIA L4) ou N1 (NVIDIA T4 ou V100). |
| Option d'utilisation | Utiliser des réservations à la demande, Spot ou standards |
| Stockage | Utiliser Cloud Storage FUSE |
| HPC | |
| Consultez la section de résumé des bonnes pratiques pour exécuter des charges de travail HPC. | |
Étapes suivantes
- Découvrez comment créer un cluster GKE optimisé pour l'IA.
- Découvrez comment créer un cluster Slurm entièrement géré.
- Découvrez comment créer une instance optimisée pour l'IA.