In diesem Dokument finden Sie Empfehlungen zu Beschleunigern, Nutzungsoptionen und Bereitstellungstools, die sich am besten für verschiedene Arbeitslasten aus den Bereichen künstliche Intelligenz (KI), maschinelles Lernen (ML) und Hochleistungs-Computing (HPC) eignen. Dieses Dokument soll Ihnen helfen, die beste Bereitstellung für Ihre Arbeitslast zu finden.
Informationen und Empfehlungen zu Infrastruktursäulen für KI-, ML- und HPC-Arbeitslasten finden Sie in den folgenden Dokumenten:
Arbeitslasten – Übersicht
Die AI Hypercomputer-Architektur unterstützt die folgenden Anwendungsfälle:
| Arbeitslast | Beschreibung | Empfehlung |
|---|---|---|
| Foundation Models vortrainieren | Dazu wird ein Language Model mit einem großen Dataset erstellt. Das Ergebnis des Pre-Trainings von Foundation Models ist ein neues Modell, das allgemeine Aufgaben gut ausführen kann. Modelle werden anhand ihrer Größe so kategorisiert:
|
Empfehlungen für das Vortraining von Modellen |
| Feinabstimmung | Dabei wird ein trainiertes Modell mithilfe spezialisierter Datasets oder anderer Techniken an bestimmte Aufgaben angepasst. Die Feinabstimmung wird in der Regel für große Modelle durchgeführt. | Empfehlungen zur Feinabstimmung von Modellen |
| Inferenz oder Bereitstellung | Dabei wird ein trainiertes oder abgestimmtes Modell für Nutzer oder Anwendungen verfügbar gemacht. Inferenzarbeitslasten werden anhand der Größe der Modelle so kategorisiert:
|
Empfehlungen für die Inferenz ansehen |
| ML für kleine oder mittelgroße Modelle | Dazu gehört das Trainieren und Bereitstellen von ML-Modellen, die kleiner und weniger komplex sind, in der Regel für spezialisiertere Aufgaben. | Empfehlungen für ML für kleine oder mittelgroße Modelle ansehen |
| HPC | Dabei werden Rechenressourcen zusammengefasst, um eine höhere Leistung zu erzielen als mit einer einzelnen Workstation, einem Server oder Computer. HPC wird verwendet, um Probleme in der akademischen Forschung, Wissenschaft, Design, Simulation und Business Intelligence zu lösen. | Empfehlungen für HPC ansehen |
Empfehlungen für das Vortrainieren von Modellen
Zum Vortrainieren von Foundation Models lesen große Cluster von Beschleunigern kontinuierlich große Datenmengen. Diese Beschleuniger passen die Gewichtungen durch Vorwärts- und Rückwärtsdurchläufe an, um aus den Daten zu lernen. Diese Trainingsjobs werden über Wochen oder sogar Monate hinweg ausgeführt.
In den folgenden Abschnitten werden die Beschleuniger und Verbrauchsoptionen beschrieben, die wir für das Vortraining von Foundation Models empfehlen.
Empfohlene Beschleuniger
Für das Vortrainieren von Foundation Models auf Google Cloudempfehlen wir die beschleunigungsoptimierten Maschinentypen A5X (NVIDIA Vera Rubin), A4X Max (NVIDIA GB300), A4X (NVIDIA GB200), A4 (NVIDIA B200), A3 Ultra (NVIDIA H200 141 GB), A3 Mega (NVIDIA H100 80 GB) oder A3 High (NVIDIA H100 80 GB) und die Verwendung eines Orchestrators für die Bereitstellung des Clusters.
Für die Bereitstellung dieser Beschleunigercluster empfehlen wir außerdem die Verwendung von Cluster Director oder Cluster Toolkit. Weitere Informationen finden Sie in der folgenden Tabelle im entsprechenden Leitfaden zur Clusterbereitstellung für den von Ihnen ausgewählten Maschinentyp.
| Arbeitslasten | Empfehlungen | Leitfaden zur Clusterbereitstellung | |
|---|---|---|---|
| Maschinentyp | Orchestrator | ||
| Foundation Models vortrainieren |
|
GKE | KI-optimierten GKE-Cluster mit dem Cluster Toolkit erstellen |
| Slurm | |||
| Training großer Modelle | A3 Ultra (NVIDIA H200 141 GB) | GKE | KI-optimierten GKE-Cluster mit dem Cluster Toolkit erstellen |
| Slurm | |||
| Training großer Modelle |
|
GKE | GPU-Netzwerkbandbreite in Clustern im Standardmodus maximieren |
| Slurm | |||
Empfohlene Nutzungsoption
Wenn Sie große Cluster von Beschleunigern benötigen, empfehlen wir die Verwendung einer Reservierung. Um die Kosten für reservierte Ressourcen zu minimieren, empfehlen wir, eine Reservierungsdauer anzufordern, die lang genug ist, um Rabatte für zugesicherte Nutzung zu erhalten. Weitere Informationen zu Nutzungsoptionen finden Sie unter Nutzungsoption auswählen.
Empfehlungen für die Feinabstimmung von Modellen
Zur Feinabstimmung großer Foundation Models lesen kleinere Beschleunigercluster moderate Datenmengen. Diese Beschleuniger passen das Modell an, um bestimmte Aufgaben auszuführen. Diese Feinabstimmungsjobs dauern Tage oder sogar Wochen.
In den folgenden Abschnitten werden die empfohlenen Beschleuniger und Verbrauchsoptionen für die Feinabstimmung von Modellen beschrieben.
Empfohlene Beschleuniger
Für die Feinabstimmung von Modellen auf Google Cloudempfehlen wir die Verwendung von beschleunigungsoptimierten Maschinentypen vom Typ A3 Ultra (NVIDIA H200 141 GB), A3 Mega (NVIDIA H100 80 GB) oder A3 High (NVIDIA H100 80 GB) und die Verwendung eines Orchestrators für die Bereitstellung des Clusters.
Für die Bereitstellung dieser Beschleunigercluster empfehlen wir außerdem die Verwendung von Cluster Director oder Cluster Toolkit. Weitere Informationen finden Sie in der folgenden Tabelle im entsprechenden Leitfaden zur Clusterbereitstellung für den von Ihnen ausgewählten Maschinentyp.
| Arbeitslasten | Empfehlungen | Leitfaden zur Clusterbereitstellung | |
|---|---|---|---|
| Maschinentyp | Orchestrator | ||
| Feinabstimmung großer Modelle | A3 Ultra (NVIDIA H200 141 GB) | GKE | KI-optimierten GKE-Cluster mit dem Cluster Toolkit erstellen |
| Slurm | |||
| Feinabstimmung großer Modelle |
|
GKE | GPU-Netzwerkbandbreite in Clustern im Standardmodus maximieren |
| Slurm | |||
Empfohlene Nutzungsoption
Verwenden Sie für die Feinabstimmung von Arbeitslasten eine vorausschauende Reservierung im Kalendermodus, um Ressourcen bereitzustellen. Weitere Informationen zu Verbrauchsoptionen finden Sie unter Verbrauchsoption auswählen.
Empfehlungen für Inferenz
In den folgenden Abschnitten werden die empfohlenen Beschleuniger und Nutzungsoptionen für die Inferenz beschrieben.
Empfohlene Beschleuniger
Die empfohlenen Beschleuniger für die Inferenz hängen davon ab, ob Sie eine Multi-Host-Frontier- oder Large-Model-Inferenz oder eine Single-Host-Frontier-Inferenz durchführen.
Empfohlene Beschleuniger (Multi-Host)
Wenn Sie eine Multi-Host-Inferenz für Frontier- oder große Modelle auf Google Cloudausführen möchten, verwenden Sie die beschleunigungsoptimierten Maschinentypen A5X (NVIDIA Vera Rubin), A4X Max (NVIDIA GB300), A4X (NVIDIA GB200), A4 (NVIDIA B200), A3 Ultra (NVIDIA H200 141 GB), A3 Mega (NVIDIA H100 80 GB) oder A3 High (NVIDIA H100 80 GB) und stellen Sie die Instanzen mit einem Orchestrator bereit. Für die Bereitstellung dieser Beschleunigercluster empfehlen wir außerdem die Verwendung von Cluster Director oder Cluster Toolkit. In der Tabelle finden Sie Links zu Anleitungen für die Clusterbereitstellung für jeden empfohlenen Maschinentyp.
| Arbeitslasten | Empfehlungen | Leitfaden zur Clusterbereitstellung | |
|---|---|---|---|
| Maschinentyp | Orchestrator | ||
| Frontier-Inferenz mit mehreren Hosts |
|
GKE | KI-optimierten GKE-Cluster mit dem Cluster Toolkit erstellen |
| Slurm | |||
| Inferenz für große Modelle | A3 Ultra (NVIDIA H200 141 GB) | GKE | KI-optimierten GKE-Cluster mit dem Cluster Toolkit erstellen |
| Slurm | |||
| Inferenz für große Modelle |
|
GKE | GPU-Netzwerkbandbreite in Clustern im Standardmodus maximieren |
| Slurm | |||
Empfohlene Beschleuniger (einzelner Host)
In der Tabelle sind die Beschleuniger aufgeführt, die wir für die Frontier-Inferenz auf einem einzelnen Host empfehlen. Die Tabelle enthält Links zu VM-Bereitstellungsleitfäden für jeden empfohlenen Maschinentyp.
| Arbeitslasten | Empfehlungen | Leitfaden zur VM-Bereitstellung | |
|---|---|---|---|
| Maschinentyp | Orchestrator | ||
| Inferenz mit einzelnen Hosts für Frontier- und Mainstream-Modelle |
|
– | A4- oder A3 Ultra-Instanz erstellen |
|
A3 High- oder A3 Edge-Instanz erstellen | ||
| A2 (NVIDIA A100) | A2-Instanz erstellen | ||
| G4 (NVIDIA RTX PRO 6000) | G4-Instanz erstellen | ||
| G2 (NVIDIA L4) | G2-Instanz erstellen | ||
| N1 (NVIDIA T4 oder V100) | N1-Instanz erstellen | ||
Empfohlene Nutzungsoption
Verwenden Sie für die Inferenz entweder eine langlebige Reservierung oder eine vorausschauende Reservierung im Kalendermodus. Weitere Informationen zu Nutzungsoptionen finden Sie unter Nutzungsoption auswählen.
Empfehlungen für kleine oder mittelgroße Modelle
Bei ML-Arbeitslasten mit kleinen bis mittelgroßen Modellen ist ein optimales Verhältnis zwischen Preis und Leistung ein wichtiger Aspekt.
Empfohlene Beschleuniger
In der folgenden Tabelle sind die empfohlenen Beschleuniger für ML-Arbeitslasten mit kleinen bis mittelgroßen Modellen aufgeführt.
| Arbeitslasten | Empfehlungen | Leitfaden zur VM-Bereitstellung | |
|---|---|---|---|
| Maschinentyp | Orchestrator | ||
| ML für kleine oder mittelgroße Modelle | A3 Edge (NVIDIA H100 80 GB) | – | A3 Edge-Instanz erstellen |
| A2 (NVIDIA A100) | A2-Instanz erstellen | ||
| G4 (NVIDIA RTX PRO 6000) | G4-Instanz erstellen | ||
| G2 (NVIDIA L4) | G2-Instanz erstellen | ||
| N1 (NVIDIA T4 oder V100) | N1-Instanz erstellen | ||
Empfehlungen für HPC
Für HPC-Arbeitslasten eignet sich jede beschleunigungsoptimierte Maschinenserie oder computing-optimierte Maschinenserie. Wenn Sie eine beschleunigungsoptimierte Maschinenserie verwenden, hängt die beste Lösung davon ab, wie viel Rechenaufwand an die GPU ausgelagert werden muss. Eine detaillierte Liste mit Empfehlungen für HPC-Arbeitslasten finden Sie unter Best Practices zum Ausführen von HPC-Arbeitslasten.
Zusammenfassung der Empfehlungen
In der folgenden Tabelle sind die empfohlenen Beschleuniger und Verbrauchsoptionen für die einzelnen Arbeitslasten zusammengefasst.
| Ressource | Empfehlung |
|---|---|
| Modellvortraining | |
| Maschinenfamilie | Verwenden Sie einen der folgenden beschleunigungsoptimierten Maschinentypen: A5X (NVIDIA Vera Rubin), A4X Max (NVIDIA GB300), A4X (NVIDIA GB200), A4 (NVIDIA B200), A3 Ultra (NVIDIA H200 141 GB), A3 Mega (NVIDIA H100 80 GB) oder A3 High (NVIDIA H100 80 GB) |
| Nutzungsoption | Verwenden Sie standardmäßige vorausschauende Reservierungen für Kapazitätsblöcke (für A5X, A4X Max und A4X) oder standardmäßige vorausschauende Reservierungen. |
| Modellabstimmung | |
| Maschinenfamilie | Verwenden Sie die beschleunigungsoptimierten Maschinentypen A3 Ultra (NVIDIA H200 141 GB), A3 Mega (NVIDIA H100 80 GB) oder A3 High (NVIDIA H100 80 GB). |
| Nutzungsoption | 'Standardmäßige vorausschauende Reservierungen verwenden |
| Inferenz | |
| Maschinenfamilie | Verwenden Sie einen der folgenden Maschinentypen: A5X (NVIDIA Vera Rubin), A4X Max (NVIDIA GB300), A4X (NVIDIA GB200), A4 (NVIDIA B200), A3 Ultra (NVIDIA H200 141 GB), A3 Mega (NVIDIA H100 80 GB), A3 High (NVIDIA H100 80 GB), A3 Edge (NVIDIA H100 80 GB), A2 (NVIDIA A100), G4 (NVIDIA RTX PRO 6000), G2 (NVIDIA L4) oder N1 (NVIDIA T4 oder V100) |
| Nutzungsoption | Reservierungen, On-Demand oder Spot verwenden (außer A5X, A4X Max und A4X, die Spot oder On-Demand nicht unterstützen) |
| ML für kleine oder mittelgroße Modelle | |
| Maschinenfamilie | Verwenden Sie einen der folgenden Maschinentypen: A3 Edge (NVIDIA H100 80 GB), A2 (NVIDIA A100), G4 (NVIDIA RTX PRO 6000), G2 (NVIDIA L4) oder N1 (NVIDIA T4 oder V100). |
| Nutzungsoption | On-Demand-, Spot- oder Standardreservierungen verwenden |
| Speicher | Cloud Storage FUSE verwenden |
| HPC (Hochleistungs-Computing) | |
| Zusammenfassung der Best Practices zum Ausführen von HPC-Arbeitslasten | |