AI Hypercomputer bietet eine vertikal integrierte Infrastruktur, die für anspruchsvolle Arbeitslasten im Bereich künstliche Intelligenz (KI) und maschinelles Lernen (ML) optimiert ist. Leistungsstarke NVIDIA-GPUs werden danach kategorisiert, wie das System ihre Lifecycle-Events und Wartung verarbeitet: Allgemeine GPUs und geclusterte GPUs.
Informationen zum Ermitteln der optimalen Infrastrukturkategorie für Ihre Arbeitslast finden Sie unter Beschleunigerinfrastruktur auswählen.
Allgemeine GPUs
Allgemeine GPUs werden als unabhängige Recheneinheiten verwaltet. Dazu werden Standard-APIs von Compute Engine und Google Kubernetes Engine (GKE) verwendet, um sie direkt in die Steuerungsebene von Google Cloudeinzubinden.
Allgemeine GPUs umfassen die folgenden Maschinenreihen:
- A3 High mit 1, 2 oder 4 (NVIDIA H100) GPUs: Optimiert für Standard-Trainings- und Inferenz-Workloads, die keinen synchronisierten Cluster mit 8 GPUs erfordern.
- A3 Edge (NVIDIA H100): Optimiert für Inferenz, die über mehrere Hosts mit hohem Durchsatz über ein Standard-VPC-Netzwerk verteilt ist.
- A2 (NVIDIA A100): Optimiert für die leistungsstarke Bereitstellung auf einem einzelnen Knoten und die Feinabstimmung in kleinem Maßstab.
- G4 (NVIDIA RTX PRO 6000): Optimiert für kostengünstige Inferenz- und Grafikarbeitslasten auf Einstiegsniveau.
- G2 (NVIDIA L4): Optimiert für gängige Inferenz und RAG.
- N1 (NVIDIA T4 oder V100): Optimiert für einfache Inferenz- und Forschungsaufgaben, bei denen die Kosten wichtiger sind als leistungsstarke Verbindungen.
Geclusterte GPUs
Geclusterte GPUs werden mit Cluster Director als ein einziges, eng gekoppeltes System aus Tausenden von miteinander verbundenen Beschleunigern verwaltet.
Geclusterte GPUs umfassen die folgenden Maschinenserien:
- A5X (NVIDIA Vera Rubin): Entwickelt für das Exascale-Training von Foundation Models, Inferenz für Reasoning-Modelle und Hochleistungs-Computing auf Bare Metal, mit NVIDIA Vera Rubin-Superchips.
- A4X Max (NVIDIA GB300): Entwickelt für Bare-Metal-Exascale-Training und Hochleistungs-Computing, mit NVIDIA GB300 Grace Blackwell Ultra-Superchips.
- A4X (NVIDIA GB200) und A4 (NVIDIA B200): Entwickelt für das Training von Foundation Models und Exascale-Foundation Models.
- A3 Ultra (NVIDIA H200), A3 Mega (NVIDIA H100) und A3 High mit 8 (NVIDIA H100) GPUs: Optimiert für umfangreiches verteiltes Training und Multi-Host-Inferenz mit riesigen Datentabellen.
Überlegungen zur GPU-Leistung
Um die Leistung Ihrer Arbeitslast zu bewerten und zu optimieren, können Sie Messwerte auf Hardwareebene wie die CUDA-Kern- und TensorCore-Auslastung verfolgen. Informationen zum Überwachen Ihrer Ressourcen und zum Bewerten der Leistung in allgemeinen und geclusterten Umgebungen finden Sie hier:
- Monitoring-Dashboards: Verfolgen Sie die GPU-Auslastung und die Arbeitsspeichernutzung für einzelne eigenständige Instanzen oder orchestrierte Clusterflotten in Echtzeit.
- Rezepte für Goodput-Messwerte: Messen Sie den Prozentsatz der Zeit, in der Ihre Beschleuniger nützliche Berechnungen im Vergleich zum System-Overhead durchführen. Dies wird dringend für umfangreiches verteiltes Training auf geclusterter Hardware empfohlen.
Nächste Schritte
- Informationen zum Bewerten Ihrer Infrastrukturanforderungen finden Sie unter Beschleunigerinfrastruktur auswählen.
- Informationen zum Prozess und zu den Optionen, die Sie beim Starten eines Clusters auswählen müssen, finden Sie unter KI-Infrastruktur planen und erstellen.