Google Cloud stellt Images bereit, die gängige Betriebssysteme, Frameworks, Bibliotheken und Treiber enthalten. Google Cloud optimiert diese vorkonfigurierten Images, um Ihre Arbeitslasten im Bereich künstliche Intelligenz (KI) und maschinelles Lernen (ML) zu unterstützen.
Dieses Dokument bietet einen Überblick über die Images, die Sie zum Bereitstellen, Verwalten und Ausführen von Arbeitslasten in Ihrer AI Hypercomputer-Umgebung verwenden.
Bildkategorien
Bilder werden in die folgenden Kategorien unterteilt:
- KI- und ML-Frameworks und -Bibliotheken: Docker-Images, die mit Binärdateien für ML-Frameworks und -Bibliotheken vorkonfiguriert sind, um die Erstellung, das Training und die Verwendung von ML-Modellen zu vereinfachen. Auf dem AI Hypercomputer können Sie Docker-Images der Deep Learning Software Layer (DLSL) verwenden, um ML-Modelle wie NeMO und MaxText in einem Google Kubernetes Engine-Cluster (GKE) auszuführen.
- Clusterbereitstellung und -orchestrierung: Betriebssystem-Images, die Sie zum Bereitstellen und Verwalten der leistungsorientierten Infrastruktur verwenden, auf der Ihre KI-Arbeitslasten ausgeführt werden. Welches Image Sie verwenden sollten, hängt davon ab, welche GPU-Infrastruktur Sie verwenden (geclusterte GPUs oder allgemeine GPUs) und wie Sie Ihre Cluster bereitstellen möchten:
- GKE-Knoten-Images: Mit diesen Images können Sie GKE-Cluster bereitstellen.
- Slurm-Betriebssystem-Images: Das Cluster Toolkit erstellt und stellt diese Images bereit, die die erforderliche Systemsoftware für Slurm-Knoten installieren.
- Beschleuniger-Betriebssystem-Images: Mit diesen Images können Sie einzelne oder Gruppen von Compute Engine-Instanzen erstellen.
KI- und ML-Frameworks und -Bibliotheken
Google Cloud stellt Docker-Images bereit, die gängige KI- und ML-Frameworks und -Bibliotheken enthalten. Diese Images enthalten die Software, die für die Entwicklung, das Training und die Bereitstellung von Modellen auf Ihren KI-optimierten Clustern erforderlich ist, die auf AI Hypercomputer ausgeführt werden.
JAX KI-Bilder
Die JAX AI-Images (JAII, früher JAX Stable Stack-Images) fürGoogle Cloud TPUs und GPUs bieten einsatzbereite Docker-Images, die das JAX-Framework, eine ausgewählte Sammlung kompatibler Bibliotheken und Einstellungen für die Google Cloud Infrastruktur enthalten. JAX-AI-TPU-Images sind mit JAX-Bibliotheken und TPU-Bibliotheken vorkonfiguriert. JAX-KI-GPU-Images sind mit JAX-Bibliotheken und relevanten CUDA/NVIDIA-Bibliotheken vorkonfiguriert.
Die Hardwareebene
JAX-KI-Images befinden sich auf der Hardwareebene, die aus den Beschleunigern (TPU oder GPU) und den zugehörigen VMs besteht. Wenn Sie ein JAX-KI-Image verwenden möchten, müssen Sie TPU- oder GPU-VMs bereitstellen. Dazu können Sie die TPU API, die Compute Engine API oder die GKE API verwenden.
Die Framework-Ebene
Die Framework-Ebene bietet Tools und Bibliotheken zum Erstellen von ML-Arbeitslasten. JAX-KI-Images bieten eine vorkonfigurierte Basis für JAX-basierte ML-Arbeitslasten, einschließlich der JAX-Kernbibliothek und anderer wichtiger Abhängigkeiten, um eine konsistente und leistungsstarke Entwicklungsumgebung zu gewährleisten.
Die LibTPU-Ebene im JAX KI-Bild wird speziell für die jeweilige JAX-Version erstellt und mit ihr gebündelt. Die Verwendung einer anderen JAX-Version kann zu unerwartetem Verhalten oder Fehlern führen.
Die CUDA-Ebene im JAX-KI-Image enthält von NVIDIA verwaltete Komponenten, z. B. das NGC CUDA Deep Learning-Image, das als Basis-Image des GPU-Trainings-Image verwendet wird. Das GPU-Image enthält auch die Transformer Engine, eine benutzerdefinierte NVIDIA-Bibliothek zur Beschleunigung von Transformer-Modellen auf NVIDIA-GPUs.
Für Ihre spezifische Arbeitslast für maschinelles Lernen sind möglicherweise zusätzliche anwendungsspezifische Pakete erforderlich, die über die im JAX-KI-Image bereitgestellten Pakete hinausgehen.
Bibliotheken in JAX KI-Bildern:
TPU-Images
| Funktionen | Paketname |
|---|---|
| Kernbibliotheken oder -komponenten | |
| ML-Framework | JAX und JAX-Bibliothek |
| LibTPU | Stabile Cloud LibTPU-Version |
| Ebenen-/Modellbibliothek | Flax |
| Prüfpunkte | Orbax |
| Quantisierung | Qwix |
| Optimierer | Optax |
| Benutzerdefinierte Kernel | Tokamax |
| Konfiguration | Fiddle |
| Eingabepipeline | tf.data |
| Profilerstellung, Debugging | TensorBoard |
| Utils | Allgemeine Schleifen-Dienstprogramme |
| Cloud-spezifische Tools | |
| Google Cloud | |
| Diagnose | |
GPU-Images
| Funktionen | Paketname |
|---|---|
| Kernbibliotheken oder -komponenten | |
| ML-Framework | JAX und JAX-Bibliothek |
| NVIDIA CUDA-Bibliotheken | CUDA DL Image |
| Ebenen-/Modellbibliothek | Flax |
| Prüfpunkte | Orbax |
| Optimierer | |
| Konfiguration | Fiddle |
| Eingabepipeline | |
| Profilerstellung, Debugging | TensorBoard |
| Utils | |
| Cloud-spezifische Tools | |
| Google Cloud | |
| Diagnose | Cloud Accelerator Diagnostics |
Aktuelle JAX KI-Bilder
TPU-Images
| JAX AI-Image | Releasedatum |
|---|---|
| JAX 0.9.0, Version 1 | 2026-02-03 |
| JAX 0.8.2, Version 1 | 2026-01-14 |
| JAX 0.8.1, Version 1 | 2025-11-21 |
| JAX 0.8.0, Version 1 | 2025-10-28 |
| JAX 0.7.2, Version 1 | 2025-09-30 |
| JAX 0.7.0, Version 1 | 2025-07-29 |
| JAX 0.6.1 Revision 1 | 2025-06-05 |
| JAX 0.5.2, Version 2 | 2025-04-25 |
| JAX 0.5.2, Version 1 | 2025-03-17 |
| JAX 0.4.37, Version 1 | 2024-12-12 |
| JAX 0.4.35, Version 1 | 2024-10-30 |
GPU-Images
| JAX AI-Image | Releasedatum |
|---|---|
| JAX 0.7.2 mit CUDA DL 25.06 Version 1 | 2025-09-30 |
| JAX 0.6.1 mit CUDA DL 25.03, Version 1 | 2025-06-05 |
| JAX 0.5.1 mit CUDA DL 25.02, Version 1 | 2025-03-17 |
Die Anwendungsebene
Sie implementieren Ihre spezifischen ML-Arbeitslasten in der Anwendungsebene, die sich über der Framework-Ebene befindet. Die Anwendungsebene enthält den anwendungsspezifischen Code, die Modelle und die Logik, die alle mit den Tools und Bibliotheken der Framework-Ebene erstellt wurden.
Dieses Image bietet eine robuste und gut getestete Grundlage für JAX-basierte KI-Arbeitslasten. Möglicherweise müssen Sie jedoch anwendungsspezifische Abhängigkeiten hinzufügen. Wir empfehlen, dies so zu tun, dass die Interferenzen mit der vorkonfigurierten Basisebene, die JAX und seine Kernabhängigkeiten enthält, minimiert werden. Wenn Sie Abhängigkeiten auf Anwendungsebene einführen, die die vorhandenen Abhängigkeiten überschreiben oder mit ihnen in Konflikt stehen, kann dies zu folgenden Nebenwirkungen führen:
- Unerwartetes Verhalten: Ihre ML-Arbeitslasten verhalten sich möglicherweise anders als vor dem Hinzufügen zusätzlicher Abhängigkeiten zum JAX-KI-Image.
- Leistungsregressionen: Das Überschreiben optimierter JAX-bezogener Bibliotheken kann sich negativ auf die Leistungsvorteile des JAX KI-Bilds auswirken.
- Stabilitätsprobleme: Konflikte zwischen den von Ihnen hinzugefügten Abhängigkeiten und den JAX-Kernabhängigkeiten können zu Instabilität und Laufzeitfehlern in Ihrer Anwendung führen.
Release-Rhythmus
Anfangs werden JAX AI-Images vierteljährlich bereitgestellt. Das kurzfristige Ziel ist ein synchronisierter Veröffentlichungszeitplan mit jedem JAX-Release. So kannst du die neuesten Funktionen und Verbesserungen nutzen, sobald sie verfügbar sind.
Support
Jeder JAX KI-Bild-Release unterliegt einem zeitlich begrenzten Support-Lebenszyklus. In diesem Zeitraum bearbeiten wir bestimmte Kategorien von Anfragen zur Änderung vorhandener JAX KI-Bilder:
- Sicherheitslücken: Wir priorisieren die Behebung von Sicherheitslücken, die in den Basis-Images oder Abhängigkeiten von JAX Stable Stack-Docker-Images gefunden werden. Aktualisierte Images werden veröffentlicht, um potenzielle Risiken zu minimieren.
- Funktionsgefährdende Änderungen: Bei erheblichen funktionsgefährdenden Änderungen in den zugrunde liegenden Bibliotheken oder Frameworks, die von JAX KI-Bild verwendet werden, bewertet und implementiert Google Cloudnotwendige Updates, um die Kompatibilität aufrechtzuerhalten. Dazu müssen möglicherweise Docker-Images mit aktualisierten Abhängigkeiten neu erstellt werden.
Wenn in einer Bibliothek innerhalb eines JAII eine Sicherheitslücke oder ein Fehler entdeckt wird, binden wir die aktualisierte Bibliothek in das JAII ein und pinnen alle anderen Bibliotheksversionen an, um die allgemeine Stabilität zu gewährleisten. Dies führt zu einer neuen JAII-Version.
Minimale Änderung für Überarbeitungen:
Wenn in JAX-0.4.30-rev1 ein Fehler im Paket „X“ gefunden wird, aktualisieren wir „X“ auf die nächste Version (z. B. v2.0) und versuchen, alle anderen Pakete unverändert zu lassen. Dies führt zu einer neuen Version: JAX-0.4.30-rev2, die so schnell wie möglich veröffentlicht wird.
Docker-Images für Deep Learning Software Layer (DLSL)
Diese Images enthalten NVIDIA CUDA, NCCL, ein ML-Framework und ein Modell. Sie bieten eine sofort einsatzbereite Umgebung für Deep-Learning-Arbeitslasten. Diese vordefinierten DLSL-Docker-Images funktionieren nahtlos mit Ihren GKE-Clustern, da wir diese Images im Rahmen interner Reproduzierbarkeits- und Regressionstests testen und prüfen.
DLSL-Docker-Images bieten folgende Vorteile:
- Vorkonfigurierte Software: DLSL-Docker-Images replizieren die Einrichtung, die für interne Reproduzierbarkeits- und Regressionstests verwendet wird. Diese Images bieten eine vorkonfigurierte, getestete und optimierte Umgebung, was bei der Installation und Konfiguration viel Zeit und Aufwand spart.
- Versionsverwaltung: DLSL-Docker-Images werden regelmäßig aktualisiert. Diese Versionsupdates bieten die neueste stabile Version von Frameworks und Treibern und enthalten auch Sicherheitspatches.
- Infrastrukturkompatibilität: DLSL-Docker-Images werden so erstellt und getestet, dass sie nahtlos mit den auf AI Hypercomputer verfügbaren GPU-Maschinentypen funktionieren.
- Kurzanleitung: Für einige DLSL-Docker-Images gibt es Beispielrezepte, in denen gezeigt wird, wie Sie Ihre Arbeitslasten mit den vorkonfigurierten Images starten.
NeMo + PyTorch + NCCL-gIB-Plug-in
Diese Docker-Images basieren auf dem NVIDIA NeMo NGC-Image. Sie enthalten das NCCL-gIB-Plug-in von Google und bündeln alle NCCL-Binärdateien, die zum Ausführen von Arbeitslasten auf den unterstützten Beschleunigermaschinen erforderlich sind. Diese Images enthalten auch Google Cloud-Tools wie gcsfuse und die gcloud CLI zum Bereitstellen von Arbeitslasten in der Google Kubernetes Engine.
| DLSL-Bildversion | Abhängigkeitsversion | Maschinenserie | Releasedatum | Enddatum des Supports | DLSL-Image-Name |
|---|---|---|---|---|---|
nemo25.04-gib1.0.6-A4 |
|
A4 | 3. Juli 2025 | 3. Juli 2026 | us-central1-docker.pkg.dev/deeplearning-images/reproducibility/pytorch-gpu-nemo-nccl:nemo25.04-gib1.0.6-A4
|
nemo25.04-gib1.0.6-A3U |
|
A3 Ultra | 3. Juli 2025 | 3. Juli 2026 | us-central1-docker.pkg.dev/deeplearning-images/reproducibility/pytorch-gpu-nemo-nccl:nemo25.04-gib1.0.6-A3U
|
nemo25.02-gib1.0.5-A4 |
|
A4 | 14. März 2025 | 14. März 2026 | us-central1-docker.pkg.dev/deeplearning-images/reproducibility/pytorch-gpu-nemo-nccl:nemo25.02-gib1.0.5-A4 |
nemo24.07-gib1.0.2-A3U |
|
A3 Ultra | 2. Februar 2025 | 2. Februar 2026 | us-central1-docker.pkg.dev/deeplearning-images/reproducibility/pytorch-gpu-nemo-nccl:nemo24.07-gib1.0.2-A3U |
nemo24.07-gib1.0.3-A3U |
|
A3 Ultra | 2. Februar 2025 | 2. Februar 2026 | us-central1-docker.pkg.dev/deeplearning-images/reproducibility/pytorch-gpu-nemo-nccl:nemo24.07-gib1.0.3-A3U |
nemo24.12-gib1.0.3-A3U |
|
A3 Ultra | 7. Februar 2025 | 7. Februar 2026 | us-central1-docker.pkg.dev/deeplearning-images/reproducibility/pytorch-gpu-nemo-nccl:nemo24.12-gib1.0.3-A3U |
nemo24.07-tcpx1.0.5-A3Mega |
|
A3 Mega | 12. März 2025 | 12. März 2026 | us-central1-docker.pkg.dev/deeplearning-images/reproducibility/pytorch-gpu-nemo-nccl:nemo24.07-tcpx1.0.5-A3Mega |
nemo24.07-tcpx1.0.5-A3High |
|
A3 High (8 GPUs) | 12. März 2025 | 12. März 2026 | us-central1-docker.pkg.dev/deeplearning-images/reproducibility/pytorch-gpu-nemo-nccl:nemo24.07-tcpx1.0.5-A3High |
NeMo + PyTorch
Dieses Docker-Image basiert auf dem NVIDIA NeMo NGC-Image und enthält Google Cloud -Tools wie gcsfuse und die gcloud CLI zum Bereitstellen von Arbeitslasten in Google Kubernetes Engine.
| DLSL-Bildversion | Abhängigkeitsversion | Maschinenserie | Releasedatum | Enddatum des Supports | DLSL-Image-Name |
|---|---|---|---|---|---|
nemo24.07--A3U |
NeMo NGC:24.07 |
A3 Ultra | 19. Dezember 2024 | 19. Dezember 2025 | us-central1-docker.pkg.dev/deeplearning-images/reproducibility/pytorch-gpu-nemo:nemo24.07-A3U |
nemo24.07-tcpx1.0.5-A3Mega |
|
A3 Mega | 12. März 2025 | 12. März 2026 | us-central1-docker.pkg.dev/deeplearning-images/reproducibility/pytorch-gpu-nemo:nemo24.07-tcpx1.0.5-A3Mega |
nemo24.07-tcpx1.0.5-A3High |
|
A3 High (8 GPUs) | 12. März 2025 | 12. März 2026 | us-central1-docker.pkg.dev/deeplearning-images/reproducibility/pytorch-gpu-nemo:nemo24.07-tcpx1.0.5-A3High |
MaxText + JAX-Toolbox
Dieses Docker-Image basiert auf dem NVIDIA JAX-Toolbox-Image und enthältGoogle Cloud -Tools wie gcsfuse und die gcloud CLI zum Bereitstellen von Arbeitslasten in der Google Kubernetes Engine.
| DLSL-Bildversion | Abhängigkeitsversion | Maschinenserie | Releasedatum | Enddatum des Supports | DLSL-Image-Name |
|---|---|---|---|---|---|
toolbox-maxtext-2025-01-10-A3U |
JAX toolbox: maxtext-2025-01-10 |
A3 Ultra | 11. März 2025 | 11. März 2026 | us-central1-docker.pkg.dev/deeplearning-images/reproducibility/jax-maxtext-gpu:toolbox-maxtext-2025-01-10-A3U |
jax0.5.1-cu12-A3Mega |
|
A3 Mega | 17. März 2025 | 17. März 2026 | us-central1-docker.pkg.dev/deeplearning-images/reproducibility/jax-gpu-maxtext:jax0.5.1-cu12-A3Mega |
jax0.5.1-cu12-A3High |
|
A3 High (8 GPUs) | 17. März 2025 | 17. März 2026 | us-central1-docker.pkg.dev/deeplearning-images/reproducibility/jax-gpu-maxtext:jax0.5.1-cu12-A3High |
MaxText + JAX Stable Stack
Dieses Docker-Image basiert auf dem JAX Stable Stack und MaxText. Dieses Image enthält auch Abhängigkeiten wie dnsutils zum Ausführen von Arbeitslasten in der Google Kubernetes Engine.
| DLSL-Bildversion | Abhängigkeitsversion | Maschinenserie | Releasedatum | Enddatum des Supports | DLSL-Image-Name |
|---|---|---|---|---|---|
jax-maxtext-gpu:jax0.5.1-cuda_dl25.02-rev1-maxtext-20150317 |
|
A4 | 17. März 2025 | 17. März 2026 | us-central1-docker.pkg.dev/deeplearning-images/reproducibility/jax-maxtext-gpu:jax0.5.1-cuda_dl25.02-rev1-maxtext-20150317 |
Clusterbereitstellung und -orchestrierung
Betriebssystem-Images enthalten alle erforderlichen Softwarekomponenten, um ein Betriebssystem auf einer Compute-Instanz oder einem GKE-Knoten bereitzustellen. Das Betriebssystem verwaltet die zugrunde liegenden Hardwareressourcen wie Beschleuniger und Netzwerke. Diese stellt die Rechenressourcen für Ihre KI-Arbeitslast bereit.
GKE-Knoten-Images
Die GKE stellt Cluster mithilfe von Knoten-Images bereit. Diese Knoten-Images sind für verschiedene Betriebssysteme wie Container-Optimized OS, Ubuntu und Windows Server verfügbar. Die Knoten-Images von Container-Optimized OS mit containerd (cos_containerd), die Sie zum Bereitstellen von GKE Autopilot-Clustern benötigen, enthalten Optimierungen zur Unterstützung Ihrer KI- und ML-Arbeitslasten.
Weitere Informationen zu diesen Knoten-Images finden Sie unter Knoten-Images.
Slurm-Betriebssystem-Images
Slurm-Cluster stellen Compute- und Controller-Knoten als Compute-Instanzen in Compute Engine bereit.
Wenn Sie KI-optimierte Slurm-Cluster bereitstellen möchten, müssen Sie das Cluster Toolkit verwenden. Standardmäßig werden mit den Cluster-Blueprints für A4X-, A4- und A3 Ultra-Cluster Compute-Instanzen bereitgestellt, die vordefinierte Advanced Compute Images verwenden. Bei anderen Maschinenserien oder beim Erstellen von benutzerdefinierten Slurm-Images erstellt der Cluster-Blueprint während der Bereitstellung automatisch ein benutzerdefiniertes Betriebssystem-Image, das die erforderliche Systemsoftware für die Cluster- und Arbeitslastverwaltung auf den Slurm-Knoten installiert. Sie können die Standard-Blueprints vor der Bereitstellung ändern, um die in Ihren Images enthaltene Software anzupassen.
Im folgenden Abschnitt wird die Software zusammengefasst, die der Cluster-Blueprint auf Ihren Slurm-Knoten vom Typ A4, A3 Ultra, A3 Mega und A3 High (8 GPUs) installiert. Cluster-Blueprints erweitern die Ubuntu LTS-Beschleuniger-Betriebssystem-Images.
A4X Max
Der auf GitHub verfügbare A4X Max-Blueprint enthält standardmäßig die folgende Software:
- Ubuntu 24.04 LTS
- Slurm: Version 25.05.2
- Die folgenden Slurm-Abhängigkeiten:
mungemariadblibjwtlmod
- Open MPI: Version 5.0.x
- NFS-Client und -Server
- NVIDIA-Treiber der Serie 580
- NVIDIA Enroot
- NVIDIA Pyxis
- Die folgenden NVIDIA-Tools:
- Data Center GPU Manager (
dcgmi) nvidia-container-toolkit: Version 1.17.7nvidia-imexnvidia-fabricmanager
- Data Center GPU Manager (
- CUDA Toolkit: Version 13.0
- NCCL-Plug-in für A4X Max (
nccl-gib-a4x-max-arm64) - DOCA-OFED-Treiber
- Ops-Agent
- Cloud Storage FUSE
A4X
Der auf GitHub verfügbare A4X-Blueprint verwendet standardmäßig vordefinierte Advanced Compute Images. Die Image-Familie aci-gpu-u2404-slurm-2511-cuda-130-nvidia-580-arm64 enthält standardmäßig die folgende Software und Konfiguration:
- Ubuntu 24.04 LTS (Arm64)
- Slurm: Version 25.11 und alle abhängigen Pakete
- NVIDIA-Treiber der Serie 580
- CUDA Toolkit: Version 13.0
- NVIDIA Container Toolkit, Enroot und Pyxis
- Data Center GPU Manager (
dcgmi) und Fabric Manager - NCCL/gIB-Plug-in
- Ops-Agent
- Cloud Storage FUSE
Eine vollständige Liste der vorinstallierten Tools und Manifestdetails finden Sie unter Übersicht über Advanced Compute Images.
A4
Der auf GitHub verfügbare A4-Blueprint verwendet standardmäßig vordefinierte Advanced Compute Images. Die Image-Familie aci-gpu-u2404-slurm-2511-cuda-130-nvidia-580-amd64 enthält standardmäßig die folgende Software und Konfiguration:
- Ubuntu 24.04 LTS (x86_64)
- Slurm: Version 25.11 und alle abhängigen Pakete
- NVIDIA-Treiber der Serie 580
- CUDA Toolkit: Version 13.0
- NVIDIA Container Toolkit, Enroot und Pyxis
- Data Center GPU Manager (
dcgmi) und Fabric Manager - NCCL/gIB-Plug-in
- Unterstützung für Infiniband- und Multi-Queue-Netzwerke
- Ops-Agent
- Cloud Storage FUSE
Eine vollständige Liste der vorinstallierten Tools und Manifestdetails finden Sie unter Übersicht über Advanced Compute Images.
A3 Ultra
Der auf GitHub verfügbare A3 Ultra-Blueprint verwendet standardmäßig vordefinierte Advanced Compute Images. Die Image-Familie aci-gpu-u2404-slurm-2511-cuda-130-nvidia-580-amd64 enthält standardmäßig die folgende Software und Konfiguration:
- Ubuntu 24.04 LTS (x86_64)
- Slurm: Version 25.11 und alle abhängigen Pakete
- NVIDIA-Treiber der Serie 580
- CUDA Toolkit: Version 13.0
- NVIDIA Container Toolkit, Enroot und Pyxis
- Data Center GPU Manager (
dcgmi) und Fabric Manager - NCCL/gIB-Plug-in
- Unterstützung für Infiniband- und Multi-Queue-Netzwerke
- Ops-Agent
- Cloud Storage FUSE
Eine vollständige Liste der vorinstallierten Tools und Manifestdetails finden Sie unter Übersicht über Advanced Compute Images.
A3 Mega
Der auf GitHub verfügbare A3 Mega-Blueprint enthält standardmäßig die folgende Software:
- Ubuntu 22.04 LTS
- Slurm: Version 24.11.2
- Die folgenden Slurm-Abhängigkeiten:
mungemariadblibjwtlmod
- Open MPI: die neueste Version von 4.1.x
- PMIx: Version 4.2.9
- NFS-Client und -Server
- NVIDIA-Treiber der Serie 550
- NVIDIA enroot-Containerlaufzeit: Version 3.4.1
- NVIDIA pyxis
- Die folgenden NVIDIA-Tools:
- Data Center GPU Manager (
dcgmi) libnvidia-cfg1-550-serverlibnvidia-nscq-550nvidia-compute-utils-550-servernsight-computensight-systems
- Data Center GPU Manager (
- CUDA Toolkit: Version 12.4
- Infiniband-Unterstützung, einschließlich
ibverbs-utils - TCPXO für A3 Mega: Spezifisches Installationsprogramm für NCCL TCPXO und den 1,6-Tbit/s-Netzwerkstack
- Ops-Agent
- Cloud Storage FUSE
A3 High (8 GPUs)
Der auf GitHub verfügbare A3 High (8 GPUs)-Blueprint enthält standardmäßig die folgende Software:
- Ubuntu 22.04 LTS
- Slurm: Version 24.11.2
- Die folgenden Slurm-Abhängigkeiten:
mungemariadblibjwtlmod
- Open MPI: die neueste Version von 4.1.x
- PMIx: Version 4.2.9
- NFS-Client und -Server
- NVIDIA-Treiber der Serie 535 oder 550
- NVIDIA enroot-Containerlaufzeit: Version 3.4.1
- NVIDIA pyxis
- Die folgenden NVIDIA-Tools:
- Data Center GPU Manager (
dcgmi) libnvidia-cfg1-535/550-serverlibnvidia-nscq-535/550nvidia-compute-utils-535/550-servernsight-computensight-systems
- Data Center GPU Manager (
- CUDA Toolkit: Version 12.2 oder 12.4
- Infiniband-Unterstützung, einschließlich
ibverbs-utils - TCPX für A3 High (8 GPUs): Spezifisches Installationsprogramm für NCCL TCPX (GPUDirect-TCPX) und den 800-Gbit/s-Netzwerkstack (4 NICs)
- Ops-Agent
- Cloud Storage FUSE
Beschleuniger-Betriebssystem-Images
Mit dem AI Hypercomputer können Sie einzelne Compute-Instanzen oder Gruppen von Compute-Instanzen bereitstellen. Wenn Sie diese Instanzen erstellen möchten, müssen Sie beim Erstellen der Instanz ein Betriebssystem-Image angeben.
Google Cloud bietet eine Reihe von Betriebssystem-Images für die Instanzerstellung. Google Cloud bietet außerdem eine spezielle Reihe von Beschleuniger-Betriebssystem-Images für KI-optimierte Instanzen. Diese Beschleuniger-Betriebssystem-Images enthalten Kerntreiber für GPU- und Netzwerkfunktionen, z. B. NVIDIA-Treiber, Mellanox-Treiber und deren Abhängigkeiten.
Weitere Informationen zu den einzelnen Betriebssystemen finden Sie in der Compute Engine-Dokumentation auf der Seite Details zu Betriebssystemen.
Beschleuniger-Betriebssystem-Images sind für die Betriebssysteme Rocky Linux und Ubuntu LTS verfügbar.
Rocky Linux-Beschleuniger
Die folgenden Rocky Linux-Beschleuniger-Betriebssystem-Images sind für jede Maschinenserie verfügbar:
| Infrastruktur | Image-Familie | Architektur | Maschinenserie | Image-Projekt |
|---|---|---|---|---|
| Geclusterte GPU | rocky-linux-10-optimized-gcp-nvidia-580 |
x86 | A4, A3 Ultra | rocky-linux-accelerator-cloud |
rocky-linux-10-optimized-gcp-nvidia-580-arm64 |
Arm | A4X | rocky-linux-accelerator-cloud |
|
rocky-linux-9-optimized-gcp-nvidia-580 |
x86 | A4, A3 Ultra | rocky-linux-accelerator-cloud |
|
rocky-linux-9-optimized-gcp-nvidia-580-arm64 |
Arm | A4X | rocky-linux-accelerator-cloud |
|
rocky-linux-8-optimized-gcp-nvidia-580 |
x86 | A4, A3 Ultra | rocky-linux-accelerator-cloud |
|
rocky-linux-8-optimized-gcp-nvidia-580-arm64 |
Arm | A4X | rocky-linux-accelerator-cloud |
Ubuntu LTS-Beschleuniger
Die folgenden Ubuntu LTS-Beschleuniger-Betriebssystem-Images sind für jede Maschinenserie verfügbar:
| Infrastruktur | Image-Familie | Architektur | Maschinenserie | Image-Projekt |
|---|---|---|---|---|
| Geclusterte GPU | ubuntu-accelerator-2404-arm64-with-nvidia-580 |
Arm | A4X | ubuntu-os-accelerator-images |
ubuntu-accelerator-2404-amd64-with-nvidia-580 |
x86 | A4, A3 Ultra | ubuntu-os-accelerator-images |
|
ubuntu-accelerator-2204-arm64-with-nvidia-580 |
Arm | A4X | ubuntu-os-accelerator-images |
|
ubuntu-accelerator-2204-amd64-with-nvidia-580 |
x86 | A4, A3 Ultra | ubuntu-os-accelerator-images |
Nächste Schritte
- Informationen zum Erwerben von Kapazität für das ausgewählte Image finden Sie unter Nutzungsoptionen.
- Informationen zum Prozess und zu den Optionen, die Sie beim Starten eines Clusters auswählen müssen, finden Sie unter KI-Infrastruktur planen und erstellen.