Image OS dan Docker

Google Cloud menyediakan image yang berisi sistem operasi, framework, library, dan driver umum. Google Cloud mengoptimalkan image yang telah dikonfigurasi sebelumnya ini untuk mendukung workload kecerdasan buatan (AI) dan machine learning (ML) Anda.

Dokumen ini memberikan ringkasan tentang image yang Anda gunakan untuk men-deploy, mengelola, dan menjalankan workload di lingkungan AI Hypercomputer Anda.

Memahami kategori gambar

Gambar dikelompokkan ke dalam kategori berikut:

  • Framework dan library AI dan ML: Image Docker yang telah dikonfigurasi sebelumnya dengan biner untuk framework dan library ML guna menyederhanakan pembuatan, pelatihan, dan penggunaan model ML. Di AI Hypercomputer, Anda dapat menggunakan image Docker Deep Learning Software Layer (DLSL) untuk menjalankan model ML seperti NeMO dan MaxText di cluster Google Kubernetes Engine (GKE).
  • Deployment dan orkestrasi cluster: image sistem operasi (OS) yang Anda gunakan untuk men-deploy dan mengelola infrastruktur yang dioptimalkan performa tempat workload AI Anda berjalan. Image yang harus Anda gunakan bergantung pada infrastruktur GPU yang Anda gunakan (GPU Ter-cluster atau GPU Umum) dan cara Anda berencana men-deploy cluster:
    • Image node GKE: Anda dapat menggunakan image ini untuk men-deploy cluster GKE.
    • Image OS Slurm: Cluster Toolkit membangun dan men-deploy image ini, yang menginstal software sistem yang diperlukan untuk node Slurm.
    • OS image akselerator: Anda dapat menggunakan image ini untuk membuat instance Compute Engine individual atau grup.

Framework dan library AI dan ML

Google Cloud menyediakan image Docker yang mengemas framework dan library AI dan ML populer. Image ini menyediakan software yang diperlukan untuk menyederhanakan pengembangan, pelatihan, dan deployment model di cluster yang dioptimalkan untuk AI yang berjalan di AI Hypercomputer.

Gambar AI JAX

JAX AI Images (JAII, sebelumnya dikenal sebagai JAX Stable Stack Images) untuk Google Cloud TPU dan GPU menawarkan image Docker siap pakai yang berisi framework JAX, koleksi library yang kompatibel, dan setelan untuk infrastruktur Google Cloud . Image TPU JAX AI telah dikonfigurasi sebelumnya dengan library JAX dan library TPU. Image GPU AI JAX telah dikonfigurasi sebelumnya dengan library JAX dan library CUDA/NVIDIA yang relevan.

Diagram gambar AI JAX

Lapisan hardware

Image AI JAX berada di atas lapisan hardware yang terdiri dari akselerator (TPU atau GPU) dan VM terkait. Untuk menggunakan image AI JAX, Anda perlu menyediakan VM TPU atau GPU. Anda dapat melakukannya menggunakan TPU API, Compute Engine API, atau GKE API.

Lapisan framework

Lapisan framework menyediakan alat dan library untuk membangun workload ML. Image AI JAX menyediakan dasar yang telah dikonfigurasi sebelumnya untuk workload ML berbasis JAX, termasuk library JAX inti dan dependensi penting lainnya, untuk memastikan pengalaman pengembangan yang konsisten dan berperforma tinggi.

Lapisan LibTPU dalam image AI JAX dibuat dan dipaketkan secara khusus dengan versi JAX masing-masing. Menggunakan versi JAX yang berbeda dapat menyebabkan perilaku atau error yang tidak terduga.

Lapisan CUDA dalam image AI JAX mencakup komponen yang dikelola oleh NVIDIA, seperti NGC CUDA Deep Learning Image, yang digunakan sebagai image dasar Image Pelatihan GPU. Image GPU juga berisi Transformer Engine, library NVIDIA kustom untuk mempercepat model transformer di GPU NVIDIA.

Paket tambahan khusus aplikasi, selain yang disediakan dalam image AI JAX, mungkin diperlukan untuk workload machine learning spesifik Anda.

Library di JAX AI Images:

Image TPU

Fungsi Nama Paket
Library atau Komponen Inti
Framework ML JAX dan JAX lib
LibTPU Rilis stabil Cloud LibTPU
Library Lapisan/Model Flax
Checkpointing Orbax
Kuantisasi Qwix
Pengoptimal Optax

aqtp
Kernel Kustom Tokamax
Konfigurasi Fiddle
Pipeline input tf.data

PyGrain array-record

Pembuatan profil, proses debug Tensorboard
Utils Utilitas loop umum

Pengukuran goodput ML Koleksi ML

Alat Khusus Cloud
Google Cloud

Google Cloud SDK Google Cloud penyimpanan

Diagnostik

Cloud Accelerator Diagnostics Cloud TPU Diagnostics

Image GPU

Fungsi Nama Paket
Library atau Komponen Inti
Framework ML JAX dan JAX lib
Library NVIDIA CUDA CUDA DL Image
Library Lapisan/Model Flax
Checkpointing Orbax
Pengoptimal

Optax aqtp TransformerEngine

Konfigurasi Fiddle
Pipeline input

tf.data PyGrain array-record

Pembuatan profil, proses debug Tensorboard
Utils

Common loop utils ML goodput measurement ML collections

Alat Khusus Cloud
Google Cloud

Google Cloud SDK Google Cloud penyimpanan

Diagnostik Cloud Accelerator Diagnostics

Gambar AI JAX saat ini

Image TPU

Gambar AI JAX Tanggal rilis
JAX 0.9.0 Revisi 1 2026-02-03
JAX 0.8.2 Revisi 1 2026-01-14
JAX 0.8.1 Revisi 1 2025-11-21
JAX 0.8.0 Revisi 1 2025-10-28
JAX 0.7.2 Revisi 1 2025-09-30
JAX 0.7.0 Revisi 1 2025-07-29
JAX 0.6.1 Revisi 1 2025-06-05
JAX 0.5.2 Revisi 2 2025-04-25
JAX 0.5.2 Revisi 1 2025-03-17
JAX 0.4.37 Revisi 1 2024-12-12
JAX 0.4.35 Revisi 1 2024-10-30

Image GPU

Gambar AI JAX Tanggal rilis
JAX 0.7.2 dengan CUDA DL 25.06 Revisi 1 2025-09-30
JAX 0.6.1 dengan CUDA DL 25.03 Revisi 1 2025-06-05
JAX 0.5.1 dengan CUDA DL 25.02 Revisi 1 2025-03-17

Lapisan aplikasi

Anda mengimplementasikan workload ML spesifik di lapisan aplikasi yang berada di atas lapisan framework. Lapisan aplikasi berisi kode, model, dan logika khusus aplikasi Anda, yang semuanya dibangun menggunakan alat dan library yang disediakan oleh lapisan framework.

Meskipun image ini menyediakan fondasi yang kuat dan teruji dengan baik untuk workload AI berbasis JAX, Anda mungkin perlu menambahkan dependensi khusus aplikasi. Saat melakukannya, sebaiknya Anda melakukannya dengan cara yang meminimalkan interferensi dengan lapisan dasar yang telah dikonfigurasi sebelumnya, yang mencakup JAX dan dependensi intinya. Memperkenalkan dependensi tingkat aplikasi yang menggantikan atau bertentangan dengan dependensi yang ada dapat menyebabkan efek samping seperti:

  • Perilaku yang Tidak Terduga: workload ML Anda mungkin menunjukkan perilaku yang berbeda dibandingkan sebelum Anda memperkenalkan dependensi tambahan ke image AI JAX.
  • Regresi Performa: mengganti library terkait JAX yang dioptimalkan dapat berdampak negatif pada manfaat performa yang diberikan oleh image AI JAX
  • Masalah Stabilitas: konflik antara dependensi yang Anda tambahkan dan dependensi JAX inti dapat menyebabkan ketidakstabilan dan error runtime dalam aplikasi Anda.

Ritme Rilis

Awalnya, gambar AI JAX disediakan setiap tiga bulan dengan sasaran jangka pendek berupa jadwal rilis yang disinkronkan dengan setiap rilis JAX. Hal ini memastikan bahwa Anda dapat memanfaatkan fitur dan peningkatan terbaru segera setelah tersedia.

Dukungan

Setiap rilis gambar AI JAX mematuhi siklus proses dukungan dengan waktu terbatas. Dalam jangka waktu ini, kami menangani kategori permintaan tertentu untuk modifikasi pada gambar AI JAX yang ada:

  • Kerentanan keamanan: kami memprioritaskan penanganan kerentanan keamanan yang ditemukan dalam image dasar atau dependensi image Docker JAX Stable Stack. Image yang diperbarui akan dirilis untuk mengurangi potensi risiko.
  • Perubahan yang dapat menyebabkan gangguan: jika terjadi perubahan yang dapat menyebabkan gangguan signifikan pada library atau framework pokok yang digunakan oleh image AI JAX, Google Cloud akan mengevaluasi dan menerapkan update yang diperlukan untuk mempertahankan kompatibilitas. Hal ini mungkin melibatkan pembangunan ulang image Docker dengan dependensi yang diupdate.

Saat kerentanan keamanan atau bug ditemukan di library dalam JAII, kami akan menggabungkan library yang diupdate ke dalam JAII, dengan menyematkan semua versi library lainnya untuk menjaga stabilitas secara keseluruhan. Hal ini menghasilkan revisi JAII baru.

Perubahan minimal untuk revisi:

Jika bug ditemukan dalam paket "X" dalam JAX-0.4.30-rev1, kami akan mengupdate "X" ke rilis berikutnya (misalnya, v2.0) sambil mencoba mempertahankan semua paket lainnya tidak berubah. Hal ini menghasilkan revisi baru: JAX-0.4.30-rev2, yang akan dirilis secepat mungkin.

Image Docker Deep Learning Software Layer (DLSL)

Image ini mengemas NVIDIA CUDA, NCCL, framework ML, dan model. Image ini menyediakan lingkungan siap pakai untuk workload deep learning. Image Docker DLSL bawaan ini berfungsi lancar dengan cluster GKE Anda karena kami menguji dan memverifikasi image ini selama pengujian reproduksibilitas dan regresi internal.

Image Docker DLSL memberikan manfaat berikut:

  • Software yang telah dikonfigurasi sebelumnya: Image Docker DLSL mereplikasi penyiapan yang digunakan oleh pengujian regresi dan reproduksibilitas internal. Image ini menyediakan lingkungan yang telah dikonfigurasi, diuji, dan dioptimalkan, sehingga menghemat waktu dan upaya yang signifikan dalam penginstalan dan konfigurasi.
  • Pengelolaan versi: Image Docker DLSL sering diupdate. Update versi ini menyediakan versi stabil terbaru dari framework dan driver, serta update juga mengatasi patch keamanan.
  • Kompatibilitas infrastruktur: Image Docker DLSL dibuat dan diuji agar berfungsi lancar dengan jenis mesin GPU yang tersedia di AI Hypercomputer.
  • Petunjuk panduan memulai: beberapa image Docker DLSL memiliki contoh resep yang menyertainya, yang menunjukkan cara memulai workload yang menggunakan image yang telah dikonfigurasi sebelumnya.

Plugin gIB NeMo + PyTorch + NCCL

Image Docker ini didasarkan pada image NGC NVIDIA NeMo. Image ini berisi plugin gIB NCCL Google dan menggabungkan semua biner NCCL yang diperlukan untuk menjalankan workload di setiap mesin akselerator yang didukung. Image ini juga menyertakan alat Google Cloud seperti gcsfuse dan gcloud CLI untuk men-deploy workload ke Google Kubernetes Engine.

Versi image DLSL Versi dependensi Seri mesin Tanggal rilis Akhir tanggal dukungan Nama image DLSL
nemo25.04-gib1.0.6-A4
  • NeMo NGC:25.04.01
  • NCCL giB plugin: 1.0.6
 A4 3 Juli 2025 3 Juli 2026 us-central1-docker.pkg.dev/deeplearning-images/reproducibility/pytorch-gpu-nemo-nccl:nemo25.04-gib1.0.6-A4
nemo25.04-gib1.0.6-A3U
  • NeMo NGC:25.04.01
  • NCCL giB plugin: 1.0.6
 A3 Ultra 3 Juli 2025 3 Juli 2026 us-central1-docker.pkg.dev/deeplearning-images/reproducibility/pytorch-gpu-nemo-nccl:nemo25.04-gib1.0.6-A3U
nemo25.02-gib1.0.5-A4
  • NeMo NGC:25.02
  • NCCL giB plugin: 1.0.5
 A4 14 Maret 2025 14 Maret 2026 us-central1-docker.pkg.dev/deeplearning-images/reproducibility/pytorch-gpu-nemo-nccl:nemo25.02-gib1.0.5-A4
nemo24.07-gib1.0.2-A3U
  • NeMo NGC:24.07
  • NCCL giB plugin: 1.0.2
 A3 Ultra 2 Februari 2025 2 Februari 2026 us-central1-docker.pkg.dev/deeplearning-images/reproducibility/pytorch-gpu-nemo-nccl:nemo24.07-gib1.0.2-A3U
nemo24.07-gib1.0.3-A3U
  • NeMo NGC:24.07
  • NCCL giB plugin: 1.0.3
 A3 Ultra 2 Februari 2025 2 Februari 2026 us-central1-docker.pkg.dev/deeplearning-images/reproducibility/pytorch-gpu-nemo-nccl:nemo24.07-gib1.0.3-A3U
nemo24.12-gib1.0.3-A3U
  • NeMo NGC:24.12
  • NCCL giB plugin: 1.0.3
 A3 Ultra 7 Februari 2025 7 Februari 2026 us-central1-docker.pkg.dev/deeplearning-images/reproducibility/pytorch-gpu-nemo-nccl:nemo24.12-gib1.0.3-A3U
nemo24.07-tcpx1.0.5-A3Mega
  • NeMo NGC:24.07
  • GPUDirect-TCPX: 1.0.5
 A3 Mega 12 Maret 2025 12 Maret 2026 us-central1-docker.pkg.dev/deeplearning-images/reproducibility/pytorch-gpu-nemo-nccl:nemo24.07-tcpx1.0.5-A3Mega
nemo24.07-tcpx1.0.5-A3High
  • NeMo NGC:24.07
  • GPUDirect-TCPX: 1.0.5
 A3 High (8 GPU) 12 Maret 2025 12 Maret 2026 us-central1-docker.pkg.dev/deeplearning-images/reproducibility/pytorch-gpu-nemo-nccl:nemo24.07-tcpx1.0.5-A3High

NeMo + PyTorch

Image Docker ini didasarkan pada image NVIDIA NeMo NGC dan menyertakan alat Google Cloud seperti gcsfuse dan gcloud CLI untuk men-deploy workload ke Google Kubernetes Engine.

Versi image DLSL Versi dependensi Seri mesin Tanggal rilis Akhir tanggal dukungan Nama image DLSL
nemo24.07--A3U NeMo NGC:24.07 A3 Ultra 19 Desember 2024 19 Desember 2025 us-central1-docker.pkg.dev/deeplearning-images/reproducibility/pytorch-gpu-nemo:nemo24.07-A3U
nemo24.07-tcpx1.0.5-A3Mega
  • NeMo NGC:24.07
  • GPUDirect-TCPX: 1.0.5
 A3 Mega 12 Maret 2025 12 Maret 2026 us-central1-docker.pkg.dev/deeplearning-images/reproducibility/pytorch-gpu-nemo:nemo24.07-tcpx1.0.5-A3Mega
nemo24.07-tcpx1.0.5-A3High
  • NeMo NGC:24.07
  • GPUDirect-TCPX: 1.0.5
 A3 High (8 GPU) 12 Maret 2025 12 Maret 2026 us-central1-docker.pkg.dev/deeplearning-images/reproducibility/pytorch-gpu-nemo:nemo24.07-tcpx1.0.5-A3High

Toolbox MaxText + JAX

Image Docker ini didasarkan pada image toolbox NVIDIA JAX dan mencakup alatGoogle Cloud seperti gcsfuse dan gcloud CLI untuk men-deploy workload ke Google Kubernetes Engine.

Versi image DLSL Versi dependensi Seri mesin Tanggal rilis Akhir tanggal dukungan Nama image DLSL
toolbox-maxtext-2025-01-10-A3U JAX toolbox: maxtext-2025-01-10 A3 Ultra 11 Maret 2025 11 Maret 2026 us-central1-docker.pkg.dev/deeplearning-images/reproducibility/jax-maxtext-gpu:toolbox-maxtext-2025-01-10-A3U
jax0.5.1-cu12-A3Mega
  • JAX: 0.5.1
  • CUDA: 12.x
  • MaxText: Latest
 A3 Mega 17 Maret 2025 17 Maret 2026 us-central1-docker.pkg.dev/deeplearning-images/reproducibility/jax-gpu-maxtext:jax0.5.1-cu12-A3Mega
jax0.5.1-cu12-A3High
  • JAX: 0.5.1
  • CUDA: 12.x
  • MaxText: Latest
 A3 High (8 GPU) 17 Maret 2025 17 Maret 2026 us-central1-docker.pkg.dev/deeplearning-images/reproducibility/jax-gpu-maxtext:jax0.5.1-cu12-A3High

Stack stabil MaxText + JAX

Image Docker ini didasarkan pada stack stabil JAX dan MaxText. Image ini juga mencakup dependensi seperti dnsutils untuk menjalankan workload di Google Kubernetes Engine.

Versi image DLSL Versi dependensi Seri mesin Tanggal rilis Akhir tanggal dukungan Nama image DLSL
jax-maxtext-gpu:jax0.5.1-cuda_dl25.02-rev1-maxtext-20150317
  • JAX Stable stacks:jax0.5.1-cuda_dl25.02-rev1
  • commit maxtext: 54e98c9e62caa426cf5902be068533ddb4fb79f5
 A4 17 Maret 2025 17 Maret 2026 us-central1-docker.pkg.dev/deeplearning-images/reproducibility/jax-maxtext-gpu:jax0.5.1-cuda_dl25.02-rev1-maxtext-20150317

Deployment dan orkestrasi cluster

Image OS mencakup semua komponen software yang diperlukan untuk men-deploy sistem operasi pada instance komputasi atau node GKE. Sistem operasi mengelola resource hardware yang mendasarinya, seperti akselerator dan jaringan. Hal ini menyediakan resource komputasi untuk workload AI Anda.

Image node GKE

GKE men-deploy cluster menggunakan image node. Image node ini tersedia untuk berbagai sistem operasi seperti Container-Optimized OS, Ubuntu, dan Windows Server. Image node Container-Optimized OS dengan containerd (cos_containerd) yang Anda perlukan untuk men-deploy cluster GKE Autopilot mencakup pengoptimalan untuk mendukung workload AI dan ML Anda.

Untuk mengetahui informasi selengkapnya tentang image node ini, lihat Image node.

OS image Slurm

Cluster Slurm men-deploy node komputasi dan pengontrol sebagai instance komputasi di Compute Engine.

Untuk menyediakan cluster Slurm yang dioptimalkan untuk AI, Anda harus menggunakan Cluster Toolkit. Secara default, blueprint cluster untuk cluster A4X, A4, dan A3 Ultra men-deploy instance komputasi yang menggunakan Advanced Compute Images bawaan. Untuk seri mesin lainnya, atau saat membangun image kustom Slurm, blueprint cluster akan otomatis membangun image OS kustom selama deployment yang menginstal software sistem yang diperlukan untuk pengelolaan cluster dan workload pada node Slurm. Anda dapat mengubah blueprint default sebelum men-deploy-nya untuk menyesuaikan software yang disertakan dalam image Anda.

Bagian berikut merangkum software yang diinstal oleh blueprint cluster di node Slurm A4, A3 Ultra, A3 Mega, dan A3 High (8 GPU) Anda. Blueprint cluster memperluas OS image akselerator Ubuntu LTS.

A4X Max

Blueprint A4X Max yang tersedia di GitHub menyertakan software berikut secara default:

  • Ubuntu 24.04 LTS
  • Slurm: versi 25.05.2
  • Dependensi Slurm berikut:
    • munge
    • mariadb
    • libjwt
    • lmod
  • Open MPI: versi 5.0.x
  • Klien dan server NFS
  • Driver NVIDIA seri 580
  • NVIDIA Enroot
  • NVIDIA Pyxis
  • Alat NVIDIA berikut:
    • Data Center GPU Manager (dcgmi)
    • nvidia-container-toolkit: versi 1.17.7
    • nvidia-imex
    • nvidia-fabricmanager
  • CUDA Toolkit: versi 13.0
  • Plugin NCCL untuk A4X Max (nccl-gib-a4x-max-arm64)
  • Driver DOCA-OFED
  • Agen Operasional
  • Cloud Storage FUSE

A4X

Blueprint A4X yang tersedia di GitHub menggunakan Advanced Compute Images bawaan secara default. Kelompok image aci-gpu-u2404-slurm-2511-cuda-130-nvidia-580-arm64 mencakup software dan konfigurasi berikut secara default:

  • Ubuntu 24.04 LTS (Arm64)
  • Slurm: versi 25.11 dan semua paket dependen
  • Driver NVIDIA seri 580
  • CUDA Toolkit: versi 13.0
  • NVIDIA Container Toolkit, Enroot, dan Pyxis
  • Data Center GPU Manager (dcgmi) dan Fabric Manager
  • Plugin NCCL/gIB
  • Agen Operasional
  • Cloud Storage FUSE

Untuk melihat daftar lengkap alat yang telah diinstal sebelumnya dan detail manifes, lihat Ringkasan Advanced Compute Images.

A4

Blueprint A4 yang tersedia di GitHub menggunakan Advanced Compute Images bawaan secara default. Kelompok image aci-gpu-u2404-slurm-2511-cuda-130-nvidia-580-amd64 mencakup software dan konfigurasi berikut secara default:

  • Ubuntu 24.04 LTS (x86_64)
  • Slurm: versi 25.11 dan semua paket dependen
  • Driver NVIDIA seri 580
  • CUDA Toolkit: versi 13.0
  • NVIDIA Container Toolkit, Enroot, dan Pyxis
  • Data Center GPU Manager (dcgmi) dan Fabric Manager
  • Plugin NCCL/gIB
  • Dukungan jaringan Infiniband dan multi-antrean
  • Agen Operasional
  • Cloud Storage FUSE

Untuk melihat daftar lengkap alat yang telah diinstal sebelumnya dan detail manifes, lihat Ringkasan Advanced Compute Images.

A3 Ultra

Blueprint A3 Ultra yang tersedia di GitHub menggunakan Advanced Compute Images bawaan secara default. Kelompok image aci-gpu-u2404-slurm-2511-cuda-130-nvidia-580-amd64 mencakup software dan konfigurasi berikut secara default:

  • Ubuntu 24.04 LTS (x86_64)
  • Slurm: versi 25.11 dan semua paket dependen
  • Driver NVIDIA seri 580
  • CUDA Toolkit: versi 13.0
  • NVIDIA Container Toolkit, Enroot, dan Pyxis
  • Data Center GPU Manager (dcgmi) dan Fabric Manager
  • Plugin NCCL/gIB
  • Dukungan jaringan Infiniband dan multi-antrean
  • Agen Operasional
  • Cloud Storage FUSE

Untuk melihat daftar lengkap alat yang telah diinstal sebelumnya dan detail manifes, lihat Ringkasan Advanced Compute Images.

A3 Mega

Blueprint A3 Mega yang tersedia di GitHub menyertakan software berikut secara default:

  • Ubuntu 22.04 LTS
  • Slurm: versi 24.11.2
  • Dependensi Slurm berikut:
    • munge
    • mariadb
    • libjwt
    • lmod
  • Open MPI: rilis terbaru 4.1.x
  • PMIx: versi 4.2.9
  • Klien dan server NFS
  • Driver NVIDIA seri 550
  • Runtime container NVIDIA enroot: versi 3.4.1
  • NVIDIA pyxis
  • Alat NVIDIA berikut:
    • Data Center GPU Manager (dcgmi)
    • libnvidia-cfg1-550-server
    • libnvidia-nscq-550
    • nvidia-compute-utils-550-server
    • nsight-compute
    • nsight-systems
  • CUDA Toolkit: versi 12.4
  • Dukungan Infiniband, termasuk ibverbs-utils
  • TCPXO untuk A3 Mega: penginstal khusus untuk NCCL TCPXO dan stack jaringan 1,6 Tbps
  • Agen Operasional
  • Cloud Storage FUSE

A3 High (8 GPU)

Blueprint A3 High (8 GPU) yang tersedia di GitHub menyertakan software berikut secara default:

  • Ubuntu 22.04 LTS
  • Slurm: versi 24.11.2
  • Dependensi Slurm berikut:
    • munge
    • mariadb
    • libjwt
    • lmod
  • Open MPI: rilis terbaru 4.1.x
  • PMIx: versi 4.2.9
  • Klien dan server NFS
  • Driver NVIDIA seri 535 atau 550
  • Runtime container NVIDIA enroot: versi 3.4.1
  • NVIDIA pyxis
  • Alat NVIDIA berikut:
    • Data Center GPU Manager (dcgmi)
    • libnvidia-cfg1-535/550-server
    • libnvidia-nscq-535/550
    • nvidia-compute-utils-535/550-server
    • nsight-compute
    • nsight-systems
  • CUDA Toolkit: versi 12.2 atau 12.4
  • Dukungan Infiniband, termasuk ibverbs-utils
  • TCPX untuk A3 High (8 GPU): penginstal khusus untuk NCCL TCPX (GPUDirect-TCPX) dan stack jaringan 800 Gbps (4 NIC)
  • Agen Operasional
  • Cloud Storage FUSE

OS image akselerator

AI Hypercomputer memungkinkan Anda menyediakan instance komputasi atau grup instance komputasi individual. Jika ingin membuat instance ini, Anda harus menentukan OS image selama pembuatan instance.

Google Cloud menawarkan rangkaian OS image untuk pembuatan instance. Google Cloud juga menawarkan set OS image akselerator khusus untuk instance yang dioptimalkan untuk AI. OS image akselerator ini mencakup driver inti untuk fungsi GPU dan jaringan, seperti driver NVIDIA, driver Mellanox, dan dependensinya.

Untuk mengetahui informasi selengkapnya tentang setiap OS, lihat halaman Detail sistem operasi di dokumentasi Compute Engine.

OS image akselerator tersedia untuk sistem operasi Rocky Linux dan Ubuntu LTS.

Akselerator Rocky Linux

OS image akselerator Rocky Linux berikut tersedia untuk setiap seri mesin:

Infrastruktur Kelompok gambar Arsitektur Seri mesin Project image
GPU Ter-cluster rocky-linux-10-optimized-gcp-nvidia-580 x86 A4, A3 Ultra rocky-linux-accelerator-cloud
rocky-linux-10-optimized-gcp-nvidia-580-arm64 Arm A4X rocky-linux-accelerator-cloud
rocky-linux-9-optimized-gcp-nvidia-580 x86 A4, A3 Ultra rocky-linux-accelerator-cloud
rocky-linux-9-optimized-gcp-nvidia-580-arm64 Arm A4X rocky-linux-accelerator-cloud
rocky-linux-8-optimized-gcp-nvidia-580 x86 A4, A3 Ultra rocky-linux-accelerator-cloud
rocky-linux-8-optimized-gcp-nvidia-580-arm64 Arm A4X rocky-linux-accelerator-cloud

Akselerator Ubuntu LTS

OS image akselerator Ubuntu LTS berikut tersedia untuk setiap seri mesin:

Infrastruktur Kelompok gambar Arsitektur Seri mesin Project image
GPU Ter-cluster ubuntu-accelerator-2404-arm64-with-nvidia-580 Arm A4X ubuntu-os-accelerator-images
ubuntu-accelerator-2404-amd64-with-nvidia-580 x86 A4, A3 Ultra ubuntu-os-accelerator-images
ubuntu-accelerator-2204-arm64-with-nvidia-580 Arm A4X ubuntu-os-accelerator-images
ubuntu-accelerator-2204-amd64-with-nvidia-580 x86 A4, A3 Ultra ubuntu-os-accelerator-images

Langkah berikutnya