Memilih antara GPU umum dan GPU bercluster

Dokumen ini memberikan rekomendasi untuk akselerator, opsi pemakaian, dan alat deployment yang paling sesuai untuk berbagai workload kecerdasan buatan (AI), machine learning (ML), dan komputasi berperforma tinggi (HPC). Gunakan dokumen ini untuk membantu Anda mengidentifikasi deployment terbaik untuk workload Anda.

Untuk mengetahui informasi dan rekomendasi tentang pilar infrastruktur untuk workload AI, ML, dan HPC, lihat dokumen berikut:

Ringkasan workload

Arsitektur AI Hypercomputer mendukung kasus penggunaan berikut:

Workload Deskripsi Rekomendasi
Model dasar pra-pelatihan Hal ini melibatkan pembuatan model bahasa menggunakan set data yang besar. Hasil pelatihan awal model dasar adalah model baru yang mampu melakukan tugas umum.
Model dikategorikan berdasarkan ukurannya sebagai berikut:
  • Model termutakhir: Model ML yang mencakup ratusan miliar hingga triliunan parameter atau lebih. Ini mencakup model bahasa besar (LLM) seperti Gemini.
  • Model besar: Model ML yang mencakup puluhan hingga ratusan miliar parameter atau lebih.
 Lihat rekomendasi untuk model pra-pelatihan
Penyesuaian Hal ini melibatkan pengambilan model terlatih dan penyesuaiannya untuk melakukan tugas tertentu menggunakan set data khusus atau teknik lainnya. Fine-tuning umumnya dilakukan pada model besar. Lihat rekomendasi untuk model fine-tuning
Inferensi atau inferensi Hal ini melibatkan pengambilan model yang telah dilatih atau disesuaikan dan membuatnya tersedia untuk digunakan oleh pengguna atau aplikasi.
Workload inferensi dikategorikan berdasarkan ukuran model sebagai berikut:
  • Inferensi untuk model dasar di beberapa host: melakukan inferensi dengan model ML terlatih yang mencakup ratusan miliar hingga triliunan parameter atau lebih tinggi. Untuk workload inferensi ini, beban komputasi dibagi ke beberapa mesin host.
  • Inferensi model dasar host tunggal: melakukan inferensi dengan model ML terlatih yang mencakup puluhan hingga ratusan miliar parameter. Untuk workload inferensi ini, beban komputasi dibatasi pada satu mesin host.
  • Inferensi model besar: melakukan inferensi dengan model ML terlatih atau yang telah disesuaikan yang mencakup puluhan hingga ratusan miliar parameter.
 Lihat rekomendasi untuk inferensi
ML untuk model berukuran kecil atau sedang Hal ini melibatkan pelatihan dan penyajian model ML yang lebih kecil dalam hal ukuran dan kompleksitas, biasanya untuk tugas yang lebih khusus. Lihat rekomendasi ML untuk model kecil atau sedang
HPC Ini adalah praktik penggabungan resource komputasi guna mendapatkan performa yang lebih besar daripada performa dari satu workstation, server, atau komputer. HPC digunakan untuk menyelesaikan masalah dalam riset akademis, sains, desain, simulasi, dan business intelligence. Lihat rekomendasi untuk HPC

Rekomendasi untuk model pra-pelatihan

Untuk melatih model dasar, cluster akselerator besar terus membaca volume data yang besar. Akselerator ini menyesuaikan bobot melalui penerusan maju dan mundur untuk belajar dari data. Tugas pelatihan ini berjalan selama berminggu-minggu atau bahkan berbulan-bulan.

Bagian berikut menguraikan akselerator dan opsi konsumsi yang kami rekomendasikan untuk Anda gunakan dalam melakukan pra-pelatihan model dasar.

Akselerator yang direkomendasikan

Untuk melatih model dasar di Google Cloud, sebaiknya gunakan jenis mesin yang dioptimalkan untuk akselerator A5X (NVIDIA Vera Rubin), A4X Max (NVIDIA GB300), A4X (NVIDIA GB200), A4 (NVIDIA B200), A3 Ultra (NVIDIA H200 141 GB), A3 Mega (NVIDIA H100 80 GB), atau A3 High (NVIDIA H100 80 GB), dan gunakan orchestrator untuk men-deploy cluster.

Untuk men-deploy cluster akselerator ini, sebaiknya gunakan juga Cluster Director atau Cluster Toolkit. Untuk mengetahui informasi selengkapnya, lihat panduan deployment cluster masing-masing untuk jenis mesin pilihan Anda dalam tabel berikut.

Beban kerja Rekomendasi Panduan deployment cluster
Jenis mesin Orkestrator
Model dasar pra-pelatihan
  • A5X (NVIDIA Vera Rubin)
  • A4X Max (NVIDIA GB300)
  • A4X (NVIDIA GB200)
  • A4 (NVIDIA B200)
 GKE Membuat cluster GKE yang dioptimalkan untuk AI dengan Cluster Toolkit
Slurm
Pelatihan model besar A3 Ultra (NVIDIA H200 141GB) GKE Membuat cluster GKE yang dioptimalkan untuk AI dengan Cluster Toolkit
Slurm
Pelatihan model besar
  • A3 Mega (NVIDIA H100 80GB)
  • A3 High (NVIDIA H100 80GB)
 GKE Memaksimalkan bandwidth jaringan GPU di cluster mode Standar
Slurm

Opsi pemakaian yang direkomendasikan

Untuk tingkat kepastian yang tinggi dalam mendapatkan cluster akselerator yang besar, sebaiknya gunakan pemesanan. Secara khusus, untuk meminimalkan biaya resource yang dipesan, sebaiknya Anda meminta durasi pemesanan yang cukup lama untuk menerima diskon abonemen. Untuk mengetahui informasi selengkapnya tentang opsi konsumsi, lihat Memilih opsi konsumsi.

Rekomendasi untuk model fine-tuning

Untuk menyesuaikan model dasar yang besar, cluster akselerator yang lebih kecil membaca volume data sedang. Akselerator ini menyesuaikan model untuk melakukan tugas tertentu. Tugas fine-tuning ini berjalan selama berhari-hari atau bahkan berminggu-minggu.

Bagian berikut menguraikan akselerator dan opsi konsumsi yang direkomendasikan untuk digunakan saat menyesuaikan model.

Untuk menyesuaikan model di Google Cloud, sebaiknya gunakan jenis mesin yang dioptimalkan akselerator A3 Ultra (NVIDIA H200 141 GB), A3 Mega (NVIDIA H100 80 GB), atau A3 High (NVIDIA H100 80 GB), dan gunakan orchestrator untuk men-deploy cluster.

Untuk men-deploy cluster akselerator ini, sebaiknya gunakan juga Cluster Director atau Cluster Toolkit. Untuk mengetahui informasi selengkapnya, lihat panduan deployment cluster masing-masing untuk jenis mesin pilihan Anda dalam tabel berikut.

Beban kerja Rekomendasi Panduan deployment cluster
Jenis mesin Orkestrator
Melakukan fine-tuning pada model besar A3 Ultra (NVIDIA H200 141GB) GKE Membuat cluster GKE yang dioptimalkan untuk AI dengan Cluster Toolkit
Slurm
Melakukan fine-tuning pada model besar
  • A3 Mega (NVIDIA H100 80GB)
  • A3 High (NVIDIA H100 80GB)
 GKE Memaksimalkan bandwidth jaringan GPU di cluster mode Standar
Slurm

Opsi pemakaian yang direkomendasikan

Untuk workload fine-tuning, gunakan pemesanan untuk masa mendatang dalam mode kalender guna menyediakan resource. Untuk mengetahui informasi selengkapnya tentang opsi konsumsi, lihat Memilih opsi konsumsi.

Rekomendasi untuk inferensi

Bagian berikut menguraikan akselerator dan opsi konsumsi yang direkomendasikan untuk digunakan saat melakukan inferensi.

Akselerator yang direkomendasikan

Akselerator yang direkomendasikan untuk inferensi bergantung pada apakah Anda melakukan inferensi model besar atau frontier multi-host, atau inferensi frontier host tunggal.

Akselerator yang direkomendasikan (multi-host)

Untuk melakukan inferensi model besar atau frontier multi-host di Google Cloud, gunakan jenis mesin yang dioptimalkan untuk akselerator A5X (NVIDIA Vera Rubin), A4X Max (NVIDIA GB300), A4X (NVIDIA GB200), A4 (NVIDIA B200), A3 Ultra (NVIDIA H200 141 GB), A3 Mega (NVIDIA H100 80 GB), atau A3 High (NVIDIA H100 80 GB), dan deploy instance menggunakan orkestrator. Untuk men-deploy cluster akselerator ini, sebaiknya gunakan Cluster Director atau Cluster Toolkit. Tabel ini menyediakan link ke panduan deployment cluster untuk setiap jenis mesin yang direkomendasikan.

Beban kerja Rekomendasi Panduan deployment cluster
Jenis mesin Orkestrator
Inferensi frontier multi-host
  • A5X (NVIDIA Vera Rubin)
  • A4X Max (NVIDIA GB300)
  • A4X (NVIDIA GB200)
  • A4 (NVIDIA B200)
 GKE Membuat cluster GKE yang dioptimalkan untuk AI dengan Cluster Toolkit
Slurm
Inferensi model besar A3 Ultra (NVIDIA H200 141GB) GKE Membuat cluster GKE yang dioptimalkan untuk AI dengan Cluster Toolkit
Slurm
Inferensi model besar
  • A3 Mega (NVIDIA H100 80GB)
  • A3 High (NVIDIA H100 80GB)
 GKE Memaksimalkan bandwidth jaringan GPU di cluster mode Standar
Slurm

Akselerator yang direkomendasikan (host tunggal)

Tabel ini menguraikan akselerator yang kami rekomendasikan untuk Anda gunakan dalam melakukan inferensi frontier host tunggal. Tabel ini menyediakan link ke panduan deployment VM untuk setiap jenis mesin yang direkomendasikan.

Beban kerja Rekomendasi Panduan deployment VM
Jenis mesin Orkestrator
Inferensi terdepan dan mainstream satu host
  • A4 (NVIDIA B200)
  • A3 Ultra (NVIDIA H200 141GB)
 T/A Membuat instance A4 atau A3 Ultra
  • A3 High (NVIDIA H100 80GB)
  • A3 Edge (NVIDIA H100 80GB)
 Membuat instance A3 High atau A3 Edge
A2 (NVIDIA A100) Membuat instance A2
G4 (NVIDIA RTX PRO 6000) Membuat instance G4
G2 (NVIDIA L4) Membuat instance G2
N1 (NVIDIA T4 atau V100) Membuat instance N1

Opsi pemakaian yang direkomendasikan

Untuk inferensi, gunakan pemesanan jangka panjang atau pemesanan untuk masa mendatang dalam mode kalender. Untuk mengetahui informasi selengkapnya tentang opsi konsumsi, lihat Memilih opsi konsumsi.

Rekomendasi untuk model berukuran kecil atau sedang

Untuk workload ML yang melibatkan model berukuran kecil hingga sedang, mencapai keseimbangan optimal antara harga dan performa adalah pertimbangan utama.

Akselerator yang direkomendasikan

Tabel berikut menguraikan akselerator yang direkomendasikan untuk digunakan pada workload ML model berukuran kecil hingga menengah.

Beban kerja Rekomendasi Panduan deployment VM
Jenis mesin Orkestrator
ML untuk model berukuran kecil atau sedang A3 Edge (NVIDIA H100 80GB) T/A Membuat instance A3 Edge
A2 (NVIDIA A100) Membuat instance A2
G4 (NVIDIA RTX PRO 6000) Membuat instance G4
G2 (NVIDIA L4) Membuat instance G2
N1 (NVIDIA T4 atau V100) Membuat instance N1

Rekomendasi untuk HPC

Untuk workload HPC, semua seri mesin yang dioptimalkan akselerator atau seri mesin yang dioptimalkan untuk komputasi akan berfungsi dengan baik. Jika menggunakan seri mesin yang dioptimalkan untuk akselerator, pilihan terbaik bergantung pada jumlah komputasi yang harus dialihkan ke GPU. Untuk mengetahui daftar rekomendasi mendetail untuk workload HPC, lihat Praktik terbaik untuk menjalankan workload HPC.

Ringkasan rekomendasi

Tabel berikut merangkum akselerator dan opsi konsumsi yang direkomendasikan untuk setiap workload.

Resource Rekomendasi
Pra-pelatihan model
Kelompok mesin Gunakan salah satu jenis mesin yang dioptimalkan akselerator berikut: A5X (NVIDIA Vera Rubin), A4X Max (NVIDIA GB300), A4X (NVIDIA GB200), A4 (NVIDIA B200), A3 Ultra (NVIDIA H200 141 GB), A3 Mega (NVIDIA H100 80 GB), atau A3 High (NVIDIA H100 80 GB)
Opsi pemakaian Gunakan pemesanan untuk masa mendatang standar untuk blok kapasitas (untuk A5X, A4X Max, dan A4X) atau pemesanan untuk masa mendatang standar
Penyesuaian model
Kelompok mesin Gunakan jenis mesin yang dioptimalkan akselerator A3 Ultra (NVIDIA H200 141 GB), A3 Mega (NVIDIA H100 80 GB), atau A3 High (NVIDIA H100 80 GB)
Opsi pemakaian 'Gunakan pemesanan standar untuk masa mendatang
Inferensi
Kelompok mesin Gunakan salah satu jenis mesin berikut: A5X (NVIDIA Vera Rubin), A4X Max (NVIDIA GB300), A4X (NVIDIA GB200), A4 (NVIDIA B200), A3 Ultra (NVIDIA H200 141 GB), A3 Mega (NVIDIA H100 80 GB), A3 High (NVIDIA H100 80 GB), A3 Edge (NVIDIA H100 80 GB), A2 (NVIDIA A100), G4 (NVIDIA RTX PRO 6000), G2 (NVIDIA L4), atau N1 (NVIDIA T4 atau V100)
Opsi pemakaian Menggunakan reservasi, on-demand, atau Spot (kecuali A5X, A4X Max, dan A4X, yang tidak mendukung Spot atau on-demand)
ML untuk model berukuran kecil atau sedang
Kelompok mesin Gunakan salah satu jenis mesin berikut: A3 Edge (NVIDIA H100 80 GB), A2 (NVIDIA A100), G4 (NVIDIA RTX PRO 6000), G2 (NVIDIA L4), atau N1 (NVIDIA T4 atau V100)
Opsi pemakaian Menggunakan pemesanan on-demand, Spot, atau standar
Penyimpanan Menggunakan Cloud Storage FUSE
HPC
Lihat bagian ringkasan praktik terbaik untuk menjalankan workload HPC

Langkah berikutnya