Memilih antara GPU umum dan GPU bercluster

Dokumen ini memberikan rekomendasi untuk akselerator, opsi pemakaian, dan alat deployment yang paling sesuai untuk berbagai workload kecerdasan buatan (AI), machine learning (ML), dan komputasi berperforma tinggi (HPC). Gunakan dokumen ini untuk membantu Anda mengidentifikasi deployment terbaik untuk workload Anda.

Untuk mengetahui informasi dan rekomendasi tentang pilar infrastruktur untuk workload AI, ML, dan HPC, lihat dokumen berikut:

Ringkasan workload

Jika Anda menginginkan bantuan yang didukung AI untuk memilih antara GPU umum dan GPU ter-cluster untuk workload Anda, jalankan perintah berikut di Compute Advisor:

Compute Advisor Compute Advisor adalah asisten yang didukung AI yang dapat Anda minta untuk mendapatkan rekomendasi yang disesuaikan untuk infrastruktur Anda berdasarkan informasi seperti batas kuota, pemesanan yang ada, dan batasan lokasi resource.

Perintah ini membandingkan GPU umum dan GPU ter-cluster untuk workload AI atau HPC Anda, mengevaluasi kuota dan reservasi project Anda, serta menghasilkan tabel perbandingan Markdown dengan rekomendasi seri mesin, orchestrator, dan opsi konsumsi.

Bertindaklah sebagai arsitek infrastruktur AI. Bantu saya memilih antara GPU umum dan GPU ter-cluster di AI Hypercomputer berdasarkan kuota project, pemesanan aktif, diskon abonemen (DA), dan region yang tersedia.

Berikan hal berikut:

1. Pemeriksaan kapasitas project: Periksa kuota GPU standar dan preemptible, pemesanan aktif, dan CUD project saya di seluruh region untuk mengidentifikasi seri mesin GPU yang memiliki kuota yang tersedia atau pemesanan aktif dibandingkan dengan yang memerlukan permintaan pemesanan atau kuota.

2. Klasifikasi hardware: Bandingkan seri mesin GPU ter-cluster yang saat ini tersedia (untuk pelatihan multi-node yang digabungkan secara erat dan inferensi frontier multi-host) dengan seri mesin GPU umum (untuk inferensi host tunggal, RAG, dan ML kecil hingga menengah), berdasarkan persyaratan project dan workload saya.

3. Pasangan orchestrator, konsumsi, dan penyimpanan: Rekomendasikan orchestrator dan alat deployment yang optimal (seperti GKE atau Slurm menggunakan Cluster Director atau Cluster Toolkit untuk GPU ter-cluster, atau VM Compute Engine mandiri dan grup instance terkelola (MIG) untuk GPU umum), opsi konsumsi yang tersedia, dan layanan penyimpanan yang kompatibel untuk workload saya.

Format rekomendasi sebagai tabel perbandingan Markdown (dengan kolom untuk Workload, Recommended Machine Series, GPU Category, Orchestrator, dan Consumption Option), berikan perintah gcloud CLI yang siap digunakan untuk menyediakan resource yang direkomendasikan, dan akhiri dengan 2-3 pertanyaan tentang skala parameter model dan jenis workload saya untuk menyempurnakan strategi.
Mengedit dan menjalankan perintah di Compute Advisor

Arsitektur AI Hypercomputer mendukung kasus penggunaan berikut:

Workload Deskripsi Rekomendasi
Model dasar pra-pelatihan Hal ini melibatkan pembuatan model bahasa menggunakan set data yang besar. Hasil pelatihan awal model dasar adalah model baru yang mampu melakukan tugas umum.
Model dikategorikan berdasarkan ukurannya sebagai berikut:
  • Model termutakhir: Model ML yang mencakup ratusan miliar hingga triliunan parameter atau lebih. Ini mencakup model bahasa besar (LLM) seperti Gemini.
  • Model besar: Model ML yang mencakup puluhan hingga ratusan miliar parameter atau lebih.
 Lihat rekomendasi untuk model pra-pelatihan
Penyesuaian Hal ini melibatkan pengambilan model terlatih dan penyesuaiannya untuk melakukan tugas tertentu menggunakan set data khusus atau teknik lainnya. Fine-tuning umumnya dilakukan pada model besar. Lihat rekomendasi untuk model fine-tuning
Inferensi atau inferensi Hal ini melibatkan pengambilan model yang telah dilatih atau disesuaikan dan membuatnya tersedia untuk digunakan oleh pengguna atau aplikasi.
Workload inferensi dikategorikan berdasarkan ukuran model sebagai berikut:
  • Inferensi untuk model dasar di beberapa host: melakukan inferensi dengan model ML terlatih yang mencakup ratusan miliar hingga triliunan parameter atau lebih tinggi. Untuk workload inferensi ini, beban komputasi dibagi ke beberapa mesin host.
  • Inferensi model dasar host tunggal: melakukan inferensi dengan model ML terlatih yang mencakup puluhan hingga ratusan miliar parameter. Untuk workload inferensi ini, beban komputasi dibatasi pada satu mesin host.
  • Inferensi model besar: melakukan inferensi dengan model ML terlatih atau yang telah disesuaikan yang mencakup puluhan hingga ratusan miliar parameter.
 Lihat rekomendasi untuk inferensi
ML untuk model berukuran kecil atau sedang Hal ini melibatkan pelatihan dan penyajian model ML yang lebih kecil dalam hal ukuran dan kompleksitas, biasanya untuk tugas yang lebih khusus. Lihat rekomendasi ML untuk model kecil atau sedang
HPC Ini adalah praktik penggabungan resource komputasi guna mendapatkan performa yang lebih besar daripada performa dari satu workstation, server, atau komputer. HPC digunakan untuk menyelesaikan masalah dalam riset akademis, sains, desain, simulasi, dan business intelligence. Lihat rekomendasi untuk HPC

Rekomendasi untuk model pra-pelatihan

Untuk melatih model dasar, cluster akselerator besar terus membaca volume data yang besar. Akselerator ini menyesuaikan bobot melalui penerusan maju dan mundur untuk belajar dari data. Tugas pelatihan ini berjalan selama berminggu-minggu atau bahkan berbulan-bulan.

Bagian berikut menguraikan akselerator dan opsi konsumsi yang kami rekomendasikan untuk Anda gunakan dalam melakukan pra-pelatihan model dasar.

Akselerator yang direkomendasikan

Untuk melatih model dasar di Google Cloud, sebaiknya gunakan jenis mesin yang dioptimalkan untuk akselerator A5X (NVIDIA Vera Rubin), A4X Max (NVIDIA GB300), A4X (NVIDIA GB200), A4 (NVIDIA B200), A3 Ultra (NVIDIA H200 141 GB), A3 Mega (NVIDIA H100 80 GB), atau A3 High (NVIDIA H100 80 GB), dan gunakan orchestrator untuk men-deploy cluster.

Untuk men-deploy cluster akselerator ini, sebaiknya gunakan juga Cluster Director atau Cluster Toolkit. Untuk mengetahui informasi selengkapnya, lihat panduan deployment cluster masing-masing untuk jenis mesin pilihan Anda dalam tabel berikut.

Beban kerja Rekomendasi Panduan deployment cluster
Jenis mesin Orkestrator
Model dasar pra-pelatihan
  • A5X (NVIDIA Vera Rubin)
  • A4X Max (NVIDIA GB300)
  • A4X (NVIDIA GB200)
  • A4 (NVIDIA B200)
 GKE Membuat cluster GKE yang dioptimalkan untuk AI dengan Cluster Toolkit
Slurm
Pelatihan model besar A3 Ultra (NVIDIA H200 141GB) GKE Membuat cluster GKE yang dioptimalkan untuk AI dengan Cluster Toolkit
Slurm
Pelatihan model besar
  • A3 Mega (NVIDIA H100 80GB)
  • A3 High (NVIDIA H100 80GB)
 GKE Memaksimalkan bandwidth jaringan GPU di cluster mode Standar
Slurm

Opsi pemakaian yang direkomendasikan

Untuk tingkat kepastian yang tinggi dalam mendapatkan cluster akselerator yang besar, sebaiknya gunakan pemesanan. Secara khusus, untuk meminimalkan biaya resource yang dipesan, sebaiknya Anda meminta durasi pemesanan yang cukup lama untuk menerima diskon abonemen. Untuk mengetahui informasi selengkapnya tentang opsi konsumsi, lihat Memilih opsi konsumsi.

Rekomendasi untuk model fine-tuning

Untuk menyesuaikan model dasar yang besar, cluster akselerator yang lebih kecil membaca volume data sedang. Akselerator ini menyesuaikan model untuk melakukan tugas tertentu. Tugas fine-tuning ini berjalan selama berhari-hari atau bahkan berminggu-minggu.

Bagian berikut menguraikan akselerator dan opsi konsumsi yang direkomendasikan untuk digunakan saat menyesuaikan model.

Untuk menyesuaikan model di Google Cloud, sebaiknya gunakan jenis mesin yang dioptimalkan akselerator A3 Ultra (NVIDIA H200 141 GB), A3 Mega (NVIDIA H100 80 GB), atau A3 High (NVIDIA H100 80 GB), dan gunakan orchestrator untuk men-deploy cluster.

Untuk men-deploy cluster akselerator ini, sebaiknya gunakan juga Cluster Director atau Cluster Toolkit. Untuk mengetahui informasi selengkapnya, lihat panduan deployment cluster masing-masing untuk jenis mesin pilihan Anda dalam tabel berikut.

Beban kerja Rekomendasi Panduan deployment cluster
Jenis mesin Orkestrator
Melakukan fine-tuning pada model besar A3 Ultra (NVIDIA H200 141GB) GKE Membuat cluster GKE yang dioptimalkan untuk AI dengan Cluster Toolkit
Slurm
Melakukan fine-tuning pada model besar
  • A3 Mega (NVIDIA H100 80GB)
  • A3 High (NVIDIA H100 80GB)
 GKE Memaksimalkan bandwidth jaringan GPU di cluster mode Standar
Slurm

Opsi pemakaian yang direkomendasikan

Untuk workload fine-tuning, gunakan pemesanan untuk masa mendatang dalam mode kalender guna menyediakan resource. Untuk mengetahui informasi selengkapnya tentang opsi konsumsi, lihat Memilih opsi konsumsi.

Rekomendasi untuk inferensi

Bagian berikut menguraikan akselerator dan opsi konsumsi yang direkomendasikan untuk digunakan saat melakukan inferensi.

Akselerator yang direkomendasikan

Akselerator yang direkomendasikan untuk inferensi bergantung pada apakah Anda melakukan inferensi model besar atau frontier multi-host, atau inferensi frontier host tunggal.

Akselerator yang direkomendasikan (multi-host)

Untuk melakukan inferensi model besar atau frontier multi-host di Google Cloud, gunakan jenis mesin yang dioptimalkan untuk akselerator A5X (NVIDIA Vera Rubin), A4X Max (NVIDIA GB300), A4X (NVIDIA GB200), A4 (NVIDIA B200), A3 Ultra (NVIDIA H200 141 GB), A3 Mega (NVIDIA H100 80 GB), atau A3 High (NVIDIA H100 80 GB), dan deploy instance menggunakan orkestrator. Untuk men-deploy cluster akselerator ini, sebaiknya gunakan Cluster Director atau Cluster Toolkit. Tabel ini menyediakan link ke panduan deployment cluster untuk setiap jenis mesin yang direkomendasikan.

Beban kerja Rekomendasi Panduan deployment cluster
Jenis mesin Orkestrator
Inferensi frontier multi-host
  • A5X (NVIDIA Vera Rubin)
  • A4X Max (NVIDIA GB300)
  • A4X (NVIDIA GB200)
  • A4 (NVIDIA B200)
 GKE Membuat cluster GKE yang dioptimalkan untuk AI dengan Cluster Toolkit
Slurm
Inferensi model besar A3 Ultra (NVIDIA H200 141GB) GKE Membuat cluster GKE yang dioptimalkan untuk AI dengan Cluster Toolkit
Slurm
Inferensi model besar
  • A3 Mega (NVIDIA H100 80GB)
  • A3 High (NVIDIA H100 80GB)
 GKE Memaksimalkan bandwidth jaringan GPU di cluster mode Standar
Slurm

Akselerator yang direkomendasikan (host tunggal)

Tabel ini menguraikan akselerator yang kami rekomendasikan untuk Anda gunakan dalam melakukan inferensi frontier host tunggal. Tabel ini menyediakan link ke panduan deployment VM untuk setiap jenis mesin yang direkomendasikan.

Beban kerja Rekomendasi Panduan deployment VM
Jenis mesin Orkestrator
Inferensi terdepan dan mainstream satu host
  • A4 (NVIDIA B200)
  • A3 Ultra (NVIDIA H200 141GB)
 T/A Membuat instance A4 atau A3 Ultra
  • A3 High (NVIDIA H100 80GB)
  • A3 Edge (NVIDIA H100 80GB)
 Membuat instance A3 High atau A3 Edge
A2 (NVIDIA A100) Membuat instance A2
G4 (NVIDIA RTX PRO 6000) Membuat instance G4
G2 (NVIDIA L4) Membuat instance G2
N1 (NVIDIA T4 atau V100) Membuat instance N1

Opsi pemakaian yang direkomendasikan

Untuk inferensi, gunakan pemesanan jangka panjang atau pemesanan untuk masa mendatang dalam mode kalender. Untuk mengetahui informasi selengkapnya tentang opsi konsumsi, lihat Memilih opsi konsumsi.

Rekomendasi untuk model berukuran kecil atau sedang

Untuk workload ML yang melibatkan model berukuran kecil hingga sedang, mencapai keseimbangan optimal antara harga dan performa adalah pertimbangan utama.

Akselerator yang direkomendasikan

Tabel berikut menguraikan akselerator yang direkomendasikan untuk digunakan pada workload ML model berukuran kecil hingga menengah.

Beban kerja Rekomendasi Panduan deployment VM
Jenis mesin Orkestrator
ML untuk model berukuran kecil atau sedang A3 Edge (NVIDIA H100 80GB) T/A Membuat instance A3 Edge
A2 (NVIDIA A100) Membuat instance A2
G4 (NVIDIA RTX PRO 6000) Membuat instance G4
G2 (NVIDIA L4) Membuat instance G2
N1 (NVIDIA T4 atau V100) Membuat instance N1

Rekomendasi untuk HPC

Untuk workload HPC, semua seri mesin yang dioptimalkan akselerator atau seri mesin yang dioptimalkan untuk komputasi akan berfungsi dengan baik. Jika menggunakan seri mesin yang dioptimalkan untuk akselerator, pilihan terbaik bergantung pada jumlah komputasi yang harus dialihkan ke GPU. Untuk mengetahui daftar rekomendasi mendetail untuk workload HPC, lihat Praktik terbaik untuk menjalankan workload HPC.

Ringkasan rekomendasi

Tabel berikut merangkum akselerator dan opsi konsumsi yang direkomendasikan untuk setiap workload.

Resource Rekomendasi
Pra-pelatihan model
Kelompok mesin Gunakan salah satu jenis mesin yang dioptimalkan akselerator berikut: A5X (NVIDIA Vera Rubin), A4X Max (NVIDIA GB300), A4X (NVIDIA GB200), A4 (NVIDIA B200), A3 Ultra (NVIDIA H200 141 GB), A3 Mega (NVIDIA H100 80 GB), atau A3 High (NVIDIA H100 80 GB)
Opsi pemakaian Gunakan pemesanan untuk masa mendatang standar untuk blok kapasitas (untuk A5X, A4X Max, dan A4X) atau pemesanan untuk masa mendatang standar
Penyesuaian model
Kelompok mesin Gunakan jenis mesin yang dioptimalkan akselerator A3 Ultra (NVIDIA H200 141 GB), A3 Mega (NVIDIA H100 80 GB), atau A3 High (NVIDIA H100 80 GB)
Opsi pemakaian 'Gunakan pemesanan standar untuk masa mendatang
Inferensi
Kelompok mesin Gunakan salah satu jenis mesin berikut: A5X (NVIDIA Vera Rubin), A4X Max (NVIDIA GB300), A4X (NVIDIA GB200), A4 (NVIDIA B200), A3 Ultra (NVIDIA H200 141 GB), A3 Mega (NVIDIA H100 80 GB), A3 High (NVIDIA H100 80 GB), A3 Edge (NVIDIA H100 80 GB), A2 (NVIDIA A100), G4 (NVIDIA RTX PRO 6000), G2 (NVIDIA L4), atau N1 (NVIDIA T4 atau V100)
Opsi pemakaian Menggunakan reservasi, on-demand, atau Spot (kecuali A5X, A4X Max, dan A4X, yang tidak mendukung Spot atau on-demand)
ML untuk model berukuran kecil atau sedang
Kelompok mesin Gunakan salah satu jenis mesin berikut: A3 Edge (NVIDIA H100 80 GB), A2 (NVIDIA A100), G4 (NVIDIA RTX PRO 6000), G2 (NVIDIA L4), atau N1 (NVIDIA T4 atau V100)
Opsi pemakaian Menggunakan pemesanan on-demand, Spot, atau standar
Penyimpanan Menggunakan Cloud Storage FUSE
HPC
Lihat bagian ringkasan praktik terbaik untuk menjalankan workload HPC

Langkah berikutnya