Opsi pemakaian untuk AI Hypercomputer

AI Hypercomputer memiliki beberapa opsi pemakaian untuk mendapatkan resource komputasi. Opsi ini memenuhi kebutuhan seperti durasi workload, fault tolerance, dan model infrastruktur. Pelajari opsi ini dan pilih yang terbaik untuk kasus penggunaan Anda.

Sebagai alternatif untuk evaluasi manual, Anda dapat meminta Gemini di konsolGoogle Cloud untuk membandingkan opsi konsumsi untuk workload dan anggaran Anda. Untuk mengetahui informasi selengkapnya, lihat Mendesain infrastruktur AI dengan Compute Advisor.

Ringkasan opsi pemakaian

Untuk membandingkan opsi pemakaian di berbagai karakteristik utama, gunakan tabel berikut:

Opsi pemakaian Model penyediaan Paling cocok untuk Jaminan kapasitas Masa aktif Preemptible Kuota Diskon Model alokasi
Flex-start Flex-start Workload berdurasi singkat hingga tujuh hari yang dapat menunggu kapasitas. Upaya terbaik Hingga tujuh hari Tidak Kuota preemptible Diskon (hingga 53%) untuk seri yang didukung Padat untuk permintaan perubahan ukuran MIG; upaya terbaik untuk VM mandiri.
Spot VM Spot Workload GPU umum yang fault-tolerant dan berdurasi singkat. Upaya terbaik Preemptible Ya Kuota preemptible Diskon besar (hingga 91%) Standar
Reservasi standar Standar Workload GPU umum yang penting dan memerlukan tingkat jaminan kapasitas yang sangat tinggi. Sangat tinggi Tidak terbatas Tidak Tidak ada kuota yang digunakan Tarif diskon dengan diskon abonemen (DA) Standar
Pemesanan untuk masa mendatang untuk blok kapasitas Terikat reservasi Pelatihan berskala besar dan berjalan lama di GPU ter-cluster. Sangat tinggi Tidak terbatas dalam periode pemesanan. Tidak Kuota ditingkatkan sebelum pengiriman Didiskon (hingga 53%) dengan CUD Padat
Pemesanan untuk masa mendatang dalam mode kalender Terikat reservasi workload GPU ter-cluster hingga 90 hari yang memerlukan kapasitas yang dipesan. Sangat tinggi Hingga 90 hari Tidak Tidak ada kuota yang digunakan Didiskon (hingga 53%) Padat
VM on-demand Standar workload GPU umum tanpa durasi tertentu. Upaya terbaik Tidak terbatas Tidak Kuota on-demand Tidak ada (bayar sesuai penggunaan) Standar

Opsi pemakaian yang Anda gunakan untuk men-deploy infrastruktur bergantung pada apakah Anda menggunakan GPU Umum atau GPU Ter-cluster.

  • GPU Umum: dirancang untuk workload inferensi, pengembangan, dan pelatihan skala kecil. Jenis GPU ini menawarkan fleksibilitas operasional melalui pemeliharaan asinkron. Untuk melihat opsi yang tersedia, lihat Opsi konsumsi untuk GPU umum.

  • GPU ter-cluster: dirancang untuk workload pelatihan berskala besar dan terkait erat, serta workload model inferensi, RL, dan penalaran berskala besar yang memerlukan jaminan kapasitas tinggi dan alokasi resource yang padat untuk meminimalkan latensi jaringan. Untuk melihat opsi yang tersedia, lihat Opsi konsumsi untuk GPU ter-cluster.

Opsi pemakaian untuk GPU umum

Gunakan opsi konsumsi berikut untuk mendapatkan kapasitas GPU umum.

Menggunakan Flex-start

Untuk menjalankan workload berdurasi singkat yang memerlukan resource yang dialokasikan secara padat, Anda dapat meminta resource komputasi hingga tujuh hari menggunakan Flex-start. Setiap kali resource tersedia, Compute Engine akan membuat jumlah VM yang Anda minta. Anda dapat menghentikan VM Flex-start mandiri, tetapi Anda tidak dapat menghentikan VM Flex-start yang dibuat oleh grup instance terkelola (MIG) melalui permintaan ubah ukuran. Flex-start VM ada hingga Anda menghapusnya, atau hingga Compute Engine menghapus VM di akhir durasi operasinya.

Workload ideal

  • Pra-pelatihan model kecil
  • Penyesuaian model
  • Simulasi komputasi berperforma tinggi (HPC)
  • Inferensi batch

Karakteristik utama

  • Model penyediaan: Flex-start.
  • Dukungan hardware yang luas: minta jenis mesin GPU ter-cluster apa pun, kecuali A5X, A4X Max, dan A4X.
  • Pengoptimalan latensi: menerapkan kebijakan penempatan rapat ke VM mandiri untuk meminimalkan latensi jaringan.
  • Efisiensi biaya: dapatkan diskon hingga 53% untuk vCPU, memori, GPU, dan disk SSD Lokal untuk seri mesin A4, A3, A2, dan G4. Tarif on-demand standar berlaku untuk seri lain yang didukung. Untuk mengetahui informasi selengkapnya, lihat Harga Flex-start.

Menggunakan Spot

Untuk menjalankan workload fault-tolerant, Anda dapat memperoleh resource komputasi dengan seketika berdasarkan ketersediaan. Anda mendapatkan resource dengan harga serendah mungkin. Namun, Compute Engine dapat melakukan preempt VM kapan saja untuk mengklaim kembali kapasitas.

Workload ideal

  • Batch processing dan analisis data
  • Komputasi berperforma tinggi (HPC) dan encoding media

Karakteristik utama

  • Model penyediaan: Spot.
  • Dukungan hardware yang luas: minta jenis mesin GPU ter-cluster apa pun, kecuali A5X, A4X Max, dan A4X.
  • Pengoptimalan latensi: menerapkan kebijakan penempatan rapat ke VM mandiri untuk meminimalkan latensi jaringan.
  • Efisiensi biaya: dapatkan diskon hingga 91% untuk vCPU, memori, GPU, dan disk SSD Lokal.

Gunakan sesuai permintaan

Tips: Untuk meningkatkan peluang Anda mendapatkan kapasitas GPU umum, gunakan Flex-start atau Spot. Opsi konsumsi ini menawarkan GPU dengan harga diskon dibandingkan dengan harga on-demand, dan dirancang untuk membantu meningkatkan peluang Anda mendapatkan resource dengan permintaan tinggi seperti GPU.

Untuk menjalankan workload tanpa durasi tertentu, Anda dapat segera memperoleh resource komputasi berdasarkan ketersediaan. VM berjalan hingga Anda menghentikan atau menghapusnya.

Workload ideal

  • Inferensi dan penyajian model
  • Pembuatan prototipe dan eksperimen

Karakteristik utama

  • Model penyediaan: Standard.
  • Ketersediaan langsung: membuat instance VM secara langsung tanpa menunggu penjadwalan atau persetujuan kapasitas.
  • Harga standar: membayar resource dengan tarif on-demand standar tanpa komitmen jangka panjang.
  • Dukungan hardware yang luas: gunakan dengan seri mesin GPU yang didukung di jalur GPU umum.

Menggunakan pemesanan standar

Untuk menjalankan workload GPU umum yang penting dan memerlukan tingkat jaminan kapasitas yang sangat tinggi, Anda dapat menggunakan pemesanan standar.

Workload ideal

  • Workload produksi penting
  • Workload yang memerlukan kapasitas terjamin

Karakteristik utama

  • Model penyediaan: Standard.
  • Jaminan kapasitas: memberikan jaminan yang sangat tinggi bahwa resource tersedia.
  • Harga: tarif standar berlaku, tetapi Anda dapat menyertakan CUD untuk penghematan.

Opsi pemakaian untuk GPU ter-cluster

Gunakan opsi konsumsi berikut untuk mendapatkan kapasitas GPU ter-cluster.

Menggunakan pemesanan untuk masa mendatang untuk blok kapasitas

Untuk menjalankan workload terdistribusi berskala besar dan berjalan lama yang memerlukan alokasi resource yang padat, Anda dapat meminta resource komputasi yang dialokasikan secara padat untuk tanggal dan waktu mendatang. Anda memiliki akses eksklusif ke resource yang dipesan selama jangka waktu tersebut, dan Anda dapat menggunakan resource tersebut untuk membuat VM atau cluster. Di akhir periode pemesanan, Compute Engine melakukan tindakan berikut:

  • Compute Engine akan menghapus pemesanan dan storage pool kosong yang terkait.
  • Berdasarkan tindakan penghentian yang Anda tentukan untuk VM, Compute Engine akan menghentikan atau menghapus VM apa pun yang menggunakan pemesanan.

Workload ideal

  • Model dasar pra-pelatihan
  • Inferensi untuk model dasar di beberapa host

Karakteristik utama

  • Model penyediaan: Terikat reservasi.
  • Dukungan mesin premium: memesan jenis mesin A5X, A4X Max, A4X, A4, A3 Ultra, A3 Mega, atau A3 High (8 GPU).
  • Pemesanan Hyperdisk: Anda dapat memesan Hyperdisk Storage Pool atau Hyperdisk Exapool bersama dengan kapasitas komputasi untuk membantu memastikan workload Anda memiliki resource penyimpanan yang memadai. Google menempatkan pool Hyperdisk bersama dengan node komputasi Anda untuk mengoptimalkan performa penyimpanan.
  • Persyaratan komitmen: lampirkan komitmen berbasis resource untuk pemesanan selama satu tahun atau lebih guna menerima diskon untuk resource komputasi dan pool Hyperdisk.
  • Modifikasi dinamis: mengaktifkan notifikasi pemeliharaan darurat hardware untuk penggunaan tugas Vertex AI setelah periode dimulai.

Menggunakan pemesanan untuk masa mendatang dalam mode kalender

Untuk menjalankan workload terdistribusi yang berjalan singkat dan memerlukan alokasi resource yang padat, Anda dapat meminta resource komputasi hingga 90 hari. Anda memiliki akses eksklusif ke resource yang dipesan untuk waktu tersebut, dan Anda dapat menggunakan resource tersebut untuk membuat VM atau cluster. Di akhir periode pemesanan, Compute Engine akan melakukan hal berikut:

  • Compute Engine akan menghapus pemesanan.
  • Berdasarkan tindakan penghentian yang Anda tentukan untuk VM, Compute Engine akan menghentikan atau menghapus VM apa pun yang menggunakan pemesanan.

Workload ideal

  • Pelatihan awal dan fine-tuning
  • Simulasi dan inferensi berskala besar

Karakteristik utama

  • Model penyediaan: Terikat reservasi.
  • Dukungan seri mesin: memesan jenis mesin A4, A3 Ultra, A3 Mega, atau A3 High (8 GPU).
  • Batas skalabilitas: memesan hingga 80 VM selama maksimum 90 hari.
  • Penyediaan yang dioptimalkan: gunakan model terikat reservasi untuk meningkatkan peluang Anda mendapatkan GPU.

Menggunakan Flex-start

Gunakan Flex-start untuk permintaan perubahan ukuran grup instance terkelola (MIG) yang dikelompokkan saat Anda memerlukan resource yang dialokasikan secara padat hingga tujuh hari.

Workload ideal

Flex-start VM ideal untuk menjalankan workload yang dapat dimulai kapan saja, seperti berikut:

  • Pra-pelatihan model kecil
  • Penyesuaian model
  • Simulasi komputasi berperforma tinggi (HPC)
  • Inferensi batch

Karakteristik utama

  • Model penyediaan: Flex-start.
  • Alokasi resource: dialokasikan secara padat untuk permintaan pengubahan ukuran MIG.
  • Efisiensi biaya: Anda menerima diskon hingga 53% untuk vCPU, memori, GPU, dan disk SSD Lokal yang terpasang untuk seri mesin A4, A3, A2, dan G4. Tarif on-demand standar berlaku untuk seri mesin lain yang didukung.

Menggunakan Spot

Anda dapat menggunakan Spot VM untuk workload fault-tolerant yang dialokasikan secara padat guna mendapatkan diskon besar, dengan pemahaman bahwa Compute Engine dapat melakukan preemption VM untuk mengklaim kembali kapasitas.

Workload ideal

  • Pelatihan terdistribusi yang fault-tolerant
  • Batch processing

Karakteristik utama

  • Model penyediaan: Spot.
  • Preemption: Compute Engine dapat melakukan preemption terhadap instance kapan saja.
  • Efisiensi biaya: dapatkan diskon hingga 91% untuk vCPU, memori, GPU, dan disk SSD Lokal yang terpasang

Langkah berikutnya