Tinjau konfigurasi cluster dan instance komputasi

Dokumen ini menjelaskan konfigurasi di AI Hypercomputer yang perlu dipertimbangkan sebelum Anda membuat instance dan cluster Compute Engine. Meninjau konfigurasi yang tersedia akan membantu mengoptimalkan performa untuk workload Anda, serta meminimalkan periode nonaktif dan masalah performa.

Faktor konfigurasi untuk pembuatan instance komputasi dan cluster

Sebelum membuat instance komputasi dan cluster untuk menjalankan workload, pertimbangkan konfigurasi yang akan digunakan:

  1. Model penyediaan

  2. Alat deployment cluster

  3. Jika menggunakan model penyediaan terikat pemesanan, Anda juga harus mempertimbangkan faktor-faktor berikut:

Model penyediaan

Berdasarkan opsi pemakaian yang Anda pilih untuk membuat instance komputasi atau cluster, Anda dapat menggunakan salah satu model penyediaan berikut untuk mendapatkan resource yang diperlukan guna membuat instance:

  • Terikat reservasi: Anda dapat memesan resource dengan harga diskon untuk tanggal dan durasi mendatang. Pada awal periode pemesanan, Anda dapat menggunakan resource yang dipesan untuk membuat instance atau cluster. Anda memiliki akses eksklusif ke resource yang dipesan selama periode pemesanan.

  • Flex-start: Anda dapat meminta resource dengan diskon hingga tujuh hari. Compute Engine melakukan upaya terbaik untuk menjadwalkan penyediaan resource yang Anda minta segera setelah tersedia. Anda memiliki akses eksklusif ke resource yang diperoleh selama periode yang diminta.

  • Spot: berdasarkan ketersediaan, Anda dapat segera memperoleh resource dengan diskon besar. Namun, Compute Engine dapat menghentikan atau menghapus instance kapan saja untuk mengklaim kembali kapasitas.

Model penyediaan terikat reservasi

Model penyediaan terikat pemesanan menautkan instance komputasi yang Anda buat ke kapasitas yang telah Anda pesan sebelumnya. Saat Anda memesan kapasitas, Compute Engine akan membuat pemesanan kosong. Kemudian, pada waktu mulai pemesanan, hal berikut akan terjadi:

  • Compute Engine menambahkan jumlah instance yang Anda pesan ke pemesanan. Anda memiliki akses eksklusif ke kapasitas yang dipesan hingga waktu akhir pemesanan.

  • Google Cloud akan menagih Anda untuk kapasitas yang dipesan hingga akhir periode pemesanan, baik Anda menggunakan kapasitas tersebut atau tidak.

Selanjutnya, Anda dapat menggunakan resource yang dipesan untuk membuat instance tanpa biaya tambahan. Anda hanya membayar resource yang tidak disertakan dalam pemesanan, seperti disk atau alamat IP.

Untuk menentukan model penyediaan terikat pemesanan saat Anda membuat instance komputasi atau MIG, lakukan hal berikut:

  • Di konsol Google Cloud , dalam daftar Provisioning model, pilih Reservation-bound.

  • Di Google Cloud CLI, sertakan flag --provisioning-model=RESERVATION_BOUND dalam perintah.

  • Di Compute Engine API, sertakan kolom "provisioningModel": "RESERVATION_BOUND" dalam isi permintaan.

Untuk mengetahui informasi selengkapnya tentang cara menetapkan parameter ini saat Anda membuat instance atau MIG setelah memesan kapasitas, lihat Ringkasan pembuatan instance dan cluster komputasi. Jika Anda menggunakan Cluster Toolkit untuk men-deploy cluster, blueprint cluster akan menetapkan model penyediaan untuk Anda.

Model penyediaan Flex-start

Model penyediaan flex-start memungkinkan Anda membuat VM Flex-start mandiri atau menambahkan VM Flex-start ke grup instance terkelola (MIG) saat kapasitas yang Anda minta tersedia. Saat Anda menambahkan VM Flex-start ke MIG menggunakan permintaan ubah ukuran, MIG akan membuat instance sekaligus. Pendekatan ini membantu Anda menghindari tagihan yang tidak perlu untuk kapasitas parsial yang mungkin diberikan Compute Engine saat Anda menunggu kapasitas penuh yang diperlukan untuk memulai workload. Model penyediaan flex-start menyediakan resource dari kumpulan kapasitas yang aman, yang membantu meningkatkan peluang Anda untuk mendapatkan resource dengan permintaan tinggi seperti GPU.

Untuk menentukan model penyediaan flex-start saat membuat instance mandiri atau template instance untuk MIG, lakukan hal berikut:

  • Di konsol Google Cloud , dalam daftar Provisioning model, pilih Flex-start.

  • Di gcloud CLI, sertakan flag --provisioning-model=FLEX_START dalam perintah.

  • Di Compute Engine API, sertakan kolom "provisioningModel": "FLEX_START" dalam isi permintaan.

Untuk mengetahui informasi selengkapnya tentang cara membuat instance atau cluster yang menggunakan model penyediaan flex-start, lihat dokumen berikut:

Model penyediaan Spot

Model penyediaan spot memungkinkan Anda membuat instance komputasi dengan diskon besar berdasarkan ketersediaan. Namun, Compute Engine dapat menghentikan atau menghapus instance yang dibuat kapan saja untuk mengklaim kembali kapasitas. Proses ini disebut preemption.

Untuk menentukan model penyediaan spot saat Anda membuat instance atau MIG, lakukan hal berikut:

  • Di konsol Google Cloud , dalam daftar Provisioning model, pilih Spot.

  • Di gcloud CLI, sertakan flag --provisioning-model=SPOT dalam perintah.

  • Di Compute Engine API, sertakan kolom "provisioningModel": "SPOT" dalam isi permintaan.

Untuk mengetahui informasi selengkapnya tentang cara menetapkan parameter ini saat Anda membuat instance atau MIG, lihat Ringkasan pembuatan instance komputasi dan cluster.

Alat deployment cluster

Cluster Toolkit adalah alat deployment open source yang direkomendasikan untuk membuat cluster yang dipercepat oleh GPU. Cluster Toolkit dapat men-deploy cluster Google Kubernetes Engine (GKE) atau Slurm.

Atau, Anda dapat memilih untuk menyediakan grup instance komputasi menggunakan salah satu metode berikut, lalu menggabungkan penjadwal workload Anda sendiri sesuai kebutuhan:

Jenis deployment blok reservasi

Jika Anda menggunakan model penyediaan terikat pemesanan saat membuat instance komputasi atau cluster GPU ter-cluster, mesin yang Anda terima akan otomatis di-deploy dalam blok host yang dialokasikan secara padat. Deployment ini memberikan manfaat berikut:

  • Jaringan non-blocking untuk konektivitas instance ber-bandwidth tinggi dan berlatensi rendah yang konsisten dengan menggunakan fabric jaringan machine learning (ML) dinamis dari Google.

  • Akses ke topologi jaringan yang memberikan tampilan hierarkis kedekatan relatif antar-instance. Kemampuan ini berguna untuk kasus penggunaan penjadwalan tugas lanjutan.

  • Penempatan yang mendetail dan sesuai topologi saat Anda menggunakan orchestrator.

  • Kontrol pengguna yang mendetail atas jadwal pemeliharaan untuk memaksimalkan penjadwalan tugas dan waktu beroperasi, serta meminimalkan periode nonaktif.

Mode operasional pemesanan

Jika Anda menggunakan model penyediaan terikat pemesanan, jenis mesin yang Anda pesan akan menentukan mode operasional pemesanan untuk kapasitas yang Anda pesan. Setiap mode menentukan cara merespons error host atau laporan host yang salah, serta tingkat visibilitas dan kontrol Anda atas infrastruktur pemesanan.

Setiap mode operasional pemesanan menentukan hal berikut:

  • Siapa yang mengelola pemulihan: Anda atau Google Cloud.

  • Kapasitas yang Anda gunakan untuk pemulihan: hanya kapasitas yang dipesan, atau kapasitas di dalam atau di luar pemesanan Anda.

  • Tingkat kontrol penempatan Anda: apakah Anda dapat melihat dan memulai pemeliharaan sebelum waktu yang direncanakan untuk sub-blok pemesanan tertentu untuk kontrol yang mendetail.

Saat memesan kapasitas untuk membuat instance komputasi atau cluster, Anda harus memilih salah satu mode operasional pemesanan berikut: mode terkelola atau mode semua kapasitas.

Mode terkelola

Dalam mode terkelola, Google Cloud otomatis mengelola proses pemeliharaan dan pemulihan instance komputasi Anda setelah terjadi error host atau laporan host yang rusak. Pendekatan ini ideal jika workload Anda memerlukan stabilitas tinggi, dan Anda lebih memilih proses otomatis untuk meminimalkan periode nonaktif.

Mode terkelola memiliki karakteristik berikut:

  • Hanya gunakan kapasitas yang dipesan untuk pemulihan: Compute Engine hanya menggunakan kapasitas yang Anda pesan untuk memulai ulang instance. Jika tidak ada kapasitas yang tersedia dalam pemesanan Anda, Compute Engine hanya akan memulai ulang instance setelah Anda mendapatkan lebih banyak kapasitas.

  • Mulai ulang instance otomatis: Google Cloud menangani seluruh proses pemulihan untuk instance. Jika pemeliharaan host diperlukan, Compute Engine akan otomatis memigrasikan instance Anda di mesin lain yang tersedia dalam pemesanan Anda dan memulai ulang instance.

  • Pengelolaan dan visibilitas blok: Anda dapat melihat topologi, kondisi, dan status pemeliharaan setiap pemesanan dan blok pemesanan. Anda juga dapat menerima notifikasi pemeliharaan, dan secara opsional memulai pemeliharaan sebelum waktu pemeliharaan terjadwal, untuk resource ini.

  • Potensi pembatasan kapasitas API: panggilan ke API report faulty host mungkin dibatasi kapasitasnya per pemesanan.

Mode semua kapasitas

Dalam semua mode kapasitas, Anda bertanggung jawab untuk mengelola proses pemulihan instance komputasi. Anda harus memulai pemeliharaan secara manual setelah error host atau laporan host yang rusak. Tidak seperti mode terkelola, Anda juga dapat melihat dan memulai pemeliharaan untuk sub-blok pemesanan Anda. Fitur ini memberi Anda kontrol penuh dan terperinci atas proses pemeliharaan dan pemulihan untuk instance Anda.

Mode semua kapasitas memiliki karakteristik berikut:

  • Menggunakan kapasitas yang dipesan dan tidak dipesan untuk pemulihan: Anda dapat menggunakan resource yang dipesan, serta resource apa pun yang tersedia di luar pemesanan, untuk membantu Anda memigrasikan dan memulai ulang instance saat host-nya gagal.

  • Memulai ulang instance secara manual: Anda bertanggung jawab atas proses pemulihan instance. Jika pemeliharaan host diperlukan karena error host atau laporan host yang rusak, Compute Engine akan menghentikan instance Anda. Anda hanya dapat memulai ulang instance setelah pemeliharaan selesai.

  • Pengelolaan dan visibilitas blok dan sub-blok: Anda dapat melihat topologi, kondisi, dan status pemeliharaan setiap pemesanan, blok pemesanan, dan sub-blok pemesanan. Anda juga dapat menerima notifikasi pemeliharaan, dan secara opsional memulai pemeliharaan sebelum waktu pemeliharaan terjadwal, untuk resource ini.

  • Tidak ada pembatasan kapasitas API: tidak ada pembatasan kapasitas saat Anda melakukan panggilan ke API laporkan host yang rusak.

Jenis penjadwalan pemeliharaan

Jika Anda menggunakan model penyediaan terikat pemesanan, Cluster Director menyediakan opsi untuk menjadwalkan pemeliharaan host untuk instance komputasi yang berjalan di cluster Anda. Saat memesan kapasitas, Anda dapat menentukan apakah akan mengelompokkan instance dan memiliki penjadwalan pemeliharaan yang disinkronkan (dikelompokkan), atau instance dapat digabungkan secara longgar dan memiliki penjadwalan pemeliharaan independen (independen).

Penjadwalan pemeliharaan yang dikelompokkan

Jenis penjadwalan pemeliharaan yang dikelompokkan membantu menyelaraskan semua instance yang menjalankan workload yang sama dengan frekuensi pemeliharaan terencana yang sama, terlepas dari kapan Compute Engine menyediakan instance komputasi. Pemeliharaan yang terkait erat ini memungkinkan Anda mengoptimalkan performa tugas dengan memberi Anda kontrol penuh atas kapasitas yang digunakan dan tidak digunakan.

Jenis penjadwalan pemeliharaan grup berguna dalam kasus berikut:

  • Lingkungan Anda menggunakan penjadwal tugas, seperti Slurm atau GKE.

  • Anda ingin menjalankan pelatihan atau workload komputasi lain yang sangat diparalelkan.

Penjadwalan pemeliharaan independen

Jenis penjadwalan pemeliharaan independen ini memberikan jadwal pemeliharaan yang berbeda kepada instance. Konfigurasi ini ideal jika Anda ingin menjalankan inferensi atau pelatihan skala terbatas, yang mana workload berjalan lebih efisien jika memiliki jadwal pemeliharaan terpisah.

Apa langkah selanjutnya?