Membuat cluster Slurm terkelola sepenuhnya untuk workload AI

Dokumen ini menjelaskan cara mengonfigurasi dan men-deploy cluster Slurm yang terkelola sepenuhnya menggunakan Cluster Director dengan jenis mesin A4X, A4, A3 Ultra, atau A3 Mega. Untuk mempelajari lebih lanjut jenis mesin yang dioptimalkan akselerator ini, lihat Tentang akselerator GPU.

Cluster Director adalah produk Google Cloud yang mengotomatiskan penyiapan dan konfigurasi cluster Slurm. Produk ini dirancang untuk admin IT dan peneliti AI yang ingin menghindari overhead pengelolaan cluster dan berfokus pada menjalankan beban kerja mereka. Jika Anda menginginkan kontrol lebih besar atas deployment cluster, buat cluster menggunakan Cluster Toolkit.

Batasan

Bergantung pada jenis mesin yang digunakan oleh instance Compute Engine di cluster Anda, batasan berikut berlaku:

A4X

A4

  • Anda tidak menerima diskon untuk penggunaan berkelanjutan dan diskon penggunaan abonemen fleksibel untuk instance yang menggunakan jenis mesin A4.
  • Anda hanya dapat menggunakan jenis mesin A4 di region dan zona tertentu.
  • Anda tidak dapat menggunakan Persistent Disk (regional atau zonal). Anda hanya dapat menggunakan Google Cloud Hyperdisk.
  • Jenis mesin A4 hanya tersedia di platform CPU Emerald Rapids.
  • Anda tidak dapat mengubah jenis mesin instance menjadi atau dari jenis mesin A4. Anda harus membuat instance baru dengan jenis mesin ini.
  • Jenis mesin A4 tidak mendukung tenancy tunggal.
  • Anda tidak dapat menjalankan sistem operasi Windows pada jenis mesin A4.
  • Untuk instance A4, saat Anda menggunakan ethtool -S untuk memantau jaringan GPU, penghitung port fisik yang diakhiri dengan _phy tidak akan diupdate. Ini adalah perilaku yang diharapkan untuk instance yang menggunakan arsitektur Fungsi Virtual (VF) MRDMA. Untuk mengetahui informasi selengkapnya, lihat Fungsi MRDMA dan alat pemantauan jaringan.
  • Anda tidak dapat memasang disk Hyperdisk ML yang dibuat sebelum 4 Februari 2026 ke jenis mesin A4.

A3 Ultra

  • Anda tidak menerima diskon untuk penggunaan berkelanjutan dan diskon penggunaan abonemen fleksibel untuk instance yang menggunakan jenis mesin A3 Ultra.
  • Anda hanya dapat menggunakan jenis mesin A3 Ultra di region dan zona tertentu.
  • Anda tidak dapat menggunakan Persistent Disk (regional atau zonal). Anda hanya dapat menggunakan Google Cloud Hyperdisk.
  • Jenis mesin A3 Ultra hanya tersedia di platform CPU Emerald Rapids.
  • Perubahan jenis mesin tidak didukung untuk jenis mesin A3 Ultra. Untuk beralih ke atau dari jenis mesin ini, Anda harus membuat instance baru.
  • Anda tidak dapat menjalankan sistem operasi Windows pada jenis mesin A3 Ultra.
  • Jenis mesin A3 Ultra tidak mendukung tenancy tunggal.
  • Untuk instance A3 Ultra, saat Anda menggunakan ethtool -S untuk memantau jaringan GPU, penghitung port fisik yang diakhiri dengan _phy tidak akan diupdate. Ini adalah perilaku yang diharapkan untuk instance yang menggunakan arsitektur Fungsi Virtual (VF) MRDMA. Untuk mengetahui informasi selengkapnya, lihat Fungsi MRDMA dan alat pemantauan jaringan.

A3 Mega

Sebelum memulai

Sebelum membuat cluster Slurm, jika Anda belum melakukannya, selesaikan langkah-langkah berikut:

  1. Pilih opsi pemakaian: pilihan opsi pemakaian Anda menentukan cara Anda mendapatkan dan menggunakan resource GPU. Untuk mempelajari lebih lanjut, lihat Memilih opsi konsumsi.
  2. Mendapatkan kapasitas: proses untuk mendapatkan kapasitas berbeda untuk setiap opsi konsumsi. Untuk mempelajari proses mendapatkan kapasitas untuk opsi pemakaian yang Anda pilih, lihat Ringkasan kapasitas.
  3. Pastikan Anda memiliki kuota kapasitas Filestore yang cukup: Anda harus memiliki kuota Filestore yang cukup di region target sebelum men-deploy. Untuk jenis mesin A4X, A4, A3 Ultra, dan A3 Mega, Anda memerlukan kapasitas HIGH_SCALE_SSD (zona) minimum 10 TiB (10.240 GiB).

    Untuk memeriksa kuota atau meminta penambahan kuota, lihat referensi berikut:

  4. Verifikasi kebijakan image tepercaya: jika organisasi tempat project Anda berada memiliki kebijakan image tepercaya (constraints/compute.trustedImageProjects), pastikan project clusterdirector-public-images disertakan dalam daftar project yang diizinkan. Untuk mempelajari lebih lanjut, lihat Menyiapkan kebijakan image tepercaya.

Peran yang diperlukan

Untuk membuat cluster Slurm, Anda memerlukan peran dan izin IAM berikut:

Membuat cluster Slurm

Untuk membuat cluster yang dioptimalkan AI menggunakan Cluster Director, selesaikan langkah-langkah berikut:

  1. Mengonfigurasi konfigurasi resource komputasi

  2. Mengonfigurasi jaringan

  3. Mengonfigurasi resource penyimpanan

  4. Mengonfigurasi lingkungan Slurm

Mengonfigurasi konfigurasi resource komputasi

Untuk mengonfigurasi konfigurasi resource komputasi saat membuat cluster, selesaikan langkah-langkah berikut:

  1. Di konsol Google Cloud , buka halaman Cluster Director.

    Buka Cluster Director

  2. Klik Create cluster.

  3. Pada dialog yang muncul, klik Reference architecture. Halaman Create a cluster akan terbuka.

  4. Klik salah satu template yang tersedia. Jika perlu, Anda dapat mengedit template untuk menyesuaikannya dengan kebutuhan workload Anda.

  5. Klik Customize.

  6. Di bagian Compute, di kolom Cluster name, masukkan nama untuk cluster Anda. Nama dapat berisi hingga 10 karakter, dan hanya dapat menggunakan angka atau huruf kecil (a-z).

  7. Untuk menambahkan informasi ke konfigurasi resource komputasi yang telah dikonfigurasi sebelumnya, atau mengedit jumlah dan jenis instance komputasi yang ditentukan oleh konfigurasi, lakukan hal berikut:

    1. In the Compute section, click Edit resource configuration. Panel Add resource configuration akan muncul.

    2. Opsional: Untuk mengubah nama konfigurasi resource komputasi, di kolom Name, masukkan nama baru.

    3. Opsional: Untuk mengubah jumlah dan jenis instance komputasi yang digunakan cluster Anda, di bagian Machine configuration, ikuti petunjuk untuk mengupdate resource komputasi.

    4. Di bagian Consumption options, tentukan opsi pemakaian yang ingin Anda gunakan untuk mendapatkan resource:

      • Untuk membuat instance komputasi menggunakan pemesanan, lakukan hal berikut:

        1. Klik tab Use reservation.

        2. Klik Select reservation. Panel Choose a reservation akan muncul. Jika ingin menggunakan pemesanan VM A4X, Anda dapat memilih blok atau sub-blok untuk mengontrol penempatan VM Anda.

        3. Pilih pemesanan yang ingin Anda gunakan. Kemudian, klik Pilih. Tindakan ini akan otomatis menetapkan Region dan Zone resource komputasi Anda.

      • Untuk membuat VM Flex-start, lakukan hal berikut:

        1. Klik tab Flex start.

        2. Di bagian Time limit for the VM, tentukan durasi operasi untuk instance komputasi. Nilainya harus antara 10 menit dan 7 hari.

        3. Di bagian Location, pilih region tempat Anda ingin membuat Flex-start VM. KonsolGoogle Cloud otomatis memfilter region yang tersedia untuk hanya menampilkan region yang mendukung VM Flex-start untuk jenis mesin yang Anda pilih.

      • Untuk membuat Spot VM, lakukan hal berikut:

        1. Klik tab Use spot.

        2. Dalam daftar On VM termination, pilih salah satu opsi berikut:

          • Untuk menghapus Spot VM saat preemption, pilih Delete.

          • Untuk menghentikan Spot VM saat preemption, pilih Stop.

        3. Di bagian Location, pilih Region dan Zone tempat Anda ingin membuat Spot VM. KonsolGoogle Cloud otomatis memfilter region yang tersedia untuk hanya menampilkan region yang mendukung Spot VM untuk jenis mesin yang Anda pilih.

    5. Klik Done.

    6. Opsional: Untuk membuat konfigurasi resource komputasi tambahan untuk partisi, klik Add resource configuration, lalu ikuti petunjuk untuk menentukan resource komputasi.

  8. Klik Lanjutkan.

Mengonfigurasi jaringan

Untuk mengonfigurasi jaringan yang digunakan cluster Anda, selesaikan langkah-langkah berikut:

  1. Di bagian Choose a Virtual Private Cloud (VPC) network, lakukan salah satu tindakan berikut:

    • Direkomendasikan: Agar AI Hypercomputer otomatis membuat jaringan VPC yang telah dikonfigurasi sebelumnya untuk cluster Anda, lakukan hal berikut:

      1. Pilih Buat jaringan VPC baru.

      2. Di kolom Network name, masukkan nama untuk jaringan VPC.

    • Untuk menggunakan jaringan VPC atau VPC Bersama yang ada, lakukan hal berikut:

      1. Pilih Gunakan jaringan VPC di project saat ini atau Gunakan jaringan VPC Bersama yang dihosting di project lain.

      2. Dalam daftar Select VPC network atau Shared VPC network, pilih jaringan VPC atau VPC Bersama yang memenuhi konfigurasi yang diperlukan.

      3. Dalam daftar Select subnetwork, pilih subnetwork yang ada.

  2. Klik Lanjutkan.

Mengonfigurasi resource penyimpanan

Saat Anda membuat cluster dari template Cluster Director, Cluster Director akan otomatis mengonfigurasi instance Filestore atau Managed Lustre sebagai resource penyimpanan untuk cluster Anda.

Untuk menambahkan atau mengedit resource penyimpanan yang digunakan cluster Anda (opsional), di bagian Storage, selesaikan langkah-langkah berikut. Untuk mengetahui informasi selengkapnya tentang layanan penyimpanan yang dapat Anda konfigurasi, lihat Layanan penyimpanan yang didukung untuk Cluster Director.

  1. Opsional: Untuk mengedit resource penyimpanan, klik Edit storage plan, lalu ikuti petunjuk untuk memperbarui konfigurasi resource penyimpanan.

  2. Opsional: Untuk menambahkan resource penyimpanan ke cluster, klik Add storage configuration, lalu ikuti petunjuk untuk menentukan konfigurasi resource penyimpanan.

    Untuk melihat layanan penyimpanan yang tersedia yang dapat Anda konfigurasi, lihat Layanan penyimpanan yang didukung untuk Cluster Director.

  3. Klik Lanjutkan.

Mengonfigurasi lingkungan Slurm

Untuk mengonfigurasi lingkungan Slurm di cluster Anda, selesaikan langkah-langkah berikut:

  1. Opsional: Untuk mengedit jumlah dan jenis instance komputasi yang digunakan node login, luaskan bagian Login node, lalu ikuti petunjuk untuk memperbarui resource komputasi.

  2. Opsional: Untuk mengedit partisi cluster guna mengatur resource komputasi, luaskan bagian Partitions, lalu lakukan salah satu hal berikut:

    • Untuk menambahkan partisi, klik Add partition, lalu lakukan hal berikut:

      1. Di kolom Nama partisi, masukkan nama untuk partisi.

      2. Untuk mengedit nodeset, klik Toggle nodeset. Jika tidak, untuk menambahkan nodeset, klik Add nodeset.

      3. Di kolom Nodeset name, masukkan nama untuk nodeset Anda.

      4. Di kolom Resource configuration, pilih konfigurasi resource komputasi yang Anda buat di langkah sebelumnya.

      5. Dalam daftar Source image, pilih salah satu image OS yang didukung untuk AI Hypercomputer.

      6. Di kolom Static node count, masukkan jumlah minimum instance komputasi yang harus selalu berjalan di cluster.

      7. Di kolom Dynamic node count, masukkan jumlah maksimum instance komputasi yang dapat ditingkatkan oleh AI Hypercomputer ke cluster selama peningkatan traffic.

      8. Di daftar Boot disk type dan kolom Boot disk size, masukkan jenis dan ukuran boot disk yang akan digunakan instance komputasi.

      9. Klik Done.

    • Untuk menghapus partisi, klik Delete partition.

  3. Opsional: Untuk menambahkan skrip prolog atau epilog ke lingkungan Slurm, lakukan hal berikut:

    1. Luaskan bagian Advanced orchestration settings.

    2. Di bagian Skrip, ikuti petunjuk untuk menambahkan skrip.

  4. Klik Create. Halaman Clusters akan muncul. Pembuatan cluster mungkin memerlukan waktu beberapa saat. Waktu penyelesaian bergantung pada jumlah instance komputasi yang Anda minta dan ketersediaan resource di zona instance komputasi. Jika resource yang Anda minta tidak tersedia, AI Hypercomputer akan mempertahankan permintaan pembuatan hingga resource tersedia. Untuk melihat status operasi pembuatan cluster, lihat detail cluster Anda.

Menghubungkan ke cluster Slurm

Saat AI Hypercomputer membuat node login Anda, status cluster akan berubah menjadi Ready. Kemudian, Anda dapat terhubung ke cluster; namun, Anda hanya dapat menjalankan workload setelah AI Hypercomputer membuat node komputasi di cluster.

Untuk terhubung ke node login cluster melalui SSH menggunakan konsolGoogle Cloud , selesaikan langkah-langkah berikut:

  1. Di konsol Google Cloud , buka halaman Clusters.

    Buka Cluster

  2. Di tabel Clusters, di kolom Name, klik nama cluster yang Anda buat di bagian sebelumnya. Halaman yang memberikan detail cluster akan muncul, dan tab Details akan dipilih.

  3. Klik tab Nodes.

  4. Di bagian Login nodes, di kolom Connect, temukan node login cluster, yang bernama CLUSTER_NAME-login-001.

  5. Di kolom Connect dalam node login, klik tombol SSH. Jendela SSH-in-browser akan terbuka.

  6. Jika diminta, klik Authorize. Proses menghubungkan ke node Anda dapat memerlukan waktu hingga satu menit.

Memverifikasi kondisi cluster Slurm

Sebelum Anda menjalankan tugas pada node komputasi, Slurm akan otomatis menjalankan health check GPU cepat pada node tersebut. Jika node gagal dalam pemeriksaan, Slurm akan mengosongkan node dan mencegah penjadwalan tugas baru di node tersebut.

Untuk menguji kondisi GPU dan bandwidth jaringan secara lebih menyeluruh di seluruh node komputasi dalam partisi cluster, Anda dapat menjalankan pengujian NVIDIA Collective Communications Library (NCCL) secara manual. Jika pengujian NCCL mengidentifikasi node yang tidak responsif, Anda dapat memperbaiki node atau mengubah cluster. Pengujian NCCL membantu Anda memverifikasi kondisi cluster sebelum menjalankan workload penting. Untuk mengetahui informasi selengkapnya, lihat Memverifikasi kondisi cluster.

Menghapus cluster Slurm

Untuk menghapus cluster Slurm di project Anda, pilih salah satu opsi berikut:

  1. Di konsol Google Cloud , buka halaman Clusters.

    Buka Cluster

  2. Di tabel Clusters, di kolom Name, klik nama cluster yang ingin Anda hapus. Halaman yang memberikan detail cluster akan muncul, dan tab Details akan dipilih.

  3. Klik Delete.

  4. Pada dialog yang muncul, masukkan nama cluster Anda, lalu klik Delete untuk mengonfirmasi. Halaman Clusters akan muncul. Penghapusan cluster Anda mungkin memerlukan waktu beberapa saat.

Langkah berikutnya