Mengoptimalkan jejaring cluster menggunakan NCCL/gIB.

Framework machine learning modern sering menggunakan NVIDIA Collective Communications Library (NCCL) untuk primitive komunikasi GPU-ke-GPU.

Versi NCCL yang ditingkatkan dari Google disebut NCCL/gIB dan tersedia di instance A5X, A4X Max, A4X, A4, dan A3 UltraGoogle Cloud. NCCL/gIB sering kali lebih berperforma daripada NCCL upstream di infrastruktur Google. Karena performa NCCL dapat memengaruhi performa workload secara keseluruhan, sebaiknya Anda menggunakan NCCL/gIB.

Arsitektur NCCL/gIB

Stack software NCCL/gIB terdiri dari dua komponen terpisah yang bekerja bersama:

  • NCCL Core (libnccl.so dari NVIDIA): menyediakan operasi komunikasi GPU-ke-GPU standar, seperti AllReduce, AllGather, dan Broadcast, yang dipanggil oleh framework machine learning.
  • Plugin NCCL/gIB Google: memperluas NCCL Core secara dinamis dengan pengoptimalan jaringan dan telemetriGoogle Cloud :

    • Plugin jaringan gIB (libnccl-net.so): menyeimbangkan traffic di beberapa jalur jaringan menggunakan GPUDirect RDMA melalui RoCE v2 untuk memberikan throughput tinggi dan latensi rendah selama operasi kolektif.

    • Plugin tuner kustom (libnccl-tuner.so): memilih algoritma, protokol, dan setelan saluran kolektif yang direkomendasikan untuk topologi VM Google Cloud.

    • Plugin profiler CoMMA (libnccl-profiler.so dan libGPUViz.so): mengumpulkan metrik performa dan data diagnostik untuk mendeteksi proses yang terhenti dan node yang lambat.

    • Plugin lingkungan (libnccl-env-gcp.so): menerapkan variabel lingkungan NCCL khusus platform di seluruh VM Google Cloud saat Anda menggunakan NCCL 2.28.7 atau yang lebih baru.

Diagram berikut menunjukkan cara framework machine learning Anda berinteraksi dengan GPU NVIDIA, NCCL Core, dan plugin NCCL/gIB Google:

Workload ML dikelola oleh framework ML yang terhubung ke GPU NVIDIA dan NCCL, sedangkan NCCL terhubung ke berbagai alat dan plugin Google.

Karena plugin Google dimuat secara dinamis, Anda dapat mengupgrade NCCL Core secara independen untuk menggunakan versi CUDA yang lebih baru atau memenuhi persyaratan framework, asalkan versi NCCL Core Anda berada dalam rentang yang didukung. Untuk versi yang didukung, lihat tabel kompatibilitas versi di catatan rilis x86 dan catatan rilis ARM64.

Manfaat menggunakan NCCL/gIB

Meskipun Anda dapat menggunakan NVIDIA Collective Communications Library upstream di VM Google Cloud tanpa masalah stabilitas, NCCL/gIB lebih dioptimalkan untuk Google Cloud dan perbedaan performanya bisa sangat signifikan untuk pola komunikasi tertentu, bahkan dengan parameter NCCL yang sama.

Misalnya, grafik berikut menunjukkan perbandingan NCCL/gIB dengan NCCL upstream pada performa AllReduce. NCCL/gIB mengungguli NCCL upstream hingga 12x pada ukuran pesan tertentu.

Grafik yang menunjukkan NCCL/gIB mengungguli NCCL upstream dalam tugas AllReduce.

Performa AllReduce NCCL 32 node menggunakan A3 Ultra (H200) tanpa traffic latar belakang.

Demikian pula, dalam perbandingan NCCL/gIB dengan NCCL upstream pada performa AllGather dengan traffic latar belakang, NCCL/gIB mengungguli NCCL upstream sekitar 50% pada ukuran pesan yang lebih besar, seperti yang ditunjukkan dalam grafik ini.

Grafik yang menunjukkan NCCL/gIB mengungguli NCCL upstream dalam tugas AllGather.

Performa AllGather NCCL 32 node menggunakan A3 Ultra (H200) pada fabric bersama dengan latar belakang yang bising.

Selain itu, plugin profiler CoMMA memberi Google telemetri kustom yang lebih baik, sehingga kami dapat membantu Anda dengan lebih baik jika terjadi masalah di tingkat workload.

Menginstal NCCL/gIB

Sebelum menjalankan pengujian NCCL, Anda harus menginstal NCCL/gIB di lingkungan runtime Anda.

Menggunakan NCCL/gIB

Untuk menjalankan pengujian NCCL/gIB di cluster Anda, pilih halaman dari daftar berikut yang paling sesuai dengan kebutuhan Anda:

Untuk mengetahui petunjuk cara menjalankan NCCL/gIB di cluster GKE yang menggunakan A5X, hubungi perwakilan Google Cloud Anda.

Untuk mempelajari cara mengatasi masalah pada cluster setelah menjalankan pengujian, lihat Mengumpulkan dan memahami log NCCL/gIB untuk pemecahan masalah.