Layanan jaringan untuk deployment

Layanan jaringan yang Anda konfigurasi bergantung pada opsi deployment (VM atau cluster) dan infrastruktur yang Anda pilih.

Dokumen ini ditujukan bagi arsitek, engineer jaringan, dan developer yang ingin memahami layanan jaringan untuk deployment AI Hypercomputer mereka. Dokumen ini mengasumsikan bahwa Anda memiliki pemahaman dasar tentang konsep jaringan cloud dan komputasi terdistribusi. Untuk mengetahui informasi selengkapnya tentang opsi deployment, lihat Ringkasan opsi deployment.

Untuk mengetahui informasi mendetail tentang arsitektur jaringan, protokol, dan topologi hardware, lihat ringkasan jaringan GPU.

Jaringan untuk deployment GKE yang dioptimalkan untuk AI dengan Cluster Toolkit

Saat Anda membuat cluster GKE yang dioptimalkan untuk AI dengan Cluster Toolkit, blueprint akan mengonfigurasi jaringan sebagai berikut:

  • Blueprint ini menggunakan jaringan VPC default untuk cluster GKE utama.
  • Blueprint ini membuat dua VPC tambahan: satu untuk Kartu Antarmuka Jaringan (NIC) host kedua dan satu lagi untuk traffic remote direct memory access (RDMA) GPU-ke-GPU.
  • Blueprint ini menerapkan profil jaringan yang telah dikonfigurasi sebelumnya dan dikelola Google ke VPC yang digunakan untuk traffic GPU. Profil ini otomatis mengonfigurasi jaringan untuk performa RDMA berkecepatan tinggi dan berlatensi rendah.
  • Blueprint secara otomatis membuat delapan subnet khusus di dalam VPC RDMA, satu untuk setiap NIC RDMA pada VM akselerator.
  • Aturan ini mengonfigurasi aturan firewall yang mengizinkan semua traffic TCP, UDP, dan ICMP antar-node dalam cluster.

Jaringan untuk deployment GKE

Konfigurasi jaringan untuk penyiapan GKE bergantung pada jenis workload dan infrastruktur Anda:

  • Untuk GPU Umum atau workload non-terdistribusi, buat cluster GKE tanpa GPUDirect RDMA. Konfigurasi ini menggunakan jaringan VPC tunggal untuk semua komunikasi.
  • Untuk GPU Ter-cluster atau workload terdistribusi, buat cluster GKE dengan GPUDirect RDMA diaktifkan. Konfigurasi ini menggunakan lingkungan multi-VPC yang memisahkan traffic tujuan umum dari komunikasi GPU-ke-GPU ber-bandwidth tinggi.

Jaringan untuk deployment cluster Slurm

Gunakan Cluster Toolkit untuk men-deploy workload AI dan ML melalui blueprint yang dapat disesuaikan, seperti untuk seri A4 atau A3 Ultra.

Komponen jaringan yang dikonfigurasi oleh blueprint untuk deployment Slurm GPU Ter-cluster adalah sebagai berikut:

  • Blueprint ini membuat tiga VPC yang berbeda: VPC utama untuk bidang kontrol Slurm, VPC sekunder untuk traffic tingkat host umum, dan VPC khusus berperforma tinggi untuk komunikasi GPU-ke-GPU.
  • Untuk bidang data GPU, blueprint menerapkan profil jaringan yang telah dikonfigurasi sebelumnya dan dikelola Google yang dioptimalkan untuk RoCE.
  • Blueprint menetapkan rentang alamat IP khusus yang diperlukan oleh layanan Filestore, yang menyediakan direktori /home bersama untuk cluster.
  • Langkah ini membuat VPC build image yang terisolasi dan sementara, yang hanya digunakan selama proses pembuatan image VM kustom untuk node cluster.

Jaringan untuk instance Compute Engine

Anda dapat menggunakan Compute Engine untuk membuat VM mandiri, instance komputasi massal, dan grup instance terkelola (MIG). Persyaratan jaringan tertentu bergantung pada model infrastruktur jenis mesin:

  • GPU ter-cluster: seri mesin ini (A5X, A4X Max, A4X, A4, A3 Ultra, A3 Mega, dan A3 High dengan 8 GPU) umumnya memerlukan konfigurasi jaringan multi-VPC untuk memisahkan traffic host-ke-host umum dari komunikasi GPU-ke-GPU ber-bandwidth tinggi. Untuk deployment A5X, A4X Max, dan A4X dalam satu sub-blok, jaringan VPC RDMA bersifat opsional karena fabric NVLink multi-node menangani komunikasi GPU-ke-GPU.
  • GPU Umum: seri mesin ini (G2, G4, A2, dan N1 dengan T4 atau V100) menggunakan arsitektur VPC tunggal melalui antarmuka gVNIC untuk semua komunikasi. A3 Edge adalah pengecualian yang memerlukan empat VPC data dan GPUDirect-TCPX.

Untuk mengetahui informasi mendetail tentang NIC dan konfigurasi jaringan untuk jenis mesin Anda, lihat Mesin jaringan dan GPU.

Langkah berikutnya