AI Hypercomputer menggunakan layanan jaringan tertentu yang ditentukan oleh jenis mesin GPU yang Anda pilih. Memahami layanan ini memungkinkan Anda mengoptimalkan performa dan goodput: progres efektif tugas pelatihan machine learning.
Networking berdasarkan infrastruktur
Arsitektur jaringan untuk deployment Anda bergantung pada pilihan infrastruktur Anda, GPU Umum atau GPU Ter-cluster.
Jaringan VPC standar untuk GPU Umum
GPU umum menggunakan jaringan VPC Google Cloud standar.
- Arsitektur: mengandalkan desain VPC multi-tenant standar untuk inferensi, penyajian model, dan riset eksplorasi.
- Protokol: menggunakan TCP/IP melalui NIC Virtual Google (gVNIC).
Fabric berperforma tinggi untuk GPU Ter-cluster
AI Hypercomputer membantu Anda men-deploy mesin GPU yang menggunakan arsitektur jaringan hierarkis dan rail-aligned. Konektivitas berperforma tinggi dan dapat diprediksi dari desain ini meminimalkan beban komunikasi, yang secara langsung meningkatkan goodput dengan memungkinkan GPU menghabiskan lebih banyak waktu untuk komputasi daripada menunggu data.
Pengaturan GPU ter-cluster yang sesuai jalur mencakup tiga komponen:
- Sub-blok: sekelompok host yang secara fisik berada di blok yang sama. Switch pada rak teratas (ToR) menghubungkan host ini, sehingga memungkinkan komunikasi satu hop yang sangat efisien antara dua GPU mana pun di dalam sub-blok. RDMA over Converged Ethernet (RoCE) memfasilitasi komunikasi langsung ini. Library NCCL yang ditingkatkan dan dioptimalkan untuk topologi Google yang sesuai jalur menangani kolektif komunikasi GPU.
- Blok: kumpulan sub-blok yang saling terhubung oleh jaringan berkecepatan tinggi non-blok yang menyediakan bandwidth tinggi. Setiap GPU di dalam blok dapat dijangkau dalam maksimal dua hop jaringan. Sistem mengekspos metadata blok dan sub-blok untuk memungkinkan penempatan tugas yang optimal.
- Cluster: kumpulan blok yang saling terhubung yang dapat diskalakan hingga ribuan GPU, sehingga Anda dapat menjalankan workload pelatihan berskala besar. Komunikasi di berbagai blok hanya menambahkan satu hop tambahan, sehingga tetap mempertahankan performa tinggi dan prediktabilitas bahkan pada skala masif. Untuk memungkinkan penempatan tugas berskala besar yang cerdas, metadata tingkat cluster juga tersedia untuk orchestrator.
Teknologi untuk komunikasi GPU-ke-GPU
Mesin GPU menggunakan kombinasi teknologi untuk memberikan performa tinggi, throughput tinggi, dan latensi rendah untuk workload. Teknologi ini mencakup RDMA over Converged Ethernet (RoCE), NIC NVIDIA, dan topologi jaringan yang sesuai jalur di seluruh pusat data Google.
Teknologi NVLink NVIDIA membuat jalur data langsung berkecepatan ultra-tinggi antara NIC NVIDIA di setiap mesin. Selain itu, RoCE memungkinkan RDMA yang efisien antara GPU di mesin yang berbeda.
Stack jaringan GPU
Stack jejaring adalah kumpulan protokol, driver, dan lapisan software yang bekerja sama untuk menjalankan komunikasi GPU-ke-GPU. Jenis mesin GPU yang berbeda menggunakan stack jaringan yang berbeda. Tabel berikut menentukan stack jaringan dan jenis mesin terkait:
| Stack jaringan | Deskripsi | Jenis mesin GPU |
|---|---|---|
| GPUDirect RDMA | Memungkinkan jalur langsung untuk pertukaran data antara GPU dan perangkat lain. Untuk instance A5X, A4X Max, dan A4X, stack jaringan ini menggunakan RoCE. Untuk mengetahui informasi selengkapnya, lihat Opsi konfigurasi cluster dengan GPUDirect RDMA. | |
| GPUDirect-TCPXO | Meningkatkan GPUDirect-TCPX dengan menghapus beban protokol TCP. Dengan menggunakan GPUDirect-TCPXO, jenis mesin A3 Mega menggandakan bandwidth jaringan dibandingkan dengan A3 High. Untuk mengetahui informasi tentang cara memaksimalkan bandwidth jaringan di cluster GKE yang menggunakan GPUDirect-TCPXO, lihat Memaksimalkan bandwidth jaringan GPU di cluster mode Standard dan pilih tab GPUDirect-TCPXO. | |
| GPUDirect-TCPX | Meningkatkan performa jaringan dengan memungkinkan payload paket data ditransfer langsung dari memori GPU ke antarmuka jaringan. Untuk mengetahui informasi tentang cara memaksimalkan bandwidth jaringan di cluster GKE yang menggunakan GPUDirect-TCPX, lihat Memaksimalkan bandwidth jaringan GPU di cluster mode Standard dan pilih tab GPUDirect-TCPX. |
|
| TCP/IP Standar | Protokol jaringan dasar untuk workload Umum (Standar). Solusi ini memberikan keandalan tinggi dan kompatibilitas luas dengan layanan VPC standar. |
|
Jaringan bidang data host dan penyimpanan
Instance multi-GPU memerlukan konfigurasi jaringan yang berbeda untuk komunikasi dengan instance komputasi dibandingkan dengan pemrosesan informasi antar-GPU.
Jalur jaringan terpisah (terkadang juga disebut sebagai jaringan Utara-Selatan atau jaringan Frontend) menangani semua komunikasi dengan instance komputasi. Traffic ini mencakup akses disk, komunikasi intra-VM, akses internet, akses ke Cloud Storage, pengelolaan tingkat host, dan komunikasi dengan layanan Google Cloudlainnya.
Untuk mengelola traffic ini, jenis mesin GPU menggunakan Google Virtual NIC (gVNIC) atau, untuk instance bare metal A5X dan A4X Max, Intel Infrastructure Data Path Function (IDPF) melalui Google Titanium NIC. NIC Titanium mengurangi beban tugas pemrosesan jaringan dari CPU, sehingga CPU dapat sepenuhnya fokus pada workload Anda. Pemisahan ini membantu memastikan bahwa traffic host tujuan umum dan traffic khusus antar-GPU menggunakan antarmuka fisik yang berbeda, sehingga mencegahnya bersaing untuk resource sistem yang sama.
Lingkungan multi-VPC
Semua workload beroperasi dalam Virtual Private Cloud (VPC) Google Cloud.
Mesin akselerator berperforma tinggi memiliki desain hardware khusus yang menggunakan beberapa antarmuka jaringan fisik untuk menangani berbagai jenis traffic. Untuk menangani desain hardware khusus ini, lingkungan multi-VPC diperlukan, terlepas dari apakah Anda menggunakan Slurm, GKE, atau Compute Engine untuk menjalankan workload.
Konfigurasi multi-VPC tertentu bergantung pada jenis mesin GPU dan stack jejaringnya:
A5X, A4X Max, A4X, A4, dan A3 Ultra dengan GPUDirect RDMA: Mesin ini didukung oleh dua jenis NIC fisik: satu yang mendukung traffic tujuan umum dan satu yang mendukung traffic RDMA. Antarmuka jaringan yang dipetakan ke NIC fisik tujuan umum (antarmuka
nic0dan antarmuka jaringan tambahan) terpasang ke jaringan VPC reguler. Antarmuka jaringan RDMA yang dipetakan ke NIC fisik yang mendukung RDMA terpasang ke jaringan VPC terpisah dengan profil jaringan RDMA untuk menggunakan GPUDirect RDMA. Secara total, jenis mesin ini menggunakan hingga tiga jaringan VPC. Untuk deployment A5X, A4X Max, dan A4X dalam satu sub-blok, fabric NVLink multi-node menangani komunikasi GPU-ke-GPU, sehingga jaringan VPC RDMA bersifat opsional. Untuk mempelajari cara menyiapkan infrastruktur jaringan ini, lihat Membuat VPC dan subnet.A3 Mega dengan GPUDirect-TCPXO: Mesin ini memerlukan delapan VPC terpisah untuk NIC GPU, yang dikhususkan untuk komunikasi bandwidth tinggi. Untuk mengetahui langkah-langkah mendetail tentang cara menyelesaikan konfigurasi ini, lihat Membuat VPC dan subnet.
A3 High dengan GPUDirect-TCPX: Mesin ini memerlukan empat VPC terpisah untuk NIC GPU, yang dikhususkan untuk komunikasi bandwidth tinggi. Untuk mengetahui langkah-langkah mendetail tentang cara menyelesaikan konfigurasi ini, lihat Membuat VPC dan subnet.
Konfigurasi multi-VPC ini membantu memastikan bahwa operasi penyimpanan dan tugas sistem lainnya tidak bersaing untuk mendapatkan bandwidth dengan komunikasi GPU-ke-GPU yang penting.
Konfigurasi jaringan multi-VPC yang diperlukan yang perlu Anda siapkan berbeda-beda berdasarkan jenis mesin GPU Anda. Untuk panduan mendetail tentang pengaturan jaringan, kecepatan bandwidth, dan NIC untuk semua jenis mesin GPU yang didukung, lihat Mesin jaringan dan GPU.
Diagram berikut menunjukkan arsitektur jaringan untuk mesin GPU ter-cluster, yang menyoroti pemisahan traffic tujuan umum dan traffic khusus GPU-ke-GPU ke bidang jaringan yang berbeda.
Seperti yang ditunjukkan dalam diagram sebelumnya, mesin GPU ini menggunakan jalur jaringan khusus untuk berbagai jenis traffic. Traffic tujuan umum, termasuk akses pengelolaan dan penyimpanan, mengalir melalui NIC Titanium Google yang terhubung ke VPC. Komunikasi GPU-ke-GPU berperforma tinggi menggunakan antarmuka jaringan dan VPC terpisah, yang dioptimalkan dengan teknologi seperti RDMA, sehingga membantu memastikan bandwidth tinggi dan latensi rendah untuk workload AI dan ML.
Library dan komponen jejaring
Untuk memaksimalkan bandwidth dan performa jaringan, library dan komponen jaringan berikut memungkinkan Anda menggunakan GPU dengan stack jaringan Google:
- gVNIC: NIC Virtual Google (gVNIC) adalah antarmuka jaringan virtual yang dirancang khusus untuk Compute Engine. gVNIC meningkatkan performa, meningkatkan konsistensi, dan membantu mengurangi masalah noisy neighbor. gVNIC direkomendasikan di semua kelompok mesin dan merupakan vNIC yang direkomendasikan untuk komunikasi host-ke-host. Untuk informasi selengkapnya, lihat Menggunakan NIC Virtual Google.
- NCCL: NVIDIA Collective Communications Library (NCCL) menyediakan primitive yang dioptimalkan untuk operasi komunikasi kolektif. NCCL dirancang khusus untuk lingkungan multi-GPU dan multi-node menggunakan GPU dan jaringan NVIDIA. Jalankan pengujian NCCL untuk mengevaluasi performa cluster yang di-deploy. Untuk mengetahui informasi selengkapnya, lihat Menguji performa jaringan.
- Multi-jejaring GKE: dukungan multi-jaringan untuk Pod memungkinkan beberapa antarmuka pada node dan Pod di cluster GKE. Untuk mengetahui detail tentang cara menyiapkan multi-jaringan dalam konteks GPUDirect, lihat Memaksimalkan bandwidth jaringan GPU di cluster mode Standard dan Opsi konfigurasi cluster dengan GPUDirect RDMA.
Untuk mengetahui detail selengkapnya tentang stack software yang tersedia, lihat OS dan image Docker.
Langkah berikutnya
- Untuk mempelajari cara mengamankan deployment, lihat Praktik terbaik untuk menggunakan akun layanan.
- Untuk mempelajari cara memperkuat jaringan, lihat Aturan firewall VPC.
- Untuk mempelajari lebih lanjut konektivitas akselerator, lihat Ringkasan jaringan GPU.