최신 머신러닝 프레임워크는 GPU 간 통신 기본 요소를 위해 NVIDIA Collective Communications Library(NCCL)를 자주 사용합니다.
Google의 개선된 NCCL 버전은 NCCL/gIB라고 하며Google Cloud의 A5X, A4X Max, A4X, A4, A3 Ultra 인스턴스에서 사용할 수 있습니다. NCCL/gIB는 Google 인프라에서 업스트림 NCCL보다 성능이 더 우수한 경우가 많습니다. NCCL 성능은 전체 워크로드 성능에 영향을 줄 수 있으므로 NCCL/gIB를 사용하는 것이 좋습니다.
NCCL/gIB 아키텍처
NCCL/gIB 소프트웨어 스택은 함께 작동하는 두 가지 개별 구성요소로 구성됩니다.
- NCCL Core(NVIDIA의
libnccl.so): 머신러닝 프레임워크가 호출하는 표준 GPU 간 통신 작업(예:AllReduce,AllGather,Broadcast)을 제공합니다. Google의 NCCL/gIB 플러그인:Google Cloud 네트워크 최적화 및 원격 분석을 통해 NCCL 코어를 동적으로 확장합니다.
gIB 네트워크 플러그인(
libnccl-net.so): RoCE v2를 통한 GPUDirect RDMA를 사용하여 여러 네트워크 경로에서 트래픽을 분산하여 집합 작업 중에 높은 처리량과 짧은 지연 시간을 제공합니다.커스텀 튜너 플러그인(
libnccl-tuner.so): Google CloudVM 토폴로지에 권장되는 수집 알고리즘, 프로토콜, 채널 설정을 선택합니다.CoMMA 프로파일러 플러그인(
libnccl-profiler.so및libGPUViz.so): 성능 측정항목과 진단 데이터를 수집하여 중단된 프로세스와 느린 노드를 감지합니다.환경 플러그인(
libnccl-env-gcp.so): NCCL 2.28.7 이상을 사용할 때 Google Cloud VM 전반에 플랫폼별 NCCL 환경 변수를 적용합니다.
다음 다이어그램은 머신러닝 프레임워크가 NVIDIA GPU, NCCL Core, Google의 NCCL/gIB 플러그인과 상호작용하는 방식을 보여줍니다.

Google 플러그인은 동적으로 로드되므로 NCCL Core 버전이 지원되는 범위 내에 있는 한 NCCL Core를 독립적으로 업그레이드하여 이후 CUDA 버전을 사용하거나 프레임워크 요구사항을 충족할 수 있습니다. 지원되는 버전은 x86 출시 노트 및 ARM64 출시 노트의 버전 호환성 표를 참조하세요.
NCCL/gIB 사용의 이점
안정성 문제 없이 Google Cloud VM에서 업스트림 NVIDIA Collective Communications Library를 사용할 수 있지만 NCCL/gIB는 Google Cloud 에 더 최적화되어 있으며 동일한 NCCL 매개변수를 사용하더라도 특정 통신 패턴의 경우 성능 차이가 매우 클 수 있습니다.
예를 들어 다음 그래프는 AllReduce 성능에서 NCCL/gIB와 업스트림 NCCL을 비교한 것입니다. NCCL/gIB는 특정 메시지 크기에서 업스트림 NCCL보다 최대 12배 더 우수한 성능을 발휘합니다.

백그라운드 트래픽이 없는 A3 Ultra(H200)를 사용한 32노드 NCCL AllReduce 성능
마찬가지로, 백그라운드 트래픽이 있는 AllGather 성능에서 NCCL/gIB와 업스트림 NCCL을 비교하면 이 그래프에 표시된 것처럼 NCCL/gIB가 더 큰 메시지 크기에서 업스트림 NCCL보다 약 50% 더 우수한 성능을 보입니다.

노이즈가 있는 백그라운드가 있는 공유 패브릭에서 A3 Ultra(H200)를 사용하는 32노드 NCCL AllGather 성능
또한 CoMMA 프로파일러 플러그인은 Google에 개선된 커스텀 원격 분석을 제공하므로 워크로드 수준 문제가 발생할 경우 더 효과적으로 지원할 수 있습니다.
NCCL/gIB 설치
NCCL 테스트를 실행하기 전에 런타임 환경에 NCCL/gIB를 설치해야 합니다.
NCCL/gIB 사용
클러스터에서 NCCL/gIB 테스트를 실행하려면 다음 목록에서 요구사항에 가장 적합한 페이지를 선택합니다.
- NVIDIA NGC 컨테이너에서 gIB NCCL 플러그인 사용
- Compute Engine 인스턴스에서 NCCL 테스트 실행
- Cluster Toolkit을 사용하는 GKE 클러스터에서 NCCL 실행
- A4X Max를 사용하는 GKE 클러스터에서 NCCL 실행
- A4X를 사용하는 GKE 클러스터에서 NCCL 실행
- A4 또는 A3 Ultra를 사용하는 GKE 클러스터에서 NCCL 실행
- Slurm 클러스터에서 NCCL 테스트 실행
- Cluster Director에서 NCCL 테스트 실행
A5X를 사용하는 GKE 클러스터에서 NCCL/gIB를 실행하는 방법에 대한 안내는 Google Cloud 담당자에게 문의하세요.
테스트를 실행한 후 클러스터 문제를 해결하는 방법을 알아보려면 문제 해결을 위한 NCCL/gIB 로그 수집 및 이해를 참조하세요.