Frameworks modernos de machine learning costumam usar a NVIDIA Collective Communications Library (NCCL) para implementar primitivas de comunicação entre GPUs.
A versão Enhanced da NCCL do Google é chamada de NCCL/gIB e está disponível nas instâncias A5X, A4X Max, A4X, A4 e A3 Ultra doGoogle Cloud. O NCCL/gIB geralmente tem melhor desempenho do que o NCCL upstream na infraestrutura do Google. Como o desempenho da NCCL pode afetar o desempenho geral da carga de trabalho, recomendamos o uso de NCCL/gIB.
Arquitetura NCCL/gIB
A pilha de software NCCL/gIB consiste em dois componentes separados que funcionam juntos:
- NCCL Core (
libnccl.soda NVIDIA): fornece as operações padrão de comunicação entre GPUs, comoAllReduce,AllGathereBroadcast, que são chamadas por frameworks de machine learning. Plug-ins NCCL/gIB do Google: estendem o NCCL Core dinamicamente com otimizações de rede e telemetria doGoogle Cloud :
Plug-in de rede gIB (
libnccl-net.so): equilibra o tráfego em vários caminhos de rede usando o GPUDirect RDMA em RoCE v2 para oferecer alta capacidade de processamento e baixa latência durante operações coletivas.Plug-in de sintonizador personalizado (
libnccl-tuner.so): seleciona algoritmos coletivos, protocolos e configurações de canal recomendados para topologias de VM Google Cloud.Plug-in do criador de perfil do CoMMA (
libnccl-profiler.soelibGPUViz.so): coleta métricas de performance e dados de diagnóstico para detectar processos travados e nós lentos.Plug-in de ambiente (
libnccl-env-gcp.so): aplica variáveis de ambiente NCCL específicas da plataforma em VMs do Google Cloud ao usar o NCCL 2.28.7 ou mais recente.
O diagrama a seguir mostra como seu framework de machine learning interage com as GPUs NVIDIA, o NCCL Core e os plug-ins NCCL/gIB do Google:

Como os plug-ins do Google são carregados dinamicamente, é possível fazer upgrade do NCCL Core de forma independente para usar uma versão mais recente do CUDA ou atender aos requisitos do framework, desde que a versão do NCCL Core esteja no intervalo compatível. Para ver as versões compatíveis, consulte as tabelas de compatibilidade de versão nas notas da versão x86 e notas da versão ARM64.
Benefícios de usar NCCL/gIB
Embora seja possível usar a biblioteca de comunicações coletivas da NVIDIA upstream em VMs do Google Cloud sem problemas de estabilidade, o NCCL/gIB é mais otimizado para o Google Cloud , e a disparidade de desempenho pode ser muito significativa para determinados padrões de comunicação, mesmo com os mesmos parâmetros do NCCL.
Por exemplo, o gráfico a seguir mostra uma comparação do NCCL/gIB com o NCCL upstream no desempenho do AllReduce. O NCCL/gIB supera o NCCL upstream em até 12 vezes em determinados tamanhos de mensagem.

Desempenho do NCCL AllReduce de 32 nós usando o A3 Ultra (H200) sem tráfego em segundo plano.
Da mesma forma, em uma comparação da NCCL/gIB com a NCCL upstream no desempenho do AllGather com tráfego em segundo plano, a NCCL/gIB supera a NCCL upstream em aproximadamente 50% em tamanhos de mensagem maiores, como mostrado neste gráfico.

Desempenho do NCCL AllGather de 32 nós usando o A3 Ultra (H200) em uma malha compartilhada com um plano de fundo ruidoso.
Além disso, o plug-in do criador de perfil do CoMMA fornece ao Google uma telemetria personalizada aprimorada, o que nos permite ajudar você melhor caso surja um problema no nível da carga de trabalho.
Instalar NCCL/gIB
Antes de executar os testes da NCCL, é necessário instalar a NCCL/gIB no ambiente de execução.
Usar NCCL/gIB
Para executar testes de NCCL/gIB no cluster, escolha na lista a seguir a página que melhor atende aos seus requisitos:
- Usar plug-ins gIB NCCL em contêineres NVIDIA NGC
- Executar testes NCCL em instâncias do Compute Engine
- Executar a NCCL em clusters do GKE que usam o Cluster Toolkit
- Executar a NCCL em clusters do GKE que usam o A4X Max
- Executar a NCCL em clusters do GKE que usam A4X
- Executar a NCCL em clusters do GKE que usam A4 ou A3 Ultra
- Executar testes da NCCL em clusters do Slurm
- Executar testes da NCCL no Cluster Director
Para saber como executar NCCL/gIB em clusters do GKE que usam A5X, entre em contato com seu representante do Google Cloud .
Para saber como resolver problemas com o cluster depois de executar os testes, consulte Coletar e entender os registros da NCCL/gIB para solução de problemas.