Otimizar a rede de computadores do cluster usando NCCL/gIB

Frameworks modernos de machine learning costumam usar a NVIDIA Collective Communications Library (NCCL) para implementar primitivas de comunicação entre GPUs.

A versão Enhanced da NCCL do Google é chamada de NCCL/gIB e está disponível nas instâncias A5X, A4X Max, A4X, A4 e A3 Ultra doGoogle Cloud. O NCCL/gIB geralmente tem melhor desempenho do que o NCCL upstream na infraestrutura do Google. Como o desempenho da NCCL pode afetar o desempenho geral da carga de trabalho, recomendamos o uso de NCCL/gIB.

Arquitetura NCCL/gIB

A pilha de software NCCL/gIB consiste em dois componentes separados que funcionam juntos:

  • NCCL Core (libnccl.so da NVIDIA): fornece as operações padrão de comunicação entre GPUs, como AllReduce, AllGather e Broadcast, que são chamadas por frameworks de machine learning.
  • Plug-ins NCCL/gIB do Google: estendem o NCCL Core dinamicamente com otimizações de rede e telemetria doGoogle Cloud :

    • Plug-in de rede gIB (libnccl-net.so): equilibra o tráfego em vários caminhos de rede usando o GPUDirect RDMA em RoCE v2 para oferecer alta capacidade de processamento e baixa latência durante operações coletivas.

    • Plug-in de sintonizador personalizado (libnccl-tuner.so): seleciona algoritmos coletivos, protocolos e configurações de canal recomendados para topologias de VM Google Cloud.

    • Plug-in do criador de perfil do CoMMA (libnccl-profiler.so e libGPUViz.so): coleta métricas de performance e dados de diagnóstico para detectar processos travados e nós lentos.

    • Plug-in de ambiente (libnccl-env-gcp.so): aplica variáveis de ambiente NCCL específicas da plataforma em VMs do Google Cloud ao usar o NCCL 2.28.7 ou mais recente.

O diagrama a seguir mostra como seu framework de machine learning interage com as GPUs NVIDIA, o NCCL Core e os plug-ins NCCL/gIB do Google:

A carga de trabalho de ML é gerenciada por um framework de ML que se conecta às GPUs NVIDIA e à NCCL, enquanto a NCCL se conecta a várias ferramentas e plug-ins do Google.

Como os plug-ins do Google são carregados dinamicamente, é possível fazer upgrade do NCCL Core de forma independente para usar uma versão mais recente do CUDA ou atender aos requisitos do framework, desde que a versão do NCCL Core esteja no intervalo compatível. Para ver as versões compatíveis, consulte as tabelas de compatibilidade de versão nas notas da versão x86 e notas da versão ARM64.

Benefícios de usar NCCL/gIB

Embora seja possível usar a biblioteca de comunicações coletivas da NVIDIA upstream em VMs do Google Cloud sem problemas de estabilidade, o NCCL/gIB é mais otimizado para o Google Cloud , e a disparidade de desempenho pode ser muito significativa para determinados padrões de comunicação, mesmo com os mesmos parâmetros do NCCL.

Por exemplo, o gráfico a seguir mostra uma comparação do NCCL/gIB com o NCCL upstream no desempenho do AllReduce. O NCCL/gIB supera o NCCL upstream em até 12 vezes em determinados tamanhos de mensagem.

Um gráfico que mostra que o NCCL/gIB supera o NCCL upstream em tarefas AllReduce.

Desempenho do NCCL AllReduce de 32 nós usando o A3 Ultra (H200) sem tráfego em segundo plano.

Da mesma forma, em uma comparação da NCCL/gIB com a NCCL upstream no desempenho do AllGather com tráfego em segundo plano, a NCCL/gIB supera a NCCL upstream em aproximadamente 50% em tamanhos de mensagem maiores, como mostrado neste gráfico.

Um gráfico que mostra que o NCCL/gIB supera o NCCL upstream em tarefas AllGather.

Desempenho do NCCL AllGather de 32 nós usando o A3 Ultra (H200) em uma malha compartilhada com um plano de fundo ruidoso.

Além disso, o plug-in do criador de perfil do CoMMA fornece ao Google uma telemetria personalizada aprimorada, o que nos permite ajudar você melhor caso surja um problema no nível da carga de trabalho.

Instalar NCCL/gIB

Antes de executar os testes da NCCL, é necessário instalar a NCCL/gIB no ambiente de execução.

Usar NCCL/gIB

Para executar testes de NCCL/gIB no cluster, escolha na lista a seguir a página que melhor atende aos seus requisitos:

Para saber como executar NCCL/gIB em clusters do GKE que usam A5X, entre em contato com seu representante do Google Cloud .

Para saber como resolver problemas com o cluster depois de executar os testes, consulte Coletar e entender os registros da NCCL/gIB para solução de problemas.