NCCL/gIB 로그 수집 및 이해

이 문서에서는 NCCL/gIB 로그를 수집하고 해석하여 AI 하이퍼컴퓨터의 안정성 및 성능 문제를 해결하는 방법을 설명하며, 다음을 수행하는 방법에 대한 안내를 포함합니다.

  • NCCL 로그를 수집합니다.
  • NCCL 로그 항목의 구조를 이해합니다.
  • NCCL/gIB 플러그인이 올바르게 로드되었는지 확인합니다.
  • NCCL 및 gIB 버전이 올바른지 확인합니다.
  • 일반적인 NCCL 경고 및 오류를 해결합니다.

NCCL 로그 수집

NVIDIA Collective Communications Library(NCCL) 로그를 사용하여 NCCL 오류를 디버깅할 수 있습니다. 안정성 또는 성능 디버깅의 경우 문제가 있는 워크로드를 실행하는 동안 모든 로깅 수준에서 NCCL 로그를 수집합니다. 로그 항목을 콘솔에 덤프하지 마세요. 로그 양이 너무 많으면 작업이 계속되지 않을 수 있습니다.

NCCL 로그를 수집하려면 다음 환경 변수를 설정합니다.

NCCL_DEBUG=INFO
NCCL_DEBUG_SUBSYS=INIT,ENV,GRAPH,NET,COLL,TUNING
NCCL_DEBUG_FILE=DESIRED_PATH/nccl_logs.VM_NAME.RANK_PROCESS_ID

다음을 바꿉니다.

DESIRED_PATH: 로그 파일을 저장할 경로입니다.

VM_NAME: VM 이름

RANK_PROCESS_ID: 순위의 프로세스 ID

NCCL 로그 형식

NCCL 로그는 다음과 비슷합니다.

# A sample log entry from NCCL core.
a3ultra-vm-0:606:642 [6] NCCL INFO Using network gIB

# A sample log entry from the gIB network plugin.
a3ultra-vm-0:606:642 [6] NCCL INFO NET/gIB : Initializing gIB v1.0.2

소스와 관계없이 NCCL 로그에는 다음과 유사한 프리픽스가 있습니다.

<VM name>:<pid>:<tid> [<GPU device ID>] <log level> <log content>

NCCL/gIB 플러그인이 올바르게 로드되었는지 확인

NCCL/gIB는 Google에서 개발한 여러 플러그인으로 구성됩니다. 플러그인을 로드하지 못하면 성능이 저하되고 경우에 따라 심각한 오류가 발생할 수 있습니다.

최신 기능, 최상의 성능, 최고의 안정성을 보장하려면 gIB 설치 프로그램과 함께 번들로 제공되는 NCCL을 사용하는 것이 좋습니다. 선택한 머신러닝 프레임워크와 함께 번들로 제공되는 NCCL 버전과 같이 테스트에 커스텀 NCCL 버전을 사용하려면 nccl-gib-plugins 패키지도 설치해야 합니다.

네트워크 플러그인(libnccl-net.so)

gIB 네트워크 플러그인이 올바르게 로드되면 다음과 유사한 NCCL 로그 항목이 표시됩니다.

... NCCL INFO Using network gIB

다음과 유사한 로그 항목이 표시되면 공유 객체를 로드할 수 없음 섹션의 단계를 사용하여 문제를 해결합니다.

# Cannot find the gIB network plugin.
... NCCL INFO NET/Plugin: Could not find: libnccl-net.so. Using internal network plugin.

# Using the built-in TCP plugin.
... NCCL INFO Using network Socket

# Using the built-in IB plugin.
... NCCL INFO Using network IB

튜너 플러그인(libnccl-tuner.so)

gIB 튜너 플러그인이 올바르게 로드되면 다음과 유사한 NCCL 로그 항목이 표시됩니다.

NCCL INFO TUNER/Plugin: Failed to find ncclTunerPlugin_v3 symbol.
NCCL INFO TUNER/Plugin: Using tuner plugin A3xTunerPlugin_v2

다음과 유사한 로그 항목이 표시되면 공유 객체를 로드할 수 없음 섹션의 단계를 사용하여 문제를 해결합니다.

NCCL INFO TUNER/Plugin: Failed to find ncclTunerPlugin_v2 symbol, using internal tuner instead.

CollNet 플러그인

이러한 로그 항목은 실패를 나타내지만 예상되는 현상이며 우려할 필요가 없습니다.

NCCL INFO NET/Plugin: Failed to find ncclCollNetPlugin_v8 symbol.
NCCL INFO NET/Plugin: Failed to find ncclCollNetPlugin symbol (>= v5). ncclCollNetPlugin symbols v4 and lower are not supported.

NCCL 및 gIB 버전 확인

최신 기능, 최상의 성능, 최고의 안정성을 보장하려면 gIB 설치 프로그램과 함께 번들로 제공되는 NCCL을 사용하는 것이 좋습니다. 하지만 테스트를 위해 커스텀 NCCL 버전(예: 선택한 머신러닝 프레임워크와 함께 번들로 제공되는 NCCL 버전)을 사용하도록 선택할 수 있습니다. 이 경우 nccl-gib-plugins 패키지를 설치합니다.

워크로드에서 사용하는 NCCL 및 gIB 버전을 확인하려면 NCCL 로그에서 다음 항목을 찾습니다.

# NCCL version.
... NCCL INFO NCCL version 2.23.4+cuda12.2

# gIB version.
... NCCL INFO NET/gIB : Initializing gIB v1.0.2

권장 버전을 실행 중인지 확인하려면 로깅된 NCCL 및 gIB 버전을 최신 nccl-gib 패키지에 번들로 제공되는 버전과 비교합니다. 모든 노드에서 nccl-gib를 업데이트된 상태로 유지하는 것이 좋습니다. 자세한 내용은 NCCL/gIB 설치를 참조하세요.

NCCL Core를 수동으로 업그레이드했거나 커스텀 NCCL Core 라이브러리로 nccl-gib-plugins를 설치한 경우 로깅된 NCCL 버전이 대상 버전과 일치하고 NET/gIB 플러그인이 초기화되는지 확인합니다.

# Target upgraded NCCL Core version, such as NCCL 2.28 or later.
... NCCL INFO NCCL version 2.28.3+cuda12.8

# gIB network plugin initializing alongside upgraded NCCL Core.
... NCCL INFO NET/gIB : Initializing gIB v1.1.2

로그에 업그레이드된 버전 대신 이전 번들 NCCL 버전이 표시되면 동적 링커가 여전히 /usr/local/gib/lib64 또는 /usr/local/gib/lib에서 libnccl.so.2를 로드하는 것입니다. 기존 설치에서 NCCL Core 업그레이드에 설명된 대로 번들로 묶인 libnccl.so* 파일을 삭제했는지 확인합니다.

NCCL/gIB 환경 변수 확인

우수한 NCCL 성능을 달성하기 위해 권장 NCCL 환경 변수를 설정하는 데 사용할 수 있는 스크립트가 제공됩니다. 워크로드를 실행하기 전에 워크로드와 동일한 환경에서 스크립트를 소싱합니다. NCCL/gIB 설치 프로그램 내에서 스크립트는 /usr/local/gib/set_nccl_env.sh에 있습니다. 이 스크립트를 사용하지 않아 NCCL 환경 변수가 잘못 설정되면 gIB NCCL 구성 검사기가 워크로드를 종료하거나 NCCL이 비정상 종료되거나 NCCL 성능이 저하될 수 있습니다.

NCCL/gIB 환경 변수가 올바르게 적용되었는지 확인하려면 다음과 비슷한 NCCL 로그 항목을 찾습니다.

# Explicitly set values.
... NCCL INFO NCCL_P2P_PCI_CHUNKSIZE set by environment to 131072.

# Using default values because the set value is invalid.
... NCCL INFO Invalid value INVALID_VALUE for NCCL_P2P_PCI_CHUNKSIZE, using default 131072.

다음 값을 권장 NCCL 환경 변수와 비교합니다.

GKE 워크로드 매니페스트 확인

GKE에서 Kubernetes 워크로드 매니페스트에는 NCCL/gIB를 원활하게 사용하기 위해 필요한 몇 가지 설정이 있습니다.

  • 매니페스트는 VM의 /home/kubernetes/bin/gib에서 워크로드 컨테이너의 /usr/local/gib로 NCCL/gIB 바이너리를 마운트해야 합니다. VM의 /home/kubernetes/bin/nvidia는 워크로드 컨테이너의 /usr/local/nvidia에 자동으로 마운트됩니다.
  • 워크로드 컨테이너는 LD_LIBRARY_PATH를 /usr/local/gib/lib64:/usr/local/nvidia/lib64로 설정해야 합니다.
  • 클러스터와 노드 풀에 GKE 멀티 네트워킹이 설정되어 있어야 하며, 워크로드 매니페스트에 멀티 네트워킹 주석이 포함되어 있어야 hostNetwork: true를 설정할 필요가 없습니다.

GKE의 실제 Kubernetes 워크로드 매니페스트는 다음과 유사합니다.

...
metadata:
  annotations:
    networking.gke.io/default-interface: 'eth0'
    networking.gke.io/interfaces: |
      [
        {"interfaceName":"eth0","network":"default"},
        {"interfaceName":"eth1","network":"gvnic-1"},
        {"interfaceName":"gpu0rdma0","network":"rdma-0"},
        {"interfaceName":"gpu1rdma0","network":"rdma-1"},
        {"interfaceName":"gpu2rdma0","network":"rdma-2"},
        {"interfaceName":"gpu3rdma0","network":"rdma-3"},
        {"interfaceName":"gpu4rdma0","network":"rdma-4"},
        {"interfaceName":"gpu5rdma0","network":"rdma-5"},
        {"interfaceName":"gpu6rdma0","network":"rdma-6"},
        {"interfaceName":"gpu7rdma0","network":"rdma-7"}
      ]
spec:
  volumes:
    - name: gib
      hostPath:
        path: /home/kubernetes/bin/gib
...
containers:
  - name: my-container
    volumeMounts:
      - name: gib
     mountPath: /usr/local/gib
    env:
      - name: LD_LIBRARY_PATH
        value: /usr/local/gib/lib64:/usr/local/nvidia/lib64
    resources:
      limits:
        nvidia.com/gpu: 8

GID 테이블 확인

RoCE에서 전역 식별자(GID) 테이블은 RDMA 트래픽을 고유하게 처리하는 데 사용됩니다. GID 테이블이 손상되면 RDMA 트래픽이 전달되지 않습니다.

GID 테이블을 표시하는 스크립트 show_gids.sh가 제공됩니다. 설치 프로그램에서는 /usr/local/gib/scripts에 있습니다. 수정 없이 설치 프로그램을 사용한 경우 VM의 /var/lib/gib/scripts에 설치됩니다.

VM에서 스크립트를 실행하면 다음과 비슷한 출력이 표시됩니다.

DEV     PORT  INDEX  GID                                      IPv4         VER  DEV
---     ----  -----  ---                                      ----         ---  ---
mlx5_0  1     0      fe80:0000:0000:0000:689c:b8ff:fedf:3b01               v1   gp0rdma0
mlx5_0  1     1      fe80:0000:0000:0000:689c:b8ff:fedf:3b01               v2   gp0rdma0
mlx5_0  1     2      0000:0000:0000:0000:0000:ffff:c0a8:0202  192.168.2.2  v1   gp0rdma0
mlx5_0  1     3      0000:0000:0000:0000:0000:ffff:c0a8:0202  192.168.2.2  v2   gp0rdma0
...

출력을 검토하고 다음을 확인합니다.

  • GID 테이블에 적절한 수의 항목이 있습니다.
    • A3 Ultra 또는 A4의 경우 CX-7당 항목 4개로 항목 32개
    • A3 Mega의 경우 CX-7당 항목 4개로 항목 32개
    • A3 High(GPU 8개)의 경우 CX-7당 항목 4개로 항목 16개
    • A4X의 경우 CX-7당 항목 4개로 항목 16개
  • 각 CX-7의 GID 항목에는 색인 0, 1, 2, 3이 있습니다.
  • 각 CX-7의 경우 색인 2와 3에 IPv4 주소가 있으며, 이 IP 주소는 해당 기기의 IPv4와 일치합니다(예: ip a).

이러한 항목 중 하나라도 거짓이면 GID 테이블이 손상된 것입니다. VM을 재부팅하거나 게스트 OS에서 네트워크 관리자를 다시 시작해 보세요.

NCCL 경고

NCCL 로그에는 여러 수준이 있으며 NCCL 경고(NCCL WARN)가 가장 심각합니다. NCCL 경고는 일반적으로 실패를 나타내며, 이는 치명적일 수도 있고 그렇지 않을 수도 있습니다. NCCL에는 워크로드를 자동으로 중지하는 로그 수준이 없습니다.

공유 객체를 로드할 수 없음

설정으로 인해 공유 객체를 로드할 수 없는 경우 다음 오류가 발생합니다.

error while loading shared libraries: libnccl.so.2: cannot open shared object file: No such file or directory

이 오류는 호환되는 NCCL Core 라이브러리를 설치하기 전에 수동 NCCL Core 업그레이드 중에 번들로 묶인 libnccl.so* 파일을 삭제하거나 라이브러리의 설치 디렉터리가 동적 링커 검색 경로에 없는 경우에도 발생합니다.

이 문제를 해결하려면 다음 단계를 따르세요.

  1. 공유 객체가 환경에 설치되어 있는지 확인합니다.
  2. 공유 객체가 포함된 디렉터리가 동적 링커 검색 경로 또는 $LD_LIBRARY_PATH 환경 변수에 있는지 확인합니다.

공유 객체에서 세그먼트를 매핑할 수 없습니다.

공유 객체의 디렉터리를 실행할 수 없는 경우 다음 오류가 발생합니다.

error while loading shared libraries: libnccl.so.2: failed to map segment from shared object: Operation not permitted

이 문제를 해결하려면 다음 명령어를 실행합니다. 이 예시에서는 gIB 바이너리가 VM의 /var/lib/gib에 설치되어 있다고 가정합니다.

sudo mount --bind /var/lib/gib /var/lib/gib
sudo mount -o remount,exec /var/lib/gib

게스트 구성 검사기에서 구성 파일을 찾을 수 없음

게스트 구성 검사기에서 사용할 구성 파일을 찾을 수 없는 경우 이와 같은 로그 항목이 표시됩니다.

... NCCL WARN cannot find config file at default paths; you must specify NCCL_SHIMNET_GUEST_CONFIG_CHECKER_CONFIG_FILE

... NCCL WARN NCCL_SHIMNET_GUEST_CONFIG_CHECKER_CONFIG_FILE does not exist: /path/to/guest_config.txtpb

이 문제를 해결하려면 NCCL_SHIMNET_GUEST_CONFIG_CHECKER_CONFIG_FILE 환경 변수를 guest_config.txtpb 위치를 가리키도록 설정하면 됩니다. NCCL/gIB 설치 프로그램의 구성 파일 기본 위치는 /usr/local/gib/configs/guest_config.txtpb입니다.

게스트 구성 검사기는 권장사항과 올바른 구성을 보장하는 데 도움이 되므로 사용 중지하지 않는 것이 좋습니다. 하지만 필요한 경우 환경 변수 NCCL_SHIMNET_SHIM_LAYERS를 UNUSED로 설정하여 게스트 구성 검사기를 사용 중지할 수 있습니다.

NCCL/gIB 환경 변수가 권장되는 대로 설정되지 않으면 다음 오류가 발생합니다.

# The guest Config Checker enforcing an environment variable.
# This ends the workload.
... NCCL WARN NCCL/NET (shim) mismatch enforced: NCCL_P2P_NVL_CHUNKSIZE=524288 (expected 262144)

# The guest Config Checker recommending an environment variable.
# This does not end the workload.
... NCCL WARN NCCL/NET (shim) mismatch recommended: NCCL_MAX_P2P_NCHANNELS=8 (expected unset)

문제 해결 방법은 다음과 같습니다.

  1. 게스트 구성 검사기 로그의 안내를 따릅니다.
  2. NCCL/gIB 환경 변수를 확인합니다.

튜너가 구성 파일을 찾을 수 없음

튜너 플러그인이 사용할 구성 파일을 찾을 수 없는 경우 다음 오류가 발생합니다.

... NCCL WARN No NCCL_TUNER_CONFIG_PATH provided. Please populate NCCL_TUNER_CONFIG_PATH to use config-based tuner plugin.

문제 해결 방법은 다음과 같습니다.

  1. 환경 변수 NCCL_TUNER_CONFIG_PATH을 tuner_config.txtpb 위치를 가리키도록 설정합니다. NCCL/gIB 설치 프로그램의 구성 파일 기본 위치는 /usr/local/gib/configs/guest_config.txtpb입니다.
  2. NCCL/gIB 환경 변수를 확인합니다.

glibc 버전이 충분하지 않음

배포 로컬 glibc 버전이 너무 오래된 경우 다음 오류가 발생합니다. 로컬 환경의 Linux 배포가 너무 오래되었기 때문일 수 있습니다. NCCL/gIB 바이너리에는 glibc 버전 2.29가 필요합니다.

/usr/lib/x86_64-linux-gnu/libc.so.6: version `GLIBC_2.34' not found (required by /usr/local/gib/lib64/libnccl.so.2)

이 문제를 해결하려면 이미지 배포를 업그레이드하세요(예: Ubuntu 20.04 이상, RockyLinux 9 이상).

메시지가 잘림

순위 간에 혼합된 NCCL 버전을 사용하면 다음 오류가 발생합니다. 예를 들어 클러스터의 노드 하위 집합에서만 NCCL Core를 업그레이드하여 업그레이드된 순위와 업그레이드되지 않은 순위 간에 통신 불일치가 발생하는 경우 이 오류가 발생합니다.

... NCCL WARN Message truncated : received ### bytes instead of ###

이 문제를 해결하려면 NCCL 및 gIB 버전을 확인하고 모든 클러스터 노드가 정확히 동일한 NCCL 버전을 실행하는지 확인합니다.

  • Compute Engine VM에서 수동 NCCL Core 업그레이드를 수행하는 경우 워크로드를 실행하기 전에 모든 노드에 업그레이드를 적용합니다.

  • GKE를 사용하는 경우 NCCL/gIB 설치 프로그램 DaemonSet을 확인하거나 다시 설치합니다. 자세한 내용은 A3 Ultra 및 A4 안내 또는 A4X 안내를 참조하세요.

libibverbs가 제공업체 구성을 로드할 수 없음

gIB 바이너리가 포함된 디렉터리를 /usr/local/gib에 마운트하지 않으면 다음 오류가 발생합니다. 이로 인해 워크로드 오류가 발생하지 않습니다. 하지만 NCCL은 TCP를 사용하도록 대체되며 성능이 저하될 수 있습니다.

libibverbs: Warning: couldn't open config directory '/usr/local/gib/rdma-core/build/etc/libibverbs.d'.

문제를 해결하려면 GKE를 사용하는 경우 워크로드 매니페스트를 확인하세요.

ibv_modify_qp 오류

gIB 네트워크 플러그인이 실제 네트워크 트랜잭션을 위해 QP를 준비할 때 여러 오류가 발생할 수 있습니다.

잘못된 인수(errno 22)

다음 오류는 다음 이유 중 하나로 인해 발생합니다.

  1. QP의 다른 쪽 끝에 손상된 GID 테이블이 있습니다.
  2. NCCL/gIB 환경 변수, 특히 NCCL_IB_GID_INDEX, NCCL_IB_TC, NCCL_IB_FIFO_TC가 잘못 구성되었습니다.
... NCCL WARN Call to ibv_modify_qp failed with error Invalid argument errno 22

문제 해결 방법은 다음과 같습니다.

  1. 서명 No data available error 61이 있는 다른 ibv_modify_qp 오류를 찾아 오류 61의 완화 안내를 따릅니다.
  2. NCCL/gIB 환경 변수를 확인합니다.

사용 가능한 데이터 없음(errno 61)

다음 오류는 다음 이유 중 하나로 인해 발생합니다.

  1. 이 VM에 손상된 GID 테이블이 있습니다.
  2. NCCL/gIB 환경 변수, 특히 NCCL_IB_GID_INDEX, NCCL_IB_TC, NCCL_IB_FIFO_TC가 잘못 구성되었습니다.
... NCCL WARN Call to ibv_modify_qp failed with error No data available errno 61

문제를 해결하려면 먼저 원인을 확인하세요.

  1. GID 표 확인
  2. NCCL/gIB 환경 변수를 확인합니다.

GID 테이블이 손상된 경우 다음 완화 조치를 시도해 보세요.

  1. (단기) 문제가 있는 인터페이스의 IP 주소가 새로고침될 때까지 VM에서 네트워크 관리자(예: networkd)를 다시 시작합니다.
    1. sudo systemctl restart systemd-networkd를 사용하여 VM에서 networkd를 다시 시작할 수 있습니다.
    2. ip a를 사용하여 모든 인터페이스의 IP 주소를 확인할 수 있습니다.
    3. GID 테이블이 복구되었는지 확인합니다.
  2. 장기적인 해결책에 대한 지원이 필요하면 Google 지원팀에 문의하세요.

연결 시간 초과(errno 110)

VM 간에 기본 연결 문제가 있으면 다음 오류가 발생합니다.

... NCCL WARN Call to ibv_modify_qp failed with error Connection timed out errno 110

문제를 해결하려면 Google 지원팀에 문의하여 도움을 받으세요.

QP Got Completion with Error

다음 오류는 다음 이유 중 하나로 인해 발생합니다.

  1. 기본 RDMA 연결 문제(링크 플랩 등)
  2. NCCL/gIB 환경 변수, 특히 NCCL_IB_TIMEOUT 및 NCCL_IB_RETRY_CNT가 잘못 구성되었습니다.
... NCCL WARN NET/gIB : Got completion from peer 192.168.0.9<55224> with status=12 opcode=0 len=0 vendor err 129 (Recv) localGid ::ffff:192.168.3.6 remoteGids::ffff:192.168.3.9

문제를 해결하려면 Google 지원팀에 문의하여 도움을 받으세요.