이 문서에서는 AI 최적화 Compute Engine 인스턴스 또는 클러스터를 실행할 때 발생할 수 있는 알려진 문제를 설명합니다. 다른 문제 해결 리소스는 다음 가이드를 참조하세요.
- 컴퓨팅 인스턴스 관련 문제는 Compute Engine 알려진 문제를 참조하세요.
- 컴퓨팅 인스턴스 또는 클러스터를 만들 때
ZONE_RESOURCE_POOL_EXHAUSTED또는 용량 오류가 발생하면 리소스 가용성 오류 문제 해결을 참조하세요. - 예약을 사용하려고 할 때 발생하는 오류는 예약 사용 문제 해결을 참조하세요.
문제
다음 섹션에는 AI 하이퍼컴퓨터의 알려진 문제와 해결 방법이 나와 있습니다.
NVIDIA B200 GPU의 펌웨어 문제로 인한 A4 VM의 워크로드 중단
NVIDIA는 A4 가상 머신(VM) 인스턴스에서 사용하는 B200 GPU의 펌웨어 문제 두 가지를 확인했습니다. 이러한 문제로 인해 nvidia-smi 명령어가 응답하지 않는 등의 워크로드 중단이 발생할 수 있습니다. A4 VM에서 워크로드 중단이 발생하면 다음 조건 중 하나 이상이 충족되는지 확인합니다.
- VM의 업타임(
lastStartTimestamp)이 65일을 초과합니다. - 로그에
0x02a를 언급하는Xid 149오류 메시지가 표시됩니다.
이러한 조건 중 하나가 참이면 A4 VM에 연결된 GPU를 재설정해야 합니다. 펌웨어 문제로 인해 향후 워크로드가 중단되지 않도록 하려면 최소 60일마다 GPU를 재설정하는 것이 좋습니다. 자세한 내용은 GPU 재설정을 참조하세요.
메타데이터 서버에 이전 physicalHost 메타데이터가 표시될 수 있음
호스트 오류가 발생하거나 결함이 있는 호스트 보고 API를 사용하여 컴퓨팅 인스턴스를 새 호스트로 이동한 후 메타데이터 서버를 쿼리하면 컴퓨팅 인스턴스의 이전 호스트에 대한 physicalHost 메타데이터가 표시될 수 있습니다.
이 문제를 해결하려면 다음 방법 중 하나를 따르세요.
instances.get메서드 또는gcloud compute instances describe명령어를 사용하여 올바른physicalHost정보를 검색합니다.- 인스턴스를 중지한 후 시작합니다. 이 프로세스는 메타데이터 서버의
physicalHost정보를 업데이트합니다. - 영향을 받는 인스턴스의
physicalHost정보가 업데이트될 때까지 24시간 동안 기다립니다.