Neste documento, explicamos como gerar um relatório de bugs abrangente de GPU para VMs do Compute Engine e nós do Google Kubernetes Engine (GKE) que usam GPUs NVIDIA Blackwell e arquiteturas posteriores. Para identificar qual modelo de GPU seu tipo de máquina usa, consulte Modelos de GPU.
Para as arquiteturas de GPU NVIDIA Blackwell e posteriores, o script padrão
nvidia-bug-report.sh
não captura todos os dados de hardware e malha de baixo nível necessários
para resolver problemas como
erros de Xid de GPU
ou degradação de desempenho de vários nós. Um relatório de bugs de GPU abrangente inclui
os seguintes dados de diagnóstico:
- Diagnóstico padrão de GPU e sistema: estado da GPU, registros de driver, informações de barramento PCI e registros de kernel de
nvidia-bug-report.sh, além de topologia de interconexão de GPU, NIC e CPU, estatísticas de E/S de armazenamento e status de dispositivo e porta RDMA (útil para tipos de máquina com links de NIC NVIDIA ConnectX). - Dados das ferramentas de firmware da NVIDIA (MFT): nas GPUs Blackwell e posteriores,
o
nvidia-bug-report.shusa o MFT da NVIDIA para coletar o status da camada física das conexões NVLink, os valores de registro interno da GPU e os segmentos de diagnóstico brutos do firmware. - Diagnóstico de domínio do NVIDIA IMEX: os tipos de máquina NVLink de vários nós, como A4X e A4X Max, dependem do daemon NVIDIA Internode Memory Exchange (IMEX) para gerenciar o domínio NVLink de vários nós. Para diagnosticar problemas de domínio do NVLink, é necessário o status do domínio do IMEX nos nós e os registros do daemon do IMEX.
Antes de começar
Para ver todos os pré-requisitos e instruções de configuração, consulte o README do relatório de bugs da GPU. A lista a seguir resume os pré-requisitos:
- Verifique se o driver da GPU NVIDIA está instalado na VM do Compute Engine ou no nó do GKE.
- Nas VMs do Compute Engine, configure o Docker para autenticar no Artifact Registry para que ele possa extrair a imagem do contêiner do coletor.
- Opcional: em VMs do Compute Engine que executam um SO que não é COS (por exemplo,
Ubuntu, Debian ou um SO da família RHEL), instale e configure o NVIDIA
Container Toolkit para Docker. Se o kit de ferramentas não estiver disponível,
o
run-goog-gpu-bug-report.shtentará montar os diretórios do driver NVIDIA do host. - Opcional: para fazer upload do relatório de bugs em um bucket do Cloud Storage, verifique se a conta de serviço da VM ou do nó do GKE tem acesso de gravação ao bucket.
Gerar um relatório de bugs abrangente da GPU
Use o
Coletor de relatórios de bugs de Cloud GPUs do Google Cloud
de código aberto para coletar todos os registros de diagnóstico anteriores em um único comando no
Container-Optimized OS (COS) e em outras distribuições do Linux, incluindo
Ubuntu, Debian e sistemas operacionais convidados da família RHEL (como o Rocky Linux),
em instâncias x86 (linux/amd64) e Arm (linux/arm64).
Como os módulos do kernel do MFT são processados
Para GPUs Blackwell e posteriores, o coletor instala automaticamente as ferramentas de espaço do usuário do MFT
no contêiner e processa os módulos do kernel do MFT
(mst_pci e mst_pciconf) com base no sistema operacional convidado:
- Container-Optimized OS (COS): faz o download e carrega os módulos do kernel do MFT pré-compilados e assinados pelo COS que correspondem à versão do kernel do COS em execução.
- Outras distribuições do Linux (incluindo Ubuntu, Debian e sistemas operacionais da família RHEL): tenta criar e carregar os módulos do kernel do MFT da origem usando o DKMS com os cabeçalhos do kernel em execução do host.
- Fallback automático sem driver: no COS e em outras distribuições do Linux, se o carregamento ou a criação dos módulos do kernel do MFT falhar, o coletor vai voltar automaticamente para o modo MFT sem driver, que ainda coleta os diagnósticos do NVLink da GPU pelo driver da NVIDIA.
Executar o coletor
Execute o coletor para seu ambiente:
Em uma VM do Compute Engine: faça o download e execute
run-goog-gpu-bug-report.sh:bash run-goog-gpu-bug-report.shPara também fazer upload do arquivo
.tar.gzgerado para um bucket do Cloud Storage, transmita--gcs_bucketdepois de--:bash run-goog-gpu-bug-report.sh -- --gcs_bucket=BUCKET_NAMEEm um cluster do GKE: atualize
GKE_NODE_NAMEeNUMBER_OF_GPUSembug-report-pod.yamle aplique o manifesto do pod (consulte o README para mais detalhes):kubectl apply -f bug-report-pod.yaml
Sinalizações do coletor e local de saída
Por padrão, o coletor grava os arquivos de diagnóstico individuais e os agrupa em um único arquivo no seguinte caminho na VM do host:
/tmp/goog_gpu_bug_reports/utc_TIMESTAMP/vm_id_VM_ID/goog_gpu_bug_report_VM_ID_utc_TIMESTAMP.tar.gz
É possível transmitir as seguintes flags do coletor (depois de -- ao usar
run-goog-gpu-bug-report.sh):
| Flag do coletor | Descrição |
|---|---|
--gcs_bucket=BUCKET_NAME |
Faz upload do arquivo de relatório de bugs .tar.gz agrupado para o bucket do Cloud Storage especificado (gs://BUCKET_NAME/bug_report/utc_TIMESTAMP/vm_id_VM_ID/). |
--mft_kernel_modules=auto |
Padrão. Tenta carregar módulos do kernel MFT (módulos assinados pelo COS no COS ou build DKMS em outras distribuições do Linux) e volta automaticamente para o MFT sem driver se o carregamento do módulo falhar. |
--mft_kernel_modules=never |
Ignora a criação ou o carregamento de módulos do kernel do MFT no host (e os descarrega se já estiverem carregados), executando o MFT no modo sem driver. |
Por exemplo, para executar o MFT no modo sem driver sem carregar módulos do kernel no host e fazer upload do relatório em um bucket do Cloud Storage:
bash run-goog-gpu-bug-report.sh -- --mft_kernel_modules=never --gcs_bucket=BUCKET_NAME
Para comandos docker run diretos, builds de imagens personalizadas e instruções sobre como verificar a saída do MFT dentro de nvidia-bug-report.log.gz, consulte o README do coletor.