Genera una segnalazione di bug per le GPU Blackwell e successive

Questo documento spiega come generare una segnalazione di bug completa della GPU per le VM di Compute Engine e i nodi Google Kubernetes Engine (GKE) che utilizzano GPU NVIDIA Blackwell e architetture successive. Per identificare il modello di GPU utilizzato dal tipo di macchina, consulta Modelli di GPU.

Per le architetture GPU NVIDIA Blackwell e successive, lo script nvidia-bug-report.sh standard non acquisisce tutti i dati hardware e fabric di basso livello necessari per risolvere i problemi come gli errori Xid della GPU o il peggioramento delle prestazioni multinodo. Una segnalazione di bug completa sulla GPU include i seguenti dati diagnostici:

  • Diagnostica standard della GPU e del sistema: stato della GPU, log dei driver, informazioni sul bus PCI e log del kernel di nvidia-bug-report.sh, insieme alla topologia di interconnessione di GPU, NIC e CPU, alle statistiche di I/O dello spazio di archiviazione e allo stato dei dispositivi e delle porte RDMA (utile per i tipi di macchine con link NIC NVIDIA ConnectX).
  • Dati di NVIDIA Firmware Tools (MFT): sulle GPU Blackwell e successive, nvidia-bug-report.sh utilizza NVIDIA MFT per raccogliere lo stato del livello fisico delle connessioni NVLink, i valori dei registri GPU interni e i segmenti di diagnostica non elaborati dal firmware.
  • Diagnostica del dominio NVIDIA IMEX: i tipi di macchine NVLink multi-nodo, come A4X e A4X Max, si basano sul daemon NVIDIA Internode Memory Exchange (IMEX) per gestire il dominio NVLink multi-nodo. La diagnosi dei problemi del dominio NVLink richiede lo stato del dominio IMEX tra i nodi e i log del daemon IMEX.

Prima di iniziare

Per i prerequisiti completi e le istruzioni di configurazione, consulta il file README della segnalazione di bug della GPU. Il seguente elenco riepiloga i prerequisiti:

  • Assicurati che il driver GPU NVIDIA sia installato sulla VM Compute Engine o sul nodo GKE.
  • Sulle VM di Compute Engine, configura Docker per l'autenticazione in Artifact Registry in modo che Docker possa eseguire il pull dell'immagine container del raccoglitore.
  • (Facoltativo) Sulle VM di Compute Engine che eseguono un sistema operativo non COS (ad esempio Ubuntu, Debian o un sistema operativo della famiglia RHEL), installa e configura NVIDIA Container Toolkit per Docker. Se il toolkit non è disponibile, run-goog-gpu-bug-report.sh tenta di montare le directory dei driver NVIDIA dell'host.
  • (Facoltativo) Per caricare la segnalazione di bug in un bucket Cloud Storage, verifica che il account di servizio della VM o del nodo GKE abbia accesso in scrittura al bucket.

Genera una segnalazione di bug della GPU completa

Utilizza lo strumento open source Google Cloud GPU Bug Report Collector per raccogliere tutti i log di diagnostica precedenti in un unico comando su Container-Optimized OS (COS) e altre distribuzioni Linux, inclusi Ubuntu, Debian e i sistemi operativi guest della famiglia RHEL (come Rocky Linux), sia su istanze x86 (linux/amd64) che Arm (linux/arm64).

Modalità di gestione dei moduli kernel MFT

Per le GPU Blackwell e successive, l'agente di raccolta installa automaticamente gli strumenti dello spazio utente MFT all'interno del container e gestisce i moduli kernel MFT (mst_pci e mst_pciconf) in base al sistema operativo guest:

  • Container-Optimized OS (COS): scarica e carica i moduli kernel MFT precompilati e firmati da COS che corrispondono alla versione kernel COS in esecuzione.
  • Altre distribuzioni Linux (tra cui Ubuntu, Debian e sistemi operativi della famiglia RHEL): tenta di creare e caricare i moduli kernel MFT dall'origine utilizzando DKMS con le intestazioni del kernel in esecuzione dell'host.
  • Fallback automatico senza driver: sia su COS che su altre distribuzioni Linux, se il caricamento o la creazione dei moduli kernel MFT non va a buon fine, l'agente di raccolta torna automaticamente alla modalità MFT senza driver, che raccoglie comunque la diagnostica NVLink della GPU tramite il driver NVIDIA.

Esegui il raccoglitore

  1. Connettiti all'istanza GPU Linux.

  2. Esegui il raccoglitore per il tuo ambiente:

    • Su una VM di Compute Engine: scarica ed esegui run-goog-gpu-bug-report.sh:

      bash run-goog-gpu-bug-report.sh
      

      Per caricare anche l'archivio .tar.gz generato in un bucket Cloud Storage, passa --gcs_bucket dopo --:

      bash run-goog-gpu-bug-report.sh -- --gcs_bucket=BUCKET_NAME
      
    • Su un cluster GKE: aggiorna GKE_NODE_NAME e NUMBER_OF_GPUS in bug-report-pod.yaml e applica il manifest del pod (per i dettagli, consulta il README):

      kubectl apply -f bug-report-pod.yaml
      

Flag del raccoglitore e posizione di output

Per impostazione predefinita, l'agente di raccolta scrive i singoli file di diagnostica e li raggruppa in un unico archivio nel seguente percorso sulla VM host:

/tmp/goog_gpu_bug_reports/utc_TIMESTAMP/vm_id_VM_ID/goog_gpu_bug_report_VM_ID_utc_TIMESTAMP.tar.gz

Puoi passare i seguenti flag del raccoglitore (dopo -- quando utilizzi run-goog-gpu-bug-report.sh):

Flag del raccoglitore Descrizione
--gcs_bucket=BUCKET_NAME Carica l'archivio di segnalazioni di bug .tar.gz in bundle nel bucket Cloud Storage specificato (gs://BUCKET_NAME/bug_report/utc_TIMESTAMP/vm_id_VM_ID/).
--mft_kernel_modules=auto Predefinito. Tenta di caricare i moduli kernel MFT (moduli firmati da COS su COS o build DKMS su altre distribuzioni Linux) e torna automaticamente all'MFT senza driver se il caricamento del modulo non va a buon fine.
--mft_kernel_modules=never Salta la creazione o il caricamento dei moduli kernel MFT sull'host (e li scarica se sono già caricati), eseguendo MFT in modalità senza driver.

Ad esempio, per eseguire MFT in modalità senza driver senza caricare i moduli kernel sull'host e caricare il report in un bucket Cloud Storage:

bash run-goog-gpu-bug-report.sh -- --mft_kernel_modules=never --gcs_bucket=BUCKET_NAME

Per i comandi docker run diretti, le build di immagini personalizzate e le istruzioni su come verificare l'output MFT all'interno di nvidia-bug-report.log.gz, consulta il file README del raccoglitore.