Risoluzione dei problemi relativi alle VM GPU

Questa guida descrive come diagnosticare e risolvere i problemi comuni relativi alle VM di Compute Engine con GPU collegate, inclusi errori hardware e colli di bottiglia delle prestazioni. Se si verificano errori ZONE_RESOURCE_POOL_EXHAUSTED o altri errori di capacità durante la creazione di VM GPU, consulta Risolvi gli errori di disponibilità delle risorse o Risolvi i problemi relativi all'utilizzo della prenotazione.

Risoluzione dei problemi delle VM GPU tramite NVIDIA DCGM

NVIDIA Data Center GPU Manager (DCGM) è una suite di strumenti per la gestione e il monitoraggio delle GPU per data center NVIDIA in ambienti cluster.

Per utilizzare DCGM per risolvere i problemi nel tuo ambiente GPU, completa quanto segue:

  • Assicurati di utilizzare il driver NVIDIA consigliato più recente per il modello di GPU collegato alla tua VM. Per rivedere le versioni dei driver, consulta Versioni consigliate dei driver NVIDIA.
  • Verifica di aver installato l'ultima versione di DCGM. Per installare l'ultima versione, consulta Installazione di DCGM.

Diagnostica dei problemi

Quando esegui un comando di diagnostica per dcgmi, i problemi segnalati dallo strumento di diagnostica includono i passaggi successivi per agire e risolvere il problema. L'esempio riportato di seguito mostra l'output su cui agire del comando dcgmi diag -r memory -j.

{
  ........
   "category":"Hardware",
   "tests":[
      {
         "name":"GPU Memory",
         "results":[
            {
               "gpu_id":"0",
               "info":"GPU 0 Allocated 23376170169
bytes (98.3%)",
               "status":"Fail",
               ""warnings":[
                  {
                     "warning":"Pending page
retirements together with a DBE were detected on GPU 0. Drain the GPU and reset it or reboot the node to resolve this issue.",
                     "error_id":83,
                     "error_category":10,
                     "error_severity":6
                  }
               ]
            }
  .........

Dallo snippet di output precedente, puoi vedere che GPU 0 ha ritiri di pagina in sospeso causati da un errore che non può essere corretto. L'output ha fornito il error_id univoco e consigli per eseguire il debug del problema. Per questo output di esempio, ti consigliamo di scaricare la GPU e riavviare la VM. Nella maggior parte dei casi, seguire le istruzioni riportate in questa sezione dell'output può contribuire a risolvere il problema.

Risolvi i problemi di prestazioni della GPU per le VM A3

La serie di macchine A3 è disponibile con GPU NVIDIA H200 o H100 collegate. Questa serie include i tipi di macchina A3 Ultra (H200), A3 Mega (H100), A3 High (H100) e A3 Edge (H100).

Identifica un nodo difettoso

I job di addestramento o benchmark su larga scala su un cluster GPU multi-nodo possono smettere di rispondere o avere prestazioni scadenti. Questo accade spesso perché uno o più nodi hanno prestazioni inferiori e rallentano l'intera operazione. Questa sezione descrive come identificare un nodo o un host difettoso eseguendo un test di benchmark NCCL o analizzando i log NCCL.

Esegui il test di benchmark NCCL

Per identificare il gruppo di nodi che causa l'errore, testa sistematicamente i sottoinsiemi del cluster utilizzando benchmark NCCL come all_reduce_perf.

  1. Per identificare i set di nodi, raggruppa i nodi in set logici, ad esempio partizioni in Slurm.
  2. Per creare i file host, crea un file host separato per ogni set di nodi, elencando i nomi host e il numero di GPU per nodo. Il numero di slot che specifichi dipende dal numero di GPU del tipo di VM A3. Ad esempio, le VM a3-highgpu-8g hanno 8 GPU, quindi devi specificare slots=8.
  3. Per eseguire i benchmark, esegui il benchmark all_reduce_perf su ogni nodeset singolarmente.
    mpirun -x LD_LIBRARY_PATH --hostfile HOSTFILE_NAME -n TOTAL_PROCESSES \
        ./build/all_reduce_perf -b 1G -e 8G -f 2 -g NUM_GPUS_PER_NODE
              

    Sostituisci quanto segue:

    • HOSTFILE_NAME: il nome del file host che contiene l'elenco dei nodi e il numero di GPU per nodo per il set di nodi.
    • TOTAL_PROCESSES: il numero totale di processi MPI da avviare su tutti gli host nel set di nodi.
    • NUM_GPUS_PER_NODE: il numero di GPU per nodo. Per tutti i tipi di macchine A3, questo valore è 8.
  4. Per analizzare i risultati, se un job si blocca o mostra una larghezza di banda del bus (busbw) significativamente inferiore su un determinato set di nodi, è probabile che quel set sia difettoso.
  5. Per la suddivisione, se un set di nodi è difettoso, dividi il suo file host a metà e ripeti il test per restringere la ricerca binaria fino a individuare il singolo nodo con un comportamento anomalo.

Analizza i log NCCL

Se il metodo di benchmark non individua un nodo, analizza i log NCCL dettagliati.

  1. Per attivare il logging di debug, imposta le seguenti variabili di ambiente nella sessione della shell in cui prevedi di eseguire il workload:
    export NCCL_DEBUG=INFO
            export NCCL_DEBUG_SUBSYS=INIT,NET,COLL
            export NCCL_DEBUG_FILE="LOG_DIRECTORY/nccl_log.%h.%p"
            

    Sostituisci LOG_DIRECTORY con la directory in cui vuoi archiviare i log.

    L'impostazione di NCCL_DEBUG_FILE con %h e %p crea file di log univoci e non intercalati per ogni processo.

    Se esegui un workload multi-nodo utilizzando mpirun, propaga queste variabili a tutti i nodi utilizzando il flag -x. Ad esempio:

    mpirun -x NCCL_DEBUG -x NCCL_DEBUG_SUBSYS -x NCCL_DEBUG_FILE ...
              
  2. Per trovare il primo errore, utilizza il seguente comando per trovare i primi eventi di timeout o errore in tutti i file di log:
    grep "NCCL WARN.*NET/FasTrak" LOG_DIRECTORY/* | sed 's/.*NET\/FasTrak\(.*\)/\1/g' \
      | sort | head -n 20
              

    Sostituisci LOG_DIRECTORY con la directory in cui sono archiviati i log.

  3. Per conteggiare le operazioni collettive, un nodo ritardatario completa meno operazioni collettive. Conteggio di "opCount" voci per i ranking sospetti:
    grep "opCount" LOG_DIRECTORY/nccl_log.HOSTNAME.PID | wc -l
              

    Sostituisci quanto segue:

    • LOG_DIRECTORY: la directory in cui sono archiviati i log
    • HOSTNAME: il nome host del nodo
    • PID: l'ID di processo del processo NCCL
  4. Per raccogliere più dati di logging prima che un job venga interrotto, aumenta temporaneamente il timeout del trasferimento di dati:
    export NCCL_FASTRAK_DATA_TRANSFER_TIMEOUT_MS=3600000
            

Monitora la limitazione termica della GPU

Le VM della serie A3 possono subire un peggioramento delle prestazioni se raggiungono costantemente temperature superiori a 87 °C sotto carico. Per verificare la presenza di limitazione termica della GPU tra i nodi di un cluster, utilizza nvidia-smi o dcgmi.

Utilizzo di nvidia-smi

Per controllare la temperatura attuale e lo stato di throttling di tutte le GPU su un nodo, esegui questo comando:

nvidia-smi --query-gpu=timestamp,name,pci.bus_id,temperature.gpu,clocks_throttle_reasons.hw_slowdown --format=csv
    

Nell'output, un valore Active nella colonna clocks_throttle_reasons.hw_slowdown indica che la GPU è in fase di limitazione a causa di temperature elevate.

Utilizzo di dcgmi

La suite di diagnostica NVIDIA Data Center GPU Manager (DCGM) include controlli per le violazioni termiche. Per eseguire un test diagnostico di livello 1, esegui questo comando:

dcgmi diag -r 1

Un risultato di Warn o Fail nella sezione Thermal indica che si è verificata una violazione termica durante il test. Se una violazione termica è accompagnata da una limitazione della frequenza di clock, è probabile che la GPU si stia surriscaldando e richieda ulteriori indagini.

Errori Xid

Dopo aver creato una VM con GPU collegate, devi installare i driver di dispositivo NVIDIA sulle VM GPU per consentire alle applicazioni di accedere alle GPU. Tuttavia, a volte questi driver restituiscono messaggi di errore.

Un messaggio Xid è una segnalazione di errore del driver NVIDIA stampato nel log del kernel o nel log eventi del sistema operativo della VM Linux. Questi messaggi vengono inseriti nel file /var/log/messages. Per ulteriori informazioni sui messaggi Xid, incluse le potenziali cause, consulta la documentazione NVIDIA.

In che modo Google gestisce gli errori Xid

Google utilizza i controlli di integrità passivi per valutare i sistemi GPU. Se è indicata la sostituzione dell'hardware, Google avvia automaticamente la manutenzione di emergenza. Google rileva gli errori Xid e invia in modo proattivo le macchine in riparazione quando i codici di errore indicano un'alta probabilità di guasto hardware, ad esempio Xid 74, 79 e 140. Per alcuni codici Xid, poiché possono essere causati da problemi software o hardware, Google utilizza la corrispondenza di pattern per attivare le riparazioni, pertanto non tutte le occorrenze comportano una riparazione automatica.

Tipi di errori Xid

Il seguente elenco descrive le tre categorie principali di errori Xid e le azioni di recupero consigliate:

  • Errori dell'applicazione: indicano problemi all'interno del codice dell'applicazione. Gli errori dell'applicazione includono Xid come Xid 13, 31, 94, 95 e 137, che indicano vari tipi di violazione dell'accesso alla memoria, simili a un errore di segmentazione. Questi non indicano un errore ECC. Per risolvere questi errori, NVIDIA consiglia di utilizzare uno dei seguenti approcci di debug:

    • Debug diretto: esegui l'applicazione direttamente in cuda-gdb o esegui lo strumento memcheck Compute Sanitizer.
    • Debug post-eccezione: esegui l'applicazione con CUDA_DEVICE_WAITS_ON_EXCEPTION=1. Quando si verifica un'eccezione, il driver della GPU blocca lo stato dell'applicazione senza uscire, in modo da poter collegare un debugger in un secondo momento (cuda-gdb -p <PID>) per ispezionare l'analisi dello stack in tempo reale.
  • Errori del driver: indicano problemi causati dal driver della GPU NVIDIA. Per risolvere questi errori, assicurati di utilizzare l'ultima versione del driver NVIDIA. Google monitora questi errori e collabora con NVIDIA per le correzioni dei driver.

  • Errori recuperabili del firmware o dell'hardware: indicano errori del firmware o dell'hardware che consentono il recupero senza sostituzione dell'hardware. Per risolvere questi errori, applica misure di recupero manuali, come la reimpostazione della GPU o il riavvio dell'istanza. Gli errori recuperabili del firmware o dell'hardware includono gli errori del codice di correzione degli errori (ECC) (applicabili a Xid come Xid 48, 63 e 64) che indicano varie fasi di rilevamento e mitigazione degli errori ECC. Per ulteriori informazioni sul ritiro delle pagine e sulla mitigazione degli errori ECC, consulta le domande frequenti sul ritiro dinamico delle pagine di NVIDIA.

Esamina i messaggi Xid

Per diagnosticare rapidamente il motivo per cui un workload GPU non è riuscito, ha smesso di rispondere o ha subito un peggioramento delle prestazioni, controlla i log del kernel dell'istanza (dmesg o /var/log/kern.log) per verificare la presenza di codici di errore NVIDIA Xid numerici.

La revisione delle tabelle degli errori Xid nelle sottosezioni seguenti ti aiuta immediatamente a:

  • Individua la causa principale: identifica se l'errore è causato da un bug dell'applicazione (ad esempio un accesso alla memoria non valido), un conflitto di driver o un errore hardware fisico (ad esempio errori di memoria ECC a doppio bit).
  • Determina la proprietà operativa: verifica quali misure di recupero manuale immediato devi applicare, ad esempio il reset delle GPU, il riavvio delle VM o l'esecuzione di debugger, rispetto alle azioni di riparazione automatica e sostituzione dell'hardware che Google gestisce attivamente sull'host.
  • Segui i passaggi di recupero corretti: evita procedure di risoluzione dei problemi non necessarie e scopri esattamente quando è sufficiente il recupero manuale e quando invece devi segnalare l'host come difettoso. A volte, il recupero manuale non è sufficiente, ad esempio se l'origine dell'errore si trova nella cache della GPU (SRAM), che non può essere rimappata, indicata da Xid 48 con SRAM Threshold Exceeded=Yes, o se la GPU ha esaurito il banco di rimappatura, indicato da Xid 64: All reserved rows for bank are remapped. In questi casi, Google rileva che la GPU è idonea alla sostituzione dell'hardware e invia in modo proattivo la macchina in riparazione. Se i tuoi workload riscontrano errori ricorrenti o se osservi errori di memoria ripetuti, puoi segnalare l'host difettoso per avviare la riparazione o la sostituzione automatica. Per GKE, consulta Come segnalare host difettosi in GKE.

Gestione degli Xid

Le sezioni seguenti raggruppano i messaggi di errore Xid comuni per categoria tecnica, insieme alle relative soluzioni e responsabilità:

Errori di memoria GPU

La memoria GPU è la memoria disponibile su una GPU che può essere utilizzata per l'archiviazione temporanea dei dati. La memoria della GPU è protetta con il codice di correzione degli errori (ECC), che rileva e corregge gli errori a singolo bit (SBE) e rileva e segnala gli errori non correggibili a doppio bit (DBE).

Questi errori di memoria dovrebbero verificarsi nel corso della durata di una GPU. Prima del rilascio delle GPU NVIDIA A100, era supportato il ritiro delle pagine dinamiche. Per le versioni delle GPU NVIDIA A100 e successive (ad esempio NVIDIA H100), viene introdotto il recupero degli errori di rimappatura delle righe per gli errori HBM (DRAM). ECC è attivo per impostazione predefinita e Google consiglia vivamente di mantenerlo attivo.

La tabella seguente elenca gli errori comuni relativi alla memoria della GPU e le relative soluzioni suggerite:

Messaggio di errore Xid Azione del cliente Azione di Google
Xid 48: Double Bit ECC

ECC ha rilevato un errore di memoria a doppio bit (non correggibile). Questo errore interrompe sempre il workload in esecuzione e genera l'errore Xid 48.

  1. Interrompi i workload.
  2. A seconda dell'ambiente, reimposta le GPU o riavvia la VM per recuperare e riprendere i workload:

Google monitora quando la GPU è idonea per la sostituzione dell'hardware, ad esempio se il banco di rimappatura HBM è esaurito o se la GPU supera la soglia di errore SRAM per la sua durata, e invia in modo proattivo la macchina in riparazione per sostituire la GPU.

Xid 63: ECC page retirement or row remapping recording event

Indica che è stato registrato un evento di ritiro dinamico della pagina o di rimappatura delle righe a causa di un errore di memoria.

  1. Interrompi i workload.
  2. A seconda dell'ambiente, reimposta le GPU o riavvia la VM per recuperare e riprendere i workload:

Google monitora le soglie di errore e invia la macchina in riparazione quando la GPU richiede una riparazione o una sostituzione fisica.

Xid 64: ECC page retirement or row remapper recording failure

Il messaggio contiene le seguenti informazioni:

Xid 64: All reserved rows for bank are remapped
  1. Interrompi i workload.
  2. A seconda dell'ambiente, reimposta le GPU o riavvia la VM per recuperare e riprendere i workload:

Quando il banco di rimappatura è esaurito (All reserved rows for bank are remapped), Google rileva che la GPU è idonea per la sostituzione dell'hardware e invia in modo proattivo la macchina in riparazione.

Se ricevi almeno due dei seguenti messaggi Xid contemporaneamente:

  • Xid 48
  • Xid 63
  • Xid 64

Il messaggio contiene le seguenti informazioni:

Xid XX: row remap pending
  1. Interrompi i workload.
  2. A seconda dell'ambiente, reimposta le GPU o riavvia la VM per recuperare e riprendere i workload:

Google invia la macchina in riparazione se il banco di rimappatura è esaurito o quando la GPU richiede una riparazione o una sostituzione fisica.

Xid 92: High single-bit ECC error rate Questo messaggio Xid viene restituito dopo che il driver della GPU ha corretto un errore che poteva essere corretto e non dovrebbe influire sui tuoi workload. Questo messaggio Xid è solo a scopo informativo. Non è richiesto alcun intervento.

Nessuno

Xid 94: Contained error

Indica che si è verificato un errore della GPU e se l'errore era contenuto in una singola applicazione.

Da solo, l'errore Xid 94 non indica la causa principale dell'errore; deve essere interpretato insieme ad altri errori Xid concomitanti per determinare la causa fondamentale.

  1. Poiché l'errore era contenuto in una singola applicazione, riavvia l'applicazione per eseguire il ripristino.
  2. Se necessario, ripristina le GPU o interrompi i workload.
  3. Esamina altri errori Xid concomitanti per ulteriori passaggi di recupero e per determinare la causa principale.

Nessuno

Xid 95: Uncontained error

Indica che si è verificato un errore della GPU che non è stato limitato a una singola applicazione.

Da solo, Xid 95 non indica la causa principale dell'errore; deve essere interpretato insieme ad altri errori Xid concomitanti per determinare la causa fondamentale.

  1. Poiché l'errore non è stato contenuto, interrompi i workload e reimposta le GPU o riavvia la VM per eseguire il recupero.
  2. Esamina altri errori Xid concomitanti per determinare la causa principale sottostante e ulteriori passaggi di ripristino.

Nessuno

Errori GSP

Un processore di sistema GPU (GSP) è un microcontrollore che funziona sulle GPU e gestisce alcune delle funzioni di gestione dell'hardware a basso livello.

Messaggio di errore Xid Azione del cliente Azione di Google
Xid 119: GSP RPC timeout
  1. Interrompi i workload.
  2. Controlla i branch dei driver NVIDIA consigliati per assicurarti di utilizzare un branch supportato e una versione del driver recente o più recente, poiché i bug dei driver nelle versioni precedenti sono una delle cause principali degli errori GSP.
  3. Se l'errore persiste dopo aver controllato o aggiornato il driver, elimina e ricrea la VM. Se l'errore persiste, raccogli la segnalazione di bug di NVIDIA e invia una richiesta all'assistenza clienti Google Cloud.

Nessuno. Se l'errore persiste e invii una richiesta di assistenza, Google indaga sullo stato dell'hardware o del driver tramite il workflow di assistenza.

Xid 120: GSP error

Errori di accesso alla memoria illegale

I seguenti Xid vengono restituiti quando le applicazioni presentano errori di accesso alla memoria illegale:

Messaggio di errore Xid Azione del cliente Azione di Google

Xid 13: Graphics Engine Exception

Xid 31: GPU memory page fault

Xid 137: Memory access fault

È stata rilevata una violazione dell'accesso alla memoria, analoga a un errore di segmentazione. Questi errori in genere indicano un bug dell'applicazione in cui l'accesso alla memoria della GPU avviene fuori intervallo o su buffer liberati, ad esempio il dereferenziamento di un puntatore non valido o di un array fuori intervallo. Questi non rappresentano errori ECC, a meno che non sia presente anche Xid 48.

Per risolvere il problema, esegui il debug degli errori di accesso alla memoria nella tua applicazione. Puoi utilizzare cuda-gdb, Compute Sanitizer o cuda-memcheck.

Per maggiori dettagli, consulta la documentazione di NVIDIA Xid.

Nessuno. In rari casi in cui il degrado dell'hardware potrebbe causare errori di accesso alla memoria non valido segnalati erroneamente, puoi utilizzare NVIDIA Data Center GPU Manager (DCGM) per eseguire dcgmi diag -r 3 o dcgmi diag -r 4 per diversi livelli di copertura e durata dei test. Se identifichi un problema hardware, invia una richiesta all'assistenza clienti.

Altri messaggi di errore Xid comuni

Messaggio di errore Xid Azione del cliente Azione di Google
Xid 74: NVLINK error
  1. Interrompi i workload.
  2. Ripristina le GPU.

Nessuno

Xid 79: GPU has fallen off the bus

Ciò significa che il driver non è in grado di comunicare con la GPU perché un problema hardware ha causato la scomparsa della GPU dal bus PCI.

Per recuperare i workload, utilizza uno dei seguenti approcci, a seconda che la manutenzione di emergenza sia abilitata o meno per il tuo progetto:

  • Richiedi una manutenzione di emergenza: se la manutenzione di emergenza viene implementata nel tuo progetto, attiva l'evento di manutenzione quando preferisci.
  • Attendi la manutenzione automatica: in alternativa, attendi un evento di manutenzione non pianificato direttamente sull'istanza.

Google rileva che la GPU non è più connessa al bus PCI e invia la macchina in riparazione.

Xid 109: Context switch timeout

Xid 109 è un errore generico segnalato dal driver della GPU NVIDIA, generato quando un'istanza GPU non riesce a prerilasciare o cambiare attività entro il periodo di timeout previsto.

Google ha una lunga storia di indagini su Xid 109 con NVIDIA e le cause note dei bug dei driver sono state corrette nei driver più recenti. Xid 109 non è causato da un problema hardware.

  1. Interrompi i workload.
  2. A seconda dell'ambiente, reimposta le GPU o riavvia la VM per recuperare e riprendere i workload:
  3. Valuta la possibilità di eseguire l'upgrade a una versione più recente del driver NVIDIA per il tuo ambiente, ad esempio installando il driver più recente sulla tua VM Compute Engine o eseguendo l'upgrade del DaemonSet del driver/pool di nodi GKE.

Nessuno

Xid 149 che menziona 0x02a, come nell'esempio seguente:
Xid (PCI:0000:c0:00): 149,NETIR_LINK_EVT Fatal XC0 i0 Link 04 (0x02a485c6 0x00000000 0x00000000 0x00000000 0x00000000 0x00000000)

Questo indica un problema noto che interessa il firmware per le GPU NVIDIA B200.

  1. Interrompi i workload.
  2. Ripristina le GPU.

Nessuno

Risolvi i problemi di errore di nvidia-smi dopo l'applicazione di patch al sistema operativo o l'upgrade del kernel

Se nvidia-smi non va a buon fine con NVIDIA-SMI has failed because it couldn't communicate with the NVIDIA driver dopo un periodo di manutenzione, un'esecuzione di applicazione di patch del sistema operativo o un riavvio della VM, controlla i blocchi dei pacchetti del kernel. I blocchi dei pacchetti di un'installazione precedente del driver in modalità binary possono impedire l'installazione delle intestazioni del kernel corrispondenti.

Per diagnosticare e risolvere il problema, seleziona il tuo sistema operativo:

Ubuntu

  1. Controlla la versione kernel in esecuzione:

    uname -r
    
  2. Verifica se un'installazione precedente del driver in modalità binary ha bloccato i pacchetti kernel, ad esempio quando utilizzi istanze di computing --force-version, --installation-branch=lts o NVIDIA RTX Virtual Workstation (vWS):

    apt-mark showhold
    

    Controlla se linux-image-gcp o linux-headers-gcp sono elencati.

  3. Verifica se le intestazioni del kernel sono installate per il kernel in esecuzione:

    dpkg -l | grep "linux-headers-$(uname -r)"
    
  4. Se i metapacchetti del kernel sono bloccati, rimuovi i blocchi dei pacchetti:

    sudo apt-mark unhold linux-image-gcp linux-headers-gcp
    
  5. Installa le intestazioni del kernel per il kernel in esecuzione:

    sudo apt-get update && sudo apt-get install -y linux-headers-$(uname -r)
    
  6. Ricostruisci e carica il modulo kernel NVIDIA:

    • Se le origini del modulo DKMS sono registrate (controlla sudo dkms status):

      sudo dkms autoinstall
      sudo modprobe nvidia
      nvidia-smi
      
    • Se sudo dkms status non mostra alcun modulo NVIDIA registrato (ad esempio, se il driver è stato installato in precedenza utilizzando un file binario .run senza --dkms), esegui nuovamente il programma di installazione del driver GPU Google Cloud :

      sudo python3 cuda_installer.pyz install_driver
      

Debian

  1. Controlla la versione kernel in esecuzione:

    uname -r
    
  2. Verifica se un'installazione precedente del driver in modalità binary ha bloccato i pacchetti kernel, ad esempio quando utilizzi istanze di computing --force-version, --installation-branch=lts o NVIDIA RTX Virtual Workstation (vWS):

    apt-mark showhold
    

    Controlla se linux-image-cloud-amd64 o linux-headers-cloud-amd64 sono elencati.

  3. Verifica se le intestazioni del kernel sono installate per il kernel in esecuzione:

    dpkg -l | grep "linux-headers-$(uname -r)"
    
  4. Se i metapacchetti del kernel sono bloccati, rimuovi i blocchi dei pacchetti:

    sudo apt-mark unhold linux-image-cloud-amd64 linux-headers-cloud-amd64
    
  5. Installa le intestazioni del kernel per il kernel in esecuzione:

    sudo apt-get update && sudo apt-get install -y linux-headers-$(uname -r)
    
  6. Ricostruisci e carica il modulo kernel NVIDIA:

    • Se le origini del modulo DKMS sono registrate (controlla sudo dkms status):

      sudo dkms autoinstall
      sudo modprobe nvidia
      nvidia-smi
      
    • Se sudo dkms status non mostra alcun modulo NVIDIA registrato (ad esempio, se il driver è stato installato in precedenza utilizzando un file binario .run senza --dkms), esegui nuovamente il programma di installazione del driver GPU Google Cloud :

      sudo python3 cuda_installer.pyz install_driver
      

RHEL e Rocky Linux

  1. Controlla la versione kernel in esecuzione:

    uname -r
    
  2. Verifica se un'installazione precedente del driver in modalità binary ha bloccato i pacchetti kernel, ad esempio quando utilizzi istanze di computing --force-version, --installation-branch=lts o NVIDIA RTX Virtual Workstation (vWS):

    grep "^exclude=.*kernel" /etc/dnf/dnf.conf
    
  3. Verifica se le intestazioni del kernel sono installate per il kernel in esecuzione:

    rpm -qa | grep "kernel-devel-$(uname -r)"
    
  4. Se i pacchetti kernel sono esclusi, rimuovi kernel* dalla riga exclude= in /etc/dnf/dnf.conf.

  5. Installa le intestazioni del kernel per il kernel in esecuzione:

    sudo dnf install -y kernel-devel-$(uname -r) kernel-headers-$(uname -r)
    
  6. Ricostruisci e carica il modulo kernel NVIDIA:

    • Se le origini del modulo DKMS sono registrate (controlla sudo dkms status):

      sudo dkms autoinstall
      sudo modprobe nvidia
      nvidia-smi
      
    • Se sudo dkms status non mostra alcun modulo NVIDIA registrato (ad esempio, se il driver è stato installato in precedenza utilizzando un file binario .run senza --dkms), esegui nuovamente il programma di installazione del driver GPU Google Cloud :

      sudo python3 cuda_installer.pyz install_driver
      

Risoluzione dei problemi relativi ad Avvio protetto

Se installi il driver NVIDIA su un'istanza di computing con Avvio protetto abilitato e nvidia-smi non riesce a comunicare con il driver NVIDIA, l'Avvio protetto potrebbe bloccare il caricamento del modulo kernel non firmato.

Per diagnosticare e risolvere il problema, completa i seguenti passaggi:

  1. Controlla se l'avvio protetto ha rifiutato il modulo kernel a causa di una firma mancante o non valida:

    sudo dmesg | grep -iE 'secure boot|nvidia'
    
  2. Se l'avvio protetto ha bloccato il modulo, firma manualmente i moduli del driver e registra la chiave del proprietario della macchina (MOK) oppure utilizza un'immagine sistema operativo con moduli kernel pre-firmati. Per istruzioni, consulta Installa i driver della GPU (VM con avvio protetto).

Ripristina le GPU

Per alcuni problemi potrebbe essere necessario ripristinare le GPU. Per ripristinare le GPU, completa i seguenti passaggi:

  • Per le VM N1, G2, A2 e G4 con una o più GPU collegate, riavvia la VM.
  • Per le VM G4 con GPU frazionarie (meno di una GPU collegata), completa i seguenti passaggi:
    1. Elimina la VM.
    2. Ricrea la VM.
  • Per le istanze A3, A4, A4X e A4X Max, esegui sudo nvidia-smi --gpu-reset.
    • Per la maggior parte delle VM Linux, l'eseguibile nvidia-smi si trova nella directory /var/lib/nvidia/bin.
    • Per i nodi GKE, l'eseguibile nvidia-smi si trova nella directory /home/kubernetes/bin/nvidia.
  • Per le istanze A3, A4, A4X e A4X Max sui nodi GKE, puoi anche utilizzare lo strumento gpu-reset-tool per automatizzare la reimpostazione di tutte le GPU su un nodo. Questo strumento richiede solo di specificare il nome del nodo di destinazione.

In alternativa, le GPU vengono reimpostate anche ogni volta che reimposti una VM o arresti e riavvii una VM. Per ulteriori informazioni sugli stati del ciclo di vita delle VM e sulle differenze tra le azioni di recupero delle VM, consulta Ciclo di vita delle istanze di Compute Engine e Sospendi, arresta o reimposta le istanze Compute Engine.

Aprire una richiesta di assistenza

Se non riesci a risolvere i problemi seguendo le indicazioni riportate in questa pagina, raccogli le seguenti informazioni e apri una richiesta di assistenza:

  • ID progetto del progetto in cui si trovano le istanze interessate.
  • Elenco di tutti i nomi o ID delle istanze nel cluster.
  • Elenco dei nodi sospetti identificati tramite la risoluzione dei problemi.
  • Log NCCL completi e non intercalati con le impostazioni di debug attivate.
  • Output dei controlli di integrità dell'hardware (dcgmi, nvidia-smi).
  • Comando esatto del benchmark o del workload che non va a buon fine.
  • File di log pertinenti, come il motore host e i log di diagnostica. Per raccoglierli, esegui gather-dcgm-logs.sh, che si trova in /usr/local/dcgm/scripts nelle installazioni predefinite.
  • Segnalazione di bug NVIDIA. Esegui nvidia-bug-report.sh. Per le GPU Blackwell e successive, segui Genera una segnalazione di bug per le GPU Blackwell e successive.
  • Dettagli su eventuali modifiche recenti apportate al tuo ambiente precedenti all'errore.

Passaggi successivi

Esamina i tipi di macchina GPU.