Questa guida descrive come diagnosticare e risolvere i problemi comuni relativi alle VM di Compute Engine con GPU collegate, inclusi errori hardware e colli di bottiglia delle prestazioni. Se si verificano errori ZONE_RESOURCE_POOL_EXHAUSTED o altri errori di capacità durante la creazione di VM GPU, consulta Risolvi gli errori di disponibilità delle risorse o Risolvi i problemi relativi all'utilizzo della prenotazione.
Risoluzione dei problemi delle VM GPU tramite NVIDIA DCGM
NVIDIA Data Center GPU Manager (DCGM) è una suite di strumenti per la gestione e il monitoraggio delle GPU per data center NVIDIA in ambienti cluster.
Per utilizzare DCGM per risolvere i problemi nel tuo ambiente GPU, completa quanto segue:
- Assicurati di utilizzare il driver NVIDIA consigliato più recente per il modello di GPU collegato alla tua VM. Per rivedere le versioni dei driver, consulta Versioni consigliate dei driver NVIDIA.
- Verifica di aver installato l'ultima versione di DCGM. Per installare l'ultima versione, consulta Installazione di DCGM.
Diagnostica dei problemi
Quando esegui un comando di diagnostica per dcgmi, i problemi segnalati dallo
strumento di diagnostica includono i passaggi successivi per agire e risolvere il problema. L'esempio riportato
di seguito mostra l'output su cui agire del comando dcgmi diag -r memory -j.
{
........
"category":"Hardware",
"tests":[
{
"name":"GPU Memory",
"results":[
{
"gpu_id":"0",
"info":"GPU 0 Allocated 23376170169
bytes (98.3%)",
"status":"Fail",
""warnings":[
{
"warning":"Pending page
retirements together with a DBE were detected on GPU 0. Drain the GPU and reset it or reboot the node to resolve this issue.",
"error_id":83,
"error_category":10,
"error_severity":6
}
]
}
.........
Dallo snippet di output precedente, puoi vedere che GPU 0 ha ritiri di pagina in sospeso
causati da un errore che non può essere corretto. L'output ha fornito il error_id univoco e consigli per eseguire il debug del problema. Per questo output di esempio, ti consigliamo di scaricare la GPU e riavviare la VM. Nella maggior parte dei casi, seguire le istruzioni riportate in questa sezione dell'output può contribuire a risolvere il problema.
Risolvi i problemi di prestazioni della GPU per le VM A3
La serie di macchine A3 è disponibile con GPU NVIDIA H200 o H100 collegate. Questa serie include i tipi di macchina A3 Ultra (H200), A3 Mega (H100), A3 High (H100) e A3 Edge (H100).
Identifica un nodo difettoso
I job di addestramento o benchmark su larga scala su un cluster GPU multi-nodo possono smettere di rispondere o avere prestazioni scadenti. Questo accade spesso perché uno o più nodi hanno prestazioni inferiori e rallentano l'intera operazione. Questa sezione descrive come identificare un nodo o un host difettoso eseguendo un test di benchmark NCCL o analizzando i log NCCL.
Esegui il test di benchmark NCCL
Per identificare il gruppo di nodi che causa l'errore, testa sistematicamente i sottoinsiemi del cluster utilizzando benchmark NCCL come all_reduce_perf.
- Per identificare i set di nodi, raggruppa i nodi in set logici, ad esempio partizioni in Slurm.
- Per creare i file host, crea un file host separato per ogni set di nodi, elencando i nomi host e il numero di GPU per nodo. Il numero di slot che specifichi dipende dal numero di GPU del tipo di VM A3. Ad esempio,
le VM
a3-highgpu-8ghanno 8 GPU, quindi devi specificareslots=8. - Per eseguire i benchmark, esegui il benchmark
all_reduce_perfsu ogni nodeset singolarmente.mpirun -x LD_LIBRARY_PATH --hostfile HOSTFILE_NAME -n TOTAL_PROCESSES \ ./build/all_reduce_perf -b 1G -e 8G -f 2 -g NUM_GPUS_PER_NODESostituisci quanto segue:
HOSTFILE_NAME: il nome del file host che contiene l'elenco dei nodi e il numero di GPU per nodo per il set di nodi.TOTAL_PROCESSES: il numero totale di processi MPI da avviare su tutti gli host nel set di nodi.NUM_GPUS_PER_NODE: il numero di GPU per nodo. Per tutti i tipi di macchine A3, questo valore è8.
- Per analizzare i risultati, se un job si blocca o mostra una larghezza di banda del bus (
busbw) significativamente inferiore su un determinato set di nodi, è probabile che quel set sia difettoso. - Per la suddivisione, se un set di nodi è difettoso, dividi il suo file host a metà e ripeti il test per restringere la ricerca binaria fino a individuare il singolo nodo con un comportamento anomalo.
Analizza i log NCCL
Se il metodo di benchmark non individua un nodo, analizza i log NCCL dettagliati.
- Per attivare il logging di debug, imposta le seguenti variabili di ambiente nella sessione della shell in cui prevedi di eseguire il workload:
export NCCL_DEBUG=INFO export NCCL_DEBUG_SUBSYS=INIT,NET,COLL export NCCL_DEBUG_FILE="LOG_DIRECTORY/nccl_log.%h.%p"Sostituisci
L'impostazione diLOG_DIRECTORYcon la directory in cui vuoi archiviare i log.NCCL_DEBUG_FILEcon%he%pcrea file di log univoci e non intercalati per ogni processo.Se esegui un workload multi-nodo utilizzando
mpirun, propaga queste variabili a tutti i nodi utilizzando il flag-x. Ad esempio:mpirun -x NCCL_DEBUG -x NCCL_DEBUG_SUBSYS -x NCCL_DEBUG_FILE ... - Per trovare il primo errore, utilizza il seguente comando per trovare i primi eventi di timeout o errore in tutti i file di log:
grep "NCCL WARN.*NET/FasTrak" LOG_DIRECTORY/* | sed 's/.*NET\/FasTrak\(.*\)/\1/g' \ | sort | head -n 20Sostituisci
LOG_DIRECTORYcon la directory in cui sono archiviati i log. - Per conteggiare le operazioni collettive, un nodo ritardatario completa meno operazioni collettive. Conteggio di
"opCount"voci per i ranking sospetti:grep "opCount" LOG_DIRECTORY/nccl_log.HOSTNAME.PID | wc -lSostituisci quanto segue:
LOG_DIRECTORY: la directory in cui sono archiviati i logHOSTNAME: il nome host del nodoPID: l'ID di processo del processo NCCL
- Per raccogliere più dati di logging prima che un job venga interrotto, aumenta temporaneamente il timeout del trasferimento di dati:
export NCCL_FASTRAK_DATA_TRANSFER_TIMEOUT_MS=3600000
Monitora la limitazione termica della GPU
Le VM della serie A3 possono subire un peggioramento delle prestazioni se raggiungono costantemente temperature superiori a 87 °C sotto carico. Per verificare la presenza di limitazione termica della GPU tra i nodi di un cluster, utilizza nvidia-smi o dcgmi.
Utilizzo di nvidia-smi
Per controllare la temperatura attuale e lo stato di throttling di tutte le GPU su un nodo, esegui questo comando:
nvidia-smi --query-gpu=timestamp,name,pci.bus_id,temperature.gpu,clocks_throttle_reasons.hw_slowdown --format=csv
Nell'output, un valore Active nella colonna clocks_throttle_reasons.hw_slowdown indica che la GPU è in fase di limitazione a causa di temperature elevate.
Utilizzo di dcgmi
La suite di diagnostica NVIDIA Data Center GPU Manager (DCGM) include controlli per le violazioni termiche. Per eseguire un test diagnostico di livello 1, esegui questo comando:
dcgmi diag -r 1
Un risultato di Warn o Fail nella sezione Thermal indica che si è verificata una violazione termica durante il test. Se una violazione termica è accompagnata da una limitazione della frequenza di clock, è probabile che la GPU si stia surriscaldando e richieda ulteriori indagini.
Errori Xid
Dopo aver creato una VM con GPU collegate, devi installare i driver di dispositivo NVIDIA sulle VM GPU per consentire alle applicazioni di accedere alle GPU. Tuttavia, a volte questi driver restituiscono messaggi di errore.
Un messaggio Xid è una segnalazione di errore del driver NVIDIA stampato nel log del kernel o nel
log eventi del sistema operativo della VM Linux. Questi messaggi vengono
inseriti nel file /var/log/messages. Per ulteriori informazioni sui messaggi Xid, incluse le potenziali cause, consulta la documentazione NVIDIA.
In che modo Google gestisce gli errori Xid
Google utilizza i controlli di integrità passivi per valutare i sistemi GPU. Se è indicata la sostituzione dell'hardware, Google avvia automaticamente la manutenzione di emergenza. Google rileva gli errori Xid e invia in modo proattivo le macchine in riparazione quando i codici di errore indicano un'alta probabilità di guasto hardware, ad esempio Xid 74, 79 e 140. Per alcuni codici Xid, poiché possono essere causati da problemi software o hardware, Google utilizza la corrispondenza di pattern per attivare le riparazioni, pertanto non tutte le occorrenze comportano una riparazione automatica.
Tipi di errori Xid
Il seguente elenco descrive le tre categorie principali di errori Xid e le azioni di recupero consigliate:
Errori dell'applicazione: indicano problemi all'interno del codice dell'applicazione. Gli errori dell'applicazione includono Xid come Xid 13, 31, 94, 95 e 137, che indicano vari tipi di violazione dell'accesso alla memoria, simili a un errore di segmentazione. Questi non indicano un errore ECC. Per risolvere questi errori, NVIDIA consiglia di utilizzare uno dei seguenti approcci di debug:
- Debug diretto: esegui l'applicazione direttamente in cuda-gdb o esegui lo strumento memcheck Compute Sanitizer.
- Debug post-eccezione: esegui l'applicazione con
CUDA_DEVICE_WAITS_ON_EXCEPTION=1. Quando si verifica un'eccezione, il driver della GPU blocca lo stato dell'applicazione senza uscire, in modo da poter collegare un debugger in un secondo momento (cuda-gdb -p <PID>) per ispezionare l'analisi dello stack in tempo reale.
Errori del driver: indicano problemi causati dal driver della GPU NVIDIA. Per risolvere questi errori, assicurati di utilizzare l'ultima versione del driver NVIDIA. Google monitora questi errori e collabora con NVIDIA per le correzioni dei driver.
Errori recuperabili del firmware o dell'hardware: indicano errori del firmware o dell'hardware che consentono il recupero senza sostituzione dell'hardware. Per risolvere questi errori, applica misure di recupero manuali, come la reimpostazione della GPU o il riavvio dell'istanza. Gli errori recuperabili del firmware o dell'hardware includono gli errori del codice di correzione degli errori (ECC) (applicabili a Xid come Xid 48, 63 e 64) che indicano varie fasi di rilevamento e mitigazione degli errori ECC. Per ulteriori informazioni sul ritiro delle pagine e sulla mitigazione degli errori ECC, consulta le domande frequenti sul ritiro dinamico delle pagine di NVIDIA.
Esamina i messaggi Xid
Per diagnosticare rapidamente il motivo per cui un workload GPU non è riuscito, ha smesso di rispondere o ha subito un peggioramento delle prestazioni, controlla i log del kernel dell'istanza (dmesg o /var/log/kern.log) per verificare la presenza di codici di errore NVIDIA Xid numerici.
La revisione delle tabelle degli errori Xid nelle sottosezioni seguenti ti aiuta immediatamente a:
- Individua la causa principale: identifica se l'errore è causato da un bug dell'applicazione (ad esempio un accesso alla memoria non valido), un conflitto di driver o un errore hardware fisico (ad esempio errori di memoria ECC a doppio bit).
- Determina la proprietà operativa: verifica quali misure di recupero manuale immediato devi applicare, ad esempio il reset delle GPU, il riavvio delle VM o l'esecuzione di debugger, rispetto alle azioni di riparazione automatica e sostituzione dell'hardware che Google gestisce attivamente sull'host.
- Segui i passaggi di recupero corretti: evita procedure di risoluzione dei problemi non necessarie e scopri esattamente quando è sufficiente il recupero manuale e quando invece devi segnalare l'host come difettoso. A volte, il recupero manuale non è sufficiente, ad esempio se l'origine dell'errore si trova nella cache della GPU (SRAM), che non può essere rimappata, indicata da
Xid 48conSRAM Threshold Exceeded=Yes, o se la GPU ha esaurito il banco di rimappatura, indicato daXid 64: All reserved rows for bank are remapped. In questi casi, Google rileva che la GPU è idonea alla sostituzione dell'hardware e invia in modo proattivo la macchina in riparazione. Se i tuoi workload riscontrano errori ricorrenti o se osservi errori di memoria ripetuti, puoi segnalare l'host difettoso per avviare la riparazione o la sostituzione automatica. Per GKE, consulta Come segnalare host difettosi in GKE.
Gestione degli Xid
Le sezioni seguenti raggruppano i messaggi di errore Xid comuni per categoria tecnica, insieme alle relative soluzioni e responsabilità:
- Errori di memoria della GPU (Xid
48,63,64,92,94,95) - Errori del processore di sistema GPU (GSP) (Xid
119,120) - Errori di accesso alla memoria illegale (Xid
13,31,137) - Altri messaggi di errore Xid comuni (Xid
74,79,109,149)
Errori di memoria GPU
La memoria GPU è la memoria disponibile su una GPU che può essere utilizzata per l'archiviazione temporanea dei dati. La memoria della GPU è protetta con il codice di correzione degli errori (ECC), che rileva e corregge gli errori a singolo bit (SBE) e rileva e segnala gli errori non correggibili a doppio bit (DBE).
Questi errori di memoria dovrebbero verificarsi nel corso della durata di una GPU. Prima del rilascio delle GPU NVIDIA A100, era supportato il ritiro delle pagine dinamiche. Per le versioni delle GPU NVIDIA A100 e successive (ad esempio NVIDIA H100), viene introdotto il recupero degli errori di rimappatura delle righe per gli errori HBM (DRAM). ECC è attivo per impostazione predefinita e Google consiglia vivamente di mantenerlo attivo.
La tabella seguente elenca gli errori comuni relativi alla memoria della GPU e le relative soluzioni suggerite:
| Messaggio di errore Xid | Azione del cliente | Azione di Google |
|---|---|---|
Xid 48: Double Bit ECC
ECC ha rilevato un errore di memoria a doppio bit (non correggibile). Questo errore interrompe sempre il workload in esecuzione e genera l'errore Xid 48. |
|
Google monitora quando la GPU è idonea per la sostituzione dell'hardware, ad esempio se il banco di rimappatura HBM è esaurito o se la GPU supera la soglia di errore SRAM per la sua durata, e invia in modo proattivo la macchina in riparazione per sostituire la GPU. |
Xid 63: ECC page retirement or row remapping recording
event
Indica che è stato registrato un evento di ritiro dinamico della pagina o di rimappatura delle righe a causa di un errore di memoria. |
|
Google monitora le soglie di errore e invia la macchina in riparazione quando la GPU richiede una riparazione o una sostituzione fisica. |
Xid 64: ECC page retirement or row remapper recording
failure
Il messaggio contiene le seguenti informazioni: Xid 64: All reserved rows for bank are remapped
|
|
Quando il banco di rimappatura è esaurito ( |
Se ricevi almeno due dei seguenti messaggi Xid contemporaneamente:
Il messaggio contiene le seguenti informazioni: Xid XX: row remap pending
|
|
Google invia la macchina in riparazione se il banco di rimappatura è esaurito o quando la GPU richiede una riparazione o una sostituzione fisica. |
Xid 92: High single-bit ECC error rate |
Questo messaggio Xid viene restituito dopo che il driver della GPU ha corretto un errore che poteva essere corretto e non dovrebbe influire sui tuoi workload. Questo messaggio Xid è solo a scopo informativo. Non è richiesto alcun intervento. |
Nessuno |
Xid 94: Contained error
Indica che si è verificato un errore della GPU e se l'errore era contenuto in una singola applicazione. Da solo, l'errore Xid 94 non indica la causa principale dell'errore; deve essere interpretato insieme ad altri errori Xid concomitanti per determinare la causa fondamentale. |
|
Nessuno |
Xid 95: Uncontained error
Indica che si è verificato un errore della GPU che non è stato limitato a una singola applicazione. Da solo, Xid 95 non indica la causa principale dell'errore; deve essere interpretato insieme ad altri errori Xid concomitanti per determinare la causa fondamentale. |
|
Nessuno |
Errori GSP
Un processore di sistema GPU (GSP) è un microcontrollore che funziona sulle GPU e gestisce alcune delle funzioni di gestione dell'hardware a basso livello.
| Messaggio di errore Xid | Azione del cliente | Azione di Google |
|---|---|---|
Xid 119: GSP RPC timeout |
|
Nessuno. Se l'errore persiste e invii una richiesta di assistenza, Google indaga sullo stato dell'hardware o del driver tramite il workflow di assistenza. |
Xid 120: GSP error |
Errori di accesso alla memoria illegale
I seguenti Xid vengono restituiti quando le applicazioni presentano errori di accesso alla memoria illegale:
| Messaggio di errore Xid | Azione del cliente | Azione di Google |
|---|---|---|
|
È stata rilevata una violazione dell'accesso alla memoria, analoga a un errore di segmentazione. Questi errori in genere indicano un bug dell'applicazione in cui l'accesso alla memoria della GPU avviene fuori intervallo o su buffer liberati, ad esempio il dereferenziamento di un puntatore non valido o di un array fuori intervallo. Questi non rappresentano errori ECC, a meno che non sia presente anche Xid 48. |
Per risolvere il problema, esegui il debug degli errori di accesso alla memoria nella tua applicazione. Puoi utilizzare cuda-gdb, Compute Sanitizer o cuda-memcheck. Per maggiori dettagli, consulta la documentazione di NVIDIA Xid. |
Nessuno. In rari casi in cui il degrado dell'hardware potrebbe causare errori di accesso alla memoria non valido segnalati erroneamente, puoi utilizzare NVIDIA Data Center GPU Manager (DCGM) per eseguire |
Altri messaggi di errore Xid comuni
| Messaggio di errore Xid | Azione del cliente | Azione di Google |
|---|---|---|
Xid 74: NVLINK error |
|
Nessuno |
Xid 79: GPU has fallen off the bus
Ciò significa che il driver non è in grado di comunicare con la GPU perché un problema hardware ha causato la scomparsa della GPU dal bus PCI. |
Per recuperare i workload, utilizza uno dei seguenti approcci, a seconda che la manutenzione di emergenza sia abilitata o meno per il tuo progetto:
|
Google rileva che la GPU non è più connessa al bus PCI e invia la macchina in riparazione. |
Xid 109: Context switch timeout
Xid 109 è un errore generico segnalato dal driver della GPU NVIDIA, generato quando un'istanza GPU non riesce a prerilasciare o cambiare attività entro il periodo di timeout previsto. Google ha una lunga storia di indagini su Xid 109 con NVIDIA e le cause note dei bug dei driver sono state corrette nei driver più recenti. Xid 109 non è causato da un problema hardware. |
|
Nessuno |
Xid 149 che menziona 0x02a, come nell'esempio seguente:
Questo indica un problema noto che interessa il firmware per le GPU NVIDIA B200. |
|
Nessuno |
Risolvi i problemi di errore di nvidia-smi dopo l'applicazione di patch al sistema operativo o l'upgrade del kernel
Se nvidia-smi non va a buon fine con NVIDIA-SMI has failed because it couldn't communicate with the NVIDIA driver dopo un periodo di manutenzione, un'esecuzione di applicazione di patch del sistema operativo o un riavvio della VM, controlla i blocchi dei pacchetti del kernel. I blocchi dei pacchetti di un'installazione precedente del driver in modalità binary possono impedire l'installazione delle intestazioni del kernel corrispondenti.
Per diagnosticare e risolvere il problema, seleziona il tuo sistema operativo:
Ubuntu
Controlla la versione kernel in esecuzione:
uname -rVerifica se un'installazione precedente del driver in modalità
binaryha bloccato i pacchetti kernel, ad esempio quando utilizzi istanze di computing--force-version,--installation-branch=ltso NVIDIA RTX Virtual Workstation (vWS):apt-mark showholdControlla se
linux-image-gcpolinux-headers-gcpsono elencati.Verifica se le intestazioni del kernel sono installate per il kernel in esecuzione:
dpkg -l | grep "linux-headers-$(uname -r)"Se i metapacchetti del kernel sono bloccati, rimuovi i blocchi dei pacchetti:
sudo apt-mark unhold linux-image-gcp linux-headers-gcpInstalla le intestazioni del kernel per il kernel in esecuzione:
sudo apt-get update && sudo apt-get install -y linux-headers-$(uname -r)Ricostruisci e carica il modulo kernel NVIDIA:
Se le origini del modulo DKMS sono registrate (controlla
sudo dkms status):sudo dkms autoinstall sudo modprobe nvidia nvidia-smiSe
sudo dkms statusnon mostra alcun modulo NVIDIA registrato (ad esempio, se il driver è stato installato in precedenza utilizzando un file binario.runsenza--dkms), esegui nuovamente il programma di installazione del driver GPU Google Cloud :sudo python3 cuda_installer.pyz install_driver
Debian
Controlla la versione kernel in esecuzione:
uname -rVerifica se un'installazione precedente del driver in modalità
binaryha bloccato i pacchetti kernel, ad esempio quando utilizzi istanze di computing--force-version,--installation-branch=ltso NVIDIA RTX Virtual Workstation (vWS):apt-mark showholdControlla se
linux-image-cloud-amd64olinux-headers-cloud-amd64sono elencati.Verifica se le intestazioni del kernel sono installate per il kernel in esecuzione:
dpkg -l | grep "linux-headers-$(uname -r)"Se i metapacchetti del kernel sono bloccati, rimuovi i blocchi dei pacchetti:
sudo apt-mark unhold linux-image-cloud-amd64 linux-headers-cloud-amd64Installa le intestazioni del kernel per il kernel in esecuzione:
sudo apt-get update && sudo apt-get install -y linux-headers-$(uname -r)Ricostruisci e carica il modulo kernel NVIDIA:
Se le origini del modulo DKMS sono registrate (controlla
sudo dkms status):sudo dkms autoinstall sudo modprobe nvidia nvidia-smiSe
sudo dkms statusnon mostra alcun modulo NVIDIA registrato (ad esempio, se il driver è stato installato in precedenza utilizzando un file binario.runsenza--dkms), esegui nuovamente il programma di installazione del driver GPU Google Cloud :sudo python3 cuda_installer.pyz install_driver
RHEL e Rocky Linux
Controlla la versione kernel in esecuzione:
uname -rVerifica se un'installazione precedente del driver in modalità
binaryha bloccato i pacchetti kernel, ad esempio quando utilizzi istanze di computing--force-version,--installation-branch=ltso NVIDIA RTX Virtual Workstation (vWS):grep "^exclude=.*kernel" /etc/dnf/dnf.confVerifica se le intestazioni del kernel sono installate per il kernel in esecuzione:
rpm -qa | grep "kernel-devel-$(uname -r)"Se i pacchetti kernel sono esclusi, rimuovi
kernel*dalla rigaexclude=in/etc/dnf/dnf.conf.Installa le intestazioni del kernel per il kernel in esecuzione:
sudo dnf install -y kernel-devel-$(uname -r) kernel-headers-$(uname -r)Ricostruisci e carica il modulo kernel NVIDIA:
Se le origini del modulo DKMS sono registrate (controlla
sudo dkms status):sudo dkms autoinstall sudo modprobe nvidia nvidia-smiSe
sudo dkms statusnon mostra alcun modulo NVIDIA registrato (ad esempio, se il driver è stato installato in precedenza utilizzando un file binario.runsenza--dkms), esegui nuovamente il programma di installazione del driver GPU Google Cloud :sudo python3 cuda_installer.pyz install_driver
Risoluzione dei problemi relativi ad Avvio protetto
Se installi il driver NVIDIA su un'istanza di computing con Avvio protetto abilitato e nvidia-smi non riesce a comunicare con il driver NVIDIA, l'Avvio protetto potrebbe bloccare il caricamento del modulo kernel non firmato.
Per diagnosticare e risolvere il problema, completa i seguenti passaggi:
Controlla se l'avvio protetto ha rifiutato il modulo kernel a causa di una firma mancante o non valida:
sudo dmesg | grep -iE 'secure boot|nvidia'
Se l'avvio protetto ha bloccato il modulo, firma manualmente i moduli del driver e registra la chiave del proprietario della macchina (MOK) oppure utilizza un'immagine sistema operativo con moduli kernel pre-firmati. Per istruzioni, consulta Installa i driver della GPU (VM con avvio protetto).
Ripristina le GPU
Per alcuni problemi potrebbe essere necessario ripristinare le GPU. Per ripristinare le GPU, completa i seguenti passaggi:
- Per le VM N1, G2, A2 e G4 con una o più GPU collegate, riavvia la VM.
- Per le VM G4 con GPU frazionarie (meno di una GPU collegata), completa i seguenti passaggi:
- Per le istanze A3, A4, A4X e A4X Max, esegui
sudo nvidia-smi --gpu-reset.- Per la maggior parte delle VM Linux, l'eseguibile
nvidia-smisi trova nella directory/var/lib/nvidia/bin. - Per i nodi GKE, l'eseguibile
nvidia-smisi trova nella directory/home/kubernetes/bin/nvidia.
- Per la maggior parte delle VM Linux, l'eseguibile
- Per le istanze A3, A4, A4X e A4X Max sui nodi GKE, puoi anche utilizzare lo strumento gpu-reset-tool per automatizzare la reimpostazione di tutte le GPU su un nodo. Questo strumento richiede solo di specificare il nome del nodo di destinazione.
In alternativa, le GPU vengono reimpostate anche ogni volta che reimposti una VM o arresti e riavvii una VM. Per ulteriori informazioni sugli stati del ciclo di vita delle VM e sulle differenze tra le azioni di recupero delle VM, consulta Ciclo di vita delle istanze di Compute Engine e Sospendi, arresta o reimposta le istanze Compute Engine.
Aprire una richiesta di assistenza
Se non riesci a risolvere i problemi seguendo le indicazioni riportate in questa pagina, raccogli le seguenti informazioni e apri una richiesta di assistenza:
- ID progetto del progetto in cui si trovano le istanze interessate.
- Elenco di tutti i nomi o ID delle istanze nel cluster.
- Elenco dei nodi sospetti identificati tramite la risoluzione dei problemi.
- Log NCCL completi e non intercalati con le impostazioni di debug attivate.
- Output dei controlli di integrità dell'hardware (
dcgmi,nvidia-smi). - Comando esatto del benchmark o del workload che non va a buon fine.
- File di log pertinenti, come il motore host e i log di diagnostica. Per raccoglierli, esegui
gather-dcgm-logs.sh, che si trova in/usr/local/dcgm/scriptsnelle installazioni predefinite. - Segnalazione di bug NVIDIA. Esegui
nvidia-bug-report.sh. Per le GPU Blackwell e successive, segui Genera una segnalazione di bug per le GPU Blackwell e successive. - Dettagli su eventuali modifiche recenti apportate al tuo ambiente precedenti all'errore.
Passaggi successivi
Esamina i tipi di macchina GPU.