In diesem Leitfaden wird beschrieben, wie Sie häufige Probleme mit Compute Engine-VMs mit angehängten GPUs diagnostizieren und beheben, einschließlich Hardwarefehlern und Leistungsengpässen. Wenn beim Erstellen von GPU-VMs ZONE_RESOURCE_POOL_EXHAUSTED- oder andere Kapazitätsfehler auftreten, finden Sie weitere Informationen unter Fehlerbehebung bei Fehlern bei der Ressourcenverfügbarkeit oder Fehlerbehebung bei der Reservierungsnutzung.
Fehlerbehebung bei GPU-VMs mit NVIDIA DCGM
NVIDIA Data Center GPU Manager (DCGM) ist eine Suite von Tools zum Verwalten und Überwachen von NVIDIA-Rechenzentrums-GPUs in Clusterumgebungen.
So verwenden Sie DCGM, um Probleme in Ihrer GPU-Umgebung zu beheben:
- Achten Sie darauf, dass Sie den neuesten empfohlenen NVIDIA-Treiber für das GPU-Modell verwenden, das an Ihre VM angehängt ist. Informationen zu Treiberversionen finden Sie unter Empfohlene NVIDIA-Treiberversionen.
- Prüfen Sie, ob Sie die aktuelle Version von DCGM installiert haben. Informationen zur Installation der neuesten Version finden Sie unter DCGM-Installation.
Probleme diagnostizieren
Wenn Sie einen dcgmi-Diagnosebefehl ausführen, enthalten die vom Diagnosetool gemeldeten Probleme die nächsten Schritte, um das Problem zu beheben. Das folgende Beispiel zeigt die umsetzbare Ausgabe des Befehls dcgmi diag -r memory -j.
{
........
"category":"Hardware",
"tests":[
{
"name":"GPU Memory",
"results":[
{
"gpu_id":"0",
"info":"GPU 0 Allocated 23376170169
bytes (98.3%)",
"status":"Fail",
""warnings":[
{
"warning":"Pending page
retirements together with a DBE were detected on GPU 0. Drain the GPU and reset it or reboot the node to resolve this issue.",
"error_id":83,
"error_category":10,
"error_severity":6
}
]
}
.........
Im vorherigen Ausgabesnippet sehen Sie, dass für GPU 0 ausstehende Seitenstilllegungen vorliegen, die durch einen nicht behebbaren Fehler verursacht wurden. Die Ausgabe enthält die eindeutige error_id und Tipps zur Fehlerbehebung. Für diese Beispielausgabe empfehlen wir, die GPU zu leeren und die VM neu zu starten. In den meisten Fällen können Sie das Problem beheben, wenn Sie der Anleitung in diesem Abschnitt der Ausgabe folgen.
GPU-Leistungsprobleme bei A3-VMs beheben
Die A3-Maschinenserie ist mit angehängten NVIDIA H200- oder H100-GPUs verfügbar. Diese Serie umfasst die Maschinentypen A3 Ultra (H200), A3 Mega (H100), A3 High (H100) und A3 Edge (H100).
Fehlerhaften Knoten identifizieren
Große Trainings- oder Benchmark-Jobs in einem GPU-Cluster mit mehreren Knoten reagieren möglicherweise nicht mehr oder weisen eine schlechte Leistung auf. Dies liegt häufig daran, dass ein oder mehrere Knoten eine unzureichende Leistung erbringen und den gesamten Vorgang verlangsamen. In diesem Abschnitt wird beschrieben, wie Sie einen fehlerhaften Knoten oder Hostcomputer identifizieren, indem Sie entweder einen NCCL-Benchmarktest ausführen oder NCCL-Logs analysieren.
NCCL-Benchmarktest ausführen
Um die Gruppe von Knoten zu identifizieren, die den Fehler verursacht, testen Sie systematisch Teilmengen Ihres Clusters mit NCCL-Benchmarks wie all_reduce_perf.
- Gruppieren Sie Ihre Knoten in logische Sets, um Ihre Knotensätze zu identifizieren, z. B. Partitionen in Slurm.
- Erstellen Sie für jede Knotengruppe eine separate Hostdatei, in der die Hostnamen und die Anzahl der GPUs pro Knoten aufgeführt sind. Die Anzahl der Slots, die Sie angeben, hängt von der GPU-Anzahl Ihres A3-VM-Typs ab.
a3-highgpu-8g-VMs haben beispielsweise 8 GPUs, daher müssen Sieslots=8angeben. - Führen Sie die Benchmark
all_reduce_perffür jeden Knotensatz einzeln aus, um Benchmarks auszuführen.mpirun -x LD_LIBRARY_PATH --hostfile HOSTFILE_NAME -n TOTAL_PROCESSES \ ./build/all_reduce_perf -b 1G -e 8G -f 2 -g NUM_GPUS_PER_NODEErsetzen Sie Folgendes:
HOSTFILE_NAME: der Name der Hostdatei, die die Liste der Knoten und die Anzahl der GPUs pro Knoten für das Knotenset enthält.TOTAL_PROCESSES: die Gesamtzahl der MPI-Prozesse, die auf allen Hosts im Knotensatz gestartet werden sollen.NUM_GPUS_PER_NODEist die Anzahl der GPUs pro Knoten. Für alle A3-Maschinentypen ist dieser Wert8.
- Wenn ein Job hängen bleibt oder eine deutlich niedrigere Busbandbreite (
busbw) auf einem bestimmten Knotensatz aufweist, ist dieser Satz wahrscheinlich fehlerhaft. - Wenn ein Knotensatz fehlerhaft ist, teilen Sie die Hostdatei in zwei Hälften und testen Sie sie noch einmal, um die binäre Suche einzugrenzen, bis Sie den einzelnen fehlerhaften Knoten gefunden haben.
NCCL-Logs analysieren
Wenn die Benchmark-Methode keinen Knoten ermittelt, analysieren Sie die detaillierten NCCL-Logs.
- Wenn Sie das Debugging-Logging aktivieren möchten, legen Sie die folgenden Umgebungsvariablen in der Shell-Sitzung fest, in der Sie Ihre Arbeitslast ausführen möchten:
export NCCL_DEBUG=INFO export NCCL_DEBUG_SUBSYS=INIT,NET,COLL export NCCL_DEBUG_FILE="LOG_DIRECTORY/nccl_log.%h.%p"Ersetzen Sie
Wenn SieLOG_DIRECTORYdurch das Verzeichnis, in dem Sie Ihre Logs speichern möchten.NCCL_DEBUG_FILEmit%hund%pfestlegen, werden für jeden Prozess eindeutige, nicht verschachtelte Logdateien erstellt.Wenn Sie eine Arbeitslast mit mehreren Knoten mit
mpirunausführen, müssen Sie diese Variablen mit dem Flag-xan alle Knoten weitergeben. Beispiel:mpirun -x NCCL_DEBUG -x NCCL_DEBUG_SUBSYS -x NCCL_DEBUG_FILE ... - Verwenden Sie den folgenden Befehl, um den ersten Fehler zu finden. Damit werden die frühesten Zeitüberschreitungs- oder Fehlerereignisse in allen Logdateien gesucht:
grep "NCCL WARN.*NET/FasTrak" LOG_DIRECTORY/* | sed 's/.*NET\/FasTrak\(.*\)/\1/g' \ | sort | head -n 20Ersetzen Sie
LOG_DIRECTORYdurch das Verzeichnis, in dem Ihre Logs gespeichert sind. - Um kollektive Vorgänge zu zählen, führt ein Straggler-Knoten weniger kollektive Vorgänge aus.
"opCount"Einträge für verdächtige Ränge zählen:grep "opCount" LOG_DIRECTORY/nccl_log.HOSTNAME.PID | wc -lErsetzen Sie Folgendes:
LOG_DIRECTORY: das Verzeichnis, in dem Ihre Logs gespeichert sindHOSTNAME: der Hostname des KnotensPID: die Prozess-ID des NCCL-Prozesses
- Wenn Sie mehr Logging-Daten erfassen möchten, bevor ein Job abgebrochen wird, erhöhen Sie vorübergehend das Zeitlimit für die Datenübertragung:
export NCCL_FASTRAK_DATA_TRANSFER_TIMEOUT_MS=3600000
Thermische Drosselung von GPUs überwachen
Bei VMs der A3-Serie kann es zu Leistungseinbußen kommen, wenn sie unter Last dauerhaft Temperaturen von über 87 °C erreichen. Verwenden Sie entweder nvidia-smi oder dcgmi, um die GPU-Temperaturdrosselung auf Knoten in einem Cluster zu prüfen.
nvidia-smi verwenden
Führen Sie den folgenden Befehl aus, um die aktuelle Temperatur und den Drosselungsstatus aller GPUs auf einem Knoten zu prüfen:
nvidia-smi --query-gpu=timestamp,name,pci.bus_id,temperature.gpu,clocks_throttle_reasons.hw_slowdown --format=csv
In der Ausgabe gibt der Wert Active in der Spalte clocks_throttle_reasons.hw_slowdown an, dass die GPU aufgrund hoher Temperaturen gedrosselt wird.
dcgmi verwenden
Die Diagnosesuite des NVIDIA Data Center GPU Manager (DCGM) umfasst Prüfungen auf thermische Verstöße. Führen Sie den folgenden Befehl aus, um eine Diagnose der Stufe 1 auszuführen:
dcgmi diag -r 1
Ein Ergebnis von Warn oder Fail im Abschnitt Thermal weist darauf hin, dass während des Tests ein thermischer Verstoß aufgetreten ist. Wenn eine thermische Verletzung mit einer Taktfrequenzdrosselung einhergeht, ist die GPU wahrscheinlich überhitzt und muss weiter untersucht werden.
Xid-Fehler
Nachdem Sie eine VM mit angehängten GPUs erstellt haben, müssen Sie NVIDIA-Gerätetreiber auf Ihren GPU-VMs installieren, damit Ihre Anwendungen auf die GPUs zugreifen können. Manchmal geben diese Treiber jedoch Fehlermeldungen zurück.
Eine Xid-Nachricht ist ein Fehlerbericht des NVIDIA-Treibers, der in das Kernel- oder Ereignisprotokoll des Betriebssystems Ihrer Linux-VM geschrieben wird. Diese Nachrichten werden in der Datei /var/log/messages abgelegt. Weitere Informationen zu Xid-Nachrichten, einschließlich möglicher Ursachen, finden Sie in der NVIDIA-Dokumentation.
So geht Google mit Xid-Fehlern um
Google verwendet passive Systemdiagnosen, um GPU-Systeme zu bewerten. Wenn ein Hardwareaustausch erforderlich ist, initiiert Google automatisch eine Notfallwartung. Google erkennt Xid-Fehler und sendet Maschinen proaktiv zur Reparatur, wenn Fehlercodes auf eine hohe Wahrscheinlichkeit eines Hardwarefehlers hinweisen, z. B. Xid 74, 79 und 140. Einige Xid-Codes können entweder durch Software- oder Hardwareprobleme verursacht werden. Google verwendet daher Musterabgleiche, um Reparaturen auszulösen. Nicht jedes Auftreten führt also zu einer automatischen Reparatur.
Arten von Xid-Fehlern
In der folgenden Liste werden die drei Hauptkategorien von Xid-Fehlern und die empfohlenen Wiederherstellungsaktionen beschrieben:
Anwendungsfehler: Diese weisen auf Probleme in Ihrem Anwendungscode hin. Anwendungsfehler umfassen Xids wie Xid 13, 31, 94, 95 und 137, die auf verschiedene Arten von Speicherzugriffsverletzungen hinweisen, ähnlich einem Segmentierungsfehler. Diese weisen nicht auf einen ECC-Fehler hin. Zur Behebung dieser Fehler empfiehlt NVIDIA einen der folgenden Debugging-Ansätze:
- Direktes Debugging: Führen Sie die Anwendung direkt in cuda-gdb aus oder führen Sie das Memcheck-Tool Compute Sanitizer aus.
- Debugging nach einer Ausnahme: Führen Sie die Anwendung mit
CUDA_DEVICE_WAITS_ON_EXCEPTION=1aus. Wenn eine Ausnahme auftritt, friert der GPU-Treiber den Anwendungsstatus ein, ohne die Anwendung zu beenden. So können Sie später einen Debugger (cuda-gdb -p <PID>) anhängen, um den Live-Stacktrace zu prüfen.
Treiberfehler: Diese weisen auf Probleme hin, die durch den NVIDIA-GPU-Treiber verursacht werden. Verwenden Sie die neueste NVIDIA-Treiberversion, um diese Fehler zu beheben. Google überwacht diese Fehler und arbeitet mit NVIDIA an Treiberkorrekturen.
Behebbare Firmware- oder Hardwarefehler: Diese weisen auf Firmware- oder Hardwarefehler hin, die ohne Hardwareaustausch behoben werden können. Wenden Sie zur Behebung dieser Fehler manuelle Wiederherstellungsmaßnahmen an, z. B. das Zurücksetzen der GPU oder den Neustart der Instanz. Zu den durch Firmware oder Hardware behebbaren Fehlern gehören ECC-Fehler (Error Correcting Code, anwendbar auf Xids wie Xid 48, 63 und 64), die auf verschiedene Phasen der Erkennung und Behebung von ECC-Fehlern hinweisen. Weitere Informationen zur Deaktivierung von Seiten und zur Behebung von ECC-Fehlern finden Sie in den FAQs zur dynamischen Deaktivierung von Seiten von NVIDIA.
Xid-Nachrichten prüfen
Wenn Sie schnell diagnostizieren möchten, warum eine GPU-Arbeitslast fehlgeschlagen ist, nicht mehr reagiert oder Leistungseinbußen aufweist, suchen Sie in den Kernel-Logs Ihrer Instanz (dmesg oder /var/log/kern.log) nach numerischen NVIDIA-Xid-Fehlercodes.
Die Xid-Fehlertabellen in den folgenden Abschnitten helfen Ihnen sofort:
- Ursache ermitteln: Finden Sie heraus, ob der Fehler durch einen Anwendungsfehler (z. B. unzulässiger Speicherzugriff), einen Treiberkonflikt oder einen physischen Hardwarefehler (z. B. Double-Bit-ECC-Speicherfehler) verursacht wird.
- Betriebliche Zuständigkeit festlegen: Prüfen Sie, welche sofortigen manuellen Wiederherstellungsmaßnahmen Sie ergreifen müssen, z. B. GPUs zurücksetzen, VMs neu starten oder Debugger ausführen, und welche automatisierten Reparatur- und Hardwareaustauschmaßnahmen Google aktiv auf dem Host verwaltet.
- Die richtigen Wiederherstellungsschritte ausführen: Vermeiden Sie unnötige Fehlerbehebungsverfahren und wissen Sie genau, wann eine manuelle Wiederherstellung ausreicht und wann Sie den Host als fehlerhaft melden müssen. Manchmal reicht eine manuelle Wiederherstellung nicht aus, z. B. wenn sich die Fehlerquelle im GPU-Cache (SRAM) befindet, der nicht neu zugeordnet werden kann (angegeben durch
Xid 48mitSRAM Threshold Exceeded=Yes), oder wenn die GPU ihre Neuzuordnungsbank erschöpft hat (angegeben durchXid 64: All reserved rows for bank are remapped). In diesen Fällen erkennt Google, dass die GPU für einen Hardwareaustausch infrage kommt, und sendet die Maschine proaktiv zur Reparatur. Wenn bei Ihren Arbeitslasten wiederholt Fehler auftreten oder Sie wiederholt Speicherfehler feststellen, können Sie den fehlerhaften Host melden, um eine automatische Reparatur oder einen Austausch zu veranlassen. Informationen zu GKE finden Sie unter Fehlerhafte Hosts in GKE melden.
Xid-Verarbeitung
In den folgenden Abschnitten werden häufige Xid-Fehlermeldungen nach technischer Kategorie gruppiert, zusammen mit den entsprechenden Lösungen und Verantwortlichkeiten:
- GPU-Speicherfehler (Xids
48,63,64,92,94,95) - GPU-Systemprozessorfehler (GSP) (Xids
119,120) - Fehler beim unzulässigen Speicherzugriff (Xids
13,31,137) - Andere häufige Xid-Fehlermeldungen (Xids
74,79,109,149)
GPU-Arbeitsspeicherfehler
GPU-Arbeitsspeicher ist der Speicher, der auf einem GPU-Gerät verfügbar ist und zum temporären Speichern von Daten verwendet werden kann. Der GPU-Arbeitsspeicher ist durch den Fehlerkorrekturcode ECC geschützt, der Single-Bit-Fehler (SBE) erkennt und korrigiert und nicht korrigierbare Double-Bit-Fehler (DBE) erkennt und meldet.
Diese Speicherfehler treten voraussichtlich im Laufe der Lebensdauer einer GPU auf. Vor der Veröffentlichung der NVIDIA A100-GPUs wurde die dynamische Seitendeaktivierung unterstützt. Für NVIDIA A100- und neuere GPU-Releases (z. B. NVIDIA H100) wird die Wiederherstellung nach Zeilenneuzuordnungsfehlern für HBM-Fehler (DRAM) eingeführt. ECC ist standardmäßig aktiviert und Google empfiehlt dringend, ECC aktiviert zu lassen.
In der folgenden Tabelle sind einige häufige GPU-Arbeitsspeicherfehler und ihre empfohlenen Lösungen aufgeführt:
| Xid-Fehlermeldung | Kundenseitige Maßnahmen | Google-Aktion |
|---|---|---|
Xid 48: Double Bit ECC
Ein Double-Bit-Speicherfehler (nicht korrigierbar) wurde von ECC erkannt. Dieser Fehler unterbricht immer die laufende Arbeitslast und generiert Xid 48. |
|
Google überwacht, wann die GPU für einen Hardwareaustausch infrage kommt, z. B. wenn die HBM-Remap-Bank erschöpft ist oder die GPU den SRAM-Fehlerschwellenwert für die Lebensdauer überschreitet. In diesem Fall wird die Maschine proaktiv zur Reparatur gesendet, um die GPU zu ersetzen. |
Xid 63: ECC page retirement or row remapping recording
event
Gibt an, dass aufgrund eines Speicherfehlers ein Ereignis zur dynamischen Deaktivierung von Seiten oder zur Neuzuordnung von Zeilen aufgezeichnet wurde. |
|
Google überwacht Fehlerschwellenwerte und sendet die Maschine zur Reparatur, wenn die GPU physisch repariert oder ersetzt werden muss. |
Xid 64: ECC page retirement or row remapper recording
failure
Die Nachricht enthält die folgenden Informationen: Xid 64: All reserved rows for bank are remapped
|
|
Wenn die Remap-Bank erschöpft ist ( |
Wenn Sie mindestens zwei der folgenden Xid-Meldungen zusammen erhalten:
Die Nachricht enthält die folgenden Informationen: Xid XX: row remap pending
|
|
Google sendet die Maschine zur Reparatur, wenn die Neuzuordnungsbank erschöpft ist oder wenn die GPU physisch repariert oder ersetzt werden muss. |
Xid 92: High single-bit ECC error rate |
Diese Xid-Nachricht wird zurückgegeben, nachdem der GPU-Treiber einen korrigierbaren Fehler korrigiert hat. Sie sollte sich nicht auf Ihre Arbeitslasten auswirken. Diese Xid-Meldung dient nur zu Informationszwecken. Sie müssen nichts tun. |
Keine |
Xid 94: Contained error
Gibt an, dass ein GPU-Fehler aufgetreten ist und ob der Fehler auf eine einzelne Anwendung beschränkt war. Xid 94 allein gibt nicht die Ursache des Fehlers an. Sie muss zusammen mit anderen gleichzeitig auftretenden Xid-Fehlern interpretiert werden, um die grundlegende Ursache zu ermitteln. |
|
Keine |
Xid 95: Uncontained error
Gibt an, dass ein GPU-Fehler aufgetreten ist, der nicht auf eine einzelne Anwendung beschränkt war. Xid 95 allein gibt nicht die Ursache des Fehlers an. Sie muss zusammen mit anderen gleichzeitig auftretenden Xid-Fehlern interpretiert werden, um die eigentliche Ursache zu ermitteln. |
|
Keine |
Fehler im GSP
Ein GPU-Systemprozessor (GSP) ist ein Mikrocontroller, der auf GPUs ausgeführt wird und einige der Low-Level-Hardwareverwaltungsfunktionen übernimmt.
| Xid-Fehlermeldung | Kundenseitige Maßnahmen | Google-Aktion |
|---|---|---|
Xid 119: GSP RPC timeout |
|
Keine. Wenn der Fehler weiterhin auftritt und Sie eine Supportanfrage einreichen, untersucht Google den Hardware- oder Treiberstatus über den Support-Workflow. |
Xid 120: GSP error |
Ungültiger Arbeitsspeicherzugriff-Fehler
Die folgenden Xids werden zurückgegeben, wenn Anwendungen illegale Arbeits-Speicherzugriffsfehler haben:
| Xid-Fehlermeldung | Kundenseitige Maßnahmen | Google-Aktion |
|---|---|---|
|
Es wurde eine Speicherzugriffsverletzung erkannt, ähnlich einem Segmentierungsfehler. Diese Fehler weisen in der Regel auf einen Anwendungsfehler hin, bei dem auf den GPU-Arbeitsspeicher außerhalb des zulässigen Bereichs oder auf freigegebene Zwischenspeicher zugegriffen wird, z. B. durch Dereferenzierung eines ungültigen Zeigers oder eines Arrays außerhalb des zulässigen Bereichs. Diese stellen keine ECC-Fehler dar, es sei denn, Xid 48 ist ebenfalls vorhanden. |
Beheben Sie die Speicherzugriffsfehler in Ihrer Anwendung, um dieses Problem zu beheben. Sie können cuda-gdb, Compute Sanitizer oder cuda-memcheck verwenden. Weitere Informationen finden Sie in der NVIDIA Xid-Dokumentation. |
Keine. In seltenen Fällen, in denen Hardwarefehler zu fälschlicherweise gemeldeten Fehlern beim unzulässigen Speicherzugriff führen können, können Sie den NVIDIA Data Center GPU Manager (DCGM) verwenden, um |
Weitere häufige Xid-Fehlermeldungen
| Xid-Fehlermeldung | Kundenseitige Maßnahmen | Google-Aktion |
|---|---|---|
Xid 74: NVLINK error |
|
Keine |
Xid 79: GPU has fallen off the bus
Das bedeutet, dass der Treiber nicht mit der GPU kommunizieren kann, weil die GPU aufgrund eines Hardwareproblems nicht mehr im PCI-Bus vorhanden ist. |
Verwenden Sie einen der folgenden Ansätze, um Ihre Arbeitslasten wiederherzustellen, je nachdem, ob die Notfallwartung für Ihr Projekt aktiviert ist:
|
Google erkennt, dass die GPU vom PCI-Bus getrennt wurde, und sendet die Maschine zur Reparatur. |
Xid 109: Context switch timeout
Xid 109 ist ein allgemeiner Fehler, der vom NVIDIA-GPU-Treiber gemeldet wird. Er wird generiert, wenn eine GPU-Instanz Aufgaben nicht innerhalb des erwarteten Zeitlimits vorzeitig beenden oder wechseln kann. Google untersucht Xid 109 schon seit Langem gemeinsam mit NVIDIA. Bekannte Ursachen von Treiberfehlern wurden in den neuesten Treibern behoben. Xid 109 wird nicht durch ein Hardwareproblem verursacht. |
|
Keine |
Xid 149, in dem 0x02a erwähnt wird, wie im folgenden Beispiel:
Dies weist auf ein bekanntes Problem mit der Firmware für NVIDIA B200-GPUs hin. |
|
Keine |
Fehlerbehebung bei nvidia-smi-Fehlern nach Betriebssystem-Patching oder Kernel-Upgrade
Wenn nvidia-smi nach einem Wartungsfenster, einem OS Patch Management-Lauf oder einem VM-Neustart mit NVIDIA-SMI has failed because it couldn't communicate with the NVIDIA driver fehlschlägt, prüfen Sie die Kernel-Paketsperren. Paketsperren aus einer vorherigen Treiberinstallation im binary-Modus können die Installation passender Kernel-Header verhindern.
Wählen Sie Ihr Betriebssystem aus, um dieses Problem zu diagnostizieren und zu beheben:
Ubuntu
Prüfen Sie die ausgeführte Kernel-Version:
uname -rPrüfen Sie, ob eine vorherige Treiberinstallation im
binary-Modus die Kernelpakete gesperrt hat, z. B. wenn Sie--force-version-,--installation-branch=lts- oder NVIDIA RTX Virtual Workstation (vWS)-Compute-Instanzen verwenden:apt-mark showholdPrüfen Sie, ob
linux-image-gcpoderlinux-headers-gcpaufgeführt ist.Prüfen Sie, ob Kernel-Header für den ausgeführten Kernel installiert sind:
dpkg -l | grep "linux-headers-$(uname -r)"Wenn die Kernel-Metapakete zurückgehalten werden, entfernen Sie die Paketsperren:
sudo apt-mark unhold linux-image-gcp linux-headers-gcpInstallieren Sie die Kernel-Header für den ausgeführten Kernel:
sudo apt-get update && sudo apt-get install -y linux-headers-$(uname -r)Erstellen Sie das NVIDIA-Kernelmodul neu und laden Sie es:
Wenn DKMS-Modulquellen registriert sind (prüfen Sie
sudo dkms status):sudo dkms autoinstall sudo modprobe nvidia nvidia-smiWenn
sudo dkms statuskein registriertes NVIDIA-Modul anzeigt (z. B. wenn der Treiber zuvor mit einer.run-Binärdatei ohne--dkmsinstalliert wurde), führen Sie das Installationsprogramm für den GPU-Treiber von Google Cloud noch einmal aus:sudo python3 cuda_installer.pyz install_driver
Debian
Prüfen Sie die ausgeführte Kernel-Version:
uname -rPrüfen Sie, ob eine vorherige Treiberinstallation im
binary-Modus die Kernelpakete gesperrt hat, z. B. wenn Sie--force-version-,--installation-branch=lts- oder NVIDIA RTX Virtual Workstation (vWS)-Compute-Instanzen verwenden:apt-mark showholdPrüfen Sie, ob
linux-image-cloud-amd64oderlinux-headers-cloud-amd64aufgeführt ist.Prüfen Sie, ob Kernel-Header für den ausgeführten Kernel installiert sind:
dpkg -l | grep "linux-headers-$(uname -r)"Wenn die Kernel-Metapakete zurückgehalten werden, entfernen Sie die Paketsperren:
sudo apt-mark unhold linux-image-cloud-amd64 linux-headers-cloud-amd64Installieren Sie die Kernel-Header für den ausgeführten Kernel:
sudo apt-get update && sudo apt-get install -y linux-headers-$(uname -r)Erstellen Sie das NVIDIA-Kernelmodul neu und laden Sie es:
Wenn DKMS-Modulquellen registriert sind (prüfen Sie
sudo dkms status):sudo dkms autoinstall sudo modprobe nvidia nvidia-smiWenn
sudo dkms statuskein registriertes NVIDIA-Modul anzeigt (z. B. wenn der Treiber zuvor mit einer.run-Binärdatei ohne--dkmsinstalliert wurde), führen Sie das Installationsprogramm für den GPU-Treiber von Google Cloud noch einmal aus:sudo python3 cuda_installer.pyz install_driver
RHEL und Rocky Linux
Prüfen Sie die ausgeführte Kernel-Version:
uname -rPrüfen Sie, ob eine vorherige Treiberinstallation im
binary-Modus die Kernelpakete gesperrt hat, z. B. wenn Sie--force-version-,--installation-branch=lts- oder NVIDIA RTX Virtual Workstation (vWS)-Compute-Instanzen verwenden:grep "^exclude=.*kernel" /etc/dnf/dnf.confPrüfen Sie, ob Kernel-Header für den ausgeführten Kernel installiert sind:
rpm -qa | grep "kernel-devel-$(uname -r)"Wenn Kernel-Pakete ausgeschlossen sind, entfernen Sie
kernel*aus der Zeileexclude=in/etc/dnf/dnf.conf.Installieren Sie die Kernel-Header für den ausgeführten Kernel:
sudo dnf install -y kernel-devel-$(uname -r) kernel-headers-$(uname -r)Erstellen Sie das NVIDIA-Kernelmodul neu und laden Sie es:
Wenn DKMS-Modulquellen registriert sind (prüfen Sie
sudo dkms status):sudo dkms autoinstall sudo modprobe nvidia nvidia-smiWenn
sudo dkms statuskein registriertes NVIDIA-Modul anzeigt (z. B. wenn der Treiber zuvor mit einer.run-Binärdatei ohne--dkmsinstalliert wurde), führen Sie das Installationsprogramm für den GPU-Treiber von Google Cloud noch einmal aus:sudo python3 cuda_installer.pyz install_driver
Fehlerbehebung für Secure Boot
Wenn Sie den NVIDIA-Treiber auf einer Compute-Instanz mit aktiviertem Secure Boot installieren und nvidia-smi nicht mit dem NVIDIA-Treiber kommunizieren kann, blockiert Secure Boot möglicherweise das Laden des nicht signierten Kernelmoduls.
So diagnostizieren und beheben Sie dieses Problem:
Prüfen Sie, ob Secure Boot das Kernelmodul aufgrund einer fehlenden oder ungültigen Signatur abgelehnt hat:
sudo dmesg | grep -iE 'secure boot|nvidia'
Wenn Secure Boot das Modul blockiert hat, signieren Sie die Treibermodule manuell und registrieren Sie Ihren Machine Owner Key (MOK) oder verwenden Sie ein Betriebssystem-Image mit vorsignierten Kernelmodulen. Eine Anleitung finden Sie unter GPU-Treiber installieren (Secure Boot-VMs).
GPUs zurücksetzen
Bei einigen Problemen müssen Sie Ihre GPUs möglicherweise zurücksetzen. Führen Sie die folgenden Schritte aus, um GPUs zurückzusetzen:
- Starten Sie die VM neu, wenn es sich um eine N1-, G2-, A2- oder G4-VM mit einer oder mehreren angehängten GPUs handelt.
- Führen Sie für G4-VMs mit fraktionalen GPUs (weniger als eine GPU angehängt) die folgenden Schritte aus:
- Führen Sie für A3-, A4-, A4X- und A4X Max-Instanzen
sudo nvidia-smi --gpu-resetaus.- Bei den meisten Linux-VMs befindet sich die ausführbare Datei
nvidia-smiim Verzeichnis/var/lib/nvidia/bin. - Bei GKE-Knoten befindet sich die ausführbare Datei
nvidia-smiim Verzeichnis/home/kubernetes/bin/nvidia.
- Bei den meisten Linux-VMs befindet sich die ausführbare Datei
- Für A3-, A4-, A4X- und A4X Max-Instanzen auf GKE-Knoten können Sie auch das gpu-reset-tool verwenden, um das Zurücksetzen aller GPUs auf einem Knoten zu automatisieren. Für dieses Tool müssen Sie nur den Namen des Zielknotens angeben.
Alternativ werden GPUs auch zurückgesetzt, wenn Sie eine VM zurücksetzen oder eine VM beenden und neu starten. Weitere Informationen zu VM-Lebenszyklusstatus und den Unterschieden zwischen VM-Wiederherstellungsaktionen finden Sie unter Lebenszyklus von Compute Engine-Instanzen und Compute Engine-Instanzen sperren, beenden oder zurücksetzen.
Supportfall eröffnen
Wenn Sie die Probleme nicht mithilfe der Anleitung auf dieser Seite beheben können, erfassen Sie die folgenden Informationen und öffnen Sie eine Supportanfrage:
- Projekt-ID des Projekts, in dem sich die betroffenen Instanzen befinden.
- Liste aller Instanznamen oder ‑IDs im Cluster.
- Liste der verdächtigen Knoten, die bei der Fehlerbehebung identifiziert wurden.
- Vollständige, nicht verschachtelte NCCL-Logs mit aktivierten Debug-Einstellungen.
- Ausgabe von Hardware-Systemdiagnosen (
dcgmi,nvidia-smi). - Genaue Benchmark oder genauer Arbeitslastbefehl, der fehlschlägt.
- Relevante Logdateien wie Host-Engine- und Diagnose-Logs. Führen Sie dazu
gather-dcgm-logs.shaus, das sich bei Standardinstallationen in/usr/local/dcgm/scriptsbefindet. - NVIDIA-Fehlerbericht. Führen Sie
nvidia-bug-report.shaus: Folgen Sie für Blackwell- und neuere GPUs der Anleitung unter Fehlerbericht für Blackwell- und neuere GPUs erstellen. - Details zu den letzten Änderungen, die vor dem Fehler an Ihrer Umgebung vorgenommen wurden.
Nächste Schritte
GPU-Maschinentypen ansehen