Fehlerbehebung bei GPU-VMs

In diesem Leitfaden wird beschrieben, wie Sie häufige Probleme mit Compute Engine-VMs mit angehängten GPUs diagnostizieren und beheben, einschließlich Hardwarefehlern und Leistungsengpässen. Wenn beim Erstellen von GPU-VMs ZONE_RESOURCE_POOL_EXHAUSTED- oder andere Kapazitätsfehler auftreten, finden Sie weitere Informationen unter Fehlerbehebung bei Fehlern bei der Ressourcenverfügbarkeit oder Fehlerbehebung bei der Reservierungsnutzung.

Fehlerbehebung bei GPU-VMs mit NVIDIA DCGM

NVIDIA Data Center GPU Manager (DCGM) ist eine Suite von Tools zum Verwalten und Überwachen von NVIDIA-Rechenzentrums-GPUs in Clusterumgebungen.

So verwenden Sie DCGM, um Probleme in Ihrer GPU-Umgebung zu beheben:

  • Achten Sie darauf, dass Sie den neuesten empfohlenen NVIDIA-Treiber für das GPU-Modell verwenden, das an Ihre VM angehängt ist. Informationen zu Treiberversionen finden Sie unter Empfohlene NVIDIA-Treiberversionen.
  • Prüfen Sie, ob Sie die aktuelle Version von DCGM installiert haben. Informationen zur Installation der neuesten Version finden Sie unter DCGM-Installation.

Probleme diagnostizieren

Wenn Sie einen dcgmi-Diagnosebefehl ausführen, enthalten die vom Diagnosetool gemeldeten Probleme die nächsten Schritte, um das Problem zu beheben. Das folgende Beispiel zeigt die umsetzbare Ausgabe des Befehls dcgmi diag -r memory -j.

{
  ........
   "category":"Hardware",
   "tests":[
      {
         "name":"GPU Memory",
         "results":[
            {
               "gpu_id":"0",
               "info":"GPU 0 Allocated 23376170169
bytes (98.3%)",
               "status":"Fail",
               ""warnings":[
                  {
                     "warning":"Pending page
retirements together with a DBE were detected on GPU 0. Drain the GPU and reset it or reboot the node to resolve this issue.",
                     "error_id":83,
                     "error_category":10,
                     "error_severity":6
                  }
               ]
            }
  .........

Im vorherigen Ausgabesnippet sehen Sie, dass für GPU 0 ausstehende Seitenstilllegungen vorliegen, die durch einen nicht behebbaren Fehler verursacht wurden. Die Ausgabe enthält die eindeutige error_id und Tipps zur Fehlerbehebung. Für diese Beispielausgabe empfehlen wir, die GPU zu leeren und die VM neu zu starten. In den meisten Fällen können Sie das Problem beheben, wenn Sie der Anleitung in diesem Abschnitt der Ausgabe folgen.

GPU-Leistungsprobleme bei A3-VMs beheben

Die A3-Maschinenserie ist mit angehängten NVIDIA H200- oder H100-GPUs verfügbar. Diese Serie umfasst die Maschinentypen A3 Ultra (H200), A3 Mega (H100), A3 High (H100) und A3 Edge (H100).

Fehlerhaften Knoten identifizieren

Große Trainings- oder Benchmark-Jobs in einem GPU-Cluster mit mehreren Knoten reagieren möglicherweise nicht mehr oder weisen eine schlechte Leistung auf. Dies liegt häufig daran, dass ein oder mehrere Knoten eine unzureichende Leistung erbringen und den gesamten Vorgang verlangsamen. In diesem Abschnitt wird beschrieben, wie Sie einen fehlerhaften Knoten oder Hostcomputer identifizieren, indem Sie entweder einen NCCL-Benchmarktest ausführen oder NCCL-Logs analysieren.

NCCL-Benchmarktest ausführen

Um die Gruppe von Knoten zu identifizieren, die den Fehler verursacht, testen Sie systematisch Teilmengen Ihres Clusters mit NCCL-Benchmarks wie all_reduce_perf.

  1. Gruppieren Sie Ihre Knoten in logische Sets, um Ihre Knotensätze zu identifizieren, z. B. Partitionen in Slurm.
  2. Erstellen Sie für jede Knotengruppe eine separate Hostdatei, in der die Hostnamen und die Anzahl der GPUs pro Knoten aufgeführt sind. Die Anzahl der Slots, die Sie angeben, hängt von der GPU-Anzahl Ihres A3-VM-Typs ab. a3-highgpu-8g-VMs haben beispielsweise 8 GPUs, daher müssen Sie slots=8 angeben.
  3. Führen Sie die Benchmark all_reduce_perf für jeden Knotensatz einzeln aus, um Benchmarks auszuführen.
    mpirun -x LD_LIBRARY_PATH --hostfile HOSTFILE_NAME -n TOTAL_PROCESSES \
        ./build/all_reduce_perf -b 1G -e 8G -f 2 -g NUM_GPUS_PER_NODE
              

    Ersetzen Sie Folgendes:

    • HOSTFILE_NAME: der Name der Hostdatei, die die Liste der Knoten und die Anzahl der GPUs pro Knoten für das Knotenset enthält.
    • TOTAL_PROCESSES: die Gesamtzahl der MPI-Prozesse, die auf allen Hosts im Knotensatz gestartet werden sollen.
    • NUM_GPUS_PER_NODE ist die Anzahl der GPUs pro Knoten. Für alle A3-Maschinentypen ist dieser Wert 8.
  4. Wenn ein Job hängen bleibt oder eine deutlich niedrigere Busbandbreite (busbw) auf einem bestimmten Knotensatz aufweist, ist dieser Satz wahrscheinlich fehlerhaft.
  5. Wenn ein Knotensatz fehlerhaft ist, teilen Sie die Hostdatei in zwei Hälften und testen Sie sie noch einmal, um die binäre Suche einzugrenzen, bis Sie den einzelnen fehlerhaften Knoten gefunden haben.

NCCL-Logs analysieren

Wenn die Benchmark-Methode keinen Knoten ermittelt, analysieren Sie die detaillierten NCCL-Logs.

  1. Wenn Sie das Debugging-Logging aktivieren möchten, legen Sie die folgenden Umgebungsvariablen in der Shell-Sitzung fest, in der Sie Ihre Arbeitslast ausführen möchten:
    export NCCL_DEBUG=INFO
            export NCCL_DEBUG_SUBSYS=INIT,NET,COLL
            export NCCL_DEBUG_FILE="LOG_DIRECTORY/nccl_log.%h.%p"
            

    Ersetzen Sie LOG_DIRECTORY durch das Verzeichnis, in dem Sie Ihre Logs speichern möchten.

    Wenn Sie NCCL_DEBUG_FILE mit %h und %p festlegen, werden für jeden Prozess eindeutige, nicht verschachtelte Logdateien erstellt.

    Wenn Sie eine Arbeitslast mit mehreren Knoten mit mpirun ausführen, müssen Sie diese Variablen mit dem Flag -x an alle Knoten weitergeben. Beispiel:

    mpirun -x NCCL_DEBUG -x NCCL_DEBUG_SUBSYS -x NCCL_DEBUG_FILE ...
              
  2. Verwenden Sie den folgenden Befehl, um den ersten Fehler zu finden. Damit werden die frühesten Zeitüberschreitungs- oder Fehlerereignisse in allen Logdateien gesucht:
    grep "NCCL WARN.*NET/FasTrak" LOG_DIRECTORY/* | sed 's/.*NET\/FasTrak\(.*\)/\1/g' \
      | sort | head -n 20
              

    Ersetzen Sie LOG_DIRECTORY durch das Verzeichnis, in dem Ihre Logs gespeichert sind.

  3. Um kollektive Vorgänge zu zählen, führt ein Straggler-Knoten weniger kollektive Vorgänge aus. "opCount" Einträge für verdächtige Ränge zählen:
    grep "opCount" LOG_DIRECTORY/nccl_log.HOSTNAME.PID | wc -l
              

    Ersetzen Sie Folgendes:

    • LOG_DIRECTORY: das Verzeichnis, in dem Ihre Logs gespeichert sind
    • HOSTNAME: der Hostname des Knotens
    • PID: die Prozess-ID des NCCL-Prozesses
  4. Wenn Sie mehr Logging-Daten erfassen möchten, bevor ein Job abgebrochen wird, erhöhen Sie vorübergehend das Zeitlimit für die Datenübertragung:
    export NCCL_FASTRAK_DATA_TRANSFER_TIMEOUT_MS=3600000
            

Thermische Drosselung von GPUs überwachen

Bei VMs der A3-Serie kann es zu Leistungseinbußen kommen, wenn sie unter Last dauerhaft Temperaturen von über 87 °C erreichen. Verwenden Sie entweder nvidia-smi oder dcgmi, um die GPU-Temperaturdrosselung auf Knoten in einem Cluster zu prüfen.

nvidia-smi verwenden

Führen Sie den folgenden Befehl aus, um die aktuelle Temperatur und den Drosselungsstatus aller GPUs auf einem Knoten zu prüfen:

nvidia-smi --query-gpu=timestamp,name,pci.bus_id,temperature.gpu,clocks_throttle_reasons.hw_slowdown --format=csv
    

In der Ausgabe gibt der Wert Active in der Spalte clocks_throttle_reasons.hw_slowdown an, dass die GPU aufgrund hoher Temperaturen gedrosselt wird.

dcgmi verwenden

Die Diagnosesuite des NVIDIA Data Center GPU Manager (DCGM) umfasst Prüfungen auf thermische Verstöße. Führen Sie den folgenden Befehl aus, um eine Diagnose der Stufe 1 auszuführen:

dcgmi diag -r 1

Ein Ergebnis von Warn oder Fail im Abschnitt Thermal weist darauf hin, dass während des Tests ein thermischer Verstoß aufgetreten ist. Wenn eine thermische Verletzung mit einer Taktfrequenzdrosselung einhergeht, ist die GPU wahrscheinlich überhitzt und muss weiter untersucht werden.

Xid-Fehler

Nachdem Sie eine VM mit angehängten GPUs erstellt haben, müssen Sie NVIDIA-Gerätetreiber auf Ihren GPU-VMs installieren, damit Ihre Anwendungen auf die GPUs zugreifen können. Manchmal geben diese Treiber jedoch Fehlermeldungen zurück.

Eine Xid-Nachricht ist ein Fehlerbericht des NVIDIA-Treibers, der in das Kernel- oder Ereignisprotokoll des Betriebssystems Ihrer Linux-VM geschrieben wird. Diese Nachrichten werden in der Datei /var/log/messages abgelegt. Weitere Informationen zu Xid-Nachrichten, einschließlich möglicher Ursachen, finden Sie in der NVIDIA-Dokumentation.

So geht Google mit Xid-Fehlern um

Google verwendet passive Systemdiagnosen, um GPU-Systeme zu bewerten. Wenn ein Hardwareaustausch erforderlich ist, initiiert Google automatisch eine Notfallwartung. Google erkennt Xid-Fehler und sendet Maschinen proaktiv zur Reparatur, wenn Fehlercodes auf eine hohe Wahrscheinlichkeit eines Hardwarefehlers hinweisen, z. B. Xid 74, 79 und 140. Einige Xid-Codes können entweder durch Software- oder Hardwareprobleme verursacht werden. Google verwendet daher Musterabgleiche, um Reparaturen auszulösen. Nicht jedes Auftreten führt also zu einer automatischen Reparatur.

Arten von Xid-Fehlern

In der folgenden Liste werden die drei Hauptkategorien von Xid-Fehlern und die empfohlenen Wiederherstellungsaktionen beschrieben:

  • Anwendungsfehler: Diese weisen auf Probleme in Ihrem Anwendungscode hin. Anwendungsfehler umfassen Xids wie Xid 13, 31, 94, 95 und 137, die auf verschiedene Arten von Speicherzugriffsverletzungen hinweisen, ähnlich einem Segmentierungsfehler. Diese weisen nicht auf einen ECC-Fehler hin. Zur Behebung dieser Fehler empfiehlt NVIDIA einen der folgenden Debugging-Ansätze:

    • Direktes Debugging: Führen Sie die Anwendung direkt in cuda-gdb aus oder führen Sie das Memcheck-Tool Compute Sanitizer aus.
    • Debugging nach einer Ausnahme: Führen Sie die Anwendung mit CUDA_DEVICE_WAITS_ON_EXCEPTION=1 aus. Wenn eine Ausnahme auftritt, friert der GPU-Treiber den Anwendungsstatus ein, ohne die Anwendung zu beenden. So können Sie später einen Debugger (cuda-gdb -p <PID>) anhängen, um den Live-Stacktrace zu prüfen.
  • Treiberfehler: Diese weisen auf Probleme hin, die durch den NVIDIA-GPU-Treiber verursacht werden. Verwenden Sie die neueste NVIDIA-Treiberversion, um diese Fehler zu beheben. Google überwacht diese Fehler und arbeitet mit NVIDIA an Treiberkorrekturen.

  • Behebbare Firmware- oder Hardwarefehler: Diese weisen auf Firmware- oder Hardwarefehler hin, die ohne Hardwareaustausch behoben werden können. Wenden Sie zur Behebung dieser Fehler manuelle Wiederherstellungsmaßnahmen an, z. B. das Zurücksetzen der GPU oder den Neustart der Instanz. Zu den durch Firmware oder Hardware behebbaren Fehlern gehören ECC-Fehler (Error Correcting Code, anwendbar auf Xids wie Xid 48, 63 und 64), die auf verschiedene Phasen der Erkennung und Behebung von ECC-Fehlern hinweisen. Weitere Informationen zur Deaktivierung von Seiten und zur Behebung von ECC-Fehlern finden Sie in den FAQs zur dynamischen Deaktivierung von Seiten von NVIDIA.

Xid-Nachrichten prüfen

Wenn Sie schnell diagnostizieren möchten, warum eine GPU-Arbeitslast fehlgeschlagen ist, nicht mehr reagiert oder Leistungseinbußen aufweist, suchen Sie in den Kernel-Logs Ihrer Instanz (dmesg oder /var/log/kern.log) nach numerischen NVIDIA-Xid-Fehlercodes.

Die Xid-Fehlertabellen in den folgenden Abschnitten helfen Ihnen sofort:

  • Ursache ermitteln: Finden Sie heraus, ob der Fehler durch einen Anwendungsfehler (z. B. unzulässiger Speicherzugriff), einen Treiberkonflikt oder einen physischen Hardwarefehler (z. B. Double-Bit-ECC-Speicherfehler) verursacht wird.
  • Betriebliche Zuständigkeit festlegen: Prüfen Sie, welche sofortigen manuellen Wiederherstellungsmaßnahmen Sie ergreifen müssen, z. B. GPUs zurücksetzen, VMs neu starten oder Debugger ausführen, und welche automatisierten Reparatur- und Hardwareaustauschmaßnahmen Google aktiv auf dem Host verwaltet.
  • Die richtigen Wiederherstellungsschritte ausführen: Vermeiden Sie unnötige Fehlerbehebungsverfahren und wissen Sie genau, wann eine manuelle Wiederherstellung ausreicht und wann Sie den Host als fehlerhaft melden müssen. Manchmal reicht eine manuelle Wiederherstellung nicht aus, z. B. wenn sich die Fehlerquelle im GPU-Cache (SRAM) befindet, der nicht neu zugeordnet werden kann (angegeben durch Xid 48 mit SRAM Threshold Exceeded=Yes), oder wenn die GPU ihre Neuzuordnungsbank erschöpft hat (angegeben durch Xid 64: All reserved rows for bank are remapped). In diesen Fällen erkennt Google, dass die GPU für einen Hardwareaustausch infrage kommt, und sendet die Maschine proaktiv zur Reparatur. Wenn bei Ihren Arbeitslasten wiederholt Fehler auftreten oder Sie wiederholt Speicherfehler feststellen, können Sie den fehlerhaften Host melden, um eine automatische Reparatur oder einen Austausch zu veranlassen. Informationen zu GKE finden Sie unter Fehlerhafte Hosts in GKE melden.

Xid-Verarbeitung

In den folgenden Abschnitten werden häufige Xid-Fehlermeldungen nach technischer Kategorie gruppiert, zusammen mit den entsprechenden Lösungen und Verantwortlichkeiten:

GPU-Arbeitsspeicherfehler

GPU-Arbeitsspeicher ist der Speicher, der auf einem GPU-Gerät verfügbar ist und zum temporären Speichern von Daten verwendet werden kann. Der GPU-Arbeitsspeicher ist durch den Fehlerkorrekturcode ECC geschützt, der Single-Bit-Fehler (SBE) erkennt und korrigiert und nicht korrigierbare Double-Bit-Fehler (DBE) erkennt und meldet.

Diese Speicherfehler treten voraussichtlich im Laufe der Lebensdauer einer GPU auf. Vor der Veröffentlichung der NVIDIA A100-GPUs wurde die dynamische Seitendeaktivierung unterstützt. Für NVIDIA A100- und neuere GPU-Releases (z. B. NVIDIA H100) wird die Wiederherstellung nach Zeilenneuzuordnungsfehlern für HBM-Fehler (DRAM) eingeführt. ECC ist standardmäßig aktiviert und Google empfiehlt dringend, ECC aktiviert zu lassen.

In der folgenden Tabelle sind einige häufige GPU-Arbeitsspeicherfehler und ihre empfohlenen Lösungen aufgeführt:

Xid-Fehlermeldung Kundenseitige Maßnahmen Google-Aktion
Xid 48: Double Bit ECC

Ein Double-Bit-Speicherfehler (nicht korrigierbar) wurde von ECC erkannt. Dieser Fehler unterbricht immer die laufende Arbeitslast und generiert Xid 48.

  1. Beenden Sie die Arbeitslasten.
  2. Je nach Umgebung können Sie die GPUs zurücksetzen oder die VM neu starten, um Arbeitslasten wiederherzustellen und fortzusetzen:

Google überwacht, wann die GPU für einen Hardwareaustausch infrage kommt, z. B. wenn die HBM-Remap-Bank erschöpft ist oder die GPU den SRAM-Fehlerschwellenwert für die Lebensdauer überschreitet. In diesem Fall wird die Maschine proaktiv zur Reparatur gesendet, um die GPU zu ersetzen.

Xid 63: ECC page retirement or row remapping recording event

Gibt an, dass aufgrund eines Speicherfehlers ein Ereignis zur dynamischen Deaktivierung von Seiten oder zur Neuzuordnung von Zeilen aufgezeichnet wurde.

  1. Beenden Sie die Arbeitslasten.
  2. Je nach Umgebung können Sie die GPUs zurücksetzen oder die VM neu starten, um Arbeitslasten wiederherzustellen und fortzusetzen:

Google überwacht Fehlerschwellenwerte und sendet die Maschine zur Reparatur, wenn die GPU physisch repariert oder ersetzt werden muss.

Xid 64: ECC page retirement or row remapper recording failure

Die Nachricht enthält die folgenden Informationen:

Xid 64: All reserved rows for bank are remapped
  1. Beenden Sie die Arbeitslasten.
  2. Je nach Umgebung können Sie die GPUs zurücksetzen oder die VM neu starten, um Arbeitslasten wiederherzustellen und fortzusetzen:

Wenn die Remap-Bank erschöpft ist (All reserved rows for bank are remapped), erkennt Google, dass die GPU für einen Hardwareaustausch infrage kommt, und sendet die Maschine proaktiv zur Reparatur.

Wenn Sie mindestens zwei der folgenden Xid-Meldungen zusammen erhalten:

  • Xid 48
  • Xid 63
  • Xid 64

Die Nachricht enthält die folgenden Informationen:

Xid XX: row remap pending
  1. Beenden Sie die Arbeitslasten.
  2. Je nach Umgebung können Sie die GPUs zurücksetzen oder die VM neu starten, um Arbeitslasten wiederherzustellen und fortzusetzen:

Google sendet die Maschine zur Reparatur, wenn die Neuzuordnungsbank erschöpft ist oder wenn die GPU physisch repariert oder ersetzt werden muss.

Xid 92: High single-bit ECC error rate Diese Xid-Nachricht wird zurückgegeben, nachdem der GPU-Treiber einen korrigierbaren Fehler korrigiert hat. Sie sollte sich nicht auf Ihre Arbeitslasten auswirken. Diese Xid-Meldung dient nur zu Informationszwecken. Sie müssen nichts tun.

Keine

Xid 94: Contained error

Gibt an, dass ein GPU-Fehler aufgetreten ist und ob der Fehler auf eine einzelne Anwendung beschränkt war.

Xid 94 allein gibt nicht die Ursache des Fehlers an. Sie muss zusammen mit anderen gleichzeitig auftretenden Xid-Fehlern interpretiert werden, um die grundlegende Ursache zu ermitteln.

  1. Da der Fehler auf eine einzelne Anwendung beschränkt war, starten Sie die Anwendung neu, um sie wiederherzustellen.
  2. Setzen Sie die GPUs bei Bedarf zurück oder beenden Sie Ihre Arbeitslasten.
  3. Untersuchen Sie andere gleichzeitig auftretende Xid-Fehler, um weitere Schritte zur Wiederherstellung und die Ursache zu ermitteln.

Keine

Xid 95: Uncontained error

Gibt an, dass ein GPU-Fehler aufgetreten ist, der nicht auf eine einzelne Anwendung beschränkt war.

Xid 95 allein gibt nicht die Ursache des Fehlers an. Sie muss zusammen mit anderen gleichzeitig auftretenden Xid-Fehlern interpretiert werden, um die eigentliche Ursache zu ermitteln.

  1. Da der Fehler nicht eingedämmt wurde, beenden Sie Ihre Arbeitslasten und setzen Sie die GPUs zurück oder starten Sie die VM neu, um sie wiederherzustellen.
  2. Untersuchen Sie andere gleichzeitig auftretende Xid-Fehler, um die zugrunde liegende Ursache und weitere Schritte zur Wiederherstellung zu ermitteln.

Keine

Fehler im GSP

Ein GPU-Systemprozessor (GSP) ist ein Mikrocontroller, der auf GPUs ausgeführt wird und einige der Low-Level-Hardwareverwaltungsfunktionen übernimmt.

Xid-Fehlermeldung Kundenseitige Maßnahmen Google-Aktion
Xid 119: GSP RPC timeout
  1. Beenden Sie die Arbeitslasten.
  2. Prüfen Sie die empfohlenen NVIDIA-Treiberzweige, um sicherzustellen, dass Sie einen unterstützten Zweig und eine aktuelle oder die neueste Treiberversion verwenden, da Treiberfehler in früheren Versionen eine Hauptursache für GSP-Fehler sind.
  3. Wenn der Fehler nach dem Prüfen oder Aktualisieren des Treibers weiterhin besteht, löschen Sie die VM und erstellen Sie sie neu. Wenn der Fehler weiterhin auftritt, rufen Sie den NVIDIA-Fehlerbericht ab und erstellen Sie eine Supportanfrage bei Cloud Customer Care.

Keine. Wenn der Fehler weiterhin auftritt und Sie eine Supportanfrage einreichen, untersucht Google den Hardware- oder Treiberstatus über den Support-Workflow.

Xid 120: GSP error

Ungültiger Arbeitsspeicherzugriff-Fehler

Die folgenden Xids werden zurückgegeben, wenn Anwendungen illegale Arbeits-Speicherzugriffsfehler haben:

Xid-Fehlermeldung Kundenseitige Maßnahmen Google-Aktion

Xid 13: Graphics Engine Exception

Xid 31: GPU memory page fault

Xid 137: Memory access fault

Es wurde eine Speicherzugriffsverletzung erkannt, ähnlich einem Segmentierungsfehler. Diese Fehler weisen in der Regel auf einen Anwendungsfehler hin, bei dem auf den GPU-Arbeitsspeicher außerhalb des zulässigen Bereichs oder auf freigegebene Zwischenspeicher zugegriffen wird, z. B. durch Dereferenzierung eines ungültigen Zeigers oder eines Arrays außerhalb des zulässigen Bereichs. Diese stellen keine ECC-Fehler dar, es sei denn, Xid 48 ist ebenfalls vorhanden.

Beheben Sie die Speicherzugriffsfehler in Ihrer Anwendung, um dieses Problem zu beheben. Sie können cuda-gdb, Compute Sanitizer oder cuda-memcheck verwenden.

Weitere Informationen finden Sie in der NVIDIA Xid-Dokumentation.

Keine. In seltenen Fällen, in denen Hardwarefehler zu fälschlicherweise gemeldeten Fehlern beim unzulässigen Speicherzugriff führen können, können Sie den NVIDIA Data Center GPU Manager (DCGM) verwenden, um dcgmi diag -r 3 oder dcgmi diag -r 4 für verschiedene Testabdeckungen und -dauern auszuführen. Wenn Sie ein Hardwareproblem feststellen, wenden Sie sich an Customer Care.

Weitere häufige Xid-Fehlermeldungen

Xid-Fehlermeldung Kundenseitige Maßnahmen Google-Aktion
Xid 74: NVLINK error
  1. Beenden Sie die Arbeitslasten.
  2. Setzen Sie die GPUs zurück.

Keine

Xid 79: GPU has fallen off the bus

Das bedeutet, dass der Treiber nicht mit der GPU kommunizieren kann, weil die GPU aufgrund eines Hardwareproblems nicht mehr im PCI-Bus vorhanden ist.

Verwenden Sie einen der folgenden Ansätze, um Ihre Arbeitslasten wiederherzustellen, je nachdem, ob die Notfallwartung für Ihr Projekt aktiviert ist:

  • Notfallwartung anfordern: Wenn für Ihr Projekt eine Notfallwartung eingeführt wird, lösen Sie das Wartungsereignis nach Bedarf aus.
  • Auf automatische Wartung warten: Andernfalls warten Sie auf ein ungeplantes Wartungsereignis direkt auf der Instanz.

Google erkennt, dass die GPU vom PCI-Bus getrennt wurde, und sendet die Maschine zur Reparatur.

Xid 109: Context switch timeout

Xid 109 ist ein allgemeiner Fehler, der vom NVIDIA-GPU-Treiber gemeldet wird. Er wird generiert, wenn eine GPU-Instanz Aufgaben nicht innerhalb des erwarteten Zeitlimits vorzeitig beenden oder wechseln kann.

Google untersucht Xid 109 schon seit Langem gemeinsam mit NVIDIA. Bekannte Ursachen von Treiberfehlern wurden in den neuesten Treibern behoben. Xid 109 wird nicht durch ein Hardwareproblem verursacht.

  1. Beenden Sie die Arbeitslasten.
  2. Je nach Umgebung können Sie die GPUs zurücksetzen oder die VM neu starten, um Arbeitslasten wiederherzustellen und fortzusetzen:
  3. Erwägen Sie ein Upgrade auf eine neuere NVIDIA-Treiberversion für Ihre Umgebung, z. B. die Installation des neuesten Treibers auf Ihrer Compute Engine-VM oder ein Upgrade Ihres GKE-Knotenpools/Treiber-DaemonSets.

Keine

Xid 149, in dem 0x02a erwähnt wird, wie im folgenden Beispiel:
Xid (PCI:0000:c0:00): 149,NETIR_LINK_EVT Fatal XC0 i0 Link 04 (0x02a485c6 0x00000000 0x00000000 0x00000000 0x00000000 0x00000000)

Dies weist auf ein bekanntes Problem mit der Firmware für NVIDIA B200-GPUs hin.

  1. Beenden Sie die Arbeitslasten.
  2. Setzen Sie die GPUs zurück.

Keine

Fehlerbehebung bei nvidia-smi-Fehlern nach Betriebssystem-Patching oder Kernel-Upgrade

Wenn nvidia-smi nach einem Wartungsfenster, einem OS Patch Management-Lauf oder einem VM-Neustart mit NVIDIA-SMI has failed because it couldn't communicate with the NVIDIA driver fehlschlägt, prüfen Sie die Kernel-Paketsperren. Paketsperren aus einer vorherigen Treiberinstallation im binary-Modus können die Installation passender Kernel-Header verhindern.

Wählen Sie Ihr Betriebssystem aus, um dieses Problem zu diagnostizieren und zu beheben:

Ubuntu

  1. Prüfen Sie die ausgeführte Kernel-Version:

    uname -r
    
  2. Prüfen Sie, ob eine vorherige Treiberinstallation im binary-Modus die Kernelpakete gesperrt hat, z. B. wenn Sie --force-version-, --installation-branch=lts- oder NVIDIA RTX Virtual Workstation (vWS)-Compute-Instanzen verwenden:

    apt-mark showhold
    

    Prüfen Sie, ob linux-image-gcp oder linux-headers-gcp aufgeführt ist.

  3. Prüfen Sie, ob Kernel-Header für den ausgeführten Kernel installiert sind:

    dpkg -l | grep "linux-headers-$(uname -r)"
    
  4. Wenn die Kernel-Metapakete zurückgehalten werden, entfernen Sie die Paketsperren:

    sudo apt-mark unhold linux-image-gcp linux-headers-gcp
    
  5. Installieren Sie die Kernel-Header für den ausgeführten Kernel:

    sudo apt-get update && sudo apt-get install -y linux-headers-$(uname -r)
    
  6. Erstellen Sie das NVIDIA-Kernelmodul neu und laden Sie es:

    • Wenn DKMS-Modulquellen registriert sind (prüfen Sie sudo dkms status):

      sudo dkms autoinstall
      sudo modprobe nvidia
      nvidia-smi
      
    • Wenn sudo dkms status kein registriertes NVIDIA-Modul anzeigt (z. B. wenn der Treiber zuvor mit einer .run-Binärdatei ohne --dkms installiert wurde), führen Sie das Installationsprogramm für den GPU-Treiber von Google Cloud noch einmal aus:

      sudo python3 cuda_installer.pyz install_driver
      

Debian

  1. Prüfen Sie die ausgeführte Kernel-Version:

    uname -r
    
  2. Prüfen Sie, ob eine vorherige Treiberinstallation im binary-Modus die Kernelpakete gesperrt hat, z. B. wenn Sie --force-version-, --installation-branch=lts- oder NVIDIA RTX Virtual Workstation (vWS)-Compute-Instanzen verwenden:

    apt-mark showhold
    

    Prüfen Sie, ob linux-image-cloud-amd64 oder linux-headers-cloud-amd64 aufgeführt ist.

  3. Prüfen Sie, ob Kernel-Header für den ausgeführten Kernel installiert sind:

    dpkg -l | grep "linux-headers-$(uname -r)"
    
  4. Wenn die Kernel-Metapakete zurückgehalten werden, entfernen Sie die Paketsperren:

    sudo apt-mark unhold linux-image-cloud-amd64 linux-headers-cloud-amd64
    
  5. Installieren Sie die Kernel-Header für den ausgeführten Kernel:

    sudo apt-get update && sudo apt-get install -y linux-headers-$(uname -r)
    
  6. Erstellen Sie das NVIDIA-Kernelmodul neu und laden Sie es:

    • Wenn DKMS-Modulquellen registriert sind (prüfen Sie sudo dkms status):

      sudo dkms autoinstall
      sudo modprobe nvidia
      nvidia-smi
      
    • Wenn sudo dkms status kein registriertes NVIDIA-Modul anzeigt (z. B. wenn der Treiber zuvor mit einer .run-Binärdatei ohne --dkms installiert wurde), führen Sie das Installationsprogramm für den GPU-Treiber von Google Cloud noch einmal aus:

      sudo python3 cuda_installer.pyz install_driver
      

RHEL und Rocky Linux

  1. Prüfen Sie die ausgeführte Kernel-Version:

    uname -r
    
  2. Prüfen Sie, ob eine vorherige Treiberinstallation im binary-Modus die Kernelpakete gesperrt hat, z. B. wenn Sie --force-version-, --installation-branch=lts- oder NVIDIA RTX Virtual Workstation (vWS)-Compute-Instanzen verwenden:

    grep "^exclude=.*kernel" /etc/dnf/dnf.conf
    
  3. Prüfen Sie, ob Kernel-Header für den ausgeführten Kernel installiert sind:

    rpm -qa | grep "kernel-devel-$(uname -r)"
    
  4. Wenn Kernel-Pakete ausgeschlossen sind, entfernen Sie kernel* aus der Zeile exclude= in /etc/dnf/dnf.conf.

  5. Installieren Sie die Kernel-Header für den ausgeführten Kernel:

    sudo dnf install -y kernel-devel-$(uname -r) kernel-headers-$(uname -r)
    
  6. Erstellen Sie das NVIDIA-Kernelmodul neu und laden Sie es:

    • Wenn DKMS-Modulquellen registriert sind (prüfen Sie sudo dkms status):

      sudo dkms autoinstall
      sudo modprobe nvidia
      nvidia-smi
      
    • Wenn sudo dkms status kein registriertes NVIDIA-Modul anzeigt (z. B. wenn der Treiber zuvor mit einer .run-Binärdatei ohne --dkms installiert wurde), führen Sie das Installationsprogramm für den GPU-Treiber von Google Cloud noch einmal aus:

      sudo python3 cuda_installer.pyz install_driver
      

Fehlerbehebung für Secure Boot

Wenn Sie den NVIDIA-Treiber auf einer Compute-Instanz mit aktiviertem Secure Boot installieren und nvidia-smi nicht mit dem NVIDIA-Treiber kommunizieren kann, blockiert Secure Boot möglicherweise das Laden des nicht signierten Kernelmoduls.

So diagnostizieren und beheben Sie dieses Problem:

  1. Prüfen Sie, ob Secure Boot das Kernelmodul aufgrund einer fehlenden oder ungültigen Signatur abgelehnt hat:

    sudo dmesg | grep -iE 'secure boot|nvidia'
    
  2. Wenn Secure Boot das Modul blockiert hat, signieren Sie die Treibermodule manuell und registrieren Sie Ihren Machine Owner Key (MOK) oder verwenden Sie ein Betriebssystem-Image mit vorsignierten Kernelmodulen. Eine Anleitung finden Sie unter GPU-Treiber installieren (Secure Boot-VMs).

GPUs zurücksetzen

Bei einigen Problemen müssen Sie Ihre GPUs möglicherweise zurücksetzen. Führen Sie die folgenden Schritte aus, um GPUs zurückzusetzen:

  • Starten Sie die VM neu, wenn es sich um eine N1-, G2-, A2- oder G4-VM mit einer oder mehreren angehängten GPUs handelt.
  • Führen Sie für G4-VMs mit fraktionalen GPUs (weniger als eine GPU angehängt) die folgenden Schritte aus:
    1. Löschen Sie die VM.
    2. Erstellen Sie die VM neu.
  • Führen Sie für A3-, A4-, A4X- und A4X Max-Instanzen sudo nvidia-smi --gpu-reset aus.
    • Bei den meisten Linux-VMs befindet sich die ausführbare Datei nvidia-smi im Verzeichnis /var/lib/nvidia/bin.
    • Bei GKE-Knoten befindet sich die ausführbare Datei nvidia-smi im Verzeichnis /home/kubernetes/bin/nvidia.
  • Für A3-, A4-, A4X- und A4X Max-Instanzen auf GKE-Knoten können Sie auch das gpu-reset-tool verwenden, um das Zurücksetzen aller GPUs auf einem Knoten zu automatisieren. Für dieses Tool müssen Sie nur den Namen des Zielknotens angeben.

Alternativ werden GPUs auch zurückgesetzt, wenn Sie eine VM zurücksetzen oder eine VM beenden und neu starten. Weitere Informationen zu VM-Lebenszyklusstatus und den Unterschieden zwischen VM-Wiederherstellungsaktionen finden Sie unter Lebenszyklus von Compute Engine-Instanzen und Compute Engine-Instanzen sperren, beenden oder zurücksetzen.

Supportfall eröffnen

Wenn Sie die Probleme nicht mithilfe der Anleitung auf dieser Seite beheben können, erfassen Sie die folgenden Informationen und öffnen Sie eine Supportanfrage:

  • Projekt-ID des Projekts, in dem sich die betroffenen Instanzen befinden.
  • Liste aller Instanznamen oder ‑IDs im Cluster.
  • Liste der verdächtigen Knoten, die bei der Fehlerbehebung identifiziert wurden.
  • Vollständige, nicht verschachtelte NCCL-Logs mit aktivierten Debug-Einstellungen.
  • Ausgabe von Hardware-Systemdiagnosen (dcgmi, nvidia-smi).
  • Genaue Benchmark oder genauer Arbeitslastbefehl, der fehlschlägt.
  • Relevante Logdateien wie Host-Engine- und Diagnose-Logs. Führen Sie dazu gather-dcgm-logs.sh aus, das sich bei Standardinstallationen in /usr/local/dcgm/scripts befindet.
  • NVIDIA-Fehlerbericht. Führen Sie nvidia-bug-report.sh aus: Folgen Sie für Blackwell- und neuere GPUs der Anleitung unter Fehlerbericht für Blackwell- und neuere GPUs erstellen.
  • Details zu den letzten Änderungen, die vor dem Fehler an Ihrer Umgebung vorgenommen wurden.

Nächste Schritte

GPU-Maschinentypen ansehen