Fehlerbericht für Blackwell- und neuere GPUs erstellen

In diesem Dokument wird erläutert, wie Sie einen umfassenden GPU-Fehlerbericht für Compute Engine-VMs und GKE-Knoten (Google Kubernetes Engine) erstellen, die NVIDIA Blackwell-GPUs und neuere Architekturen verwenden. Informationen dazu, welches GPU-Modell Ihr Maschinentyp verwendet, finden Sie unter GPU-Modelle.

Bei NVIDIA Blackwell- und neueren GPU-Architekturen erfasst das Standardskript nvidia-bug-report.sh nicht alle Low-Level-Hardware- und Fabric-Daten, die zur Behebung von Problemen wie GPU-Xid-Fehlern oder Leistungseinbußen bei mehreren Knoten erforderlich sind. Ein umfassender GPU-Fehlerbericht enthält die folgenden Diagnosedaten:

  • Standard-GPU- und Systemdiagnose: GPU-Status, Treiberlogs, PCI-Bus-Informationen und Kernel-Logs von nvidia-bug-report.sh sowie GPU-, NIC- und CPU-Interconnect-Topologie, Speicher-E/A-Statistiken und RDMA-Geräte- und Portstatus (nützlich für Maschinentypen mit NVIDIA ConnectX-NIC-Links).
  • NVIDIA Firmware Tools (MFT)-Daten: Auf Blackwell- und neueren GPUs verwendet nvidia-bug-report.sh NVIDIA MFT, um den Status der Bitübertragungsschicht von NVLink-Verbindungen, interne GPU-Registerwerte und Rohdiagnosesegmente aus der Firmware zu erfassen.
  • NVIDIA IMEX-Domaindiagnose: NVLink-Maschinentypen mit mehreren Knoten, z. B. A4X und A4X Max, verwenden den NVIDIA Internode Memory Exchange (IMEX)-Daemon, um die NVLink-Domain mit mehreren Knoten zu verwalten. Für die Diagnose von NVLink-Domainproblemen sind der IMEX-Domainstatus auf allen Knoten und die IMEX-Daemon-Logs erforderlich.

Hinweis

Die vollständigen Voraussetzungen und Einrichtungsanleitungen finden Sie in der README zum GPU-Fehlerbericht. In der folgenden Liste sind die Voraussetzungen zusammengefasst:

  • Achten Sie darauf, dass der NVIDIA-GPU-Treiber auf Ihrer Compute Engine-VM oder Ihrem GKE-Knoten installiert ist.
  • Konfigurieren Sie Docker auf Compute Engine-VMs für die Authentifizierung bei Artifact Registry, damit Docker das Collector-Container-Image abrufen kann.
  • Optional: Installieren und konfigurieren Sie auf Compute Engine-VMs, auf denen ein Nicht-COS-Betriebssystem ausgeführt wird (z. B. Ubuntu, Debian oder ein Betriebssystem der RHEL-Familie), das NVIDIA Container Toolkit für Docker. Wenn das Toolkit nicht verfügbar ist, versucht run-goog-gpu-bug-report.sh stattdessen, die NVIDIA-Treiberverzeichnisse des Hosts bereitzustellen.
  • Optional: Wenn Sie den Fehlerbericht in einen Cloud Storage-Bucket hochladen möchten, prüfen Sie, ob das Dienstkonto der VM oder des GKE-Knotens Schreibzugriff auf den Bucket hat.

Umfassenden GPU-Fehlerbericht erstellen

Verwenden Sie den Open-Source-Google Cloud GPU Bug Report Collector, um alle oben genannten Diagnoselogs mit einem einzigen Befehl für Container-Optimized OS (COS) und andere Linux-Distributionen zu erfassen, einschließlich Ubuntu, Debian und Gastbetriebssystemen der RHEL-Familie (z. B. Rocky Linux) auf x86- (linux/amd64) und Arm-Instanzen (linux/arm64).

Umgang mit MFT-Kernelmodulen

Bei Blackwell- und neueren GPUs installiert der Collector automatisch die MFT-Userspace-Tools im Container und verarbeitet die MFT-Kernelmodule (mst_pci und mst_pciconf) basierend auf Ihrem Gastbetriebssystem:

  • Container-Optimized OS (COS): Lädt die vorkompilierten, COS-signierten MFT-Kernelmodule herunter, die Ihrer ausgeführten Kernel-Version von COS entsprechen.
  • Andere Linux-Distributionen (einschließlich Ubuntu, Debian und RHEL-Familien-Betriebssysteme): Versucht, die MFT-Kernelmodule mithilfe von DKMS aus der Quelle für die laufenden Kernel-Header des Hosts zu erstellen und zu laden.
  • Automatischer Fallback ohne Treiber: Wenn das Laden oder Erstellen der MFT-Kernelmodule auf COS und anderen Linux-Distributionen fehlschlägt, greift der Collector automatisch auf den treiberlosen MFT-Modus zurück, in dem die GPU-NVLink-Diagnose weiterhin über den NVIDIA-Treiber erfasst wird.

Collector ausführen

  1. Stellen Sie eine Verbindung zu Ihrer Linux-GPU-Instanz her.

  2. Führen Sie den Collector für Ihre Umgebung aus:

    • Auf einer Compute Engine-VM: Laden Sie run-goog-gpu-bug-report.sh herunter und führen Sie es aus:

      bash run-goog-gpu-bug-report.sh
      

      Wenn Sie das generierte .tar.gz-Archiv auch in einen Cloud Storage-Bucket hochladen möchten, übergeben Sie --gcs_bucket nach --:

      bash run-goog-gpu-bug-report.sh -- --gcs_bucket=BUCKET_NAME
      
    • In einem GKE-Cluster: Aktualisieren Sie GKE_NODE_NAME und NUMBER_OF_GPUS in bug-report-pod.yaml und wenden Sie das Pod-Manifest an (Details finden Sie in der README):

      kubectl apply -f bug-report-pod.yaml
      

Collector-Flags und Ausgabespeicherort

Standardmäßig schreibt der Collector die einzelnen Diagnosedateien und bündelt sie in einem einzigen Archiv im folgenden Pfad auf der Host-VM:

/tmp/goog_gpu_bug_reports/utc_TIMESTAMP/vm_id_VM_ID/goog_gpu_bug_report_VM_ID_utc_TIMESTAMP.tar.gz

Sie können die folgenden Collector-Flags übergeben (nach --, wenn Sie run-goog-gpu-bug-report.sh verwenden):

Collector-Flag Beschreibung
--gcs_bucket=BUCKET_NAME Lädt das gebündelte .tar.gz-Fehlerberichtarchiv in den angegebenen Cloud Storage-Bucket (gs://BUCKET_NAME/bug_report/utc_TIMESTAMP/vm_id_VM_ID/) hoch.
--mft_kernel_modules=auto Standardeinstellung. Versucht, MFT-Kernelmodule (COS-signierte Module auf COS oder DKMS-Build auf anderen Linux-Distributionen) zu laden, und greift automatisch auf treiberloses MFT zurück, wenn das Laden des Moduls fehlschlägt.
--mft_kernel_modules=never Überspringt das Erstellen oder Laden von MFT-Kernelmodulen auf dem Host (und entlädt sie, falls sie bereits geladen sind) und führt MFT im treiberlosen Modus aus.

So führen Sie beispielsweise MFT im treiberlosen Modus aus, ohne Kernelmodule auf dem Host zu laden, und laden den Bericht in einen Cloud Storage-Bucket hoch:

bash run-goog-gpu-bug-report.sh -- --mft_kernel_modules=never --gcs_bucket=BUCKET_NAME

Direkte docker run-Befehle, benutzerdefinierte Image-Builds und eine Anleitung zum Prüfen der MFT-Ausgabe in nvidia-bug-report.log.gz finden Sie in der README des Collectors.