為 Blackwell 和更新版 GPU 產生錯誤報告

本文說明如何為 Compute Engine VM 和 Google Kubernetes Engine (GKE) 節點,產生完整的 GPU 錯誤報告。這些節點使用 NVIDIA Blackwell GPU 和後續架構。如要找出機型使用的 GPU 型號,請參閱「GPU 型號」。

對於 NVIDIA Blackwell 和更新版本的 GPU 架構,標準 nvidia-bug-report.sh 指令碼不會擷取所有低階硬體和網狀架構資料,而這些資料是排解 GPU Xid 錯誤或多節點效能降低等問題所需。完整的 GPU 錯誤報告包含下列診斷資料:

  • 標準 GPU 和系統診斷:GPU 狀態、驅動程式記錄、PCI 匯流排資訊、nvidia-bug-report.sh 的核心記錄,以及 GPU、NIC 和 CPU 互連拓撲、儲存空間 I/O 統計資料,以及 RDMA 裝置和通訊埠狀態 (適用於具備 NVIDIA ConnectX NIC 連結的機型)。
  • NVIDIA 韌體工具 (MFT) 資料:在 Blackwell 和更新版本的 GPU 上,nvidia-bug-report.sh 會使用 NVIDIA MFT 收集 NVLink 連線的實體層狀態、內部 GPU 暫存器值,以及韌體的原始診斷區段。
  • NVIDIA IMEX 網域診斷:多節點 NVLink 機型 (例如 A4X 和 A4X Max) 仰賴 NVIDIA Internode Memory Exchange (IMEX) 守護程序管理多節點 NVLink 網域。如要診斷 NVLink 網域問題,必須取得各節點的 IMEX 網域狀態和 IMEX Daemon 記錄。

事前準備

如需完整的必要條件和設定操作說明,請參閱 GPU 錯誤報告 README。以下列出必要條件:

  • 確認 Compute Engine VM 或 GKE 節點已安裝 NVIDIA GPU 驅動程式。
  • 在 Compute Engine VM 上,設定 Docker 向 Artifact Registry 進行驗證,以便 Docker 提取收集器容器映像檔。
  • 選用:在執行非 COS OS (例如 Ubuntu、Debian 或 RHEL 系列 OS) 的 Compute Engine VM 上,安裝及設定 Docker 適用的 NVIDIA Container Toolkit。如果工具包無法使用,run-goog-gpu-bug-report.sh 會嘗試改為掛接主機的 NVIDIA 驅動程式目錄。
  • 選用:如要將錯誤報告上傳至 Cloud Storage bucket,請確認 VM 或 GKE 節點的服務帳戶具備 bucket 的寫入權限。

產生完整的 GPU 錯誤報告

使用開放原始碼的 Google Cloud GPU 錯誤報告收集器,只要一個指令,就能在 Container-Optimized OS (COS) 和其他 Linux 發行版 (包括 Ubuntu、Debian 和 RHEL 系列客體作業系統,例如 Rocky Linux) 中,收集所有上述診斷記錄,適用於 x86 (linux/amd64) 和 Arm (linux/arm64) 執行個體。

MFT 核心模組的處理方式

如果是 Blackwell 和更新版本的 GPU,收集器會自動在容器中安裝 MFT 使用者空間工具,並根據客體作業系統處理 MFT 核心模組 (mst_pci 和 mst_pciconf):

  • Container-Optimized OS (COS):下載並載入預先編譯、COS 簽署的 MFT 核心模組,這些模組與您執行的 COS 核心版本相符。
  • 其他 Linux 發行版本 (包括 Ubuntu、Debian 和 RHEL 系列 OS): 嘗試使用 DKMS,根據主機執行中的核心標頭,從來源建構及載入 MFT 核心模組。
  • 自動切換至無驅動程式備用模式:在 COS 和其他 Linux 發行版中,如果載入或建構 MFT 核心模組失敗,收集器會自動切換至無驅動程式 MFT 模式,仍會透過 NVIDIA 驅動程式收集 GPU NVLink 診斷資料。

執行收集器

  1. 連線至 Linux GPU 執行個體。

  2. 執行適用於您環境的收集器:

    • 在 Compute Engine VM 上:下載並執行 run-goog-gpu-bug-report.sh:

      bash run-goog-gpu-bug-report.sh
      

      如要將產生的 .tar.gz 封存檔上傳至 Cloud Storage bucket,請在 -- 後方傳遞 --gcs_bucket:

      bash run-goog-gpu-bug-report.sh -- --gcs_bucket=BUCKET_NAME
      
    • 在 GKE 叢集上:更新 bug-report-pod.yaml 中的 GKE_NODE_NAME 和 NUMBER_OF_GPUS,並套用 Pod 資訊清單 (詳情請參閱 README):

      kubectl apply -f bug-report-pod.yaml
      

收集器旗標和輸出位置

根據預設,收集器會寫入個別診斷檔案,並將這些檔案彙整成單一封存檔,儲存在主機 VM 的下列路徑:

/tmp/goog_gpu_bug_reports/utc_TIMESTAMP/vm_id_VM_ID/goog_gpu_bug_report_VM_ID_utc_TIMESTAMP.tar.gz

您可以傳遞下列收集器旗標 (使用 run-goog-gpu-bug-report.sh 時,在 -- 之後):

收集器旗標 說明
--gcs_bucket=BUCKET_NAME 將套裝 .tar.gz 錯誤報告封存檔上傳至指定的 Cloud Storage bucket (gs://BUCKET_NAME/bug_report/utc_TIMESTAMP/vm_id_VM_ID/)。
--mft_kernel_modules=auto 預設。嘗試載入 MFT 核心模組 (COS 上 COS 簽署的模組,或其他 Linux 發行版上的 DKMS 建構),如果模組載入失敗,則會自動改用無驅動程式 MFT。
--mft_kernel_modules=never 略過在主機上建構或載入 MFT 核心模組 (如果已載入,則會卸載),並在無驅動程式模式下執行 MFT。

舉例來說,如要在無驅動程式模式下執行 MFT,而不載入主機上的核心模組,並將報告上傳至 Cloud Storage bucket,請執行下列指令:

bash run-goog-gpu-bug-report.sh -- --mft_kernel_modules=never --gcs_bucket=BUCKET_NAME

如需直接 docker run 指令、自訂映像檔建構,以及在 nvidia-bug-report.log.gz 內驗證 MFT 輸出的操作說明,請參閱收集器的 README。