为 Blackwell 及更高版本的 GPU 生成 bug 报告

本文档介绍了如何为使用 NVIDIA Blackwell GPU 及更高版本架构的 Compute Engine 虚拟机和 Google Kubernetes Engine (GKE) 节点生成全面的 GPU bug 报告。如需确定您的机器类型使用的 GPU 型号,请参阅 GPU 型号。

对于 NVIDIA Blackwell 及更高版本的 GPU 架构,标准 nvidia-bug-report.sh 脚本不会捕获排查 GPU Xid 错误或多节点性能下降等问题所需的所有低级硬件和网络数据。全面的 GPU bug 报告包含以下诊断数据:

  • 标准 GPU 和系统诊断:GPU 状态、驱动程序日志、PCI 总线信息以及来自 nvidia-bug-report.sh 的内核日志,以及 GPU、NIC 和 CPU 互连拓扑、存储 I/O 统计信息以及 RDMA 设备和端口状态(这对于具有 NVIDIA ConnectX NIC 链接的机器类型非常有用)。
  • NVIDIA 固件工具 (MFT) 数据:在 Blackwell 及更高版本的 GPU 上,nvidia-bug-report.sh 使用 NVIDIA MFT 收集 NVLink 连接的物理层状态、内部 GPU 寄存器值以及固件中的原始诊断片段。
  • NVIDIA IMEX 网域诊断:多节点 NVLink 机器类型(例如 A4X 和 A4X Max)依赖 NVIDIA 节点间内存交换 (IMEX) 守护程序来管理多节点 NVLink 网域。诊断 NVLink 网域问题需要跨节点的 IMEX 网域状态和 IMEX 守护程序日志。

准备工作

如需查看完整的前提条件和设置说明,请参阅 GPU bug 报告 README。以下列表总结了前提条件:

  • 确保 Compute Engine 虚拟机或 GKE 节点上已安装 NVIDIA GPU 驱动程序。
  • 在 Compute Engine 虚拟机上,配置 Docker 以向 Artifact Registry 进行身份验证,以便 Docker 可以拉取收集器容器映像。
  • 可选:在运行非 COS 操作系统(例如 Ubuntu、Debian 或 RHEL 系列操作系统)的 Compute Engine 虚拟机上,安装并配置适用于 Docker 的 NVIDIA Container Toolkit。如果该工具包不可用,run-goog-gpu-bug-report.sh 会尝试改为装载主机的 NVIDIA 驱动程序目录。
  • 可选:如需将 bug 报告上传到 Cloud Storage 存储桶,请验证虚拟机或 GKE 节点的服务账号是否具有对该存储桶的写入权限。

生成全面的 GPU bug 报告

使用开源 Google Cloud GPU 错误报告收集器,只需一条命令即可在 Container-Optimized OS (COS) 和其他 Linux 发行版(包括 Ubuntu、Debian 和 RHEL 系列客机操作系统,例如 Rocky Linux)上收集上述所有诊断日志,同时支持 x86 (linux/amd64) 和 Arm (linux/arm64) 实例。

MFT 内核模块的处理方式

对于 Blackwell 及更高版本的 GPU,收集器会自动在容器内安装 MFT 用户空间工具,并根据您的客户机操作系统处理 MFT 内核模块(mst_pci 和 mst_pciconf):

  • Container-Optimized OS (COS):下载并加载与您正在运行的 COS 内核版本匹配的预编译、COS 签名的 MFT 内核模块。
  • 其他 Linux 发行版(包括 Ubuntu、Debian 和 RHEL 系列操作系统):尝试使用 DKMS 针对主机的运行内核头文件从源代码构建和加载 MFT 内核模块。
  • 自动无驱动程序回退:在 COS 和其他 Linux 发行版上,如果加载或构建 MFT 内核模块失败,收集器会自动回退到无驱动程序 MFT 模式,该模式仍会通过 NVIDIA 驱动程序收集 GPU NVLink 诊断信息。

运行收集器

  1. 连接到 Linux GPU 实例。

  2. 为您的环境运行收集器:

    • 在 Compute Engine 虚拟机上:下载并运行 run-goog-gpu-bug-report.sh:

      bash run-goog-gpu-bug-report.sh
      

      如需同时将生成的 .tar.gz 归档上传到 Cloud Storage 存储桶,请在 -- 之后传递 --gcs_bucket:

      bash run-goog-gpu-bug-report.sh -- --gcs_bucket=BUCKET_NAME
      
    • 在 GKE 集群上:更新 bug-report-pod.yaml 中的 GKE_NODE_NAME 和 NUMBER_OF_GPUS,并应用 Pod 清单(如需了解详情,请参阅 README):

      kubectl apply -f bug-report-pod.yaml
      

收集器标志和输出位置

默认情况下,收集器会写入各个诊断文件,并将其捆绑到主机虚拟机上以下路径中的单个归档文件中:

/tmp/goog_gpu_bug_reports/utc_TIMESTAMP/vm_id_VM_ID/goog_gpu_bug_report_VM_ID_utc_TIMESTAMP.tar.gz

您可以传递以下收集器标志(使用 run-goog-gpu-bug-report.sh 时在 -- 之后):

收集器标志 说明
--gcs_bucket=BUCKET_NAME 将打包的 .tar.gz 错误报告归档上传到指定的 Cloud Storage 存储桶 (gs://BUCKET_NAME/bug_report/utc_TIMESTAMP/vm_id_VM_ID/)。
--mft_kernel_modules=auto 默认。尝试加载 MFT 内核模块(COS 上经过 COS 签名的模块,或在其他 Linux 发行版上构建的 DKMS),如果模块加载失败,则会自动回退到无驱动程序的 MFT。
--mft_kernel_modules=never 跳过在主机上构建或加载 MFT 内核模块(如果已加载,则卸载),在无驱动模式下运行 MFT。

例如,如需在无驱动程序模式下运行 MFT,而不加载主机上的内核模块,并将报告上传到 Cloud Storage 存储桶,请运行以下命令:

bash run-goog-gpu-bug-report.sh -- --mft_kernel_modules=never --gcs_bucket=BUCKET_NAME

如需了解直接 docker run 命令、自定义映像构建以及在 nvidia-bug-report.log.gz 中验证 MFT 输出的说明,请参阅收集器的 README。