Dokumen ini menjelaskan cara membuat laporan bug GPU yang komprehensif untuk VM Compute Engine dan node Google Kubernetes Engine (GKE) yang menggunakan GPU NVIDIA Blackwell dan arsitektur yang lebih baru. Untuk mengidentifikasi model GPU yang digunakan jenis mesin Anda, lihat Model GPU.
Untuk NVIDIA Blackwell dan arsitektur GPU yang lebih baru, skrip
nvidia-bug-report.sh
standar tidak menangkap semua data hardware dan fabric tingkat rendah yang diperlukan
untuk memecahkan masalah seperti
error Xid GPU
atau penurunan performa multi-node. Laporan bug GPU yang komprehensif mencakup
data diagnostik berikut:
- GPU standar dan diagnostik sistem: Status GPU, log driver, informasi bus PCI, dan log kernel dari
nvidia-bug-report.sh, beserta topologi interkoneksi GPU, NIC, dan CPU, statistik I/O penyimpanan, serta status perangkat dan port RDMA (yang berguna untuk jenis mesin dengan link NIC NVIDIA ConnectX). - Data NVIDIA Firmware Tools (MFT): Pada GPU Blackwell dan yang lebih baru,
nvidia-bug-report.shmenggunakan NVIDIA MFT untuk mengumpulkan status lapisan fisik koneksi NVLink, nilai register GPU internal, dan segmen diagnostik mentah dari firmware. - Diagnostik domain NVIDIA IMEX: Jenis mesin NVLink multi-node, seperti A4X dan A4X Max, mengandalkan daemon NVIDIA Internode Memory Exchange (IMEX) untuk mengelola domain NVLink multi-node. Mendiagnosis masalah domain NVLink memerlukan status domain IMEX di seluruh node dan log daemon IMEX.
Sebelum memulai
Untuk mengetahui prasyarat dan petunjuk penyiapan lengkap, lihat README laporan bug GPU. Daftar berikut merangkum prasyaratnya:
- Pastikan driver GPU NVIDIA diinstal di VM Compute Engine atau node GKE Anda.
- Di VM Compute Engine, konfigurasikan Docker untuk melakukan autentikasi ke Artifact Registry agar Docker dapat mengambil image container kolektor.
- Opsional: Di VM Compute Engine yang menjalankan OS non-COS (misalnya, Ubuntu, Debian, atau OS keluarga RHEL), instal dan konfigurasi NVIDIA Container Toolkit untuk Docker. Jika toolkit tidak tersedia,
run-goog-gpu-bug-report.shakan mencoba memasang direktori driver NVIDIA host. - Opsional: Untuk mengupload laporan bug ke bucket Cloud Storage, pastikan akun layanan VM atau node GKE memiliki akses tulis ke bucket.
Membuat laporan bug GPU yang komprehensif
Gunakan
Google Cloud GPU Bug Report Collector
open source untuk mengumpulkan semua log diagnostik sebelumnya dalam satu perintah di
Container-Optimized OS (COS) dan distribusi Linux lainnya, termasuk
Ubuntu, Debian, dan sistem operasi tamu keluarga RHEL (seperti Rocky Linux),
pada instance x86 (linux/amd64) dan Arm (linux/arm64).
Cara penanganan modul kernel MFT
Untuk GPU Blackwell dan yang lebih baru, kolektor akan otomatis menginstal alat userspace MFT di dalam container dan menangani modul kernel MFT (mst_pci dan mst_pciconf) berdasarkan sistem operasi tamu Anda:
- Container-Optimized OS (COS): Mendownload dan memuat modul kernel MFT yang telah dikompilasi dan ditandatangani COS, yang cocok dengan versi kernel COS yang sedang berjalan.
- Distribusi Linux lainnya (termasuk Ubuntu, Debian, dan OS keluarga RHEL): Mencoba membangun dan memuat modul kernel MFT dari sumber menggunakan DKMS terhadap header kernel yang berjalan di host.
- Penggantian otomatis tanpa driver: Di COS dan distribusi Linux lainnya, jika pemuatan atau pembuatan modul kernel MFT gagal, kolektor akan otomatis beralih ke mode MFT tanpa driver, yang masih mengumpulkan diagnostik NVLink GPU melalui driver NVIDIA.
Menjalankan kolektor
Jalankan kolektor untuk lingkungan Anda:
Di VM Compute Engine: Download dan jalankan
run-goog-gpu-bug-report.sh:bash run-goog-gpu-bug-report.shUntuk juga mengupload arsip
.tar.gzyang dihasilkan ke bucket Cloud Storage, teruskan--gcs_bucketsetelah--:bash run-goog-gpu-bug-report.sh -- --gcs_bucket=BUCKET_NAMEDi cluster GKE: Perbarui
GKE_NODE_NAMEdanNUMBER_OF_GPUSdibug-report-pod.yamldan terapkan manifes Pod (lihat README untuk mengetahui detailnya):kubectl apply -f bug-report-pod.yaml
Flag kolektor dan lokasi output
Secara default, kolektor menulis file diagnostik individual dan menggabungkannya ke dalam satu arsip di jalur berikut pada VM host:
/tmp/goog_gpu_bug_reports/utc_TIMESTAMP/vm_id_VM_ID/goog_gpu_bug_report_VM_ID_utc_TIMESTAMP.tar.gz
Anda dapat meneruskan flag kolektor berikut (setelah -- saat menggunakan
run-goog-gpu-bug-report.sh):
| Flag kolektor | Deskripsi |
|---|---|
--gcs_bucket=BUCKET_NAME |
Mengupload arsip laporan bug .tar.gz yang dipaketkan ke bucket Cloud Storage yang ditentukan (gs://BUCKET_NAME/bug_report/utc_TIMESTAMP/vm_id_VM_ID/). |
--mft_kernel_modules=auto |
Default. Mencoba memuat modul kernel MFT (modul bertanda tangan COS di COS, atau build DKMS di distribusi Linux lainnya) dan otomatis beralih ke MFT tanpa driver jika pemuatan modul gagal. |
--mft_kernel_modules=never |
Melewati pembuatan atau pemuatan modul kernel MFT di host (dan menghapus muatannya jika sudah dimuat), menjalankan MFT dalam mode tanpa driver. |
Misalnya, untuk menjalankan MFT dalam mode tanpa driver tanpa memuat modul kernel di host dan mengupload laporan ke bucket Cloud Storage:
bash run-goog-gpu-bug-report.sh -- --mft_kernel_modules=never --gcs_bucket=BUCKET_NAME
Untuk perintah docker run langsung, build image kustom, dan petunjuk tentang
cara memverifikasi output MFT di dalam nvidia-bug-report.log.gz, lihat
README kolektor.