Panduan ini menjelaskan cara mendiagnosis dan menyelesaikan masalah umum pada VM Compute Engine yang memiliki GPU terpasang, termasuk error hardware dan bottleneck performa. Jika Anda mengalami error ZONE_RESOURCE_POOL_EXHAUSTED atau
error kapasitas lainnya saat membuat VM GPU, lihat
Memecahkan masalah error ketersediaan resource
atau
Memecahkan masalah konsumsi pemesanan.
Memecahkan masalah VM GPU menggunakan NVIDIA DCGM
NVIDIA Data Center GPU Manager (DCGM) adalah rangkaian alat untuk mengelola dan memantau GPU pusat data NVIDIA di lingkungan cluster.
Untuk menggunakan DCGM dalam memecahkan masalah di lingkungan GPU Anda, selesaikan langkah-langkah berikut:
- Pastikan Anda menggunakan driver NVIDIA terbaru yang direkomendasikan untuk model GPU yang terpasang ke VM Anda. Untuk meninjau versi driver, lihat Versi driver NVIDIA yang direkomendasikan.
- Pastikan Anda menginstal DCGM versi terbaru. Untuk menginstal versi terbaru, lihat penginstalan DCGM.
Mendiagnosis masalah
Saat Anda menjalankan perintah diagnostik dcgmi, masalah yang dilaporkan oleh alat diagnostik
mencakup langkah berikutnya untuk mengambil tindakan terhadap masalah tersebut. Contoh berikut
menunjukkan output yang dapat ditindaklanjuti dari perintah dcgmi diag -r memory -j.
{
........
"category":"Hardware",
"tests":[
{
"name":"GPU Memory",
"results":[
{
"gpu_id":"0",
"info":"GPU 0 Allocated 23376170169
bytes (98.3%)",
"status":"Fail",
""warnings":[
{
"warning":"Pending page
retirements together with a DBE were detected on GPU 0. Drain the GPU and reset it or reboot the node to resolve this issue.",
"error_id":83,
"error_category":10,
"error_severity":6
}
]
}
.........
Dari cuplikan output sebelumnya, Anda dapat melihat bahwa GPU 0 memiliki penghentian halaman yang tertunda yang disebabkan oleh error yang tidak dapat dipulihkan. Output memberikan
error_id unik dan saran tentang proses debug masalah. Untuk contoh output ini, sebaiknya Anda mengosongkan GPU dan memulai ulang VM. Pada banyak kasus, mengikuti petunjuk di bagian output ini dapat membantu menyelesaikan masalah.
Memecahkan masalah performa GPU untuk VM A3
Seri mesin A3 tersedia dengan GPU NVIDIA H200 atau H100 yang terpasang. Seri ini mencakup jenis mesin A3 Ultra (H200), A3 Mega (H100), A3 High (H100), dan A3 Edge (H100).
Mengidentifikasi node yang rusak
Tugas pelatihan atau benchmark berskala besar pada cluster GPU multi-node dapat berhenti merespons atau berperforma buruk. Hal ini sering terjadi karena satu atau beberapa node berperforma buruk dan memperlambat seluruh operasi. Bagian ini menjelaskan cara mengidentifikasi node atau mesin host yang rusak dengan menjalankan uji tolok ukur NCCL atau menganalisis log NCCL.
Menjalankan uji tolok ukur NCCL
Untuk mengidentifikasi grup node yang menyebabkan kegagalan, uji subset cluster Anda secara sistematis menggunakan benchmark NCCL seperti all_reduce_perf.
- Untuk mengidentifikasi nodeset, kelompokkan node ke dalam set logis, misalnya, partisi di Slurm.
- Untuk membuat file host, buat file host terpisah untuk setiap nodeset, yang mencantumkan nama host dan jumlah GPU per node. Jumlah slot yang Anda tentukan bergantung pada jumlah GPU jenis VM A3 Anda. Misalnya, VM
a3-highgpu-8gmemiliki 8 GPU, jadi Anda harus menentukanslots=8. - Untuk menjalankan benchmark, jalankan benchmark
all_reduce_perfterhadap setiap nodeset satu per satu.mpirun -x LD_LIBRARY_PATH --hostfile HOSTFILE_NAME -n TOTAL_PROCESSES \ ./build/all_reduce_perf -b 1G -e 8G -f 2 -g NUM_GPUS_PER_NODEGanti kode berikut:
HOSTFILE_NAME: nama file host yang berisi daftar node dan jumlah GPU per node untuk nodeset.TOTAL_PROCESSES: jumlah total proses MPI yang akan diluncurkan di semua host dalam nodeset.NUM_GPUS_PER_NODE: jumlah GPU per node. Untuk semua jenis mesin A3, nilai ini adalah8.
- Untuk menganalisis hasil, jika tugas hang atau menunjukkan bandwidth bus (
busbw) yang jauh lebih rendah pada set node tertentu, set tersebut kemungkinan rusak. - Untuk membagi, jika nodeset rusak, bagi file host-nya menjadi dua dan uji ulang untuk mempersempit penelusuran biner hingga Anda menemukan node yang bermasalah.
Menganalisis log NCCL
Jika metode benchmark tidak menunjukkan node, analisis log NCCL yang mendetail.
- Untuk mengaktifkan logging debug, tetapkan variabel lingkungan berikut dalam sesi shell tempat Anda berencana menjalankan workload:
export NCCL_DEBUG=INFO export NCCL_DEBUG_SUBSYS=INIT,NET,COLL export NCCL_DEBUG_FILE="LOG_DIRECTORY/nccl_log.%h.%p"Ganti
MenetapkanLOG_DIRECTORYdengan direktori tempat Anda ingin menyimpan log.NCCL_DEBUG_FILEdengan%hdan%pakan membuat file log yang unik dan tidak disisipkan untuk setiap proses.Jika Anda menjalankan workload multi-node menggunakan
mpirun, maka propagasikan variabel ini ke semua node menggunakan flag-x. Contoh:mpirun -x NCCL_DEBUG -x NCCL_DEBUG_SUBSYS -x NCCL_DEBUG_FILE ... - Untuk menemukan error pertama, gunakan perintah berikut untuk menemukan peristiwa waktu tunggu habis atau kegagalan paling awal di semua file log:
grep "NCCL WARN.*NET/FasTrak" LOG_DIRECTORY/* | sed 's/.*NET\/FasTrak\(.*\)/\1/g' \ | sort | head -n 20Ganti
LOG_DIRECTORYdengan direktori tempat log Anda disimpan. - Untuk menghitung operasi kolektif, node straggler menyelesaikan lebih sedikit operasi kolektif. Hitung
"opCount"entri untuk peringkat yang mencurigakan:grep "opCount" LOG_DIRECTORY/nccl_log.HOSTNAME.PID | wc -lGanti kode berikut:
LOG_DIRECTORY: direktori tempat log Anda disimpanHOSTNAME: nama host nodePID: ID proses dari proses NCCL
- Untuk mengumpulkan lebih banyak data logging sebelum tugas dibatalkan, tingkatkan waktu tunggu transfer data untuk sementara:
export NCCL_FASTRAK_DATA_TRANSFER_TIMEOUT_MS=3600000
Memantau throttling termal GPU
VM seri A3 dapat mengalami penurunan performa jika secara konsisten mencapai suhu lebih dari 87 °C saat diberi beban. Untuk memeriksa throttling termal GPU di seluruh node dalam cluster, gunakan nvidia-smi atau dcgmi.
Menggunakan nvidia-smi
Untuk memeriksa suhu saat ini dan status throttling semua GPU pada sebuah node, jalankan perintah berikut:
nvidia-smi --query-gpu=timestamp,name,pci.bus_id,temperature.gpu,clocks_throttle_reasons.hw_slowdown --format=csv
Dalam output, nilai Active di kolom clocks_throttle_reasons.hw_slowdown
menunjukkan bahwa GPU sedang di-throttle karena suhu tinggi.
Menggunakan dcgmi
Paket diagnostik NVIDIA Data Center GPU Manager (DCGM) mencakup pemeriksaan untuk pelanggaran termal. Untuk menjalankan diagnostik level 1, jalankan perintah berikut:
dcgmi diag -r 1
Hasil Warn atau Fail di bagian Thermal menunjukkan bahwa pelanggaran termal
terjadi selama pengujian. Jika pelanggaran termal disertai dengan
pembatasan clock, GPU kemungkinan mengalami panas berlebih dan memerlukan penyelidikan
lebih lanjut.
Error Xid
Setelah membuat VM yang telah memasang GPU, Anda harus menginstal driver perangkat NVIDIA di VM GPU agar aplikasi Anda dapat mengakses GPU. Namun, terkadang driver ini menampilkan pesan error.
Pesan Xid adalah laporan error dari driver NVIDIA yang dicetak ke log kernel atau log peristiwa sistem operasi untuk VM Linux Anda. Pesan ini ditempatkan dalam file /var/log/messages. Untuk mengetahui informasi selengkapnya tentang pesan Xid, termasuk kemungkinan penyebabnya, lihat dokumentasi NVIDIA.
Cara Google menangani error Xid
Google menggunakan health check pasif untuk mengevaluasi sistem GPU. Jika penggantian hardware diperlukan, Google akan memulai pemeliharaan darurat secara otomatis. Google mendeteksi error Xid dan secara proaktif mengirim mesin untuk diperbaiki jika kode error menunjukkan kemungkinan besar kegagalan hardware, seperti Xid 74, 79, dan 140. Untuk beberapa kode Xid, karena dapat disebabkan oleh masalah software atau hardware, Google menggunakan pencocokan pola untuk memicu perbaikan, sehingga tidak setiap kemunculan menghasilkan perbaikan otomatis.
Jenis error Xid
Daftar berikut menjelaskan tiga kategori utama error Xid dan tindakan pemulihan yang direkomendasikan:
Error aplikasi: ini menunjukkan masalah di dalam kode aplikasi Anda. Error aplikasi mencakup Xid seperti Xid 13, 31, 94, 95, dan 137, yang menunjukkan berbagai jenis pelanggaran akses memori, mirip dengan kesalahan segmentasi. Hal ini tidak menunjukkan error ECC. Untuk memecahkan masalah error ini, NVIDIA merekomendasikan penggunaan salah satu pendekatan proses debug berikut:
- Proses debug langsung: jalankan aplikasi langsung di cuda-gdb atau jalankan alat memcheck Compute Sanitizer.
- Proses debug pasca-pengecualian: jalankan aplikasi dengan
CUDA_DEVICE_WAITS_ON_EXCEPTION=1. Saat terjadi pengecualian, driver GPU akan membekukan status aplikasi tanpa keluar sehingga Anda dapat melampirkan debugger nanti (cuda-gdb -p <PID>) untuk memeriksa stack trace aktif.
Error driver: menunjukkan masalah yang disebabkan oleh driver GPU NVIDIA. Untuk mengatasi error ini, pastikan Anda menggunakan versi driver NVIDIA terbaru. Google memantau error ini dan berkolaborasi dengan NVIDIA dalam perbaikan driver.
Error firmware atau hardware yang dapat dipulihkan: menunjukkan error firmware atau hardware yang memungkinkan pemulihan tanpa penggantian hardware. Untuk mengatasi error ini, terapkan tindakan pemulihan manual seperti mereset GPU atau memulai ulang instance. Error firmware atau hardware yang dapat dipulihkan mencakup error Error Correcting Code (ECC) (berlaku untuk Xid seperti Xid 48, 63, dan 64) yang menunjukkan berbagai tahap pendeteksian dan mitigasi error ECC. Untuk mengetahui informasi selengkapnya tentang penghentian halaman dan mitigasi error ECC, lihat FAQ Penghentian Halaman Dinamis NVIDIA.
Meninjau pesan Xid
Untuk mendiagnosis dengan cepat alasan workload GPU gagal, berhenti merespons, atau
mengalami penurunan performa, periksa log kernel instance Anda (dmesg
atau /var/log/kern.log) untuk mengetahui kode error NVIDIA Xid numerik.
Meninjau tabel error Xid di subbagian berikut akan membantu Anda:
- Menentukan penyebab utama: mengidentifikasi apakah kegagalan disebabkan oleh bug aplikasi (seperti akses memori ilegal), konflik driver, atau kesalahan hardware fisik (seperti error memori ECC bit ganda).
- Menentukan kepemilikan operasional: periksa tindakan pemulihan manual langsung yang harus Anda terapkan, seperti mereset GPU, memulai ulang VM, atau menjalankan debugger, dibandingkan dengan tindakan perbaikan otomatis dan penggantian hardware yang dikelola Google secara aktif di host.
- Lakukan langkah-langkah pemulihan yang benar: hindari prosedur pemecahan masalah yang tidak perlu dan ketahui dengan tepat kapan pemulihan manual sudah cukup dan kapan Anda perlu melaporkan host sebagai rusak. Terkadang, pemulihan manual tidak
cukup, misalnya, jika sumber error berada di cache GPU (SRAM),
yang tidak dapat dipetakan ulang, yang ditunjukkan oleh
Xid 48denganSRAM Threshold Exceeded=Yes, atau jika GPU telah menghabiskan bank pemetaan ulangnya, yang ditunjukkan olehXid 64: All reserved rows for bank are remapped. Dalam kasus ini, Google mendeteksi bahwa GPU memenuhi syarat untuk penggantian hardware dan secara proaktif mengirim mesin untuk diperbaiki. Jika workload Anda mengalami error berulang atau jika Anda mengamati kesalahan memori berulang, Anda dapat melaporkan host yang rusak untuk memulai perbaikan atau penggantian otomatis. Untuk GKE, lihat Cara melaporkan host yang rusak di GKE.
Penanganan Xid
Bagian berikut mengelompokkan pesan error Xid umum berdasarkan kategori teknis beserta resolusi dan tanggung jawab resminya:
- Error memori GPU (Xid
48,63,64,92,94,95) - Error GPU System Processor (GSP) (Xid
119,120) - Error akses memori ilegal (Xid
13,31,137) - Pesan error Xid umum lainnya (Xid
74,79,109,149)
Error memori GPU
Memori GPU adalah memori yang tersedia di GPU yang dapat digunakan untuk penyimpanan data sementara. Memori GPU dilindungi dengan Error Correction Code (ECC), yang mendeteksi dan memperbaiki error bit tunggal (SBE) serta mendeteksi dan melaporkan error bit ganda yang tidak dapat diperbaiki (DBE).
Error memori ini diperkirakan akan terjadi selama masa pakai GPU. Sebelum rilis GPU NVIDIA A100, penghentian halaman dinamis didukung. Untuk rilis GPU NVIDIA A100 dan yang lebih baru (seperti NVIDIA H100), pemulihan dari error pemetaan ulang baris diperkenalkan untuk error HBM (DRAM). ECC diaktifkan secara default, dan Google sangat merekomendasikan agar ECC tetap diaktifkan.
Tabel berikut mencantumkan error memori GPU umum dan resolusi yang disarankan:
| Pesan error Xid | Tindakan pelanggan | Tindakan Google |
|---|---|---|
Xid 48: Double Bit ECC
Error memori bit ganda (tidak dapat diperbaiki) terdeteksi oleh ECC. Error ini selalu mengganggu workload yang berjalan dan menghasilkan Xid 48. |
|
Google memantau kapan GPU memenuhi syarat untuk penggantian hardware, misalnya jika bank pemetaan ulang HBM habis atau GPU melebihi batas error SRAM masa pakainya, dan secara proaktif mengirim mesin untuk diperbaiki guna mengganti GPU. |
Xid 63: ECC page retirement or row remapping recording
event
Menunjukkan bahwa penghentian halaman dinamis atau peristiwa pemetaan ulang baris dicatat karena error memori. |
|
Google memantau batas error dan mengirim mesin untuk diperbaiki saat GPU memerlukan perbaikan atau penggantian fisik. |
Xid 64: ECC page retirement or row remapper recording
failure
Dan pesan tersebut berisi informasi berikut: Xid 64: All reserved rows for bank are remapped
|
|
Saat bank pemetaan ulang habis
( |
Jika Anda mendapatkan setidaknya dua pesan Xid berikut secara bersamaan:
Dan pesan tersebut berisi informasi berikut: Xid XX: row remap pending
|
|
Google akan mengirim mesin untuk diperbaiki jika bank pemetaan ulang habis atau saat GPU memerlukan perbaikan atau penggantian fisik. |
Xid 92: High single-bit ECC error rate |
Pesan Xid ini ditampilkan setelah driver GPU memperbaiki error yang dapat diperbaiki, dan seharusnya tidak memengaruhi workload Anda. Pesan Xid ini hanya bersifat informasi. Anda tidak perlu melakukan tindakan apa pun. |
Tidak ada |
Xid 94: Contained error
Menunjukkan bahwa terjadi error GPU dan apakah error tersebut terjadi dalam satu aplikasi. Xid 94 saja tidak menunjukkan penyebab utama error; error ini harus ditafsirkan bersama dengan error Xid lain yang terjadi bersamaan untuk menentukan penyebab mendasarnya. |
|
Tidak ada |
Xid 95: Uncontained error
Menunjukkan bahwa error GPU terjadi dan tidak terbatas pada satu aplikasi. Xid 95 saja tidak menunjukkan penyebab utama error; error ini harus ditafsirkan bersama dengan error Xid lain yang terjadi bersamaan untuk menentukan penyebab mendasarnya. |
Tidak ada |
Error GSP
GPU System Processor (GSP) adalah mikrokontroler yang berjalan di GPU dan menangani beberapa fungsi pengelolaan hardware tingkat rendah.
| Pesan error Xid | Tindakan pelanggan | Tindakan Google |
|---|---|---|
Xid 119: GSP RPC timeout |
|
Tidak ada. Jika error berlanjut dan Anda mengajukan kasus dukungan, Google akan menyelidiki status hardware atau driver melalui alur kerja dukungan. |
Xid 120: GSP error |
Error akses memori ilegal
Xid berikut ditampilkan saat aplikasi mengalami kesalahan akses memori ilegal:
| Pesan error Xid | Tindakan pelanggan | Tindakan Google |
|---|---|---|
|
Pelanggaran akses memori terdeteksi, yang serupa dengan kesalahan segmentasi. Error ini biasanya menunjukkan bug aplikasi saat memori GPU diakses di luar batas, atau pada buffer yang dikosongkan seperti dereferensi pointer yang tidak valid atau array di luar batas. Error ini tidak mewakili error ECC kecuali jika Xid 48 juga ada. |
Untuk mengatasi masalah ini, debug kesalahan akses memori di aplikasi Anda. Anda dapat menggunakan cuda-gdb, Compute Sanitizer, atau cuda-memcheck. Untuk mengetahui detail selengkapnya, lihat dokumentasi NVIDIA Xid. |
Tidak ada. Dalam kasus yang jarang terjadi, saat penurunan kualitas hardware dapat menyebabkan kesalahan akses memori ilegal yang dilaporkan secara keliru, Anda dapat menggunakan NVIDIA Data Center GPU Manager (DCGM) untuk menjalankan |
Pesan error Xid umum lainnya
| Pesan error Xid | Tindakan pelanggan | Tindakan Google |
|---|---|---|
Xid 74: NVLINK error |
|
Tidak ada |
Xid 79: GPU has fallen off the bus
Artinya, driver tidak dapat berkomunikasi dengan GPU karena masalah hardware menyebabkan GPU menghilang dari bus PCI. |
Untuk memulihkan workload, gunakan salah satu pendekatan berikut, bergantung pada apakah pemeliharaan darurat diaktifkan untuk project Anda:
|
Google mendeteksi bahwa GPU telah terlepas dari bus PCI dan mengirim mesin untuk diperbaiki. |
Xid 109: Context switch timeout
Xid 109 adalah error umum yang dilaporkan oleh driver GPU NVIDIA, yang dihasilkan saat instance GPU gagal melakukan preemption atau beralih tugas dalam periode waktu tunggu yang diharapkan. Google memiliki sejarah panjang dalam menyelidiki Xid 109 bersama NVIDIA, dan penyebab umum dari bug driver telah diperbaiki di driver terbaru. Xid 109 tidak disebabkan oleh masalah hardware. |
|
Tidak ada |
Xid 149 yang menyebutkan 0x02a, seperti
contoh berikut:
Hal ini menunjukkan masalah umum yang memengaruhi firmware untuk GPU NVIDIA B200. |
|
Tidak ada |
Memecahkan masalah kegagalan nvidia-smi setelah patching OS atau upgrade kernel
Jika nvidia-smi gagal dengan NVIDIA-SMI has failed because it couldn't communicate with the NVIDIA driver setelah masa pemeliharaan, patch OS dijalankan, atau reboot VM, periksa penahanan paket kernel Anda. Kunci paket dari penginstalan driver sebelumnya dalam mode binary dapat mencegah penginstalan header kernel yang cocok.
Untuk mendiagnosis dan menyelesaikan masalah ini, pilih sistem operasi Anda:
Ubuntu
Periksa versi kernel yang berjalan:
uname -rPeriksa apakah penginstalan driver sebelumnya dalam mode
binarymengunci paket kernel, seperti saat Anda menggunakan instance komputasi--force-version,--installation-branch=lts, atau NVIDIA RTX Virtual Workstation (vWS):apt-mark showholdPeriksa apakah
linux-image-gcpataulinux-headers-gcptercantum.Pastikan apakah header kernel telah diinstal untuk kernel yang sedang berjalan:
dpkg -l | grep "linux-headers-$(uname -r)"Jika paket meta kernel ditahan, hapus kunci paket:
sudo apt-mark unhold linux-image-gcp linux-headers-gcpInstal header kernel untuk kernel yang sedang berjalan:
sudo apt-get update && sudo apt-get install -y linux-headers-$(uname -r)Bangun ulang dan muat modul kernel NVIDIA:
Jika sumber modul DKMS terdaftar (periksa
sudo dkms status):sudo dkms autoinstall sudo modprobe nvidia nvidia-smiJika
sudo dkms statustidak menampilkan modul NVIDIA yang terdaftar (misalnya, jika driver sebelumnya diinstal menggunakan biner.runtanpa--dkms), jalankan ulang penginstal driver GPU Google Cloud :sudo python3 cuda_installer.pyz install_driver
Debian
Periksa versi kernel yang berjalan:
uname -rPeriksa apakah penginstalan driver sebelumnya dalam mode
binarymengunci paket kernel, seperti saat Anda menggunakan instance komputasi--force-version,--installation-branch=lts, atau NVIDIA RTX Virtual Workstation (vWS):apt-mark showholdPeriksa apakah
linux-image-cloud-amd64ataulinux-headers-cloud-amd64tercantum.Pastikan apakah header kernel telah diinstal untuk kernel yang sedang berjalan:
dpkg -l | grep "linux-headers-$(uname -r)"Jika paket meta kernel ditahan, hapus kunci paket:
sudo apt-mark unhold linux-image-cloud-amd64 linux-headers-cloud-amd64Instal header kernel untuk kernel yang sedang berjalan:
sudo apt-get update && sudo apt-get install -y linux-headers-$(uname -r)Bangun ulang dan muat modul kernel NVIDIA:
Jika sumber modul DKMS terdaftar (periksa
sudo dkms status):sudo dkms autoinstall sudo modprobe nvidia nvidia-smiJika
sudo dkms statustidak menampilkan modul NVIDIA yang terdaftar (misalnya, jika driver sebelumnya diinstal menggunakan biner.runtanpa--dkms), jalankan ulang penginstal driver GPU Google Cloud :sudo python3 cuda_installer.pyz install_driver
RHEL dan Rocky Linux
Periksa versi kernel yang berjalan:
uname -rPeriksa apakah penginstalan driver sebelumnya dalam mode
binarymengunci paket kernel, seperti saat Anda menggunakan instance komputasi--force-version,--installation-branch=lts, atau NVIDIA RTX Virtual Workstation (vWS):grep "^exclude=.*kernel" /etc/dnf/dnf.confPastikan apakah header kernel telah diinstal untuk kernel yang sedang berjalan:
rpm -qa | grep "kernel-devel-$(uname -r)"Jika paket kernel dikecualikan, hapus
kernel*dari barisexclude=di/etc/dnf/dnf.conf.Instal header kernel untuk kernel yang sedang berjalan:
sudo dnf install -y kernel-devel-$(uname -r) kernel-headers-$(uname -r)Bangun ulang dan muat modul kernel NVIDIA:
Jika sumber modul DKMS terdaftar (periksa
sudo dkms status):sudo dkms autoinstall sudo modprobe nvidia nvidia-smiJika
sudo dkms statustidak menampilkan modul NVIDIA yang terdaftar (misalnya, jika driver sebelumnya diinstal menggunakan biner.runtanpa--dkms), jalankan ulang penginstal driver GPU Google Cloud :sudo python3 cuda_installer.pyz install_driver
Memecahkan masalah Booting Aman
Jika Anda menginstal driver NVIDIA di instance komputasi dengan
Booting Aman diaktifkan dan
nvidia-smi gagal berkomunikasi dengan driver NVIDIA, Booting Aman mungkin
memblokir pemuatan modul kernel yang tidak ditandatangani.
Untuk mendiagnosis dan menyelesaikan masalah ini, selesaikan langkah-langkah berikut:
Periksa apakah Booting Aman menolak modul kernel karena tanda tangan yang tidak ada atau tidak valid:
sudo dmesg | grep -iE 'secure boot|nvidia'
Jika Booting Aman memblokir modul, tanda tangani modul driver secara manual dan daftarkan Machine Owner Key (MOK) Anda, atau gunakan OS image dengan modul kernel yang telah ditandatangani sebelumnya. Untuk mengetahui petunjuknya, lihat Menginstal driver GPU (VM Booting Aman).
Mereset GPU
Beberapa masalah mungkin mengharuskan Anda mereset GPU. Untuk mereset GPU, selesaikan langkah-langkah berikut:
- Untuk VM N1, G2, A2, dan G4 dengan satu atau beberapa GPU terpasang, mulai ulang VM.
- Untuk VM G4 dengan GPU pecahan (kurang dari satu GPU yang terpasang), selesaikan langkah-langkah berikut:
- Untuk instance A3, A4, A4X, dan A4X Max, jalankan
sudo nvidia-smi --gpu-reset.- Untuk sebagian besar VM Linux, file yang dapat dieksekusi
nvidia-smiterletak di direktori/var/lib/nvidia/bin. - Untuk node GKE, file yang dapat dieksekusi
nvidia-smiberada di direktori/home/kubernetes/bin/nvidia.
- Untuk sebagian besar VM Linux, file yang dapat dieksekusi
- Untuk instance A3, A4, A4X, dan A4X Max di node GKE, Anda juga dapat menggunakan gpu-reset-tool untuk mengotomatiskan reset semua GPU di node. Alat ini hanya mengharuskan Anda menentukan nama node target.
Atau, GPU juga direset setiap kali Anda mereset VM atau menghentikan dan memulai ulang VM. Untuk mengetahui informasi selengkapnya tentang status siklus proses VM dan perbedaan antara tindakan pemulihan VM, lihat Siklus proses instance Compute Engine dan Menangguhkan, menghentikan, atau mereset instance Compute Engine.
Membuka kasus dukungan
Jika Anda tidak dapat menyelesaikan masalah menggunakan panduan di halaman ini, kumpulkan informasi berikut dan buka kasus dukungan:
- Project ID dari project tempat instance yang terpengaruh berada.
- Daftar semua nama atau ID instance dalam cluster.
- Daftar node yang dicurigai yang diidentifikasi melalui pemecahan masalah.
- Log NCCL lengkap yang tidak disisipkan dengan setelan debug diaktifkan.
- Output dari health check hardware (
dcgmi,nvidia-smi). - Perintah benchmark atau workload yang tepat yang gagal.
- File log yang relevan seperti mesin host dan log diagnostik. Untuk mengumpulkannya, jalankan
gather-dcgm-logs.sh, yang terletak di/usr/local/dcgm/scriptsdalam penginstalan default. - Laporan bug NVIDIA. Jalankan
nvidia-bug-report.sh. Untuk GPU Blackwell dan yang lebih baru, ikuti Membuat laporan bug untuk GPU Blackwell dan yang lebih baru. - Detail tentang perubahan terbaru yang dilakukan pada lingkungan Anda sebelum kegagalan.
Langkah berikutnya
Tinjau jenis mesin GPU.