Jika Pod Google Kubernetes Engine (GKE) Anda terjebak dalam status Pending saat
meminta resource nvidia.com/gpu, atau jika node Anda gagal mendaftarkan
GPU yang tersedia, Anda mungkin mengalami masalah dengan penginstalan driver NVIDIA atau
konfigurasi node pool Anda. Masalah ini mencegah workload Anda mengakses hardware GPU yang diperlukan.
Dokumen ini menunjukkan cara mendiagnosis dan menyelesaikan masalah umum yang mencegah GKE menjadwalkan atau menjalankan workload yang dipercepat GPU. Pelajari cara memverifikasi penginstalan driver GPU, memeriksa log Pod dan node untuk menemukan error, dan mengonfirmasi bahwa konfigurasi Anda sudah benar.
Informasi ini ditujukan untuk admin dan operator Platform yang mengelola node pool yang mendukung GPU dan perlu menyelesaikan masalah driver NVIDIA, serta untuk Developer aplikasi yang perlu men-debug workload GPU yang macet atau gagal dimulai. Untuk mengetahui informasi selengkapnya tentang peran umum dan contoh tugas yang kami referensikan dalam konten Google Cloud, lihat Peran dan tugas pengguna GKE umum.
Penginstalan driver GPU
Bagian ini berisi informasi pemecahan masalah untuk penginstalan driver perangkat NVIDIA otomatis di GKE.
Penginstalan driver gagal di node Ubuntu
Jika Anda menggunakan node Ubuntu yang memiliki GPU L4, RTX PRO 6000, H100, atau H200 yang terpasang, driver GPU default yang diinstal GKE mungkin tidak berada pada atau lebih baru dari versi yang diperlukan untuk GPU tersebut. Akibatnya, Pod plugin perangkat GPU tetap terjebak dalam status Pending dan workload GPU Anda di node tersebut mungkin mengalami masalah.
Untuk mengatasi masalah ini, lihat petunjuk untuk GPU masing-masing:
L4 dan H100
Untuk mengatasi masalah ini pada GPU L4 dan H100, sebaiknya upgrade ke versi GKE berikut yang menginstal driver GPU versi 535 sebagai driver default:
- 1.26.15-gke.1483000 dan yang lebih baru
- 1.27.15-gke.1039000 dan yang lebih baru
- 1.28.11-gke.1044000 dan yang lebih baru
- 1.29.6-gke.1073000 dan yang lebih baru
- 1.30.2-gke.1124000 dan yang lebih baru
Atau, Anda dapat menginstal driver versi 535 atau yang lebih baru secara manual dengan menjalankan perintah berikut:
kubectl apply -f https://raw.githubusercontent.com/GoogleCloudPlatform/container-engine-accelerators/master/nvidia-driver-installer/ubuntu/daemonset-preloaded-R535.yaml
RTX PRO 6000
Untuk mengatasi masalah ini pada GPU RTX PRO 6000, upgrade ke salah satu versi GKE berikut. Versi ini menginstal driver GPU versi 580 sebagai driver default:
- 1.32.8-gke.1170000 dan yang lebih baru
- 1.33.4-gke.1245000 dan yang lebih baru
- 1.34.0-gke.1662000 dan yang lebih baru
Solusi ini hanya berfungsi untuk jenis mesin G4 dengan satu atau beberapa GPU. Jenis mesin G4 yang memiliki kurang dari satu GPU tidak mendukung image node Ubuntu.
H200
Untuk mengatasi masalah ini pada GPU H200, Anda harus menginstal driver versi 550 atau yang lebih baru secara manual dengan menjalankan perintah berikut:
kubectl apply -f https://raw.githubusercontent.com/GoogleCloudPlatform/container-engine-accelerators/refs/heads/master/nvidia-driver-installer/ubuntu/daemonset-preloaded-R550.yaml
Plugin perangkat GPU gagal dengan error CrashLoopBackOff
Masalah berikut terjadi jika Anda menggunakan metode penginstalan driver manual di node pool sebelum 25 Januari 2023 dan kemudian mengupgrade node pool ke versi GKE yang mendukung penginstalan driver otomatis. Kedua workload penginstalan ada secara bersamaan dan mencoba menginstal versi driver yang bertentangan di node Anda.
Container init plugin perangkat GPU gagal dengan status Init:CrashLoopBackOff. Log untuk container mirip dengan yang berikut ini:
failed to verify installation: failed to verify GPU driver installation: exit status 18
Untuk mengatasi masalah ini, coba metode berikut:
Hapus DaemonSet penginstalan driver manual dari cluster Anda. Tindakan ini akan menghapus workload penginstalan yang bentrok dan memungkinkan GKE menginstal driver ke node Anda secara otomatis.
kubectl delete -f https://raw.githubusercontent.com/GoogleCloudPlatform/container-engine-accelerators/master/nvidia-driver-installer/cos/daemonset-preloaded.yamlTerapkan ulang manifes DaemonSet penginstalan driver manual ke cluster Anda. Pada 25 Januari 2023, kami memperbarui manifes untuk mengabaikan node yang menggunakan penginstalan driver otomatis.
kubectl apply -f https://raw.githubusercontent.com/GoogleCloudPlatform/container-engine-accelerators/master/nvidia-driver-installer/cos/daemonset-preloaded.yamlNonaktifkan penginstalan driver otomatis untuk node pool Anda. DaemonSet penginstalan driver yang ada akan berfungsi seperti yang diharapkan setelah operasi update selesai.
gcloud container node-pools update POOL_NAME \ --accelerator=type=GPU_TYPE,count=GPU_COUNT,gpu-driver-version=disabled \ --cluster=CLUSTER_NAME \ --location=LOCATIONGanti kode berikut:
POOL_NAME: nama node pool.GPU_TYPE: jenis GPU yang sudah digunakan node pool.GPU_COUNT: jumlah GPU yang sudah terpasang ke node pool.CLUSTER_NAME: nama cluster GKE yang berisi node pool.LOCATION: lokasi Compute Engine cluster.
Untuk mengetahui informasi selengkapnya tentang cara memetakan versi driver GPU ke versi GKE, lihat Memetakan versi GKE dan versi image node Container-Optimized OS ke versi driver GPU.
Error: "Image container cos-nvidia-installer:fixed tidak ada dengan kebijakan pull Never." atau "Image container ubuntu-nvidia-installer:fixed tidak ada dengan kebijakan pull Never."
Masalah ini terjadi saat Pod nvidia-driver-installer berada dalam status PodInitializing dan Pod penginstal driver GPU atau perangkat plugin GPU melaporkan error berikut. Pesan error spesifik bergantung pada sistem operasi yang berjalan di node Anda:
COS
Container image "cos-nvidia-installer:fixed" is not present with pull policy of Never.
Ubuntu
Container image "gke-nvidia-installer:fixed" is not present with pull policy of Never.
Masalah ini dapat terjadi saat pembersih sampah memori menghapus image driver NVIDIA yang telah dimuat sebelumnya untuk mengosongkan ruang pada node. Saat Pod driver dibuat ulang atau containernya dimulai ulang, GKE tidak akan dapat menemukan image yang telah dimuat sebelumnya.
Untuk mengurangi masalah pembersihan sampah memori saat Anda menjalankan COS, upgrade node GKE Anda ke salah satu versi berikut yang berisi perbaikan:
- 1.25.15-gke.1040000 dan yang lebih baru
- 1.26.10-gke.1030000 dan yang lebih baru
- 1.27.6-gke.1513000 dan yang lebih baru
- 1.28.3-gke.1061000 dan yang lebih baru
Untuk mengetahui informasi selengkapnya tentang cara memetakan versi driver GPU ke versi GKE, lihat Memetakan versi GKE dan versi image node Container-Optimized OS ke versi driver GPU.
Jika node Anda menjalankan Ubuntu, belum ada perbaikan untuk masalah pembersihan sampah memori ini. Untuk mengurangi masalah ini di Ubuntu, Anda dapat menjalankan container dengan hak istimewa yang berinteraksi dengan host untuk memastikan penyiapan driver GPU NVIDIA yang benar. Untuk melakukannya, jalankan sudo /usr/local/bin/nvidia-container-first-boot
dari node Anda atau terapkan manifes berikut:
apiVersion: v1
kind: Pod
metadata:
name: gke-nvidia-installer-fixup
spec:
nodeSelector:
cloud.google.com/gke-os-distribution: ubuntu
hostPID: true
containers:
- name: installer
image: ubuntu
securityContext:
privileged: true
command:
- nsenter
- -at
- '1'
- --
- sh
- -c
- "/usr/local/bin/nvidia-container-first-boot"
restartPolicy: Never
Kemungkinan penyebab lain dari masalah ini adalah saat image driver NVIDIA hilang
setelah reboot node atau pemeliharaan host. Hal ini dapat terjadi pada confidential node, atau node dengan GPU, yang menggunakan penyimpanan SSD lokal efemeral. Dalam situasi ini, GKE melakukan pramuat image container nvidia-installer-driver pada node dan memindahkannya dari boot disk ke SSD lokal saat booting pertama.
Untuk mengonfirmasi adanya peristiwa pemeliharaan host, gunakan filter log berikut:
resource.type="gce_instance"
protoPayload.serviceName="compute.googleapis.com"
log_id("cloudaudit.googleapis.com/system_event")
Untuk mengurangi masalah pemeliharaan host, upgrade versi GKE Anda ke salah satu versi berikut:
- 1.27.13-gke.1166000 dan yang lebih baru
- 1.29.3-gke.1227000 dan yang lebih baru
- 1.28.8-gke.1171000 dan yang lebih baru
Error: failed to configure GPU driver installation dirs: failed to create lib64 overlay: failed to create dir /usr/local/nvidia/lib64: mkdir /usr/local/nvidia/lib64: not a directory.
Anda akan mengalami error ini dari container penginstal driver GPU di dalam plugin perangkat GPU saat fastsocket NCCL diaktifkan:
failed to configure GPU driver installation dirs: failed to create lib64 overlay: failed to create dir /usr/local/nvidia/lib64: mkdir /usr/local/nvidia/lib64: not a directory.
Masalah ini hanya terjadi pada cluster dan node yang menjalankan GKE 1.28 dan 1.29.
Masalah ini disebabkan oleh kondisi race fastsocket NCCL dengan penginstal driver GPU.
Untuk mengurangi masalah ini, upgrade versi GKE Anda ke salah satu versi berikut:
- 1.28.8-gke.1206000 dan yang lebih baru
- 1.29.3-gke.1344000 dan yang lebih baru
Untuk mengetahui informasi selengkapnya, baca Catatan Rilis GPUDirect-TCPXO.
Error: Failed to get device for nvidia0: device nvidia0 not found.
Error berikut menunjukkan bahwa XID 62 dan RmInitAdapter gagal untuk GPU dengan minor 0:
Failed to get device for nvidia0: device nvidia0 not found.
Driver NVIDIA versi 525.105.17 memiliki bug yang dapat menyebabkan error komunikasi (XID) dan mencegah GPU melakukan inisialisasi dengan benar, sehingga menyebabkan kegagalan dalam menginisialisasi GPU.
Untuk memperbaiki masalah ini, upgrade driver NVIDIA ke driver versi 525.110.11 atau yang lebih baru.
Masalah GPUDirect RDMA
Bagian ini memberikan informasi pemecahan masalah untuk masalah GPUDirect RDMA.
Error: Plugin gIB jaringan tidak ditemukan
Image pytorch/pytorch:latest dari repositori PyTorch tidak menyertakan
Netlink Library Protocol Suite (libnl), yang diperlukan oleh plugin gIB.
Error berikut menunjukkan bahwa plugin gIB tidak dimuat karena library libnl
tidak ada dalam image:
ncclInvalidUsage: Error: network gIB not found.
Untuk mengatasi masalah ini, Anda harus menggunakan image dasar Pytorch yang berbeda atau menambahkan library secara manual ke container Anda. Masalah ini tidak spesifik untuk jenis mesin apa pun. Untuk mengetahui informasi selengkapnya tentang penggunaan NCCL/gIB, lihat Mengoptimalkan jaringan cluster menggunakan NCCL/gIB.
Menyelesaikan masalah menggunakan image PyTorch Nvidia
Anda dapat memperbaiki masalah ini menggunakan image PyTorch NVIDIA. Untuk menemukan versi terbaru, lihat Catatan Rilis PyTorch.
Menyelesaikan masalah melalui penginstalan manual
Jika tidak dapat bermigrasi ke basis image lain, Anda juga dapat menginstal library libnl secara manual di image container.
apt update -y && apt upgrade -y && apt install -y libnl-3-200 libnl-route-3-200
Untuk membantu memastikan konsistensi library IBVerbs dalam container workload, gunakan DaemonSet Penginstal RDMA NCCL yang telah diupdate untuk menginstal library plugin gIB di jalur container.
Untuk mendownload konfigurasi DaemonSet, clone repositori akselerator container engine:
cd
git clone https://github.com/GoogleCloudPlatform/container-engine-accelerators.git
Temukan konfigurasi di direktori tree/master/gpudirect-rdma:
cd container-engine-accelerators/gpudirect-rdma
ls -l nccl-rdma-installer*
-rw-r----- 1 adelab primarygroup 2899 May 6 15:57 nccl-rdma-installer-a4x.yaml
-rw-r----- 1 adelab primarygroup 2743 Apr 30 00:34 nccl-rdma-installer-autopilot.yaml
-rw-r----- 1 adelab primarygroup 2677 May 6 15:57 nccl-rdma-installer.yaml
Pilih salah satu konfigurasi penginstal berikut:
| Deskripsi | nccl-rdma-installer.yaml |
nccl-rdma-installer-a4x.yaml |
nccl-rdma-installer-autopilot.yaml |
|---|---|---|---|
| Mode operasi GKE | GKE Standard | GKE Standard | Autopilot GKE |
| Jenis mesin | Jenis mesin A4 dan A3 Ultra | Jenis mesin A4X | Jenis mesin A4 dan A3 Ultra |
| Namespace | Men-deploy ke kube-system. |
Men-deploy ke kube-system. |
Men-deploy ke namespace rdma-system khusus (karena Autopilot membatasi modifikasi pada namespace kube-system). |
| Priority class | Menggunakan system-node-critical untuk membantu memastikan penginstal berjalan dengan prioritas tinggi. |
Menggunakan system-node-critical. |
Tidak ada. (Autopilot membatasi penggunaan priority class tingkat sistem). |
| Fungsi | Berjalan sebagai DaemonSet dan menginstal plugin NCCL GPUDirect-TCPX (GIB) (khususnya nccl-plugin-gib:v1.1.1) ke direktori host /home/kubernetes/bin/nvidia/lib64 dan /home/kubernetes/bin/gib. Pendekatan ini memungkinkan komunikasi RDMA berperforma tinggi untuk NCCL di node GKE. |
Mirip dengan penginstal dasar, tetapi menginstal versi plugin NCCL GPUDirect-TCPX (GIB) yang dikompilasi ARM64 (nccl-plugin-gib-arm64:v1.1.0). Juga menyertakan afinitas node tertentu untuk nvidia-gb200 dan arm64 guna membantu memastikan plugin hanya berjalan di node GKE tertentu ini. |
Menginstal plugin NCCL GPUDirect-TCPX (GIB) (nccl-plugin-gib:v1.1.1), tetapi dengan modifikasi yang mendukung model keamanan dan operasional mode Autopilot:
|
Terapkan daemonset:
kubectl apply -f nccl-rdma-installer.yaml
Memetakan versi GKE dan versi image node Container-Optimized OS ke versi driver GPU
Untuk menemukan versi driver GPU yang dipetakan dengan versi GKE dan versi image node Container-Optimized OS, lakukan langkah-langkah berikut:- Petakan versi image node Container-Optimized OS ke versi patch GKE untuk versi GKE tertentu tempat Anda ingin menemukan versi driver GPU. Misalnya, 1.33.0-gke.1552000 menggunakan cos-121-18867-90-4.
- Pilih milestone versi image node Container-Optimized OS di catatan rilis Container-Optimized OS. Misalnya, pilih Milestone 121 untuk cos-121-18867-90-4.
- Di halaman catatan rilis untuk milestone tertentu, temukan catatan rilis yang sesuai dengan versi image node Container-Optimized OS tertentu. Misalnya, di Catatan Rilis Container-Optimized OS: Milestone 121, lihat cos-121-18867-90-4. Di tabel pada kolom GPU Drivers, klik See List untuk melihat informasi versi driver GPU.
Di GKE versi 1.36.0-gke.3302004 dan yang lebih baru, GKE otomatis memublikasikan versi driver NVIDIA yang diinstal sebagai anotasi pada node GPU yang berjalan. Untuk melihat anotasi versi driver pada node GPU, jalankan perintah berikut:
kubectl get node GPU_NODE_NAME -o jsonpath='{.metadata.annotations}'
Ganti GPU_NODE_NAME dengan nama node GPU Anda.
Output-nya mencakup anotasi yang mirip dengan berikut ini:
{
"cloud.google.com/cuda.driver-version.full": "580.126.20",
"cloud.google.com/cuda.driver-version.major": "580",
"cloud.google.com/cuda.driver-version.minor": "126",
"cloud.google.com/cuda.driver-version.revision": "20"
}
Perintah nvidia-smi gagal
Saat Anda menggunakan VM GPU untuk menjalankan workload di GKE, perintah seperti nvidia-smi
mungkin gagal dalam container dengan salah satu error berikut:
bash: nvidia-smi: command not found- Error yang menunjukkan bahwa
libnvidia-ml.soatau library NVIDIA lainnya tidak dapat ditemukan.
GKE memasang driver dan alat NVIDIA yang diperlukan dari node host di container Anda, biasanya di jalur /usr/local/nvidia/. Namun, variabel lingkungan default container (PATH dan LD_LIBRARY_PATH) mungkin tidak menyertakan jalur ke biner dan library NVIDIA ini.
Untuk mengatasi error ini, update manifes Pod atau Deployment Anda untuk menyertakan
jalur NVIDIA yang diperlukan dalam variabel lingkungan PATH dan LD_LIBRARY_PATH
untuk container.
Misalnya, tambahkan blok env berikut ke spesifikasi spec.template.spec.containers Anda:
spec:
containers:
- name: gpu-container
image: gpu-image
env:
- name: LD_LIBRARY_PATH
# Prepend NVIDIA lib64 directory to existing LD_LIBRARY_PATH
value: /usr/local/nvidia/lib64
- name: PATH
# Prepend NVIDIA bin directory to existing PATH
value: /usr/local/nvidia/bin:$PATH
# ... other container settings
Memulai ulang OS tamu untuk cluster standar
Bagian ini menunjukkan cara menggunakan GKE untuk mengelola reboot OS tamu yang berjalan di node untuk cluster standar.
Node GKE mungkin perlu dimulai ulang jika mengalami masalah Xid atau masalah GPU lainnya. Untuk contoh masalah Xid, lihat Penanganan Xid Compute Engine.
Saat Anda memulai ulang OS tamu dengan metode ini, hal berikut akan terjadi:
- OS tamu direset.
- GPU direset.
- Instance yang mendasarinya tidak diubah dan boot disk dipertahankan, tetapi setelah reboot, ID booting akan berbeda.
Operasi mulai ulang memerlukan waktu sekitar lima menit. Waktu ini merupakan tambahan dari masa tenggang penghentian yang dikonfigurasi pada pod. Untuk mengetahui detail selengkapnya tentang siklus proses Pod dan periode penghentian, lihat Penghentian Pod.
Persyaratan
Metode untuk memulai ulang OS tamu ini mengharuskan cluster menjalankan GKE versi 1.37.0-gke.3503000 atau yang lebih baru. Jangan memicu reboot OS tamu pada versi sebelumnya, karena GKE mungkin tidak dapat menjadwalkan workload pada node Anda setelah reboot selesai.
Memulai ulang OS tamu di node GKE
Untuk memulai ulang OS tamu di node GKE, ikuti langkah-langkah berikut:
Identifikasi node yang akan dimulai ulang.
Terapkan label
cloud.google.com/perform-reboot=truemenggunakan perintah berikut:kubectl label nodes NODE_NAME cloud.google.com/perform-reboot=trueGanti
NODE_NAMEdengan nama node.Saat label ini diterapkan, GKE akan memulai ulang OS tamu dengan melakukan langkah-langkah berikut:
- Halangi node.
- Mengeluarkan Pod, dengan mematuhi anggaran distribusi dan masa tenggang penghentian. Untuk mengetahui detail tentang cara mengonfigurasi perilaku penghentian ini, lihat Mengonfigurasi GKE untuk menghentikan workload Anda dengan baik
- Memulai ulang node menggunakan
systemd. Node akan dinonaktifkan dan dimulai ulang, dan ID booting akan berubah.
Buka peristiwa node untuk melihat bahwa node telah berhasil dimulai ulang.
Di konsol Google Cloud , buka Kubernetes Engine > Clusters.
Pilih cluster yang berisi node yang Anda mulai ulang.
Klik Nodes, lalu pilih node yang akan di-reboot.
Klik Events untuk melihat halaman peristiwa node.
Peristiwa node dicatat di halaman ini. Peristiwa dari proses reboot yang berhasil mencakup hal berikut:
- Saat node dimulai setelah reboot.
- Saat pengendali pemeliharaan menghapus label node
perform-reboot. - Saat perubahan ID booting terdeteksi.
Jika Anda mengikuti langkah-langkah ini untuk node yang menjalankan versi sebelum
1.37.0-gke.3503000, node tersebut mungkin mempertahankan taint
cloud.google.com/impending-node-termination dan
label cloud.google.com/perform-reboot=true setelah reboot selesai. Node memiliki status Ready, tetapi tidak dapat menjalankan workload. Untuk mengatasi masalah ini,
upgrade ke GKE versi 1.37.0-gke.3503000 atau yang lebih baru. Untuk mengurangi
masalah ini tanpa mengupgrade, hapus taint dan label secara manual dari
node yang terpengaruh dengan menjalankan perintah berikut:
# Remove the perform-reboot label
kubectl label node NODE_NAME cloud.google.com/perform-reboot-
# Remove the boot ID annotation (might report "not found", which is expected)
kubectl annotate node NODE_NAME node.gke.io/reboot-boot-id-
# Remove the taint (might already be removed automatically, which is expected)
kubectl taint nodes NODE_NAME cloud.google.com/impending-node-termination:NoSchedule-
Ganti NODE_NAME dengan nama node yang macet.
Setelah Anda menghapus status macet, tunggu setidaknya 60 detik hingga pengendali pemeliharaan mendeteksi perubahan. Jangan mencoba memulai ulang OS tamu lagi kecuali jika cluster Anda menjalankan versi 1.37.0-gke.3503000 atau yang lebih baru.
Label mulai ulang diabaikan saat diterapkan kembali dengan cepat
Di semua versi GKE, jika Anda menerapkan ulang label cloud.google.com/perform-reboot=true dalam waktu 60 detik setelah reboot selesai, pengendali pemeliharaan mungkin tidak akan bertindak berdasarkan label baru karena kondisi race dalam status internalnya. Node tetap terjebak dengan label perform-reboot dan taint cloud.google.com/impending-node-termination, tetapi tidak terjadi reboot.
Untuk mengurangi masalah ini, tunggu setidaknya 60 detik setelah reboot
selesai sebelum menerapkan kembali label
cloud.google.com/perform-reboot=true. Anda dapat memverifikasi bahwa reboot telah selesai dengan memeriksa apakah label perform-reboot dan anotasi reboot-boot-id telah dihapus dari node:
kubectl get node NODE_NAME -o jsonpath='{.metadata.labels.cloud\.google\.com/perform-reboot}'
kubectl get node NODE_NAME -o jsonpath='{.metadata.annotations.node\.gke\.io/reboot-boot-id}'
Ganti NODE_NAME dengan nama node.
Kedua perintah harus menampilkan output kosong sebelum Anda menerapkan kembali label.
Jika node sudah macet, hapus metadata node Kubernetes yang menyebabkan status macet secara manual:
Hapus label node
cloud.google.com/perform-reboot:kubectl label node NODE_NAME \ cloud.google.com/perform-reboot-Ganti
NODE_NAMEdengan nama node yang macet.Hapus anotasi
node.gke.io/reboot-boot-id:kubectl annotate node NODE_NAME \ node.gke.io/reboot-boot-id-Jika outputnya adalah
not found, berarti anotasi sudah dihapus.Hapus taint
cloud.google.com/impending-node-termination:NoSchedule:kubectl taint nodes NODE_NAME \ cloud.google.com/impending-node-termination:NoSchedule-Jika outputnya adalah
not found, berarti taint telah dihapus.Tunggu minimal 60 detik.
Terapkan kembali label
cloud.google.com/perform-reboot:kubectl label node NODE_NAME \ cloud.google.com/perform-reboot=true
Mereset GPU di VM A3 dan A4
Beberapa masalah mungkin mengharuskan Anda mereset GPU di VM A3 atau A4.
Catatan: Anda juga dapat menggunakan gpu-reset-tool untuk mereset semua GPU. Alat ini mengotomatiskan proses reset dan hanya memerlukan nama node target.
Untuk mereset GPU secara manual, ikuti langkah-langkah berikut:
Hapus Pod yang meminta resource GPU dari node tempat Anda perlu mereset GPU.
Nonaktifkan plugin perangkat GPU pada node:
kubectl get nodes \ --selector=kubernetes.io/hostname=NODE_NAME \ --no-headers | awk '{print $1}' \ | xargs -I{} kubectl label node {} gke-no-default-nvidia-gpu-device-plugin=trueGanti
NODE_NAMEdengan nama node.Jika Anda telah mengaktifkan metrik DCGM, nonaktifkan sementara pengekspor DCGM pada node dengan mengubah label versi driver:
a. Perhatikan nilai label
cloud.google.com/gke-gpu-driver-versionsaat ini pada node.b. Ubah nilai label menjadi
resetuntuk mengeluarkan Pod pengekspor DCGM:kubectl label node NODE_NAME \ cloud.google.com/gke-gpu-driver-version=reset --overwritePod otomatis dikeluarkan karena memerlukan label
defaultataulatest.Hubungkan ke VM yang mendukung node.
Di sesi SSH, reset GPU:
Mereset semua GPU di VM
/home/kubernetes/bin/nvidia/bin/nvidia-smi --gpu-resetUntuk mereset GPU tertentu
# Identify the faulty GPU /home/kubernetes/bin/nvidia/bin/nvidia-smi # Reset the specifc GPU using either the GPU index or PCI bus ID from above command output /home/kubernetes/bin/nvidia/bin/nvidia-smi --gpu-reset -i <gpu_id>Pulihkan label node untuk mengaktifkan kembali plugin perangkat GPU dan pengekspor DCGM:
a. Aktifkan kembali plugin perangkat GPU:
kubectl get nodes --selector=kubernetes.io/hostname=NODE_NAME \ --no-headers \| awk '{print $1}' \ | xargs -I{} kubectl label node {} gke-no-default-nvidia-gpu-device-plugin=false \ --overwriteb. Pulihkan nilai asli label
cloud.google.com/gke-gpu-driver-version(misalnya,latestataudefault) untuk mengaktifkan kembali pengekspor DCGM:kubectl label node NODE_NAME \ cloud.google.com/gke-gpu-driver-version=ORIGINAL_VALUE --overwrite
GPU di Confidential GKE Node
Bagian berikut menunjukkan cara mengidentifikasi dan memperbaiki masalah pada GPU yang berjalan di Confidential GKE Node.
Workload GPU tidak dijadwalkan di Confidential GKE Node
Confidential GKE Nodes mengharuskan Anda menginstal driver GPU secara manual yang sesuai dengan jenis GPU yang Anda pilih dan versi GKE Anda.
Jika Pod GPU Anda tidak dijadwalkan di Confidential GKE Nodes dan tetap
dalam status Pending, deskripsikan DaemonSet penginstalan driver:
kubectl --namespace=kube-system get daemonset nvidia-driver-installer -o yaml
Jika output menampilkan error NotFound,
instal driver.
Jika DaemonSet berjalan, output-nya akan mirip dengan berikut ini:
apiVersion: apps/v1
kind: DaemonSet
# lines omitted for clarity
spec:
revisionHistoryLimit: 10
selector:
matchLabels:
k8s-app: nvidia-driver-installer
template:
metadata:
creationTimestamp: null
labels:
k8s-app: nvidia-driver-installer
name: nvidia-driver-installer
spec:
affinity:
nodeAffinity:
requiredDuringSchedulingIgnoredDuringExecution:
nodeSelectorTerms:
- matchExpressions:
- key: cloud.google.com/gke-accelerator
operator: Exists
- key: cloud.google.com/gke-gpu-driver-version
operator: DoesNotExist
- key: cloud.google.com/gke-confidential-nodes-instance-type
operator: In
values:
- TDX
Dalam output ini, pastikan kolom nodeAffinity berisi kunci cloud.google.com/gke-confidential-nodes-instance-type. Jika output tidak berisi kunci ini, DaemonSet penginstalan driver tidak mendukung Confidential GKE Nodes.
Deploy DaemonSet yang mendukung GPU di Confidential GKE Nodes:
kubectl apply -f https://raw.githubusercontent.com/GoogleCloudPlatform/container-engine-accelerators/refs/heads/master/nvidia-driver-installer/cos/daemonset-confidential.yaml
Setelah menginstal driver, periksa apakah workload GPU Anda berhasil dimulai.
Error: Gagal mengalokasikan vektor perangkat
Pesan error berikut di log container GPU menunjukkan bahwa GPU telah dilepas dari instance VM node:
Failed to allocate device vector A (error code unknown error)!
Pelepasan ini mungkin terjadi karena error hardware atau karena masalah pada kunci enkripsi.
Untuk mengatasi masalah ini, mulai ulang instance node. Operasi ini mengganggu, dan memengaruhi semua workload di node tersebut. Untuk memulai ulang instance, lakukan langkah-langkah berikut:
Dapatkan nama node yang menjalankan Pod GPU:
kubectl get pod POD_NAME -o yaml | grep "nodeName"Ganti
POD_NAMEdengan nama Pod yang gagal.Outputnya mirip dengan hal berikut ini:
nodeName: gke-cluster-1-default-pool-b7asdfbt-fd3eReset instance Compute Engine:
gcloud compute instances reset NODE_NAMEGanti
NODE_NAMEdengan nama node dari output langkah sebelumnya.gcloud CLI mencari VM dengan nama tersebut di project aktif Anda. Jika Anda melihat perintah untuk memilih zona, tentukan
Y.Periksa apakah workload GPU Anda berjalan tanpa error.
Error: Dekripsi gagal dengan error -74
Pesan error berikut di log node Anda menunjukkan bahwa kunci enkripsi untuk GPU hilang:
Decryption failed with error -74
Error ini terjadi saat daemon persistensi NVIDIA, yang berjalan pada instance VM node, gagal. Jika Anda melihat pesan error ini, reset instance:
gcloud compute instances reset NODE_NAME
Ganti NODE_NAME dengan nama node yang gagal.
gcloud CLI mencari VM dengan nama tersebut di project aktif Anda. Jika Anda melihat perintah untuk memilih zona, tentukan Y.
Jika mereset instance tidak menyelesaikan masalah ini, hubungi Cloud Customer Care atau laporkan bug produk. Untuk mengetahui informasi selengkapnya, lihat Mendapatkan dukungan.
Menemukan error XID
Daemonset gpu-device-plugin berjalan dalam namespace kube-system dan bertanggung jawab atas hal berikut:
- Penjadwalan workload GPU: mengalokasikan resource GPU ke Pod.
- Health check GPU: memantau kondisi GPU Anda.
- Pengumpulan metrik GPU: mengumpulkan metrik terkait GPU, seperti siklus tugas dan penggunaan memori.
gpu-device-plugin menggunakan NVIDIA Management Library (NVML) untuk mendeteksi error XID. Saat terjadi error XID, Pod gpu-device-plugin yang berjalan di node yang terpengaruh akan mencatat error tersebut ke dalam log. Anda akan menemukan dua jenis log error XID:
- Error XID non-kritis:
- Format log:
Skip error Xid=%d as it is not Xid Critical - Arti: Error ini dianggap tidak kritis. Masalah ini dapat disebabkan oleh berbagai masalah software atau hardware.
- Tindakan: GKE tidak melakukan tindakan otomatis untuk error XID yang tidak kritis.
- Format log:
- Error XID kritis:
- Format log:
XidCriticalError: Xid=%d, All devices will go unhealthy - Arti: Error ini menunjukkan masalah hardware GPU.
- Tindakan:
- GKE menandai resource GPU node sebagai tidak responsif.
- GKE mencegah workload GPU dijadwalkan pada node.
- Jika perbaikan otomatis node diaktifkan, GKE akan membuat ulang node.
- Format log:
Masalah GPUDirect-TCPX(O)
Bagian ini memberikan informasi pemecahan masalah untuk masalah GPUDirect-TCPX(O). Jika Anda menggunakan versi GKE 1.34 atau 1.35 yang terpengaruh, lihat juga halaman Masalah umum GKE.
Catatan rilis dan petunjuk upgrade
Untuk pengguna baru, Memaksimalkan bandwidth jaringan GPU di cluster mode Standard memberikan panduan tentang cara menggunakan GPUDirect-TCPX(O). Untuk pengguna lama, baca Catatan Rilis GPUDirect-TCPXO untuk mengetahui informasi rilis dan petunjuk upgrade, karena versi baru terus dirilis.
Kegagalan tcpx-daemon dan tcpxo-daemon setelah upgrade versi GKE
Anda mungkin mengalami error berikut jika Pod tcpx-daemon atau tcpxo-daemon gagal:
cuda error detected! name: CUDA_ERROR_NO_DEVICE; string: no CUDA-capable device is detected
Selain itu, periksa apakah Pod device-injector di namespace kube-system berada dalam status CrashLoopBackOff atau Error.
Masalah ini terjadi jika Anda mengupgrade node pool GKE ke salah satu versi berikut atau yang lebih baru:
- Untuk GKE 1.31: 1.31.14-gke.1033000
- Untuk GKE 1.32: 1.32.9-gke.1575000
- Untuk GKE 1.33: 1.33.5-gke.1862000
- Untuk GKE 1.34: 1.34.1-gke.3225000
- Untuk GKE 1.35 dan yang lebih baru
Masalah ini disebabkan oleh penggunaan manifes injektor perangkat NRI versi lama yang menyertakan initContainer bernama enable-nri. Dalam versi GKE yang terpengaruh ini, NRI diaktifkan secara default dalam konfigurasi node. Container enable-nri yang sudah tidak berlaku akan mencoba mengubah konfigurasi dan memulai ulang runtime container, yang bertentangan dengan default sistem dan menyebabkan Pod nri-device-injector error. Kegagalan ini mencegah perangkat GPU terekspos ke container tcpx-daemon atau tcpxo-daemon.
Untuk mengatasi masalah ini, update DaemonSet nri-device-injector ke versi terbaru, yang akan menghapus initContainer yang bertentangan.
Hapus DaemonSet yang ada:
kubectl delete daemonset device-injector -n kube-systemTerapkan manifes terbaru:
kubectl apply -f https://raw.githubusercontent.com/GoogleCloudPlatform/container-engine-accelerators/master/nri_device_injector/nri-device-injector.yamlMulai ulang Pod workload Anda.
Men-debug dengan log NCCL
Jika Anda tidak dapat menyelesaikan masalah terkait NCCL, kumpulkan log NCCL dengan informasi proses debug. Log ini berisi informasi berharga tentang operasi NCCL dan dapat membantu Anda menemukan sumber masalah. Jika Anda tidak dapat menyelesaikan masalah, kumpulkan log ini sebelum Anda membuka kasus dengan Cloud Customer Care. Log ini dapat membantu Cloud Customer Care menyelesaikan masalah Anda dengan lebih cepat.
Untuk membuat dan mengumpulkan log, selesaikan langkah-langkah berikut:
Tetapkan variabel lingkungan berikut di dalam manifes Pod atau aplikasi Anda:
NCCL_DEBUG=INFO NCCL_DEBUG_SUBSYS=INIT,NET,ENV,COLL,GRAPH NCCL_DEBUG_FILE=/DIRECTORY/FILE_NAME.%h.%pUntuk mengetahui informasi selengkapnya tentang variabel lingkungan ini, baca mengumpulkan log debug NCCL.
Untuk membuat data bagi log Anda, jalankan pengujian NCCL. Cara menjalankan pengujian ini bergantung pada jenis cluster yang Anda gunakan. Untuk cluster GKE, Anda dapat men-deploy dan menjalankan pengujian NCCL dengan Topology Aware Scheduling (TAS). Setelah Anda menjalankan pengujian NCCL, NCCL akan otomatis membuat log di semua node yang berpartisipasi.
Kumpulkan log dari semua node. Pastikan Anda telah mengumpulkan log NCCL dari semua node dengan memverifikasi bahwa log berisi informasi berikut:
- Nama host semua VM yang terlibat dalam workload.
- PID semua proses yang relevan di VM.
- Peringkat semua GPU yang digunakan oleh workload di setiap VM.
Jika Anda tidak yakin di mana lokasi file log, contoh berikut menunjukkan tempat NCCL membuat file log saat variabel
NCCL_DEBUG_FILEditetapkan ke/tmp/nccl_log.%h.%p. Anda memiliki dua VM bernamaa3plus-vm-1dana3plus-vm-2, dan setiap VM menjalankan delapan proses dalam container workload. Dalam skenario ini, NCCL membuat file log berikut di direktori/tmpdalam container workload di setiap VM:- Di
a3plus-vm-1: delapan file log bernamanccl_log.a3plus-vm-1.PID, denganPIDadalah ID proses. - Di
a3plus-vm-2: delapan file log bernamanccl_log.a3plus-vm-2.PID.
Tinjau log. Entri log NCCL memiliki format berikut:
HOSTNAME:PID:TID [RANK] NCCL_MESSAGEEntri log ini berisi nilai berikut:
HOSTNAME: nama host VM. Nilai ini mengidentifikasi VM yang digunakan saat NCCL membuat entri log.PID: PID. Nilai ini mengidentifikasi proses mana yang menghasilkan entri log.TID: ID rangkaian pesan. Nilai ini mengidentifikasi thread mana dalam proses yang digunakan saat NCCL membuat entri log.RANK: ID peringkat lokal. Nilai ini mengidentifikasi GPU mana yang digunakan saat NCCL membuat entri log. Peringkat diberi nomor dari 0-N, dengan N adalah jumlah total GPU yang terlibat dalam proses. Misalnya, jika workload Anda berjalan dengan delapan GPU per VM, setiap VM harus memiliki delapan nilai peringkat yang berbeda (0-7).NCCL_MESSAGE: pesan deskriptif yang memberikan informasi selengkapnya tentang peristiwa dan menyertakan stempel waktu saat NCCL membuat log.
Contoh:
gke-a3plus-mega-np-2-aa33fe53-7wvq:1581:1634 [1] NCCL INFO 00:09:24.631392: NET/FasTrak plugin initialized.Contoh ini memiliki nilai berikut:
gke-a3plus-mega-np-2-aa33fe53-7wvq: nama host.1581: ID proses.1634: ID rangkaian pesan.1: ID peringkat lokal.NCCL INFO 00:09:24.631392: NET/FasTrak plugin initialized.: pesan yang menjelaskan apa yang terjadi.
Jika Anda membuka kasus dukungan, kemas log yang Anda kumpulkan, bersama dengan output pengujian NCCL, ke dalam file ZIP. Sertakan file zip saat Anda mengirimkan kasus dukungan ke Cloud Customer Care.
Untuk berhenti mengumpulkan log debug NCCL, hapus variabel yang Anda tambahkan di langkah 1.
Langkah berikutnya
Jika Anda tidak dapat menemukan solusi untuk masalah Anda dalam dokumentasi, lihat Mendapatkan dukungan untuk mendapatkan bantuan lebih lanjut, termasuk saran tentang topik berikut:
- Membuka kasus dukungan dengan menghubungi Cloud Customer Care.
- Mendapatkan dukungan dari komunitas dengan
mengajukan pertanyaan di StackOverflow
dan menggunakan tag
google-kubernetes-engineuntuk menelusuri masalah serupa. Anda juga dapat bergabung ke saluran Slack#kubernetes-engineuntuk mendapatkan dukungan komunitas lainnya. - Membuka laporan masalah atau permintaan fitur menggunakan issue tracker publik.