Memecahkan masalah GPU di GKE

Jika Pod Google Kubernetes Engine (GKE) Anda terjebak dalam status Pending saat meminta resource nvidia.com/gpu, atau jika node Anda gagal mendaftarkan GPU yang tersedia, Anda mungkin mengalami masalah dengan penginstalan driver NVIDIA atau konfigurasi node pool Anda. Masalah ini mencegah workload Anda mengakses hardware GPU yang diperlukan.

Dokumen ini menunjukkan cara mendiagnosis dan menyelesaikan masalah umum yang mencegah GKE menjadwalkan atau menjalankan workload yang dipercepat GPU. Pelajari cara memverifikasi penginstalan driver GPU, memeriksa log Pod dan node untuk menemukan error, dan mengonfirmasi bahwa konfigurasi Anda sudah benar.

Informasi ini ditujukan untuk admin dan operator Platform yang mengelola node pool yang mendukung GPU dan perlu menyelesaikan masalah driver NVIDIA, serta untuk Developer aplikasi yang perlu men-debug workload GPU yang macet atau gagal dimulai. Untuk mengetahui informasi selengkapnya tentang peran umum dan contoh tugas yang kami referensikan dalam konten Google Cloud, lihat Peran dan tugas pengguna GKE umum.

Penginstalan driver GPU

Bagian ini berisi informasi pemecahan masalah untuk penginstalan driver perangkat NVIDIA otomatis di GKE.

Penginstalan driver gagal di node Ubuntu

Jika Anda menggunakan node Ubuntu yang memiliki GPU L4, RTX PRO 6000, H100, atau H200 yang terpasang, driver GPU default yang diinstal GKE mungkin tidak berada pada atau lebih baru dari versi yang diperlukan untuk GPU tersebut. Akibatnya, Pod plugin perangkat GPU tetap terjebak dalam status Pending dan workload GPU Anda di node tersebut mungkin mengalami masalah.

Untuk mengatasi masalah ini, lihat petunjuk untuk GPU masing-masing:

L4 dan H100

Untuk mengatasi masalah ini pada GPU L4 dan H100, sebaiknya upgrade ke versi GKE berikut yang menginstal driver GPU versi 535 sebagai driver default:

  • 1.26.15-gke.1483000 dan yang lebih baru
  • 1.27.15-gke.1039000 dan yang lebih baru
  • 1.28.11-gke.1044000 dan yang lebih baru
  • 1.29.6-gke.1073000 dan yang lebih baru
  • 1.30.2-gke.1124000 dan yang lebih baru

Atau, Anda dapat menginstal driver versi 535 atau yang lebih baru secara manual dengan menjalankan perintah berikut:

kubectl apply -f https://raw.githubusercontent.com/GoogleCloudPlatform/container-engine-accelerators/master/nvidia-driver-installer/ubuntu/daemonset-preloaded-R535.yaml

RTX PRO 6000

Untuk mengatasi masalah ini pada GPU RTX PRO 6000, upgrade ke salah satu versi GKE berikut. Versi ini menginstal driver GPU versi 580 sebagai driver default:

  • 1.32.8-gke.1170000 dan yang lebih baru
  • 1.33.4-gke.1245000 dan yang lebih baru
  • 1.34.0-gke.1662000 dan yang lebih baru

Solusi ini hanya berfungsi untuk jenis mesin G4 dengan satu atau beberapa GPU. Jenis mesin G4 yang memiliki kurang dari satu GPU tidak mendukung image node Ubuntu.

H200

Untuk mengatasi masalah ini pada GPU H200, Anda harus menginstal driver versi 550 atau yang lebih baru secara manual dengan menjalankan perintah berikut:

kubectl apply -f https://raw.githubusercontent.com/GoogleCloudPlatform/container-engine-accelerators/refs/heads/master/nvidia-driver-installer/ubuntu/daemonset-preloaded-R550.yaml

Plugin perangkat GPU gagal dengan error CrashLoopBackOff

Masalah berikut terjadi jika Anda menggunakan metode penginstalan driver manual di node pool sebelum 25 Januari 2023 dan kemudian mengupgrade node pool ke versi GKE yang mendukung penginstalan driver otomatis. Kedua workload penginstalan ada secara bersamaan dan mencoba menginstal versi driver yang bertentangan di node Anda.

Container init plugin perangkat GPU gagal dengan status Init:CrashLoopBackOff. Log untuk container mirip dengan yang berikut ini:

failed to verify installation: failed to verify GPU driver installation: exit status 18

Untuk mengatasi masalah ini, coba metode berikut:

  • Hapus DaemonSet penginstalan driver manual dari cluster Anda. Tindakan ini akan menghapus workload penginstalan yang bentrok dan memungkinkan GKE menginstal driver ke node Anda secara otomatis.

    kubectl delete -f https://raw.githubusercontent.com/GoogleCloudPlatform/container-engine-accelerators/master/nvidia-driver-installer/cos/daemonset-preloaded.yaml
    
  • Terapkan ulang manifes DaemonSet penginstalan driver manual ke cluster Anda. Pada 25 Januari 2023, kami memperbarui manifes untuk mengabaikan node yang menggunakan penginstalan driver otomatis.

    kubectl apply -f https://raw.githubusercontent.com/GoogleCloudPlatform/container-engine-accelerators/master/nvidia-driver-installer/cos/daemonset-preloaded.yaml
    
  • Nonaktifkan penginstalan driver otomatis untuk node pool Anda. DaemonSet penginstalan driver yang ada akan berfungsi seperti yang diharapkan setelah operasi update selesai.

    gcloud container node-pools update POOL_NAME \
        --accelerator=type=GPU_TYPE,count=GPU_COUNT,gpu-driver-version=disabled \
        --cluster=CLUSTER_NAME \
        --location=LOCATION
    

    Ganti kode berikut:

    • POOL_NAME: nama node pool.
    • GPU_TYPE: jenis GPU yang sudah digunakan node pool.
    • GPU_COUNT: jumlah GPU yang sudah terpasang ke node pool.
    • CLUSTER_NAME: nama cluster GKE yang berisi node pool.
    • LOCATION: lokasi Compute Engine cluster.

Untuk mengetahui informasi selengkapnya tentang cara memetakan versi driver GPU ke versi GKE, lihat Memetakan versi GKE dan versi image node Container-Optimized OS ke versi driver GPU.

Error: "Image container cos-nvidia-installer:fixed tidak ada dengan kebijakan pull Never." atau "Image container ubuntu-nvidia-installer:fixed tidak ada dengan kebijakan pull Never."

Masalah ini terjadi saat Pod nvidia-driver-installer berada dalam status PodInitializing dan Pod penginstal driver GPU atau perangkat plugin GPU melaporkan error berikut. Pesan error spesifik bergantung pada sistem operasi yang berjalan di node Anda:

COS

Container image "cos-nvidia-installer:fixed" is not present with pull policy of Never.

Ubuntu

Container image "gke-nvidia-installer:fixed" is not present with pull policy of Never.

Masalah ini dapat terjadi saat pembersih sampah memori menghapus image driver NVIDIA yang telah dimuat sebelumnya untuk mengosongkan ruang pada node. Saat Pod driver dibuat ulang atau containernya dimulai ulang, GKE tidak akan dapat menemukan image yang telah dimuat sebelumnya.

Untuk mengurangi masalah pembersihan sampah memori saat Anda menjalankan COS, upgrade node GKE Anda ke salah satu versi berikut yang berisi perbaikan:

  • 1.25.15-gke.1040000 dan yang lebih baru
  • 1.26.10-gke.1030000 dan yang lebih baru
  • 1.27.6-gke.1513000 dan yang lebih baru
  • 1.28.3-gke.1061000 dan yang lebih baru

Untuk mengetahui informasi selengkapnya tentang cara memetakan versi driver GPU ke versi GKE, lihat Memetakan versi GKE dan versi image node Container-Optimized OS ke versi driver GPU.

Jika node Anda menjalankan Ubuntu, belum ada perbaikan untuk masalah pembersihan sampah memori ini. Untuk mengurangi masalah ini di Ubuntu, Anda dapat menjalankan container dengan hak istimewa yang berinteraksi dengan host untuk memastikan penyiapan driver GPU NVIDIA yang benar. Untuk melakukannya, jalankan sudo /usr/local/bin/nvidia-container-first-boot dari node Anda atau terapkan manifes berikut:

apiVersion: v1
kind: Pod
metadata:
  name: gke-nvidia-installer-fixup
spec:
  nodeSelector:
    cloud.google.com/gke-os-distribution: ubuntu
  hostPID: true
  containers:
  - name: installer
    image: ubuntu
    securityContext:
      privileged: true
    command:
      - nsenter
      - -at
      - '1'
      - --
      - sh
      - -c
      - "/usr/local/bin/nvidia-container-first-boot"
  restartPolicy: Never

Kemungkinan penyebab lain dari masalah ini adalah saat image driver NVIDIA hilang setelah reboot node atau pemeliharaan host. Hal ini dapat terjadi pada confidential node, atau node dengan GPU, yang menggunakan penyimpanan SSD lokal efemeral. Dalam situasi ini, GKE melakukan pramuat image container nvidia-installer-driver pada node dan memindahkannya dari boot disk ke SSD lokal saat booting pertama.

Untuk mengonfirmasi adanya peristiwa pemeliharaan host, gunakan filter log berikut:

resource.type="gce_instance"
protoPayload.serviceName="compute.googleapis.com"
log_id("cloudaudit.googleapis.com/system_event")

Untuk mengurangi masalah pemeliharaan host, upgrade versi GKE Anda ke salah satu versi berikut:

  • 1.27.13-gke.1166000 dan yang lebih baru
  • 1.29.3-gke.1227000 dan yang lebih baru
  • 1.28.8-gke.1171000 dan yang lebih baru

Error: failed to configure GPU driver installation dirs: failed to create lib64 overlay: failed to create dir /usr/local/nvidia/lib64: mkdir /usr/local/nvidia/lib64: not a directory.

Anda akan mengalami error ini dari container penginstal driver GPU di dalam plugin perangkat GPU saat fastsocket NCCL diaktifkan:

failed to configure GPU driver installation dirs: failed to create lib64 overlay: failed to create dir /usr/local/nvidia/lib64: mkdir /usr/local/nvidia/lib64: not a directory.

Masalah ini hanya terjadi pada cluster dan node yang menjalankan GKE 1.28 dan 1.29.

Masalah ini disebabkan oleh kondisi race fastsocket NCCL dengan penginstal driver GPU.

Untuk mengurangi masalah ini, upgrade versi GKE Anda ke salah satu versi berikut:

  • 1.28.8-gke.1206000 dan yang lebih baru
  • 1.29.3-gke.1344000 dan yang lebih baru

Untuk mengetahui informasi selengkapnya, baca Catatan Rilis GPUDirect-TCPXO.

Error: Failed to get device for nvidia0: device nvidia0 not found.

Error berikut menunjukkan bahwa XID 62 dan RmInitAdapter gagal untuk GPU dengan minor 0:

Failed to get device for nvidia0: device nvidia0 not found.

Driver NVIDIA versi 525.105.17 memiliki bug yang dapat menyebabkan error komunikasi (XID) dan mencegah GPU melakukan inisialisasi dengan benar, sehingga menyebabkan kegagalan dalam menginisialisasi GPU.

Untuk memperbaiki masalah ini, upgrade driver NVIDIA ke driver versi 525.110.11 atau yang lebih baru.

Masalah GPUDirect RDMA

Bagian ini memberikan informasi pemecahan masalah untuk masalah GPUDirect RDMA.

Error: Plugin gIB jaringan tidak ditemukan

Image pytorch/pytorch:latest dari repositori PyTorch tidak menyertakan Netlink Library Protocol Suite (libnl), yang diperlukan oleh plugin gIB. Error berikut menunjukkan bahwa plugin gIB tidak dimuat karena library libnl tidak ada dalam image:

ncclInvalidUsage: Error: network gIB not found.

Untuk mengatasi masalah ini, Anda harus menggunakan image dasar Pytorch yang berbeda atau menambahkan library secara manual ke container Anda. Masalah ini tidak spesifik untuk jenis mesin apa pun. Untuk mengetahui informasi selengkapnya tentang penggunaan NCCL/gIB, lihat Mengoptimalkan jaringan cluster menggunakan NCCL/gIB.

Menyelesaikan masalah menggunakan image PyTorch Nvidia

Anda dapat memperbaiki masalah ini menggunakan image PyTorch NVIDIA. Untuk menemukan versi terbaru, lihat Catatan Rilis PyTorch.

Menyelesaikan masalah melalui penginstalan manual

Jika tidak dapat bermigrasi ke basis image lain, Anda juga dapat menginstal library libnl secara manual di image container.

apt update -y && apt upgrade -y && apt install -y libnl-3-200 libnl-route-3-200

Untuk membantu memastikan konsistensi library IBVerbs dalam container workload, gunakan DaemonSet Penginstal RDMA NCCL yang telah diupdate untuk menginstal library plugin gIB di jalur container.

Untuk mendownload konfigurasi DaemonSet, clone repositori akselerator container engine:

cd
git clone https://github.com/GoogleCloudPlatform/container-engine-accelerators.git

Temukan konfigurasi di direktori tree/master/gpudirect-rdma:

cd container-engine-accelerators/gpudirect-rdma
ls -l nccl-rdma-installer*
-rw-r----- 1 adelab primarygroup 2899 May  6 15:57 nccl-rdma-installer-a4x.yaml
-rw-r----- 1 adelab primarygroup 2743 Apr 30 00:34 nccl-rdma-installer-autopilot.yaml
-rw-r----- 1 adelab primarygroup 2677 May  6 15:57 nccl-rdma-installer.yaml

Pilih salah satu konfigurasi penginstal berikut:

Deskripsi nccl-rdma-installer.yaml nccl-rdma-installer-a4x.yaml nccl-rdma-installer-autopilot.yaml
Mode operasi GKE GKE Standard GKE Standard Autopilot GKE
Jenis mesin Jenis mesin A4 dan A3 Ultra Jenis mesin A4X Jenis mesin A4 dan A3 Ultra
Namespace Men-deploy ke kube-system. Men-deploy ke kube-system. Men-deploy ke namespace rdma-system khusus (karena Autopilot membatasi modifikasi pada namespace kube-system).
Priority class Menggunakan system-node-critical untuk membantu memastikan penginstal berjalan dengan prioritas tinggi. Menggunakan system-node-critical. Tidak ada. (Autopilot membatasi penggunaan priority class tingkat sistem).
Fungsi Berjalan sebagai DaemonSet dan menginstal plugin NCCL GPUDirect-TCPX (GIB) (khususnya nccl-plugin-gib:v1.1.1) ke direktori host /home/kubernetes/bin/nvidia/lib64 dan /home/kubernetes/bin/gib. Pendekatan ini memungkinkan komunikasi RDMA berperforma tinggi untuk NCCL di node GKE. Mirip dengan penginstal dasar, tetapi menginstal versi plugin NCCL GPUDirect-TCPX (GIB) yang dikompilasi ARM64 (nccl-plugin-gib-arm64:v1.1.0). Juga menyertakan afinitas node tertentu untuk nvidia-gb200 dan arm64 guna membantu memastikan plugin hanya berjalan di node GKE tertentu ini. Menginstal plugin NCCL GPUDirect-TCPX (GIB) (nccl-plugin-gib:v1.1.1), tetapi dengan modifikasi yang mendukung model keamanan dan operasional mode Autopilot:
  • Pod ini di-deploy di namespace rdma-system.
  • Skrip penginstalan dipanggil dengan flag --install-nccl, yang melakukan penyiapan tambahan untuk membantu memastikan NCCL itu sendiri dikonfigurasi atau diinstal dengan benar di lingkungan Autopilot. Di GKE Autopilot, lingkungan host mungkin lebih dibatasi atau telah dikonfigurasi sebelumnya secara berbeda dibandingkan dengan GKE Standard.

Terapkan daemonset:

kubectl apply -f nccl-rdma-installer.yaml

Memetakan versi GKE dan versi image node Container-Optimized OS ke versi driver GPU

Untuk menemukan versi driver GPU yang dipetakan dengan versi GKE dan versi image node Container-Optimized OS, lakukan langkah-langkah berikut:
  1. Petakan versi image node Container-Optimized OS ke versi patch GKE untuk versi GKE tertentu tempat Anda ingin menemukan versi driver GPU. Misalnya, 1.33.0-gke.1552000 menggunakan cos-121-18867-90-4.
  2. Pilih milestone versi image node Container-Optimized OS di catatan rilis Container-Optimized OS. Misalnya, pilih Milestone 121 untuk cos-121-18867-90-4.
  3. Di halaman catatan rilis untuk milestone tertentu, temukan catatan rilis yang sesuai dengan versi image node Container-Optimized OS tertentu. Misalnya, di Catatan Rilis Container-Optimized OS: Milestone 121, lihat cos-121-18867-90-4. Di tabel pada kolom GPU Drivers, klik See List untuk melihat informasi versi driver GPU.

Di GKE versi 1.36.0-gke.3302004 dan yang lebih baru, GKE otomatis memublikasikan versi driver NVIDIA yang diinstal sebagai anotasi pada node GPU yang berjalan. Untuk melihat anotasi versi driver pada node GPU, jalankan perintah berikut:

kubectl get node GPU_NODE_NAME -o jsonpath='{.metadata.annotations}'

Ganti GPU_NODE_NAME dengan nama node GPU Anda.

Output-nya mencakup anotasi yang mirip dengan berikut ini:

{
  "cloud.google.com/cuda.driver-version.full": "580.126.20",
  "cloud.google.com/cuda.driver-version.major": "580",
  "cloud.google.com/cuda.driver-version.minor": "126",
  "cloud.google.com/cuda.driver-version.revision": "20"
}

Perintah nvidia-smi gagal

Saat Anda menggunakan VM GPU untuk menjalankan workload di GKE, perintah seperti nvidia-smi mungkin gagal dalam container dengan salah satu error berikut:

  • bash: nvidia-smi: command not found
  • Error yang menunjukkan bahwa libnvidia-ml.so atau library NVIDIA lainnya tidak dapat ditemukan.

GKE memasang driver dan alat NVIDIA yang diperlukan dari node host di container Anda, biasanya di jalur /usr/local/nvidia/. Namun, variabel lingkungan default container (PATH dan LD_LIBRARY_PATH) mungkin tidak menyertakan jalur ke biner dan library NVIDIA ini.

Untuk mengatasi error ini, update manifes Pod atau Deployment Anda untuk menyertakan jalur NVIDIA yang diperlukan dalam variabel lingkungan PATH dan LD_LIBRARY_PATH untuk container.

Misalnya, tambahkan blok env berikut ke spesifikasi spec.template.spec.containers Anda:

spec:
  containers:
  - name: gpu-container
    image: gpu-image
    env:
    - name: LD_LIBRARY_PATH
      # Prepend NVIDIA lib64 directory to existing LD_LIBRARY_PATH
      value: /usr/local/nvidia/lib64
    - name: PATH
      # Prepend NVIDIA bin directory to existing PATH
      value: /usr/local/nvidia/bin:$PATH
    # ... other container settings

Memulai ulang OS tamu untuk cluster standar

Bagian ini menunjukkan cara menggunakan GKE untuk mengelola reboot OS tamu yang berjalan di node untuk cluster standar.

Node GKE mungkin perlu dimulai ulang jika mengalami masalah Xid atau masalah GPU lainnya. Untuk contoh masalah Xid, lihat Penanganan Xid Compute Engine.

Saat Anda memulai ulang OS tamu dengan metode ini, hal berikut akan terjadi:

  • OS tamu direset.
  • GPU direset.
  • Instance yang mendasarinya tidak diubah dan boot disk dipertahankan, tetapi setelah reboot, ID booting akan berbeda.

Operasi mulai ulang memerlukan waktu sekitar lima menit. Waktu ini merupakan tambahan dari masa tenggang penghentian yang dikonfigurasi pada pod. Untuk mengetahui detail selengkapnya tentang siklus proses Pod dan periode penghentian, lihat Penghentian Pod.

Persyaratan

Metode untuk memulai ulang OS tamu ini mengharuskan cluster menjalankan GKE versi 1.37.0-gke.3503000 atau yang lebih baru. Jangan memicu reboot OS tamu pada versi sebelumnya, karena GKE mungkin tidak dapat menjadwalkan workload pada node Anda setelah reboot selesai.

Memulai ulang OS tamu di node GKE

Untuk memulai ulang OS tamu di node GKE, ikuti langkah-langkah berikut:

  1. Identifikasi node yang akan dimulai ulang.

  2. Terapkan label cloud.google.com/perform-reboot=true menggunakan perintah berikut:

    kubectl label nodes NODE_NAME cloud.google.com/perform-reboot=true
    

    Ganti NODE_NAME dengan nama node.

    Saat label ini diterapkan, GKE akan memulai ulang OS tamu dengan melakukan langkah-langkah berikut:

    1. Halangi node.
    2. Mengeluarkan Pod, dengan mematuhi anggaran distribusi dan masa tenggang penghentian. Untuk mengetahui detail tentang cara mengonfigurasi perilaku penghentian ini, lihat Mengonfigurasi GKE untuk menghentikan workload Anda dengan baik
    3. Memulai ulang node menggunakan systemd. Node akan dinonaktifkan dan dimulai ulang, dan ID booting akan berubah.
  3. Buka peristiwa node untuk melihat bahwa node telah berhasil dimulai ulang.

    1. Di konsol Google Cloud , buka Kubernetes Engine > Clusters.

      Buka Clusters

    2. Pilih cluster yang berisi node yang Anda mulai ulang.

    3. Klik Nodes, lalu pilih node yang akan di-reboot.

    4. Klik Events untuk melihat halaman peristiwa node.

      Peristiwa node dicatat di halaman ini. Peristiwa dari proses reboot yang berhasil mencakup hal berikut:

      • Saat node dimulai setelah reboot.
      • Saat pengendali pemeliharaan menghapus label node perform-reboot.
      • Saat perubahan ID booting terdeteksi.

Jika Anda mengikuti langkah-langkah ini untuk node yang menjalankan versi sebelum 1.37.0-gke.3503000, node tersebut mungkin mempertahankan taint cloud.google.com/impending-node-termination dan label cloud.google.com/perform-reboot=true setelah reboot selesai. Node memiliki status Ready, tetapi tidak dapat menjalankan workload. Untuk mengatasi masalah ini, upgrade ke GKE versi 1.37.0-gke.3503000 atau yang lebih baru. Untuk mengurangi masalah ini tanpa mengupgrade, hapus taint dan label secara manual dari node yang terpengaruh dengan menjalankan perintah berikut:

# Remove the perform-reboot label
kubectl label node NODE_NAME cloud.google.com/perform-reboot-

# Remove the boot ID annotation (might report "not found", which is expected)
kubectl annotate node NODE_NAME node.gke.io/reboot-boot-id-

# Remove the taint (might already be removed automatically, which is expected)
kubectl taint nodes NODE_NAME cloud.google.com/impending-node-termination:NoSchedule-

Ganti NODE_NAME dengan nama node yang macet.

Setelah Anda menghapus status macet, tunggu setidaknya 60 detik hingga pengendali pemeliharaan mendeteksi perubahan. Jangan mencoba memulai ulang OS tamu lagi kecuali jika cluster Anda menjalankan versi 1.37.0-gke.3503000 atau yang lebih baru.

Label mulai ulang diabaikan saat diterapkan kembali dengan cepat

Di semua versi GKE, jika Anda menerapkan ulang label cloud.google.com/perform-reboot=true dalam waktu 60 detik setelah reboot selesai, pengendali pemeliharaan mungkin tidak akan bertindak berdasarkan label baru karena kondisi race dalam status internalnya. Node tetap terjebak dengan label perform-reboot dan taint cloud.google.com/impending-node-termination, tetapi tidak terjadi reboot.

Untuk mengurangi masalah ini, tunggu setidaknya 60 detik setelah reboot selesai sebelum menerapkan kembali label cloud.google.com/perform-reboot=true. Anda dapat memverifikasi bahwa reboot telah selesai dengan memeriksa apakah label perform-reboot dan anotasi reboot-boot-id telah dihapus dari node:

kubectl get node NODE_NAME -o jsonpath='{.metadata.labels.cloud\.google\.com/perform-reboot}'
kubectl get node NODE_NAME -o jsonpath='{.metadata.annotations.node\.gke\.io/reboot-boot-id}'

Ganti NODE_NAME dengan nama node.

Kedua perintah harus menampilkan output kosong sebelum Anda menerapkan kembali label.

Jika node sudah macet, hapus metadata node Kubernetes yang menyebabkan status macet secara manual:

  1. Hapus label node cloud.google.com/perform-reboot:

    kubectl label node NODE_NAME \
        cloud.google.com/perform-reboot-
    

    Ganti NODE_NAME dengan nama node yang macet.

  2. Hapus anotasi node.gke.io/reboot-boot-id:

    kubectl annotate node NODE_NAME \
        node.gke.io/reboot-boot-id-
    

    Jika outputnya adalah not found, berarti anotasi sudah dihapus.

  3. Hapus taint cloud.google.com/impending-node-termination:NoSchedule:

    kubectl taint nodes NODE_NAME \
        cloud.google.com/impending-node-termination:NoSchedule-
    

    Jika outputnya adalah not found, berarti taint telah dihapus.

  4. Tunggu minimal 60 detik.

  5. Terapkan kembali label cloud.google.com/perform-reboot:

    kubectl label node NODE_NAME \
        cloud.google.com/perform-reboot=true
    

Mereset GPU di VM A3 dan A4

Beberapa masalah mungkin mengharuskan Anda mereset GPU di VM A3 atau A4.

Catatan: Anda juga dapat menggunakan gpu-reset-tool untuk mereset semua GPU. Alat ini mengotomatiskan proses reset dan hanya memerlukan nama node target.

Untuk mereset GPU secara manual, ikuti langkah-langkah berikut:

  1. Hapus Pod yang meminta resource GPU dari node tempat Anda perlu mereset GPU.

  2. Nonaktifkan plugin perangkat GPU pada node:

    kubectl get nodes \
        --selector=kubernetes.io/hostname=NODE_NAME \
        --no-headers | awk '{print $1}' \
        | xargs -I{} kubectl label node {} gke-no-default-nvidia-gpu-device-plugin=true
    

    Ganti NODE_NAME dengan nama node.

  3. Jika Anda telah mengaktifkan metrik DCGM, nonaktifkan sementara pengekspor DCGM pada node dengan mengubah label versi driver:

    a. Perhatikan nilai label cloud.google.com/gke-gpu-driver-version saat ini pada node.

    b. Ubah nilai label menjadi reset untuk mengeluarkan Pod pengekspor DCGM:

      kubectl label node NODE_NAME \
          cloud.google.com/gke-gpu-driver-version=reset --overwrite
    

    Pod otomatis dikeluarkan karena memerlukan label default atau latest.

  4. Hubungkan ke VM yang mendukung node.

  5. Di sesi SSH, reset GPU:

    Mereset semua GPU di VM

    /home/kubernetes/bin/nvidia/bin/nvidia-smi --gpu-reset
    

    Untuk mereset GPU tertentu

    # Identify the faulty GPU
    /home/kubernetes/bin/nvidia/bin/nvidia-smi
    
    # Reset the specifc GPU using either the GPU index or PCI bus ID from above command output 
    /home/kubernetes/bin/nvidia/bin/nvidia-smi --gpu-reset -i <gpu_id>
    
  6. Pulihkan label node untuk mengaktifkan kembali plugin perangkat GPU dan pengekspor DCGM:

    a. Aktifkan kembali plugin perangkat GPU:

      kubectl get nodes --selector=kubernetes.io/hostname=NODE_NAME \
          --no-headers \| awk '{print $1}' \
          | xargs -I{} kubectl label node {} gke-no-default-nvidia-gpu-device-plugin=false \
          --overwrite
    

    b. Pulihkan nilai asli label cloud.google.com/gke-gpu-driver-version (misalnya, latest atau default) untuk mengaktifkan kembali pengekspor DCGM:

      kubectl label node NODE_NAME \
          cloud.google.com/gke-gpu-driver-version=ORIGINAL_VALUE --overwrite
    

GPU di Confidential GKE Node

Bagian berikut menunjukkan cara mengidentifikasi dan memperbaiki masalah pada GPU yang berjalan di Confidential GKE Node.

Workload GPU tidak dijadwalkan di Confidential GKE Node

Confidential GKE Nodes mengharuskan Anda menginstal driver GPU secara manual yang sesuai dengan jenis GPU yang Anda pilih dan versi GKE Anda. Jika Pod GPU Anda tidak dijadwalkan di Confidential GKE Nodes dan tetap dalam status Pending, deskripsikan DaemonSet penginstalan driver:

kubectl --namespace=kube-system get daemonset nvidia-driver-installer -o yaml

Jika output menampilkan error NotFound, instal driver.

Jika DaemonSet berjalan, output-nya akan mirip dengan berikut ini:

apiVersion: apps/v1
kind: DaemonSet
# lines omitted for clarity
spec:
  revisionHistoryLimit: 10
  selector:
    matchLabels:
      k8s-app: nvidia-driver-installer
  template:
    metadata:
      creationTimestamp: null
      labels:
        k8s-app: nvidia-driver-installer
        name: nvidia-driver-installer
    spec:
      affinity:
        nodeAffinity:
          requiredDuringSchedulingIgnoredDuringExecution:
            nodeSelectorTerms:
            - matchExpressions:
              - key: cloud.google.com/gke-accelerator
                operator: Exists
              - key: cloud.google.com/gke-gpu-driver-version
                operator: DoesNotExist
              - key: cloud.google.com/gke-confidential-nodes-instance-type
                operator: In
                values:
                - TDX

Dalam output ini, pastikan kolom nodeAffinity berisi kunci cloud.google.com/gke-confidential-nodes-instance-type. Jika output tidak berisi kunci ini, DaemonSet penginstalan driver tidak mendukung Confidential GKE Nodes.

Deploy DaemonSet yang mendukung GPU di Confidential GKE Nodes:

kubectl apply -f https://raw.githubusercontent.com/GoogleCloudPlatform/container-engine-accelerators/refs/heads/master/nvidia-driver-installer/cos/daemonset-confidential.yaml

Setelah menginstal driver, periksa apakah workload GPU Anda berhasil dimulai.

Error: Gagal mengalokasikan vektor perangkat

Pesan error berikut di log container GPU menunjukkan bahwa GPU telah dilepas dari instance VM node:

Failed to allocate device vector A (error code unknown error)!

Pelepasan ini mungkin terjadi karena error hardware atau karena masalah pada kunci enkripsi.

Untuk mengatasi masalah ini, mulai ulang instance node. Operasi ini mengganggu, dan memengaruhi semua workload di node tersebut. Untuk memulai ulang instance, lakukan langkah-langkah berikut:

  1. Dapatkan nama node yang menjalankan Pod GPU:

    kubectl get pod POD_NAME -o yaml | grep "nodeName"
    

    Ganti POD_NAME dengan nama Pod yang gagal.

    Outputnya mirip dengan hal berikut ini:

    nodeName: gke-cluster-1-default-pool-b7asdfbt-fd3e
    
  2. Reset instance Compute Engine:

    gcloud compute instances reset NODE_NAME
    

    Ganti NODE_NAME dengan nama node dari output langkah sebelumnya.

    gcloud CLI mencari VM dengan nama tersebut di project aktif Anda. Jika Anda melihat perintah untuk memilih zona, tentukan Y.

  3. Periksa apakah workload GPU Anda berjalan tanpa error.

Error: Dekripsi gagal dengan error -74

Pesan error berikut di log node Anda menunjukkan bahwa kunci enkripsi untuk GPU hilang:

Decryption failed with error -74

Error ini terjadi saat daemon persistensi NVIDIA, yang berjalan pada instance VM node, gagal. Jika Anda melihat pesan error ini, reset instance:

gcloud compute instances reset NODE_NAME

Ganti NODE_NAME dengan nama node yang gagal.

gcloud CLI mencari VM dengan nama tersebut di project aktif Anda. Jika Anda melihat perintah untuk memilih zona, tentukan Y.

Jika mereset instance tidak menyelesaikan masalah ini, hubungi Cloud Customer Care atau laporkan bug produk. Untuk mengetahui informasi selengkapnya, lihat Mendapatkan dukungan.

Menemukan error XID

Daemonset gpu-device-plugin berjalan dalam namespace kube-system dan bertanggung jawab atas hal berikut:

  • Penjadwalan workload GPU: mengalokasikan resource GPU ke Pod.
  • Health check GPU: memantau kondisi GPU Anda.
  • Pengumpulan metrik GPU: mengumpulkan metrik terkait GPU, seperti siklus tugas dan penggunaan memori.

gpu-device-plugin menggunakan NVIDIA Management Library (NVML) untuk mendeteksi error XID. Saat terjadi error XID, Pod gpu-device-plugin yang berjalan di node yang terpengaruh akan mencatat error tersebut ke dalam log. Anda akan menemukan dua jenis log error XID:

  • Error XID non-kritis:
    • Format log: Skip error Xid=%d as it is not Xid Critical
    • Arti: Error ini dianggap tidak kritis. Masalah ini dapat disebabkan oleh berbagai masalah software atau hardware.
    • Tindakan: GKE tidak melakukan tindakan otomatis untuk error XID yang tidak kritis.
  • Error XID kritis:
    • Format log: XidCriticalError: Xid=%d, All devices will go unhealthy
    • Arti: Error ini menunjukkan masalah hardware GPU.
    • Tindakan:
      • GKE menandai resource GPU node sebagai tidak responsif.
      • GKE mencegah workload GPU dijadwalkan pada node.
      • Jika perbaikan otomatis node diaktifkan, GKE akan membuat ulang node.

Masalah GPUDirect-TCPX(O)

Bagian ini memberikan informasi pemecahan masalah untuk masalah GPUDirect-TCPX(O). Jika Anda menggunakan versi GKE 1.34 atau 1.35 yang terpengaruh, lihat juga halaman Masalah umum GKE.

Catatan rilis dan petunjuk upgrade

Untuk pengguna baru, Memaksimalkan bandwidth jaringan GPU di cluster mode Standard memberikan panduan tentang cara menggunakan GPUDirect-TCPX(O). Untuk pengguna lama, baca Catatan Rilis GPUDirect-TCPXO untuk mengetahui informasi rilis dan petunjuk upgrade, karena versi baru terus dirilis.

Kegagalan tcpx-daemon dan tcpxo-daemon setelah upgrade versi GKE

Anda mungkin mengalami error berikut jika Pod tcpx-daemon atau tcpxo-daemon gagal:

cuda error detected! name: CUDA_ERROR_NO_DEVICE; string: no CUDA-capable device is detected

Selain itu, periksa apakah Pod device-injector di namespace kube-system berada dalam status CrashLoopBackOff atau Error.

Masalah ini terjadi jika Anda mengupgrade node pool GKE ke salah satu versi berikut atau yang lebih baru:

  • Untuk GKE 1.31: 1.31.14-gke.1033000
  • Untuk GKE 1.32: 1.32.9-gke.1575000
  • Untuk GKE 1.33: 1.33.5-gke.1862000
  • Untuk GKE 1.34: 1.34.1-gke.3225000
  • Untuk GKE 1.35 dan yang lebih baru

Masalah ini disebabkan oleh penggunaan manifes injektor perangkat NRI versi lama yang menyertakan initContainer bernama enable-nri. Dalam versi GKE yang terpengaruh ini, NRI diaktifkan secara default dalam konfigurasi node. Container enable-nri yang sudah tidak berlaku akan mencoba mengubah konfigurasi dan memulai ulang runtime container, yang bertentangan dengan default sistem dan menyebabkan Pod nri-device-injector error. Kegagalan ini mencegah perangkat GPU terekspos ke container tcpx-daemon atau tcpxo-daemon.

Untuk mengatasi masalah ini, update DaemonSet nri-device-injector ke versi terbaru, yang akan menghapus initContainer yang bertentangan.

  1. Hapus DaemonSet yang ada:

    kubectl delete daemonset device-injector -n kube-system
    
  2. Terapkan manifes terbaru:

    kubectl apply -f https://raw.githubusercontent.com/GoogleCloudPlatform/container-engine-accelerators/master/nri_device_injector/nri-device-injector.yaml
    
  3. Mulai ulang Pod workload Anda.

Men-debug dengan log NCCL

Jika Anda tidak dapat menyelesaikan masalah terkait NCCL, kumpulkan log NCCL dengan informasi proses debug. Log ini berisi informasi berharga tentang operasi NCCL dan dapat membantu Anda menemukan sumber masalah. Jika Anda tidak dapat menyelesaikan masalah, kumpulkan log ini sebelum Anda membuka kasus dengan Cloud Customer Care. Log ini dapat membantu Cloud Customer Care menyelesaikan masalah Anda dengan lebih cepat.

Untuk membuat dan mengumpulkan log, selesaikan langkah-langkah berikut:

  1. Tetapkan variabel lingkungan berikut di dalam manifes Pod atau aplikasi Anda:

    NCCL_DEBUG=INFO
    NCCL_DEBUG_SUBSYS=INIT,NET,ENV,COLL,GRAPH
    NCCL_DEBUG_FILE=/DIRECTORY/FILE_NAME.%h.%p
    

    Untuk mengetahui informasi selengkapnya tentang variabel lingkungan ini, baca mengumpulkan log debug NCCL.

  2. Untuk membuat data bagi log Anda, jalankan pengujian NCCL. Cara menjalankan pengujian ini bergantung pada jenis cluster yang Anda gunakan. Untuk cluster GKE, Anda dapat men-deploy dan menjalankan pengujian NCCL dengan Topology Aware Scheduling (TAS). Setelah Anda menjalankan pengujian NCCL, NCCL akan otomatis membuat log di semua node yang berpartisipasi.

  3. Kumpulkan log dari semua node. Pastikan Anda telah mengumpulkan log NCCL dari semua node dengan memverifikasi bahwa log berisi informasi berikut:

    • Nama host semua VM yang terlibat dalam workload.
    • PID semua proses yang relevan di VM.
    • Peringkat semua GPU yang digunakan oleh workload di setiap VM.

    Jika Anda tidak yakin di mana lokasi file log, contoh berikut menunjukkan tempat NCCL membuat file log saat variabel NCCL_DEBUG_FILE ditetapkan ke /tmp/nccl_log.%h.%p. Anda memiliki dua VM bernama a3plus-vm-1 dan a3plus-vm-2, dan setiap VM menjalankan delapan proses dalam container workload. Dalam skenario ini, NCCL membuat file log berikut di direktori /tmp dalam container workload di setiap VM:

    • Di a3plus-vm-1: delapan file log bernama nccl_log.a3plus-vm-1.PID, dengan PID adalah ID proses.
    • Di a3plus-vm-2: delapan file log bernama nccl_log.a3plus-vm-2.PID.
  4. Tinjau log. Entri log NCCL memiliki format berikut:

    HOSTNAME:PID:TID [RANK] NCCL_MESSAGE
    

    Entri log ini berisi nilai berikut:

    • HOSTNAME: nama host VM. Nilai ini mengidentifikasi VM yang digunakan saat NCCL membuat entri log.
    • PID: PID. Nilai ini mengidentifikasi proses mana yang menghasilkan entri log.
    • TID: ID rangkaian pesan. Nilai ini mengidentifikasi thread mana dalam proses yang digunakan saat NCCL membuat entri log.
    • RANK: ID peringkat lokal. Nilai ini mengidentifikasi GPU mana yang digunakan saat NCCL membuat entri log. Peringkat diberi nomor dari 0-N, dengan N adalah jumlah total GPU yang terlibat dalam proses. Misalnya, jika workload Anda berjalan dengan delapan GPU per VM, setiap VM harus memiliki delapan nilai peringkat yang berbeda (0-7).
    • NCCL_MESSAGE: pesan deskriptif yang memberikan informasi selengkapnya tentang peristiwa dan menyertakan stempel waktu saat NCCL membuat log.

    Contoh:

    gke-a3plus-mega-np-2-aa33fe53-7wvq:1581:1634 [1] NCCL INFO 00:09:24.631392: NET/FasTrak plugin initialized.
    

    Contoh ini memiliki nilai berikut:

    • gke-a3plus-mega-np-2-aa33fe53-7wvq: nama host.
    • 1581: ID proses.
    • 1634: ID rangkaian pesan.
    • 1: ID peringkat lokal.
    • NCCL INFO 00:09:24.631392: NET/FasTrak plugin initialized.: pesan yang menjelaskan apa yang terjadi.
  5. Jika Anda membuka kasus dukungan, kemas log yang Anda kumpulkan, bersama dengan output pengujian NCCL, ke dalam file ZIP. Sertakan file zip saat Anda mengirimkan kasus dukungan ke Cloud Customer Care.

  6. Untuk berhenti mengumpulkan log debug NCCL, hapus variabel yang Anda tambahkan di langkah 1.

Langkah berikutnya