Pemindai kondisi cluster adalah alat diagnostik mandiri yang memvalidasi kesiapan kapasitas GPU dan Cloud TPU Anda sebelum Anda menjadwalkan workload. Pemindai kondisi cluster menjalankan benchmark yang menyimulasikan traffic workload sebenarnya pada node akselerator Anda untuk mengukur performa akselerator, memorinya, dan interkoneksi di antaranya. Anda dapat menggunakan hasilnya untuk mengidentifikasi dan menghapus node yang rusak sebelum menyebabkan tugas pelatihan atau inferensi Anda berhenti merespons, berjalan lambat, atau gagal.
Untuk TPU, pemindai kondisi cluster melengkapi pemantauan kondisi TPU, yang terus melaporkan sinyal kondisi hardware. Pemindai kondisi cluster secara aktif menjalankan workload pada kapasitas tidak ada aktivitas untuk mengukur performa dan mengekspos kesalahan yang hanya muncul saat ada beban.
Pemindai kondisi cluster sepenuhnya bersifat open source. Untuk melihat kode sumber, berkontribusi, atau melaporkan masalah, lihat repositori GitHub pemindai kondisi cluster.
Dokumen ini menjelaskan cara menginstal pemindai kondisi cluster, menjalankan pemindaian kondisi pada pemesanan GPU dan TPU, menafsirkan hasilnya, dan memperbaiki node yang tidak responsif.
Lingkungan yang didukung
Pemindai kondisi cluster mendukung lingkungan deployment berikut:
| Lingkungan | Akselerator yang didukung | Lingkungan klien | Opsi penginstalan |
|---|---|---|---|
| Cluster Google Kubernetes Engine (GKE) | GPU dan TPU (node pool yang menggunakan slicing statis atau dinamis) | Mesin Linux yang memiliki akses kubectl ke cluster target |
Paket Python atau image container |
| Cluster Slurm | Khusus GPU | Pengontrol Slurm atau node login, tempat perintah sinfo dan sbatch tersedia |
Khusus paket Python |
| Instance TPU mandiri | Khusus TPU | Instance TPU itu sendiri | Paket Python atau image container (Container-Optimized OS) |
Pemindai kondisi cluster mendukung jenis mesin GPU dan TPU berikut:
- Jenis mesin GPU:
- Jenis mesin TPU:
Suite diagnostik
Anda dapat menginstal pemindai kondisi cluster sebagai paket Python atau sebagai image container. Kedua opsi ini menyediakan antarmuka command line (CLI) chs dan
tolok ukur diagnostik. Anda menjalankan CLI dari mesin yang memiliki akses ke cluster GKE, di pengontrol Slurm atau node login, atau langsung di instance TPU mandiri. Kemudian, CLI akan menjalankan pengujian diagnostik pada node GPU atau TPU target.
Pemindai kondisi cluster menyediakan dua rangkaian diagnostik untuk setiap jenis akselerator:
- Lite: Menjalankan pemeriksaan penyaringan cepat. Pada GPU dan instance TPU mandiri,
suite Lite memeriksa setiap host. Pada node pool TPU GKE, alat ini juga menjalankan pemeriksaan kolektif cepat (
tpu-collectives) di seluruh slice TPU. Operasi kolektif adalah pola komunikasi tempat semua akselerator bertukar data, sepertiAllReduce, yang menggabungkan nilai dari setiap akselerator dan membagikan hasilnya ke semua akselerator. Gunakan suite Lite untuk health check cepat atau sebelum Anda menjalankan workload host tunggal. - Standar: Menjalankan validasi komprehensif di seluruh kapasitas target Anda. Di GPU, Standard suite menjalankan operasi kolektif di beberapa node dan mengukur bandwidth memori GPU. Di TPU, pengujian ini menjalankan semua pengujian Lite serta pengujian stres komputasi, memori, dan jaringan yang berkelanjutan. Gunakan suite Standard sebelum Anda menjalankan workload inferensi atau pelatihan multi-host, yang performa dan stabilitas jaringannya di bawah beban berkelanjutan secara langsung memengaruhi performa tugas.
| Suite | Akselerator | Pengujian | Fokus |
|---|---|---|---|
lite |
GPU | nvidia-smi, dcgm, gemm, nccl-single-node |
Validasi cepat kondisi GPU dan driver, throughput komputasi, dan komunikasi GPU intra-node. |
| TPU | tpu-info, tpu-gemm, tpu-hbm, tpu-host-device, tpu-collectives |
Validasi cepat kesehatan perangkat, throughput komputasi, bandwidth memori bandwidth tinggi (HBM), bandwidth host-ke-perangkat, dan bandwidth kolektif Inter-Chip Interconnect (ICI). | |
standard |
GPU | nvidia-smi, dcgm, gemm, nccl-cluster, nccl-pairwise, stream |
Validasi jaringan multi-node di seluruh node target, ditambah bandwidth memori. |
| TPU | Semua pengujian TPU lite, ditambah tpu-compute-stress, tpu-hbm-stress, dan tpu-network-stress |
Pengujian stres berkelanjutan yang menunjukkan ketidakstabilan, kerusakan data tanpa peringatan, dan error bit ICI. |
Pengujian GPU nccl-domain bukan bagian dari suite. Untuk menjalankan nccl-domain, gunakan flag --tests.
Suite dan pengujian GPU
Pemindai kondisi cluster menyediakan suite berikut untuk node GPU:
- Lite: Memvalidasi driver dan hardware GPU, mengukur throughput komputasi, dan menjalankan pengujian NVIDIA Collective Communications Library (NCCL) dalam setiap node.
- Standard: Menjalankan kolektif NCCL di semua node target dan di antara pasangan node untuk mengukur performa jaringan antar-node, dan mengukur bandwidth memori.
Tabel berikut menjelaskan setiap pengujian GPU:
| Uji | Deskripsi | Suite |
|---|---|---|
nccl-single-node |
Menjalankan pengujian kolektif NCCL antara GPU dalam satu node. | lite |
nvidia-smi |
Memeriksa kondisi dasar GPU dan driver GPU menggunakan NVIDIA System Management Interface. | lite, standard |
dcgm |
Menjalankan diagnostik NVIDIA Data Center GPU Manager (DCGM) untuk melakukan pemeriksaan hardware mendalam pada setiap GPU. | lite, standard |
gemm |
Menjalankan perkalian matriks umum (GEMM) untuk mengukur throughput komputasi GPU. | lite, standard |
nccl-cluster |
Menjalankan pengujian kolektif NCCL di semua node target untuk mengukur bandwidth jaringan di seluruh cluster. | standard |
nccl-pairwise |
Menjalankan pengujian NCCL antara pasangan node untuk mengukur latensi node-ke-node dan mengisolasi node atau link yang rusak. | standard |
stream |
Menjalankan benchmark STREAM untuk mengukur bandwidth memori GPU. | standard |
nccl-domain |
Menjalankan pengujian kolektif NCCL dalam setiap domain NVLink multi-node. Hanya didukung pada jenis mesin dengan domain NVLink multi-node. | Tidak ada (jalankan dengan --tests) |
Suite dan pengujian TPU
Pemindai kondisi cluster menyediakan suite berikut untuk TPU node:
- Lite: Memvalidasi performa chip TPU dan HBM di setiap host, mengukur bandwidth host-ke-perangkat, dan menjalankan pengujian operasi kolektif untuk mengukur bandwidth ICI.
- Standard: Menjalankan operasi kolektif di seluruh chip TPU dalam sebuah slice, ditambah uji ketahanan berkelanjutan pada chip TPU, HBM, dan link ICI.
Tabel berikut menjelaskan setiap pengujian TPU:
| Uji | Deskripsi | Suite |
|---|---|---|
tpu-info |
Memeriksa kondisi dasar TPU, termasuk jumlah perangkat, versi LibTPU, dan jenis perangkat TPU. | lite, standard |
tpu-gemm |
Menjalankan perkalian matriks umum (GEMM) untuk mengukur TFLOPS puncak yang berkelanjutan. | lite, standard |
tpu-hbm |
Mengukur bandwidth baca dan tulis HBM. | lite, standard |
tpu-collectives |
Menghitung waktu operasi kolektif, seperti AllReduce dan AllGather, untuk mengukur bandwidth ICI (khusus cluster GKE). | lite, standard |
tpu-host-device |
Mengukur bandwidth host-ke-perangkat. | lite, standard |
tpu-compute-stress |
Menjalankan perkalian matriks berkelanjutan untuk memverifikasi stabilitas komputasi dan mengekspos kerusakan data yang tidak terdeteksi. | standard |
tpu-hbm-stress |
Menekan HBM untuk mengukur bandwidth maksimum dan memvalidasi integritas data. | standard |
tpu-network-stress |
Mengirim payload acak berukuran besar di seluruh link ICI untuk mengukur bandwidth berkelanjutan dan mendeteksi error bit (khusus cluster GKE). | standard |
Sebelum memulai
Sebelum menggunakan pemindai kondisi cluster, instal alat yang diperlukan, konfigurasikan izin, dan hubungkan ke cluster atau instance Anda.
Penginstalan
Sebelum menjalankan pemindaian kondisi, selesaikan penginstalan untuk lingkungan deployment Anda.
Cluster GKE
Untuk menjalankan pemindaian kondisi di cluster GKE, pastikan Anda memiliki cluster target dan menginstal alat yang diperlukan di mesin tempat Anda berencana menjalankan pemindaian:
- Google Cloud CLI: Instal dan lakukan inisialisasi gcloud CLI.
kubectldangke-gcloud-auth-plugin: Instalkubectldan konfigurasi akses cluster.- Prasyarat pemindai kondisi cluster:
- Paket Python: Python 3.12 atau yang lebih baru dan Git.
- Image container: Docker.
- Cluster GKE: Pastikan Anda memiliki cluster GKE dengan satu atau beberapa node pool GPU atau TPU. Untuk mengetahui informasi selengkapnya, lihat Tentang GPU di GKE dan Tentang TPU di GKE.
Cluster Slurm
Untuk menjalankan pemindaian kondisi di cluster Slurm, pastikan Anda memiliki cluster GPU target dan instal alat yang diperlukan di pengontrol Slurm atau node login, tempat perintah sinfo dan sbatch tersedia:
- gcloud CLI: Instal dan lakukan inisialisasi gcloud CLI.
- Prasyarat paket Python: Instal Python 3.12 atau yang lebih baru dan Git.
- Cluster Slurm: Pastikan Anda memiliki cluster Slurm dengan node GPU. Untuk mengetahui informasi selengkapnya, lihat Membuat cluster Slurm yang terkelola sepenuhnya untuk workload AI dan Membuat cluster Slurm yang dikelola sendiri untuk workload AI.
Untuk cluster Slurm, gunakan opsi penginstalan paket Python. Slurm tidak mendukung opsi image container.
Instance TPU mandiri
Untuk menjalankan pemindaian kondisi pada instance TPU mandiri, pastikan Anda memiliki instance TPU target dan instal alat yang diperlukan langsung di instance:
- gcloud CLI: Instal dan lakukan inisialisasi gcloud CLI.
- Prasyarat pemindai kondisi cluster: Instal alat untuk opsi penginstalan pemindai kondisi cluster yang ingin Anda gunakan:
- Paket Python: Python 3.12
(khususnya Python 3.12 di Linux
x86_64, bukan 3.13 atau yang lebih baru) dan Git. Jika versipython3default di instance Anda lebih lama atau lebih baru dari 3.12, Anda dapat menggunakanuvuntuk membuat lingkungan virtual Python 3.12 (lihat Memecahkan masalah pemindai kesehatan cluster). - Image container: Docker. Di Container-Optimized OS, image container adalah satu-satunya opsi penginstalan yang didukung.
- Paket Python: Python 3.12
(khususnya Python 3.12 di Linux
- Instance TPU mandiri: Pastikan Anda memiliki instance TPU mandiri (TPU7x atau TPU v6e), yang mengekspos perangkat TPU-nya di
/dev/vfio(Anda dapat memverifikasi hal ini pada instance dengan menjalankanls /dev/vfio). Untuk mengetahui informasi selengkapnya, lihat Membuat VM Cloud TPU.
Peran yang diperlukan
Untuk mendapatkan izin yang Anda perlukan untuk menjalankan pemindaian kondisi, minta administrator untuk memberi Anda peran roles/compute.viewer di project Anda. Peran ini memungkinkan pemindai kondisi cluster membaca metadata Compute Engine dan informasi topologi untuk node Anda.
Anda juga memerlukan peran Identity and Access Management (IAM) berikut, bergantung pada lingkungan deployment Anda:
| Lingkungan | Peran yang diperlukan |
|---|---|
| Cluster GKE | Kubernetes Engine Developer (roles/container.developer) |
| Cluster Slurm |
|
| Instance TPU mandiri |
|
Jika Anda mengonfigurasi bucket Cloud Storage untuk laporan,
Anda juga memerlukan peran Storage Object Admin (roles/storage.objectAdmin) di
bucket. Peran ini memungkinkan pemindai kondisi cluster mengupload artefak hasil, seperti laporan kondisi, ke bucket.
Untuk mengetahui informasi selengkapnya tentang pemberian peran, lihat Mengelola akses ke project, folder, dan organisasi.
Menghubungkan ke cluster atau instance
Hubungkan ke lingkungan tempat Anda berencana menjalankan pemindaian kondisi.
Cluster GKE
Siapkan Kredensial Default Aplikasi (ADC) dan konfigurasikan kubectl untuk berkomunikasi dengan cluster GKE Anda:
gcloud auth application-default login
gcloud container clusters get-credentials CLUSTER_NAME \
--location=LOCATION \
--project=PROJECT_ID
Cluster Slurm
Hubungkan ke pengontrol Slurm atau node login Anda menggunakan SSH:
gcloud compute ssh SLURM_NODE_NAME \
--zone=ZONE \
--project=PROJECT_ID
Instance TPU mandiri
Hubungkan ke instance TPU mandiri menggunakan SSH:
gcloud compute tpus tpu-vm ssh TPU_NAME \
--zone=ZONE \
--project=PROJECT_ID
Menginstal pemindai kondisi cluster
Instal pemindai kondisi cluster di mesin tempat Anda menjalankan pemindaian, yang bergantung pada lingkungan Anda:
- Cluster GKE: Mesin apa pun yang memiliki akses
kubectlke cluster Anda. - Cluster Slurm: Pengontrol Slurm atau node login.
- Instance TPU mandiri: Instance TPU itu sendiri.
Di cluster GKE dan Slurm, pemindai kondisi cluster secara otomatis mengambil image container diagnostik yang cocok dengan node GPU atau TPU Anda dan menjadwalkannya di cluster, sehingga Anda tidak perlu menginstal software apa pun di node komputasi individual. Pada instance TPU mandiri, Anda menginstal dan menjalankan pemindai respons cluster langsung di instance.
Anda dapat menginstal pemindai kondisi cluster sebagai paket Python atau sebagai image container. Perintah chs di bagian selanjutnya dalam dokumen ini berfungsi dengan salah satu opsi penginstalan. Untuk melihat informasi penggunaan mendetail untuk perintah apa pun, tambahkan flag --help.
Paket Python
Buat lingkungan virtual Python dan instal paket pemindai kondisi cluster dari GitHub. Di cluster GKE dan Slurm, gunakan Python 3.12 atau yang lebih baru. Pada instance TPU mandiri (x86_64), Anda harus menggunakan Python 3.12 (dengan Python 3.13 atau yang lebih baru, pip install tidak menginstal dependensi benchmark TPU, dan chs run melewati instance):
python3 -m venv chs-venv
source chs-venv/bin/activate
pip install git+https://github.com/GoogleCloudPlatform/cluster-health-scanner.git
Untuk menginstal rilis tertentu, tambahkan @VERSION ke URL repositori:
pip install git+https://github.com/GoogleCloudPlatform/cluster-health-scanner.git@VERSION
Untuk mengetahui daftar rilis, lihat rilis pemindai kondisi cluster di GitHub.
Image container
Pemindai kondisi cluster didistribusikan sebagai image container di Artifact Registry. Image ini mendukung GPU dan TPU. Anda dapat menggunakan image container untuk cluster GKE dan instance TPU mandiri, tetapi tidak untuk cluster Slurm.
Konfigurasi Docker untuk melakukan autentikasi dengan Artifact Registry dan mengambil image container pemindai kondisi cluster:
gcloud auth configure-docker us-docker.pkg.dev docker pull us-docker.pkg.dev/gce-ai-infra/chs/chs:latestUntuk mengambil rilis tertentu, bukan
latest, gantilatestdengan nomor versi. Misalnya,0.3.0untuk rilis GitHubv0.3.0. Untuk mengetahui daftar rilis, lihat rilis pemindai kondisi cluster di GitHub.Buat alias shell untuk menjalankan perintah
chssecara langsung. Alias yang Anda buat bergantung pada lingkungan Anda:Cluster GKE: Alias memasang file
kubeconfigdan kredensial Google Cloud Anda dalam mode hanya baca. Alias ini juga menyimpan status operasi Anda di volume Dockerchs-local-statedan menulis file output ke direktorichs-outputdi direktori Anda saat ini:alias chs='docker run --rm -it --network host \ -v ~/.kube:/workspace/.kube:ro \ -v ~/.config/gcloud:/workspace/.config/gcloud:ro \ -v chs-local-state:/workspace/.local/share \ -v "$(pwd)/chs-output":/workspace/chs-output \ us-docker.pkg.dev/gce-ai-infra/chs/chs:latest'Instance TPU mandiri: Pada instance TPU yang menjalankan Container-Optimized OS, image container adalah satu-satunya opsi penginstalan yang didukung. Alias ini memberi container akses ke perangkat TPU dan namespace PID host instance, memasang sistem file root host di
/host, dan memasang kredensial Google CloudAnda dalam mode hanya baca. Alias ini juga menyimpan status operasi Anda di volume Dockerchs-local-statedan menulis file output ke direktorichs-outputdi direktori Anda saat ini:alias chs='docker run --rm -it --privileged --pid=host \ -v /:/host \ -v ~/.config/gcloud:/workspace/.config/gcloud:ro \ -v chs-local-state:/workspace/.local/share \ -v "$(pwd)/chs-output":/workspace/chs-output \ us-docker.pkg.dev/gce-ai-infra/chs/chs:latest'
Opsional: Menyiapkan bucket Cloud Storage untuk laporan
Secara default, pemindai kondisi cluster menyimpan laporan dan log diagnostik ke direktori output lokal. Anda dapat mengonfigurasi bucket Cloud Storage untuk menyimpannya dari jarak jauh juga.
Jika Anda belum memiliki bucket untuk laporan pemindaian kondisi, buat bucket:
gcloud storage buckets create gs://BUCKET_NAME \ --location=BUCKET_LOCATION \ --project=PROJECT_IDBerikan peran Storage Object Admin (
roles/storage.objectAdmin) ke akun pengguna utama atau akun layanan Anda:gcloud storage buckets add-iam-policy-binding gs://BUCKET_NAME \ --member=PRINCIPAL \ --role=roles/storage.objectAdminAnggota
PRINCIPALadalah akun utama yang menulis laporan. Misalnya,user:EMAILatauserviceAccount:SERVICE_ACCOUNT_EMAIL.Tetapkan bucket tempat pemindai kondisi cluster menyimpan laporan. Bucket harus sudah ada karena pemindai kondisi cluster tidak membuatnya secara otomatis. Anda hanya perlu menjalankan perintah ini sekali untuk setiap lingkungan:
chs configure storage gcs BUCKET_NAMEUntuk menyimpan laporan di bawah awalan folder dalam bucket, tambahkan awalan ke nama bucket:
chs configure storage gcs BUCKET_NAME/PREFIX
Menjalankan pemindaian kondisi
Bagian ini menjelaskan cara memverifikasi bahwa node Anda tidak ada aktivitas, memulai pemindaian, dan memantau progresnya.
Memastikan bahwa node target tidak ada aktivitas
Pemindai kondisi cluster hanya berjalan pada kapasitas nonaktif, dan tidak otomatis menghentikan atau mengeluarkan workload Anda. Sebelum memulai pemindaian, hentikan atau kosongkan semua workload yang berjalan di node atau instance target Anda.
Jika pemindai kondisi cluster mendeteksi workload aktif pada node atau instance target, pemindai akan menangani kapasitas sebagai berikut:
- GPU: Pemindai kondisi cluster akan melewati node yang sibuk dan menjalankan pemindaian pada node nonaktif yang tersisa.
- TPU: Cara pemindai kondisi cluster menangani kapasitas sibuk bergantung pada
lingkungan:
- Cluster GKE: Pengujian TPU multi-host (
tpu-collectivesdantpu-network-stress) memerlukan slice nonaktif yang lengkap, sedangkan pengujian TPU host tunggal dapat berjalan di node nonaktif individual:- Node pool pemisahan statis (
--nodepoolsatau--nodes): Jika beberapa node dalam pool sedang sibuk saat Anda menjalankan suiteliteataustandard, pemindai kondisi cluster akan mencatat peringatan, menghilangkan pengujian multi-host, dan menjalankan pengujian TPU host tunggal pada node nonaktif yang tersisa. - Node pool slicing dinamis (
--nodepoolsatau--nodes): Menargetkan pool dengan--nodepoolsmengharuskan seluruh node pool tidak ada aktivitas sehingga pemindai kondisi cluster dapat menyediakan resourceSlicepool penuh. Jika Anda menargetkan node tertentu dengan--nodes(di GKE versi1.36.0-gke.3712000atau yang lebih baru), pemindai kondisi cluster akan menyediakan sub-slice2x2x1individual untuk setiap node yang tidak ada aktivitas, melewati node yang sibuk, dan menjalankan pengujian TPU host tunggal pada node yang tidak ada aktivitas.
- Node pool pemisahan statis (
- Instance TPU mandiri: Pemindai kondisi cluster tidak dapat berjalan jika
proses lain menggunakan perangkat TPU di bagian
/dev/vfio.
- Cluster GKE: Pengujian TPU multi-host (
Untuk memastikan kapasitas target Anda tidak ada aktivitas, ikuti langkah-langkah untuk lingkungan Anda.
Cluster GKE
Hentikan atau hapus Tugas atau Pod workload yang aktif di node pool target, atau tunggu hingga workload yang berjalan selesai.
Jika Anda menggunakan
kubectl drainuntuk mengeluarkan workload dari node pool, batalkan cordon node sebelum memulai pemindaian agar pemindai kondisi cluster dapat menjadwalkan Pod diagnostik di node tersebut (pemindai kondisi cluster akan melewati node yang di-cordon):kubectl drain -l cloud.google.com/gke-nodepool=NODE_POOL_NAME \ --ignore-daemonsets --delete-emptydir-data kubectl uncordon -l cloud.google.com/gke-nodepool=NODE_POOL_NAMEPastikan tidak ada workload baru yang dijadwalkan di node pool saat pemindaian berjalan.
Pastikan tidak ada Pod workload yang tersisa di node pool:
kubectl get pods --all-namespaces -o wide \ --field-selector=status.phase=Running | grep NODE_POOL_NAMEPod sistem, seperti yang dikelola oleh DaemonSets di namespace
kube-system, dapat terus berjalan.
Cluster Slurm
Periksa tugas yang berjalan di partisi target:
squeue --partition=PARTITION_NAMEJika tugas sedang berjalan di partisi, tunggu hingga tugas selesai atau batalkan tugas dengan
scancel JOB_ID.Pastikan node di partisi target berada dalam status
idle:sinfo --partition=PARTITION_NAME
Instance TPU mandiri
Pastikan tidak ada proses lain yang menggunakan perangkat TPU pada instance:
sudo fuser -v /dev/vfio/*
Jika ada proses yang tercantum, tunggu hingga workload selesai atau hentikan proses sebelum Anda memulai pemindaian.
Memulai pemindaian
Flag yang Anda teruskan ke perintah chs run bergantung pada lingkungan tempat Anda menjalankan pemindai kondisi cluster. Pemindai kondisi cluster otomatis mendeteksi penjadwal dan jenis akselerator, sehingga Anda tidak perlu menentukannya.
Untuk mencantumkan rangkaian diagnostik dan pengujian yang tersedia untuk jenis akselerator, jalankan perintah berikut:
Untuk GPU:
chs list suites --gpu chs list tests --gpuUntuk TPU:
chs list suites --tpu chs list tests --tpu
Node pool GKE
Jalankan pemindai kondisi cluster dari mesin mana pun yang memiliki akses kubectl ke
cluster Anda, seperti mesin lokal atau Cloud Shell.
Untuk memulai pemindaian pada satu atau beberapa node pool, jalankan perintah berikut:
chs run \
--nodepools=NODE_POOL_NAMES \
--suite=SUITE
Ganti kode berikut:
NODE_POOL_NAMES: daftar node pool GPU atau TPU yang dipisahkan koma untuk dipindai. Misalnyaa4-pool-1,a4-pool-2atautpu7x-pool-1,tpu7x-pool-2. Semua node pool target harus menggunakan jenis mesin yang sama.SUITE: suite diagnostik yang akan dijalankan, baiklitemaupunstandard. Untuk mengetahui informasi selengkapnya tentang setiap suite, lihat Suite diagnostik.
Untuk menjalankan pengujian tertentu, bukan rangkaian lengkap, ganti flag --suite dengan
flag --tests dan tentukan daftar nama pengujian yang dipisahkan koma:
chs run \
--nodepools=NODE_POOL_NAMES \
--tests=TEST_NAMES
Untuk memindai node tertentu, bukan seluruh node pool, ganti flag --nodepools
dengan flag --nodes dan tentukan daftar nama node yang dipisahkan koma.
Saat Anda menentukan beberapa node pool dalam flag --nodepools, pemindai kondisi cluster akan menanganinya berdasarkan jenis akselerator:
- Node pool GPU: Menggabungkan semua node GPU yang tidak ada aktivitas di seluruh node pool yang ditentukan ke dalam satu set target dan menjalankan pengujian multi-node (
nccl-clusterdannccl-pairwise) di semua node tersebut secara bersamaan. - Node pool TPU: Mengevaluasi setiap node pool (slice TPU) secara independen dan paralel dalam satu operasi, tanpa pengujian lintas slice (Multislice).
Partisi Slurm
Jalankan pemindai kondisi cluster di pengontrol Slurm atau node login, tempat perintah sinfo dan sbatch tersedia. Slurm memerlukan opsi penginstalan paket Python. Untuk petunjuk penginstalan, lihat Paket Python.
Sebelum memulai pemindaian, konfigurasikan kredensial Enroot pada cluster agar
node dapat mengambil image benchmark dari us-docker.pkg.dev:
gcloud auth configure-docker us-docker.pkg.dev
mkdir -p ~/.enroot
cat <<EOF > "${HOME}/.enroot/.credentials"
machine us-docker.pkg.dev login oauth2accesstoken password $(gcloud auth application-default print-access-token)
EOF
Mulai pemindaian pada satu atau beberapa partisi:
chs run \
--partitions=PARTITION_NAMES \
--suite=SUITE
Ganti kode berikut:
PARTITION_NAMES: daftar partisi Slurm yang dipisahkan koma untuk dipindai.SUITE: suite diagnostik yang akan dijalankan, baiklitemaupunstandard. Untuk mengetahui informasi selengkapnya tentang setiap suite, lihat Suite diagnostik.
Untuk menjalankan pengujian GPU tertentu, bukan rangkaian lengkap, ganti flag --suite
dengan flag --tests dan tentukan daftar nama pengujian yang dipisahkan koma (misalnya,
nccl-pairwise,gemm atau nccl-domain):
chs run \
--partitions=PARTITION_NAMES \
--tests=TEST_NAMES
Instance TPU mandiri
Jalankan pemindai kondisi cluster langsung di instance TPU. Instance TPU harus mengekspos perangkat TPU-nya di /dev/vfio (Anda dapat memverifikasi hal ini pada instance dengan menjalankan ls /dev/vfio).
Jika Anda tidak menjalankan pemindai kondisi cluster sebagai pengguna root, naikkan
batas memlock sebelum menjalankan pengujian TPU:
ulimit -l unlimited
Untuk memulai pemindaian pada instance TPU, jalankan perintah berikut:
chs run --suite=SUITE
Ganti SUITE dengan suite diagnostik yang akan dijalankan, baik lite maupun standard.
Untuk mengetahui informasi selengkapnya tentang setiap suite, lihat Suite diagnostik.
Untuk menjalankan pengujian TPU tertentu, bukan rangkaian lengkap, ganti flag --suite
dengan flag --tests dan tentukan daftar nama pengujian yang dipisahkan koma (misalnya,
tpu-host-device,tpu-hbm-stress):
chs run --tests=TEST_NAMES
Melihat operasi dan hasil
Pemindai kondisi cluster menyimpan histori operasi dan setelan konfigurasi secara lokal
di mesin klien tempat Anda menjalankan perintah chs (di ~/.local/share/chs/, atau
di volume Docker chs-local-state saat Anda menggunakan image container). Akibatnya, perintah chs history dan chs results hanya mencantumkan operasi yang dimulai dari lingkungan tersebut.
Untuk mencantumkan operasi sebelumnya dan ID operasinya, jalankan perintah berikut:
chs history
Untuk menampilkan hasil operasi dan lokasi laporan HTML interaktif (bill_of_health.html) dan laporan JSON (bill_of_health.json), jalankan perintah berikut:
chs results RUN_ID
Jika Anda menghilangkan RUN_ID, pemindai kondisi cluster akan meminta Anda untuk memilih operasi.
Perintah ini mencetak jalur lokal, atau Cloud Storage URI jika Anda mengonfigurasi bucket. Tindakan ini akan membaca hasil tersimpan dari operasi sebelumnya dan tidak memulai tugas baru di cluster atau instance Anda.
Membatalkan pemindaian
Untuk membatalkan pemindaian, menghentikan tugasnya, dan menghapus resource yang dibuatnya di cluster atau instance Anda, jalankan salah satu perintah berikut:
Membatalkan operasi terbaru Anda:
chs cancelMembatalkan operasi tertentu:
chs cancel RUN_IDBatalkan setiap pemindaian kondisi cluster yang dijalankan di cluster atau instance, termasuk pemindaian yang dimulai oleh pengguna lain:
chs cancel --all
Menafsirkan hasilnya
Setelah pemindaian selesai, pemindai kondisi cluster akan menyimpan artefak berikut ke direktori output lokal Anda, dan menguploadnya ke bucket Cloud Storage jika Anda mengonfigurasi penyimpanan:
- Laporan HTML interaktif (
bill_of_health.html): menampilkan setiap pengujian, metrik yang diukur, dan statusnya. - Laporan JSON (
bill_of_health.json): berisi parameter sweep dan metrik yang diukur untuk setiap pengujian. - Direktori Workspace: berisi log diagnostik.
Melihat laporan kondisi
Untuk menemukan jalur lokal atau Cloud Storage URI yang tepat
(gs://BUCKET/PREFIX/bills_of_health/RUN_ID.html dan
gs://BUCKET/PREFIX/bills_of_health/RUN_ID.json) untuk laporan pemindaian, jalankan
perintah berikut:
chs results RUN_ID
Jika Anda mengonfigurasi bucket Cloud Storage, Anda dapat melihat laporan JSON
langsung dari URI yang ditampilkan oleh chs results:
gcloud storage cat gs://BUCKET_NAME/PREFIX/bills_of_health/RUN_ID.json
Melaporkan konten
Laporan kondisi mencantumkan setiap node yang diuji oleh pemindai kondisi cluster, beserta hasil tolok ukur untuk setiap node. Pemindaian GPU dan TPU menggunakan format laporan yang sama. Setiap node menerima salah satu status berikut:
| Status | Deskripsi |
|---|---|
HEALTHY |
Semua pengujian memenuhi performa yang diharapkan untuk jenis mesin. |
DEGRADED |
Node menyelesaikan pengujian, tetapi satu atau beberapa hasil berada di bawah performa yang diharapkan. |
POTENTIALLY DEGRADED |
Uji penyaringan berada di bawah performa yang diharapkan, dan uji tekanan yang sesuai tidak dijalankan untuk mengonfirmasi hasilnya. |
INCOMPLETE |
Satu atau beberapa pengujian gagal dijalankan, waktu habis, dibatalkan, atau tidak melaporkan metrik pada node. |
File bill_of_health.json berisi kolom tingkat atas berikut:
report_id: ID unik untuk operasi pemindaian.chs_version: versi pemindai kondisi cluster yang membuat laporan.created_at: stempel waktu saat laporan dibuat.system_info: metadata tentang sistem yang sedang diuji, seperti jenis cluster dan jenis mesin.test_results: daftar objek hasil pengujian. Setiap entri mencakup kolom berikut:test_name: nama uji diagnostik.result_status: hasil pengujian, sepertiRESULT_STATUS_SUCCESSatauRESULT_STATUS_FAILED.target_resources: node (node_namedaninstance_id) tempat pengujian dijalankan.metrics: metrik yang diukur dan kriteria validasi untuk pengujian.
Laporan kondisi menggunakan format JSON yang konsisten dan terstruktur. Anda dapat memuat laporan ke BigQuery atau alat analisis lainnya dan membandingkan laporan dari pemindaian berturut-turut dengan kapasitas yang sama untuk mendeteksi penyimpangan performa secara bertahap.
Memperbaiki node yang tidak responsif
Jika laporan respons mengidentifikasi node atau instance dengan status DEGRADED,
POTENTIALLY DEGRADED, atau INCOMPLETE, lakukan langkah-langkah berikut:
Untuk mengesampingkan masalah sementara, jalankan ulang pemindaian pada node pool atau node GKE, partisi Slurm, atau instance TPU mandiri sebelum Anda membatasi atau mengosongkan node (pemindai kondisi cluster akan melewati node GKE yang dibatasi dan node Slurm yang dikosongkan). Untuk mengetahui petunjuknya, lihat Memulai pemindaian.
Jika masalah berlanjut, cegah workload baru dijadwalkan pada node atau instance yang terpengaruh:
Cluster GKE: Beri cordon pada node yang tidak responsif:
kubectl cordon NODE_NAMECluster Slurm: Kosongkan node yang tidak responsif:
sudo scontrol update NodeName=NODE_NAME State=DRAIN Reason="CHS unhealthy"Instance TPU mandiri: Jangan memulai workload baru di instance TPU hingga Anda selesai memperbaiki masalah.
Perbaiki atau ganti node atau instance menggunakan salah satu opsi berikut, bergantung pada jenis akselerator dan lingkungan:
- GPU:
- Cluster GKE: Laporkan host yang rusak agar Compute Engine dapat memperbaikinya. Untuk mengetahui informasi selengkapnya, lihat Melaporkan host yang rusak melalui GKE.
- Cluster Slurm: Laporkan host yang rusak agar Compute Engine dapat memperbaikinya. Untuk mengetahui informasi selengkapnya, lihat Melaporkan host yang rusak.
- Untuk mendapatkan bantuan dari Google, hubungi Cloud Customer Care.
- TPU (cluster GKE dan instance TPU mandiri):
- Jika Anda menggunakan TPU dalam mode All Capacity, laporkan host yang rusak. Untuk mengetahui informasi selengkapnya, lihat Melaporkan dan memperbaiki host yang rusak dalam mode All Capacity.
- Untuk mode kapasitas lainnya, lihat Pemulihan kegagalan instance TPU.
- Untuk mendapatkan bantuan dari Google, hubungi dukungan Cloud TPU.
Saat Anda menghubungi dukungan, lampirkan direktori ruang kerja dari direktori output lokal atau bucket Cloud Storage, yang berisi log diagnostik, dan sertakan ID operasi.
- GPU:
Setelah node atau instance diperbaiki atau diganti, buat node atau instance tersebut dapat dijadwalkan lagi agar pemindai kondisi cluster tidak melewatkannya, lalu jalankan pemindaian baru untuk mengonfirmasi bahwa kapasitasnya responsif:
Cluster GKE: Batalkan cordon node, lalu jalankan ulang pemindaian sebelum Anda menjadwalkan workload baru:
kubectl uncordon NODE_NAMECluster Slurm: Lanjutkan node agar kembali ke status
idle, lalu jalankan ulang pemindaian sebelum Anda menjadwalkan tugas baru:sudo scontrol update NodeName=NODE_NAME State=RESUMEInstance TPU mandiri: Jalankan ulang pemindaian pada instance, lalu lanjutkan menjalankan workload setelah pemindaian mengonfirmasi bahwa instance tersebut responsif.
Telemetri
Pemindai kondisi cluster mengirimkan metrik penggunaan anonim ke Google untuk membantu
meningkatkan kualitas alat, dan tidak mengumpulkan informasi identitas pribadi (PII).
Telemetri diaktifkan secara default. Untuk memilih tidak ikut, jalankan chs configure telemetry
disable atau tetapkan variabel lingkungan CHS_TELEMETRY=0.
Langkah berikutnya
Untuk menyelesaikan masalah umum terkait pemindai kondisi cluster, lihat Memecahkan masalah pemindai kondisi cluster.