סורק תקינות האשכול הוא כלי אבחון בשירות עצמי שבודק את המוכנות של קיבולת ה-GPU ו-Cloud TPU לפני שמתזמנים עומס עבודה. הסורק של תקינות האשכול מריץ בדיקות ביצועים שמדמות תנועה של עומס עבודה אמיתי בצומתי המאיצים, כדי למדוד את הביצועים של המאיצים, הזיכרון שלהם והחיבורים ביניהם. אתם יכולים להשתמש בתוצאות כדי לזהות ולהסיר צמתים פגומים לפני שהם גורמים למשימות האימון או ההסקה להפסיק להגיב, לפעול לאט או להיכשל.
ב-TPU, סורק התקינות של האשכול משלים את המעקב אחרי התקינות של ה-TPU, שמדווח באופן רציף על אותות תקינות של החומרה. סורק תקינות האשכול מריץ באופן פעיל עומסי עבודה על קיבולת לא פעילה כדי למדוד את הביצועים ולחשוף תקלות שמופיעות רק תחת עומס.
הסורק של תקינות האשכול הוא קוד פתוח לחלוטין. כדי לראות את קוד המקור, לתרום או לדווח על בעיות, אפשר לעיין במאגר של סורק תקינות האשכולות ב-GitHub.
במאמר הזה מוסבר איך להתקין את סורק התקינות של האשכול, להריץ סריקת תקינות במאגרים של GPU ו-TPU, לפרש את התוצאות ולתקן צמתים לא תקינים.
סביבות נתמכות
הסורק של תקינות האשכול תומך בסביבות הפריסה הבאות:
| סביבה | מאיצים נתמכים | סביבת הלקוח | אפשרויות התקנה |
|---|---|---|---|
| אשכולות של Google Kubernetes Engine (GKE) | מעבדי GPU ו-TPU (מאגרי צמתים שמשתמשים בפריסה סטטית או דינמית) | מחשב Linux עם גישת kubectl לאשכול היעד |
חבילת Python או קובץ אימג' של קונטיינר |
| אשכולות Slurm | מעבדי GPU בלבד | בקר Slurm או צומת התחברות, שבהם הפקודות sinfo ו-sbatch זמינות |
חבילת Python בלבד |
| מכונות TPU עצמאיות | רק מעבדי TPU | מכונת ה-TPU עצמה | חבילת Python או קובץ אימג' של קונטיינר (מערכת הפעלה שמותאמת לקונטיינרים) |
הסורק לתקינות האשכול תומך בסוגי המכונות הבאים של GPU ו-TPU:
- סוגי מכונות GPU:
- סוגי מכונות TPU:
חבילות אבחון
אפשר להתקין את סורק התקינות של האשכול כחבילת Python או כקובץ אימג' של קונטיינר. שתי האפשרויות מספקות את ממשק שורת הפקודה (CLI) של chs ואת נקודות ההשוואה לאבחון. אתם מריצים את ה-CLI ממכונה עם גישה לאשכול GKE, בבקר Slurm או בצומת התחברות, או ישירות במכונה עצמאית של TPU. לאחר מכן, ה-CLI מריץ את בדיקות האבחון בצומתי ה-GPU או ה-TPU המטורגטים.
סורק תקינות האשכול מספק שתי חבילות אבחון לכל סוג של מאיץ:
- Lite: בדיקת סינון מהירה. במכונות GPU ובמכונות TPU עצמאיות, חבילת Lite בודקת מארחים ספציפיים. במאגרי צמתים של GKE TPU, הוא גם מריץ בדיקה קולקטיבית מהירה (
tpu-collectives) בפרוסת ה-TPU. פעולה קולקטיבית היא דפוס תקשורת שבו כל המאיצים מחליפים נתונים, כמוAllReduce, שמשלב ערכים מכל מאיץ ומשתף את התוצאה עם כל המאיצים. השתמשו בחבילת Lite לבדיקות תקינות מהירות או לפני הרצת עומסי עבודה במארח יחיד. - רגיל: הפעלת אימות מקיף בקיבולת היעד. במעבדי GPU, חבילת Standard מריצה פעולות קולקטיביות בכמה צמתים ומודדת את רוחב הפס של זיכרון ה-GPU. ב-TPU, היא מריצה את כל הבדיקות של Lite וגם בדיקות עומס מתמשכות של מחשוב, זיכרון ורשת. מומלץ להשתמש בחבילה Standard לפני שמריצים עומסי עבודה של אימון או הסקה בכמה מארחים, שבהם הביצועים והיציבות של הרשת בעומס מתמשך משפיעים ישירות על ביצועי המשימה.
| סוויטה | Accelerator | בדיקות | מיקוד |
|---|---|---|---|
lite |
GPU | nvidia-smi, dcgm, gemm, nccl-single-node |
אימות מהיר של תקינות ה-GPU ומנהל ההתקן, תפוקת המחשוב והתקשורת של ה-GPU בתוך הצומת. |
| TPU | tpu-info, tpu-gemm, tpu-hbm, tpu-host-device, tpu-collectives |
אימות מהיר של תקינות המכשיר, תפוקת המחשוב, רוחב הפס של זיכרון ברוחב פס גבוה (HBM), רוחב הפס בין המארח למכשיר ורוחב הפס הקולקטיבי של Inter-Chip Interconnect (ICI). | |
standard |
GPU | nvidia-smi, dcgm, gemm, nccl-cluster, nccl-pairwise, stream |
אימות רשת עם כמה צמתים בצמתי היעד, וגם רוחב פס של הזיכרון. |
| TPU | כל הבדיקות של TPU lite, וגם tpu-compute-stress, tpu-hbm-stress ו-tpu-network-stress |
בדיקות עומס מתמשכות שחושפות חוסר יציבות, פגיעה שקטה בנתונים ושגיאות סיביות של ICI. |
בדיקת ה-GPU של nccl-domain לא שייכת לחבילה. כדי להריץ את nccl-domain, משתמשים בדגל --tests.
חבילות ובדיקות של GPU
סורק תקינות האשכול מספק את חבילות הבדיקות הבאות לצומתי GPU:
- Lite: מאמת את מנהל ההתקן והחומרה של ה-GPU, מודד את תפוקת המחשוב ומריץ בדיקה של NVIDIA Collective Communications Library (NCCL) בכל צומת.
- Standard: מריץ קולקטיבים של NCCL בכל צומתי היעד ובין זוגות של צמתים כדי למדוד את הביצועים של הרשת בין הצמתים, ו מודד את רוחב הפס של הזיכרון.
בטבלה הבאה מתוארת כל בדיקת GPU:
| בדיקה | תיאור | סוויטות |
|---|---|---|
nccl-single-node |
מריץ בדיקות קולקטיביות של NCCL בין יחידות ה-GPU בתוך צומת יחיד. | lite |
nvidia-smi |
בדיקת התקינות הבסיסית של ה-GPU ומנהל ההתקן של ה-GPU באמצעות ממשק הניהול של מערכת NVIDIA. | lite, standard |
dcgm |
מריץ אבחון של NVIDIA Data Center GPU Manager (DCGM) כדי לבצע בדיקות חומרה מעמיקות בכל GPU. | lite, standard |
gemm |
מריץ כפל מטריצות כללי (GEMM) כדי למדוד את קצב העיבוד של ה-GPU. | lite, standard |
nccl-cluster |
מריץ בדיקות קולקטיביות של NCCL בכל צומתי היעד כדי למדוד את רוחב הפס של הרשת בכל האשכול. | standard |
nccl-pairwise |
מריץ בדיקות NCCL בין זוגות של צמתים כדי למדוד את זמן האחזור בין צומת לצומת ולבודד צמתים או קישורים פגומים. | standard |
stream |
מריצה את מבחן הביצועים STREAM כדי למדוד את רוחב הפס של זיכרון ה-GPU. | standard |
nccl-domain |
מריץ בדיקות קולקטיביות של NCCL בכל דומיין NVLink עם כמה צמתים. נתמך רק בסוגי מכונות עם דומיינים של NVLink עם כמה צמתים. | אין (הפעלה עם --tests) |
חבילות ובדיקות של TPU
סורק התקינות של האשכול מספק את חבילות הבדיקות הבאות לצומתי TPU:
- Lite: מאמת את הביצועים של שבבי ה-TPU וה-HBM בכל מארח, מודד את רוחב הפס בין המארח למכשיר ומריץ בדיקת פעולות קולקטיביות כדי למדוד את רוחב הפס של ה-ICI.
- רגילה: מריצה פעולות קולקטיביות בכל שבבי ה-TPU בפרוסה, וגם בדיקות עומס מתמשכות על שבבי ה-TPU, ה-HBM וקישורי ה-ICI.
בטבלה הבאה מתוארים כל הבדיקות של ה-TPU:
| בדיקה | תיאור | סוויטות |
|---|---|---|
tpu-info |
בדיקת התקינות הבסיסית של ה-TPU, כולל מספר המכשירים, גרסת LibTPU וסוג מכשיר ה-TPU. | lite, standard |
tpu-gemm |
מריץ פעולות כפל מטריצות כלליות (GEMM) כדי למדוד את שיא ה-TFLOPS המתמשך. | lite, standard |
tpu-hbm |
מודד את רוחב הפס של קריאה וכתיבה ב-HBM. | lite, standard |
tpu-collectives |
מודד את הזמן של פעולות קולקטיביות, כמו AllReduce ו-AllGather, כדי למדוד את רוחב הפס של ICI (אשכולות GKE בלבד). | lite, standard |
tpu-host-device |
מודד את רוחב הפס בין המארח למכשיר. | lite, standard |
tpu-compute-stress |
מריץ כפל מטריצות מתמשך כדי לאמת את היציבות החישובית ולחשוף פגיעה שקטה בנתונים. | standard |
tpu-hbm-stress |
מפעיל עומס על ה-HBM כדי למדוד את רוחב הפס המקסימלי ולאמת את תקינות הנתונים. | standard |
tpu-network-stress |
שליחת מטען ייעודי (payload) אקראי גדול דרך קישורי ICI כדי למדוד את רוחב הפס המתמשך ולזהות שגיאות בביטים (אשכולות GKE בלבד). | standard |
לפני שמתחילים
לפני שמשתמשים בסורק תקינות האשכול, צריך להתקין את הכלים הנדרשים, להגדיר הרשאות ולהתחבר לאשכול או למכונה.
התקנות
לפני שמריצים סריקת תקינות, צריך להשלים את ההתקנות בסביבת הפריסה.
אשכולות GKE
כדי להריץ סריקות תקינות באשכול GKE, ודאו שיש לכם אשכול יעד והתקינו את הכלים הנדרשים במכונה שבה אתם מתכננים להריץ את הסריקות:
- Google Cloud CLI: מתקינים ומפעילים את ה-CLI של gcloud.
-
kubectlו-gke-gcloud-auth-plugin: מתקינים אתkubectlומגדירים את הגישה לאשכול. - דרישות מוקדמות לסורק תקינות האשכול:
- חבילת Python: Python 3.12 ואילך ו-Git.
- קובץ אימג' של קונטיינר: Docker.
- אשכול GKE: ודאו שיש לכם אשכול GKE עם מאגר צמתים אחד או יותר של GPU או TPU. מידע נוסף זמין במאמרים מידע על GPUs ב-GKE ומידע על TPUs ב-GKE.
אשכולות Slurm
כדי להריץ סריקות תקינות באשכול Slurm, ודאו שיש לכם אשכול GPU לטירגוט והתקינו את הכלים הנדרשים בבקר Slurm או בצומת ההתחברות, שבהם הפקודות sinfo ו-sbatch זמינות:
- ה-CLI של gcloud: מתקינים ומפעילים את ה-CLI של gcloud.
- דרישות מוקדמות לחבילת Python: מתקינים את Python בגרסה 3.12 ואילך ואת Git.
- אשכול Slurm: ודאו שיש לכם אשכול Slurm עם צומתי GPU. מידע נוסף זמין במאמרים יצירת אשכול Slurm בניהול מלא לעומסי עבודה של AI ויצירת אשכול Slurm בניהול עצמי לעומסי עבודה של AI.
באשכולות Slurm, משתמשים באפשרות ההתקנה של חבילת Python. ב-Slurm אין תמיכה באפשרות של קובץ אימג' של קונטיינר.
מכונות TPU עצמאיות
כדי להריץ סריקות תקינות במכונה עצמאית של TPU, צריך לוודא שיש לכם מכונת TPU ייעודית ולהתקין את הכלים הנדרשים ישירות במכונה:
- ה-CLI של gcloud: מתקינים ומפעילים את ה-CLI של gcloud.
- דרישות מוקדמות לסורק תקינות האשכול: מתקינים את הכלים לאפשרות ההתקנה של סורק תקינות האשכול שבה רוצים להשתמש:
- חבילת Python: Python 3.12 (באופן ספציפי Python 3.12 ב-Linux
x86_64, לא 3.13 ואילך) ו-Git. אם גרסת ברירת המחדל שלpython3במכונה שלכם היא לפני או אחרי 3.12, אתם יכולים להשתמש ב-uvכדי ליצור סביבה וירטואלית של Python 3.12 (ראו פתרון בעיות בסורק התקינות של האשכול). - קובץ אימג' של קונטיינר: Docker. במערכת הפעלה שמותאמת לקונטיינרים, קובץ האימג' של הקונטיינר הוא אפשרות ההתקנה היחידה שנתמכת.
- חבילת Python: Python 3.12 (באופן ספציפי Python 3.12 ב-Linux
- מכונה עצמאית של TPU: ודאו שיש לכם מכונה עצמאית של TPU (מסוג TPU7x או TPU v6e), שחושפת את מכשירי ה-TPU שלה בנתיב
/dev/vfio(אפשר לאמת את זה במכונה על ידי הפעלת הפקודהls /dev/vfio). מידע נוסף זמין במאמר יצירת מכונות וירטואליות של Cloud TPU.
התפקידים הנדרשים
כדי לקבל את ההרשאות שנדרשות להרצת סריקת תקינות, צריך לבקש מהאדמין להקצות לכם את התפקיד roles/compute.viewer בפרויקט. התפקיד הזה מאפשר לסורק התקינות של האשכול לקרוא את המטא-נתונים ואת פרטי הטופולוגיה של הצמתים ב-Compute Engine.
אתם צריכים גם את התפקידים הבאים של ניהול זהויות והרשאות גישה (IAM), בהתאם לסביבת הפריסה:
| סביבה | התפקידים הנדרשים |
|---|---|
| אשכולות GKE | מפתח/ת Kubernetes Engine (roles/container.developer) |
| אשכולות Slurm |
|
| מכונות TPU עצמאיות |
|
אם אתם מגדירים קטגוריה של Cloud Storage לדוחות, אתם צריכים גם את התפקיד "אדמין של אובייקטים באחסון" (roles/storage.objectAdmin) בקטגוריה. התפקיד הזה מאפשר לסורק התקינות של האשכול להעלות פריטי תוצאות, כמו דוח התקינות, לקטגוריה.
להסבר על מתן תפקידים, קראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.
התחברות לאשכול או למכונה
מתחברים לסביבה שבה מתכננים להריץ סריקות תקינות.
אשכולות GKE
מגדירים את Application Default Credentials (ADC) ומגדירים את kubectl לתקשורת עם אשכול GKE:
gcloud auth application-default login
gcloud container clusters get-credentials CLUSTER_NAME \
--location=LOCATION \
--project=PROJECT_ID
אשכולות Slurm
מתחברים לבקר Slurm או לצומת ההתחברות באמצעות SSH:
gcloud compute ssh SLURM_NODE_NAME \
--zone=ZONE \
--project=PROJECT_ID
מכונות TPU עצמאיות
מתחברים למכונה העצמאית של ה-TPU באמצעות SSH:
gcloud compute tpus tpu-vm ssh TPU_NAME \
--zone=ZONE \
--project=PROJECT_ID
התקנת הסורק לבדיקת תקינות האשכול
מתקינים את סורק התקינות של האשכול במכונה שבה מריצים את הסריקות, בהתאם לסביבה:
- אשכולות GKE: כל מכונה שיש לה גישה של
kubectlלאשכול. - אשכולות Slurm: בקר Slurm או צומת התחברות.
- מכונות TPU עצמאיות: מכונת ה-TPU עצמה.
באשכולות GKE ו-Slurm, הסורק של תקינות האשכול שולף באופן אוטומטי את קובצי האימג' של קונטיינר האבחון שתואמים לצומתי ה-GPU או ה-TPU, ומתזמן אותם באשכול. לכן לא צריך להתקין תוכנה בצומתי המחשוב הנפרדים. במכונה עצמאית של TPU, מתקינים ומריצים את סורק התקינות של האשכול ישירות במכונה.
אפשר להתקין את סורק התקינות של האשכול כחבילת Python או כקובץ אימג' של קונטיינר. הפקודות של chs בשאר המסמך הזה פועלות עם כל אחת מאפשרויות ההתקנה. כדי לראות מידע מפורט על השימוש בכל פקודה, מוסיפים את הדגל --help.
חבילת Python
יוצרים סביבה וירטואלית של Python ומתקינים את חבילת הסורק של תקינות האשכול מ-GitHub. באשכולות GKE ו-Slurm, צריך להשתמש ב-Python מגרסה 3.12 ואילך. במכונות TPU עצמאיות (x86_64), צריך להשתמש ב-Python 3.12 (ב-Python 3.13 ואילך, pip install לא מתקין את יחסי התלות של נקודת ההשוואה של TPU, ו-chs run מדלג על המכונה):
python3 -m venv chs-venv
source chs-venv/bin/activate
pip install git+https://github.com/GoogleCloudPlatform/cluster-health-scanner.git
כדי להתקין גרסה ספציפית, מוסיפים את @VERSION לכתובת ה-URL של המאגר:
pip install git+https://github.com/GoogleCloudPlatform/cluster-health-scanner.git@VERSION
לרשימה של גרסאות, ראו גרסאות של סורק תקינות האשכול ב-GitHub.
קובץ אימג' של קונטיינר
הסורק של תקינות האשכול מופץ כקובץ אימג' של קונטיינר ב-Artifact Registry. התמונה תומכת גם במעבדי GPU וגם במעבדי TPU. אפשר להשתמש בקובץ האימג' של הקונטיינר באשכולות GKE ובמכונות TPU עצמאיות, אבל לא באשכולות Slurm.
מגדירים את Docker לאימות באמצעות Artifact Registry ומשיכת קובץ האימג' של הקונטיינר של סורק תקינות האשכול:
gcloud auth configure-docker us-docker.pkg.dev docker pull us-docker.pkg.dev/gce-ai-infra/chs/chs:latestכדי לשלוף גרסה ספציפית במקום
latest, מחליפים אתlatestבמספר הגרסה. לדוגמה,0.3.0לגרסהv0.3.0של GitHub. לרשימת הגרסאות, ראו גרסאות של סורק תקינות האשכול ב-GitHub.יוצרים שם חלופי למעטפת כדי להריץ פקודות
chsישירות. השם החלופי שיוצרים תלוי בסביבה:אשכולות GKE: השם החלופי טוען את קובץ
kubeconfigואת פרטי הכניסה של Google Cloud במצב קריאה בלבד. הכינוי גם שומר את מצב ההרצות בנפחchs-local-stateשל Docker וכותב קובצי פלט לספרייהchs-outputבספרייה הנוכחית:alias chs='docker run --rm -it --network host \ -v ~/.kube:/workspace/.kube:ro \ -v ~/.config/gcloud:/workspace/.config/gcloud:ro \ -v chs-local-state:/workspace/.local/share \ -v "$(pwd)/chs-output":/workspace/chs-output \ us-docker.pkg.dev/gce-ai-infra/chs/chs:latest'מכונות TPU עצמאיות: במכונת TPU שפועלת בה מערכת הפעלה שמותאמת לקונטיינרים, קובץ האימג' של הקונטיינר הוא אפשרות ההתקנה היחידה שנתמכת. הכינוי נותן לקונטיינר גישה למכשירי ה-TPU ולמרחב השמות של ה-PID המארח של המכונה, טוען את מערכת הקבצים הבסיסית של המארח ב-
/hostוטוען את פרטי הכניסה ל- Google Cloudבמצב קריאה בלבד. הכינוי גם שומר את מצב ההרצות בנפחchs-local-stateשל Docker וכותב קובצי פלט לספרייהchs-outputבספרייה הנוכחית:alias chs='docker run --rm -it --privileged --pid=host \ -v /:/host \ -v ~/.config/gcloud:/workspace/.config/gcloud:ro \ -v chs-local-state:/workspace/.local/share \ -v "$(pwd)/chs-output":/workspace/chs-output \ us-docker.pkg.dev/gce-ai-infra/chs/chs:latest'
אופציונלי: הגדרת קטגוריה של Cloud Storage לדוחות
כברירת מחדל, סורק התקינות של האשכול שומר דוחות ויומני אבחון בספריית פלט מקומית. אפשר להגדיר קטגוריה של Cloud Storage כדי לאחסן אותם גם מרחוק.
אם עדיין אין לכם קטגוריה לדוחות של סריקות תקינות, אתם צריכים ליצור אחת:
gcloud storage buckets create gs://BUCKET_NAME \ --location=BUCKET_LOCATION \ --project=PROJECT_IDמקצים את התפקיד "אדמין של אובייקטים באחסון" (
roles/storage.objectAdmin) לחשבון המשתמש הראשי או לחשבון השירות:gcloud storage buckets add-iam-policy-binding gs://BUCKET_NAME \ --member=PRINCIPAL \ --role=roles/storage.objectAdminהחבר
PRINCIPALהוא חשבון המשתמש שכותב את הדוח. לדוגמה,user:EMAILאוserviceAccount:SERVICE_ACCOUNT_EMAIL.מגדירים את הקטגוריה שבה הסורק של תקינות האשכול מאחסן את הדוחות. הקטגוריה כבר צריכה להיות קיימת, כי סורק תקינות האשכול לא יוצר אותה באופן אוטומטי. צריך להריץ את הפקודה הזו רק פעם אחת לכל סביבה:
chs configure storage gcs BUCKET_NAMEכדי לאחסן דוחות בתיקייה עם קידומת בקטגוריה, מוסיפים את הקידומת לשם הקטגוריה:
chs configure storage gcs BUCKET_NAME/PREFIX
הפעלת סריקת תקינות
בקטע הזה מוסבר איך לוודא שהצמתים לא פעילים, להתחיל סריקה ולעקוב אחרי ההתקדמות שלה.
מוודאים שצומתי היעד לא פעילים
הסורק של תקינות האשכול פועל רק על קיבולת לא פעילה, ולא מפסיק או מפנה את עומסי העבודה באופן אוטומטי. לפני שמתחילים סריקה, צריך לרוקן או לעצור את כל עומסי העבודה שפועלים בצמתים או במכונה של היעד.
אם סורק התקינות של האשכול מזהה עומסי עבודה פעילים בצומת או במכונה, הוא מטפל בקיבולת באופן הבא:
- GPU: סורק התקינות של האשכול מדלג על הצמתים העמוסים ומריץ את הסריקה על הצמתים הנותרים שלא פעילים.
- TPU: האופן שבו סורק התקינות של האשכול מטפל בקיבולת עמוסה תלוי בסביבה:
- אשכולות GKE: בדיקות TPU עם כמה מארחים (
tpu-collectivesו-tpu-network-stress) דורשות פרוסה שלמה במצב חוסר פעילות, ובדיקות TPU עם מארח יחיד יכולות לפעול בצמתים נפרדים במצב חוסר פעילות:- מאגרי צמתים עם חלוקה סטטית (
--nodepoolsאו--nodes): אם חלק מהצמתים במאגר עסוקים כשמריצים את חבילת הבדיקותliteאוstandard, סורק התקינות של האשכול מתעד אזהרה ביומן, משמיט את הבדיקות עם כמה מארחים ומריץ את בדיקות ה-TPU עם מארח יחיד בצמתים הפנויים שנותרו. - מאגרי צמתים עם פריסה דינמית (
--nodepoolsאו--nodes): כדי לטרגט מאגר עם--nodepools, כל מאגר הצמתים צריך להיות במצב של חוסר פעילות, כדי שסורק תקינות האשכול יוכל להקצות משאבSliceלמאגר מלא. אם אתם מטרגטים צמתים ספציפיים באמצעות--nodes(בגרסה1.36.0-gke.3712000של GKE ואילך), סורק התקינות של האשכול מקצה פרוסה משנית נפרדת של2x2x1לכל צומת לא פעיל, מדלג על צמתים פעילים ומריץ בדיקות TPU של מארח יחיד בצמתים הלא פעילים.
- מאגרי צמתים עם חלוקה סטטית (
- מכונות TPU עצמאיות: סורק התקינות של האשכול לא יכול לפעול אם תהליך אחר משתמש במכשירי ה-TPU ב-
/dev/vfio.
- אשכולות GKE: בדיקות TPU עם כמה מארחים (
כדי לוודא שקיבולת היעד לא פעילה, פועלים לפי השלבים שמתאימים לסביבה שלכם.
אשכולות GKE
עוצרים או מוחקים את כל המשימות או ה-Pods של עומסי העבודה הפעילים במאגר הצמתים המיועד, או ממתינים עד שעומסי העבודה הפעילים יסתיימו.
אם אתם משתמשים ב-
kubectl drainכדי לפנות עומסי עבודה ממאגר הצמתים, צריך לבטל את החסימה של הצמתים לפני שמתחילים את הסריקה, כדי שסורק התקינות של האשכול יוכל לתזמן קבוצות Pod לאבחון (סורק התקינות של האשכול מדלג על צמתים חסומים):kubectl drain -l cloud.google.com/gke-nodepool=NODE_POOL_NAME \ --ignore-daemonsets --delete-emptydir-data kubectl uncordon -l cloud.google.com/gke-nodepool=NODE_POOL_NAMEחשוב לוודא שלא מתוזמנים עומסי עבודה חדשים במאגר הצמתים בזמן שהסריקה פועלת.
מוודאים שלא נשארו פודים של עומסי עבודה במאגר הצמתים:
kubectl get pods --all-namespaces -o wide \ --field-selector=status.phase=Running | grep NODE_POOL_NAMEפודים של המערכת, כמו אלה שמנוהלים על ידי DaemonSets במרחב השמות
kube-system, יכולים להמשיך לפעול.
אשכולות Slurm
בודקים אם יש משימות שפועלות במחיצת היעד:
squeue --partition=PARTITION_NAMEאם יש משימות שפועלות במחיצה, צריך להמתין עד שהן יסתיימו או לבטל אותן באמצעות
scancel JOB_ID.מוודאים שהצמתים במחיצת היעד נמצאים במצב
idle:sinfo --partition=PARTITION_NAME
מכונות TPU עצמאיות
מוודאים שאין תהליכים אחרים שמשתמשים במכשירי ה-TPU במכונה:
sudo fuser -v /dev/vfio/*
אם מופיעים תהליכים, צריך להמתין עד שהם יסתיימו או להפסיק אותם לפני שמתחילים בסריקה.
התחלת סריקה
הדגלים שמעבירים לפקודה chs run תלויים בסביבה שבה מריצים את סורק תקינות האשכול. הסורק של תקינות האשכול מזהה באופן אוטומטי את המתזמן ואת סוג המאיץ, כך שאין צורך לציין אותם.
כדי להציג את חבילות האבחון והבדיקות הזמינות לסוג מאיץ, מריצים את הפקודות הבאות:
למעבדי GPU:
chs list suites --gpu chs list tests --gpuלמעבדי TPU:
chs list suites --tpu chs list tests --tpu
מאגרי צמתים של GKE
מריצים את סורק התקינות של האשכול מכל מכונה שיש לה גישה ל-kubectl באשכול, כמו המכונה המקומית או Cloud Shell.
כדי להתחיל סריקה של מאגר צמתים אחד או יותר, מריצים את הפקודה הבאה:
chs run \
--nodepools=NODE_POOL_NAMES \
--suite=SUITE
מחליפים את מה שכתוב בשדות הבאים:
-
NODE_POOL_NAMES: רשימה מופרדת בפסיקים של מאגרי הצמתים של ה-GPU או ה-TPU שרוצים לסרוק. לדוגמה:a4-pool-1,a4-pool-2אוtpu7x-pool-1,tpu7x-pool-2. כל מאגרי הצמתים המטורגטים צריכים להשתמש באותו סוג מכונה. -
SUITE: חבילת האבחון שרוצים להריץ,liteאוstandard. מידע נוסף על כל חבילה זמין במאמר חבילות אבחון.
כדי להריץ בדיקות ספציפיות במקום חבילה מלאה, מחליפים את הדגל --suite בדגל --tests ומציינים רשימה מופרדת בפסיקים של שמות בדיקות:
chs run \
--nodepools=NODE_POOL_NAMES \
--tests=TEST_NAMES
כדי לסרוק צמתים ספציפיים במקום מאגר צמתים שלם, מחליפים את הדגל --nodepools בדגל --nodes ומציינים רשימה של שמות צמתים שמופרדים בפסיקים.
כשמציינים כמה מאגרי צמתים בדגל --nodepools, סורק התקינות של האשכול מטפל בהם לפי סוג המאיץ:
- מאגרי צמתים של GPU: משלב את כל צומתי ה-GPU הפנויים במאגרי הצמתים שצוינו לקבוצת יעד אחת, ומריץ בדיקות של כמה צמתים (
nccl-clusterו-nccl-pairwise) בכולם יחד. - מאגרי צמתים של TPU: הערכה של כל מאגר צמתים (פרוסת TPU) בנפרד ובמקביל בהרצה אחת, בלי בדיקה של כמה פרוסות (Multislice).
מחיצות Slurm
מריצים את סורק התקינות של האשכול בבקר של Slurm או בצומת ההתחברות, שבהם הפקודות sinfo ו-sbatch זמינות. ב-Slurm צריך לבחור באפשרות להתקנת חבילת Python. הוראות להתקנה מופיעות במאמר חבילת Python.
לפני שמתחילים סריקה, צריך להגדיר את פרטי הכניסה של Enroot באשכול כדי שהצמתים יוכלו לשלוף תמונות של נקודות השוואה מ-us-docker.pkg.dev:
gcloud auth configure-docker us-docker.pkg.dev
mkdir -p ~/.enroot
cat <<EOF > "${HOME}/.enroot/.credentials"
machine us-docker.pkg.dev login oauth2accesstoken password $(gcloud auth application-default print-access-token)
EOF
מתחילים סריקה במחיצה אחת או יותר:
chs run \
--partitions=PARTITION_NAMES \
--suite=SUITE
מחליפים את מה שכתוב בשדות הבאים:
-
PARTITION_NAMES: רשימה מופרדת בפסיקים של מחיצות Slurm לסריקה. -
SUITE: חבילת האבחון שרוצים להריץ,liteאוstandard. מידע נוסף על כל חבילה זמין במאמר חבילות אבחון.
כדי להריץ בדיקות GPU ספציפיות במקום חבילה מלאה, מחליפים את הדגל --suite בדגל --tests ומציינים רשימה מופרדת בפסיקים של שמות בדיקות (לדוגמה, nccl-pairwise,gemm או nccl-domain):
chs run \
--partitions=PARTITION_NAMES \
--tests=TEST_NAMES
מכונות TPU עצמאיות
מריצים את סורק תקינות האשכול ישירות במכונה של ה-TPU. מכונת ה-TPU צריכה לחשוף את מכשירי ה-TPU שלה בנתיב /dev/vfio (אפשר לאמת את זה במכונה על ידי הרצת הפקודה ls /dev/vfio).
אם אתם לא מריצים את סורק התקינות של האשכול כמשתמש root, הגדילו את מגבלת ה-memlock לפני הרצת בדיקות ה-TPU:
ulimit -l unlimited
כדי להתחיל סריקה במכונת ה-TPU, מריצים את הפקודה הבאה:
chs run --suite=SUITE
מחליפים את SUITE בחבילת האבחון שרוצים להריץ, lite או standard.
מידע נוסף על כל חבילה זמין במאמר חבילות אבחון.
כדי להריץ בדיקות TPU ספציפיות במקום חבילה מלאה, מחליפים את הדגל --suite בדגל --tests ומציינים רשימה מופרדת בפסיקים של שמות בדיקות (לדוגמה, tpu-host-device,tpu-hbm-stress):
chs run --tests=TEST_NAMES
צפייה בהרצות ובתוצאות
הסורק לבדיקת תקינות האשכול שומר את היסטוריית ההרצה ואת הגדרות התצורה באופן מקומי במכונת הלקוח שבה מריצים את הפקודות של chs (ב-~/.local/share/chs/, או בנפח של Docker ב-chs-local-state כשמשתמשים בקובץ האימג' של הקונטיינר). לכן, הפקודות chs history ו-chs results מציגות רק את ההרצות שהתחילו מהסביבה הזו.
כדי להציג את ההפעלות הקודמות ואת מזהי ההפעלה שלהן, מריצים את הפקודה הבאה:
chs history
כדי להציג את התוצאות של הרצה ואת המיקומים של דוח ה-HTML האינטראקטיבי (bill_of_health.html) ודוח ה-JSON (bill_of_health.json), מריצים את הפקודה הבאה:
chs results RUN_ID
אם לא תציינו את RUN_ID, סורק התקינות של האשכול יבקש מכם לבחור הרצה.
הפקודה מדפיסה נתיבים מקומיים, או מזהי URI של Cloud Storage אם הגדרתם קטגוריה. הוא קורא את התוצאות השמורות של הרצה קודמת ולא מתחיל משימות חדשות באשכול או במכונה.
ביטול סריקה
כדי לבטל סריקה, להפסיק את המשימות שלה ולהסיר את המשאבים שהיא יצרה באשכול או במכונה, מריצים את אחת מהפקודות הבאות:
כדי לבטל את ההפעלה האחרונה:
chs cancelביטול של הרצה ספציפית:
chs cancel RUN_IDמבטלים את כל ההרצות של סורק תקינות האשכול באשכול או במכונה, כולל הרצות שהתחילו על ידי משתמשים אחרים:
chs cancel --all
איך לפרש את התוצאות
בסיום הסריקה, סורק התקינות של האשכול שומר את פריטי המידע הבאים בספריית הפלט המקומית, ומעלה אותם לקטגוריה של Cloud Storage אם הגדרתם אחסון:
- דוח HTML אינטראקטיבי (
bill_of_health.html): מציג כל בדיקה, המדדים שנמדדו והסטטוס שלה. - דוח JSON (
bill_of_health.json): מכיל את הפרמטרים שנבדקו ואת המדדים שנמדדו בכל בדיקה. - ספריית Workspace: מכילה את יומני האבחון.
איך פותחים את דוח התקינות
כדי למצוא את הנתיבים המקומיים המדויקים או את מזהי ה-URI של Cloud Storage (gs://BUCKET/PREFIX/bills_of_health/RUN_ID.html ו-gs://BUCKET/PREFIX/bills_of_health/RUN_ID.json) של דוחות הסריקה, מריצים את הפקודה הבאה:
chs results RUN_ID
אם הגדרתם קטגוריה של Cloud Storage, אתם יכולים לראות את דוח ה-JSON ישירות מה-URI שמוחזר על ידי chs results:
gcloud storage cat gs://BUCKET_NAME/PREFIX/bills_of_health/RUN_ID.json
תוכן הדוח
בדוח התקינות מפורטים כל הצמתים שנסרקו על ידי סורק התקינות של האשכול, וגם תוצאות הבדיקה של כל צומת. הפורמט של דוחות הסריקה של GPU ו-TPU זהה. כל צומת מקבל אחד מהסטטוסים הבאים:
| סטטוס | תיאור |
|---|---|
HEALTHY |
כל הבדיקות עמדו בביצועים הצפויים לסוג המכונה. |
DEGRADED |
הצומת השלים את הבדיקות, אבל תוצאה אחת או יותר היו נמוכות מהביצועים הצפויים. |
POTENTIALLY DEGRADED |
בדיקת סינון הייתה מתחת לביצועים הצפויים, ובדיקת העומס המתאימה לא הופעלה כדי לאשר את התוצאה. |
INCOMPLETE |
בדיקה אחת או יותר נכשלה, פג הזמן הקצוב שלה, היא בוטלה או שהיא לא דיווחה על מדדים בצומת. |
הקובץ bill_of_health.json מכיל את השדות הבאים ברמה העליונה:
-
report_id: המזהה הייחודי של הרצת הסריקה. -
chs_version: הגרסה של סורק התקינות של האשכול שיצר את הדוח. created_at: חותמת הזמן של יצירת הדוח.-
system_info: מטא-נתונים על המערכת שנבדקת, כמו סוג האשכול וסוג המכונה. -
test_results: רשימה של אובייקטים של תוצאות בדיקה. כל רשומה כוללת את השדות הבאים:-
test_name: שם בדיקת האבחון. -
result_status: תוצאת הבדיקה, למשלRESULT_STATUS_SUCCESSאוRESULT_STATUS_FAILED. -
target_resources: הצמתים (node_nameו-instance_id) שבהם הבדיקה בוצעה. -
metrics: המדדים שנבדקים והקריטריונים לאימות של הבדיקה.
-
דוח התקינות הוא בפורמט JSON עקבי ומובנה. אפשר לטעון דוחות ל-BigQuery או לכלי ניתוח אחרים, ולהשוות בין דוחות של סריקות עוקבות של אותה קיבולת כדי לזהות שינויים הדרגתיים בביצועים.
תיקון צמתים לא תקינים
אם בדוח התקינות מזוהה צומת או מכונה עם הסטטוס DEGRADED, POTENTIALLY DEGRADED או INCOMPLETE, צריך לבצע את הפעולות הבאות:
כדי לשלול בעיה זמנית, מריצים מחדש את הסריקה במאגר הצמתים או בצומת של GKE, במחיצת Slurm או במכונה עצמאית של TPU לפני שחוסמים או מרוקנים את הצומת (הסורק של תקינות האשכול מדלג על צומתי GKE חסומים ועל צומתי Slurm מרוקנים). הוראות מפורטות מופיעות במאמר התחלת סריקה.
אם הבעיה נמשכת, מונעים תזמון של עומסי עבודה חדשים בצומת או במכונה המושפעים:
אשכולות GKE: חסימת הצומת הלא תקין:
kubectl cordon NODE_NAMEאשכולות Slurm: מרוקנים את הצומת הלא תקין:
sudo scontrol update NodeName=NODE_NAME State=DRAIN Reason="CHS unhealthy"מכונות TPU עצמאיות: אל תתחילו עומסי עבודה חדשים במכונת ה-TPU עד שתסיימו לפתור את הבעיה.
מתקנים או מחליפים את הצומת או המכונה באחת מהאפשרויות הבאות, בהתאם לסוג המאיץ ולסביבה:
- GPU:
- אשכולות GKE: דיווח על המארח הפגום כדי ש-Compute Engine יוכל לתקן אותו. מידע נוסף זמין במאמר דיווח על מארחים פגומים דרך GKE.
- אשכולות Slurm: דיווח על המארח הפגום כדי ש-Compute Engine יוכל לתקן אותו. מידע נוסף מופיע במאמר דיווח על מארח פגום.
- כדי לקבל עזרה מ-Google, פנו אל Cloud Customer Care.
- TPU (אשכולות GKE ומכונות TPU עצמאיות):
- אם אתם משתמשים ביחידות TPU במצב All Capacity, דווחו על המארח הפגום. למידע נוסף, קראו את המאמר דיווח על מארחים פגומים ותיקון שלהם במצב All Capacity.
- למצבי קיבולת אחרים, ראו התאוששות מכשל של מכונות TPU.
- כדי לקבל עזרה מ-Google, פנו לתמיכה של Cloud TPU.
כשאתם פונים לתמיכה, צרפו את ספריית סביבת העבודה מספריית הפלט המקומית או מהקטגוריה של Cloud Storage, שמכילה את יומני האבחון, וציינו את מזהה ההרצה.
- GPU:
אחרי שהצומת או המכונה תוקנו או הוחלפו, צריך להגדיר אותם שוב כניתנים לתזמון כדי שסורק התקינות של האשכול לא ידלג עליהם, ואז להריץ סריקה חדשה כדי לוודא שהקיבולת תקינה:
אשכולות GKE: מבטלים את החסימה של הצומת, ואז מריצים מחדש את הסריקה לפני שמתזמנים עומסי עבודה חדשים:
kubectl uncordon NODE_NAMEאשכולות Slurm: מפעילים מחדש את הצומת כדי להחזיר אותו למצב
idle, ואז מריצים שוב את הסריקה לפני שמתזמנים משימות חדשות:sudo scontrol update NodeName=NODE_NAME State=RESUMEמכונות TPU עצמאיות: מריצים מחדש את הסריקה במכונה, ואז ממשיכים להריץ את עומסי העבודה אחרי שהסריקה מאשרת שהמכונה תקינה.
Telemetry
הסורק של תקינות האשכול שולח ל-Google מדדי שימוש אנונימיים כדי לעזור לשפר את הכלי, והוא לא אוסף פרטים אישיים מזהים (PII).
הטלמטריה מופעלת כברירת מחדל. כדי לבטל את ההסכמה, מריצים את chs configure telemetry
disable או מגדירים את משתנה הסביבה CHS_TELEMETRY=0.
המאמרים הבאים
כדי לפתור בעיות נפוצות בסורק התקינות של האשכול, קראו את המאמר פתרון בעיות בסורק התקינות של האשכול.