הרצת סריקות תקינות ב-GPU וב-TPU

סורק תקינות האשכול הוא כלי אבחון בשירות עצמי שבודק את המוכנות של קיבולת ה-GPU ו-Cloud TPU לפני שמתזמנים עומס עבודה. הסורק של תקינות האשכול מריץ בדיקות ביצועים שמדמות תנועה של עומס עבודה אמיתי בצומתי המאיצים, כדי למדוד את הביצועים של המאיצים, הזיכרון שלהם והחיבורים ביניהם. אתם יכולים להשתמש בתוצאות כדי לזהות ולהסיר צמתים פגומים לפני שהם גורמים למשימות האימון או ההסקה להפסיק להגיב, לפעול לאט או להיכשל.

ב-TPU, סורק התקינות של האשכול משלים את המעקב אחרי התקינות של ה-TPU, שמדווח באופן רציף על אותות תקינות של החומרה. סורק תקינות האשכול מריץ באופן פעיל עומסי עבודה על קיבולת לא פעילה כדי למדוד את הביצועים ולחשוף תקלות שמופיעות רק תחת עומס.

הסורק של תקינות האשכול הוא קוד פתוח לחלוטין. כדי לראות את קוד המקור, לתרום או לדווח על בעיות, אפשר לעיין במאגר של סורק תקינות האשכולות ב-GitHub.

במאמר הזה מוסבר איך להתקין את סורק התקינות של האשכול, להריץ סריקת תקינות במאגרים של GPU ו-TPU, לפרש את התוצאות ולתקן צמתים לא תקינים.

סביבות נתמכות

הסורק של תקינות האשכול תומך בסביבות הפריסה הבאות:

סביבה מאיצים נתמכים סביבת הלקוח אפשרויות התקנה
אשכולות של Google Kubernetes Engine (GKE) מעבדי GPU ו-TPU (מאגרי צמתים שמשתמשים בפריסה סטטית או דינמית) מחשב Linux עם גישת kubectl לאשכול היעד חבילת Python או קובץ אימג' של קונטיינר
אשכולות Slurm מעבדי GPU בלבד בקר Slurm או צומת התחברות, שבהם הפקודות sinfo ו-sbatch זמינות חבילת Python בלבד
מכונות TPU עצמאיות רק מעבדי TPU מכונת ה-TPU עצמה חבילת Python או קובץ אימג' של קונטיינר (מערכת הפעלה שמותאמת לקונטיינרים)

הסורק לתקינות האשכול תומך בסוגי המכונות הבאים של GPU ו-TPU:

  • סוגי מכונות GPU:
    • ‫A5X: a5x-highgpu-4g-metal (רק ב-GKE)
    • A4X Max: a4x-maxgpu-4g-metal
    • A4X: a4x-highgpu-4g
    • A4: a4-highgpu-8g
    • A3 Ultra: a3-ultragpu-8g
    • A3 Mega: a3-megagpu-8g
  • סוגי מכונות TPU:

חבילות אבחון

אפשר להתקין את סורק התקינות של האשכול כחבילת Python או כקובץ אימג' של קונטיינר. שתי האפשרויות מספקות את ממשק שורת הפקודה (CLI) של chs ואת נקודות ההשוואה לאבחון. אתם מריצים את ה-CLI ממכונה עם גישה לאשכול GKE, בבקר Slurm או בצומת התחברות, או ישירות במכונה עצמאית של TPU. לאחר מכן, ה-CLI מריץ את בדיקות האבחון בצומתי ה-GPU או ה-TPU המטורגטים.

סורק תקינות האשכול מספק שתי חבילות אבחון לכל סוג של מאיץ:

  • Lite: בדיקת סינון מהירה. במכונות GPU ובמכונות TPU עצמאיות, חבילת Lite בודקת מארחים ספציפיים. במאגרי צמתים של GKE TPU, הוא גם מריץ בדיקה קולקטיבית מהירה (tpu-collectives) בפרוסת ה-TPU. פעולה קולקטיבית היא דפוס תקשורת שבו כל המאיצים מחליפים נתונים, כמו AllReduce, שמשלב ערכים מכל מאיץ ומשתף את התוצאה עם כל המאיצים. השתמשו בחבילת Lite לבדיקות תקינות מהירות או לפני הרצת עומסי עבודה במארח יחיד.
  • רגיל: הפעלת אימות מקיף בקיבולת היעד. במעבדי GPU, חבילת Standard מריצה פעולות קולקטיביות בכמה צמתים ומודדת את רוחב הפס של זיכרון ה-GPU. ב-TPU, היא מריצה את כל הבדיקות של Lite וגם בדיקות עומס מתמשכות של מחשוב, זיכרון ורשת. מומלץ להשתמש בחבילה Standard לפני שמריצים עומסי עבודה של אימון או הסקה בכמה מארחים, שבהם הביצועים והיציבות של הרשת בעומס מתמשך משפיעים ישירות על ביצועי המשימה.
סוויטה Accelerator בדיקות מיקוד
lite GPU nvidia-smi,‏ dcgm,‏ gemm,‏ nccl-single-node אימות מהיר של תקינות ה-GPU ומנהל ההתקן, תפוקת המחשוב והתקשורת של ה-GPU בתוך הצומת.
TPU tpu-info, tpu-gemm, tpu-hbm, tpu-host-device, tpu-collectives אימות מהיר של תקינות המכשיר, תפוקת המחשוב, רוחב הפס של זיכרון ברוחב פס גבוה (HBM), רוחב הפס בין המארח למכשיר ורוחב הפס הקולקטיבי של Inter-Chip Interconnect‏ (ICI).
standard GPU nvidia-smi,‏ dcgm,‏ gemm,‏ nccl-cluster,‏ nccl-pairwise,‏ stream אימות רשת עם כמה צמתים בצמתי היעד, וגם רוחב פס של הזיכרון.
TPU כל הבדיקות של TPU lite, וגם tpu-compute-stress,‏ tpu-hbm-stress ו-tpu-network-stress בדיקות עומס מתמשכות שחושפות חוסר יציבות, פגיעה שקטה בנתונים ושגיאות סיביות של ICI.

בדיקת ה-GPU של nccl-domain לא שייכת לחבילה. כדי להריץ את nccl-domain, משתמשים בדגל --tests.

חבילות ובדיקות של GPU

סורק תקינות האשכול מספק את חבילות הבדיקות הבאות לצומתי GPU:

  • Lite: מאמת את מנהל ההתקן והחומרה של ה-GPU, מודד את תפוקת המחשוב ומריץ בדיקה של NVIDIA Collective Communications Library‏ (NCCL) בכל צומת.
  • Standard: מריץ קולקטיבים של NCCL בכל צומתי היעד ובין זוגות של צמתים כדי למדוד את הביצועים של הרשת בין הצמתים, ו מודד את רוחב הפס של הזיכרון.

בטבלה הבאה מתוארת כל בדיקת GPU:

בדיקה תיאור סוויטות
nccl-single-node מריץ בדיקות קולקטיביות של NCCL בין יחידות ה-GPU בתוך צומת יחיד. lite
nvidia-smi בדיקת התקינות הבסיסית של ה-GPU ומנהל ההתקן של ה-GPU באמצעות ממשק הניהול של מערכת NVIDIA. lite, standard
dcgm מריץ אבחון של NVIDIA Data Center GPU Manager ‏(DCGM) כדי לבצע בדיקות חומרה מעמיקות בכל GPU. lite, standard
gemm מריץ כפל מטריצות כללי (GEMM) כדי למדוד את קצב העיבוד של ה-GPU. lite, standard
nccl-cluster מריץ בדיקות קולקטיביות של NCCL בכל צומתי היעד כדי למדוד את רוחב הפס של הרשת בכל האשכול. standard
nccl-pairwise מריץ בדיקות NCCL בין זוגות של צמתים כדי למדוד את זמן האחזור בין צומת לצומת ולבודד צמתים או קישורים פגומים. standard
stream מריצה את מבחן הביצועים STREAM כדי למדוד את רוחב הפס של זיכרון ה-GPU. standard
nccl-domain מריץ בדיקות קולקטיביות של NCCL בכל דומיין NVLink עם כמה צמתים. נתמך רק בסוגי מכונות עם דומיינים של NVLink עם כמה צמתים. אין (הפעלה עם --tests)

חבילות ובדיקות של TPU

סורק התקינות של האשכול מספק את חבילות הבדיקות הבאות לצומתי TPU:

  • ‫Lite: מאמת את הביצועים של שבבי ה-TPU וה-HBM בכל מארח, מודד את רוחב הפס בין המארח למכשיר ומריץ בדיקת פעולות קולקטיביות כדי למדוד את רוחב הפס של ה-ICI.
  • רגילה: מריצה פעולות קולקטיביות בכל שבבי ה-TPU בפרוסה, וגם בדיקות עומס מתמשכות על שבבי ה-TPU, ה-HBM וקישורי ה-ICI.

בטבלה הבאה מתוארים כל הבדיקות של ה-TPU:

בדיקה תיאור סוויטות
tpu-info בדיקת התקינות הבסיסית של ה-TPU, כולל מספר המכשירים, גרסת LibTPU וסוג מכשיר ה-TPU. lite, standard
tpu-gemm מריץ פעולות כפל מטריצות כלליות (GEMM) כדי למדוד את שיא ה-TFLOPS המתמשך. lite, standard
tpu-hbm מודד את רוחב הפס של קריאה וכתיבה ב-HBM. lite, standard
tpu-collectives מודד את הזמן של פעולות קולקטיביות, כמו AllReduce ו-AllGather, כדי למדוד את רוחב הפס של ICI (אשכולות GKE בלבד). lite, standard
tpu-host-device מודד את רוחב הפס בין המארח למכשיר. lite, standard
tpu-compute-stress מריץ כפל מטריצות מתמשך כדי לאמת את היציבות החישובית ולחשוף פגיעה שקטה בנתונים. standard
tpu-hbm-stress מפעיל עומס על ה-HBM כדי למדוד את רוחב הפס המקסימלי ולאמת את תקינות הנתונים. standard
tpu-network-stress שליחת מטען ייעודי (payload) אקראי גדול דרך קישורי ICI כדי למדוד את רוחב הפס המתמשך ולזהות שגיאות בביטים (אשכולות GKE בלבד). standard

לפני שמתחילים

לפני שמשתמשים בסורק תקינות האשכול, צריך להתקין את הכלים הנדרשים, להגדיר הרשאות ולהתחבר לאשכול או למכונה.

התקנות

לפני שמריצים סריקת תקינות, צריך להשלים את ההתקנות בסביבת הפריסה.

אשכולות GKE

כדי להריץ סריקות תקינות באשכול GKE, ודאו שיש לכם אשכול יעד והתקינו את הכלים הנדרשים במכונה שבה אתם מתכננים להריץ את הסריקות:

אשכולות Slurm

כדי להריץ סריקות תקינות באשכול Slurm, ודאו שיש לכם אשכול GPU לטירגוט והתקינו את הכלים הנדרשים בבקר Slurm או בצומת ההתחברות, שבהם הפקודות sinfo ו-sbatch זמינות:

באשכולות Slurm, משתמשים באפשרות ההתקנה של חבילת Python. ב-Slurm אין תמיכה באפשרות של קובץ אימג' של קונטיינר.

מכונות TPU עצמאיות

כדי להריץ סריקות תקינות במכונה עצמאית של TPU, צריך לוודא שיש לכם מכונת TPU ייעודית ולהתקין את הכלים הנדרשים ישירות במכונה:

התפקידים הנדרשים

כדי לקבל את ההרשאות שנדרשות להרצת סריקת תקינות, צריך לבקש מהאדמין להקצות לכם את התפקיד roles/compute.viewer בפרויקט. התפקיד הזה מאפשר לסורק התקינות של האשכול לקרוא את המטא-נתונים ואת פרטי הטופולוגיה של הצמתים ב-Compute Engine.

אתם צריכים גם את התפקידים הבאים של ניהול זהויות והרשאות גישה (IAM), בהתאם לסביבת הפריסה:

סביבה התפקידים הנדרשים
אשכולות GKE מפתח/ת Kubernetes Engine‏ (roles/container.developer)
אשכולות Slurm
  • OS Login של Compute‏ (roles/compute.osLogin) או OS Admin Login של Compute‏ (roles/compute.osAdminLogin)
  • משתמש מנהרה באבטחת IAP (roles/iap.tunnelResourceAccessor), אם מתחברים דרך שרת proxy לאימות זהויות (IAP)
מכונות TPU עצמאיות
  • אדמין ב-TPU‏ (roles/tpu.admin)
  • משתמש מנהרה באבטחת IAP‏ (roles/iap.tunnelResourceAccessor), אם מתחברים דרך IAP

אם אתם מגדירים קטגוריה של Cloud Storage לדוחות, אתם צריכים גם את התפקיד "אדמין של אובייקטים באחסון" (roles/storage.objectAdmin) בקטגוריה. התפקיד הזה מאפשר לסורק התקינות של האשכול להעלות פריטי תוצאות, כמו דוח התקינות, לקטגוריה.

להסבר על מתן תפקידים, קראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

התחברות לאשכול או למכונה

מתחברים לסביבה שבה מתכננים להריץ סריקות תקינות.

אשכולות GKE

מגדירים את Application Default Credentials ‏(ADC) ומגדירים את kubectl לתקשורת עם אשכול GKE:

gcloud auth application-default login
gcloud container clusters get-credentials CLUSTER_NAME \
    --location=LOCATION \
    --project=PROJECT_ID

אשכולות Slurm

מתחברים לבקר Slurm או לצומת ההתחברות באמצעות SSH:

gcloud compute ssh SLURM_NODE_NAME \
    --zone=ZONE \
    --project=PROJECT_ID

מכונות TPU עצמאיות

מתחברים למכונה העצמאית של ה-TPU באמצעות SSH:

gcloud compute tpus tpu-vm ssh TPU_NAME \
    --zone=ZONE \
    --project=PROJECT_ID

התקנת הסורק לבדיקת תקינות האשכול

מתקינים את סורק התקינות של האשכול במכונה שבה מריצים את הסריקות, בהתאם לסביבה:

  • אשכולות GKE: כל מכונה שיש לה גישה של kubectl לאשכול.
  • אשכולות Slurm: בקר Slurm או צומת התחברות.
  • מכונות TPU עצמאיות: מכונת ה-TPU עצמה.

באשכולות GKE ו-Slurm, הסורק של תקינות האשכול שולף באופן אוטומטי את קובצי האימג' של קונטיינר האבחון שתואמים לצומתי ה-GPU או ה-TPU, ומתזמן אותם באשכול. לכן לא צריך להתקין תוכנה בצומתי המחשוב הנפרדים. במכונה עצמאית של TPU, מתקינים ומריצים את סורק התקינות של האשכול ישירות במכונה.

אפשר להתקין את סורק התקינות של האשכול כחבילת Python או כקובץ אימג' של קונטיינר. הפקודות של chs בשאר המסמך הזה פועלות עם כל אחת מאפשרויות ההתקנה. כדי לראות מידע מפורט על השימוש בכל פקודה, מוסיפים את הדגל --help.

חבילת Python

יוצרים סביבה וירטואלית של Python ומתקינים את חבילת הסורק של תקינות האשכול מ-GitHub. באשכולות GKE ו-Slurm, צריך להשתמש ב-Python מגרסה 3.12 ואילך. במכונות TPU עצמאיות (x86_64), צריך להשתמש ב-Python 3.12 (ב-Python 3.13 ואילך, pip install לא מתקין את יחסי התלות של נקודת ההשוואה של TPU, ו-chs run מדלג על המכונה):

python3 -m venv chs-venv
source chs-venv/bin/activate
pip install git+https://github.com/GoogleCloudPlatform/cluster-health-scanner.git

כדי להתקין גרסה ספציפית, מוסיפים את @VERSION לכתובת ה-URL של המאגר:

pip install git+https://github.com/GoogleCloudPlatform/cluster-health-scanner.git@VERSION

לרשימה של גרסאות, ראו גרסאות של סורק תקינות האשכול ב-GitHub.

קובץ אימג' של קונטיינר

הסורק של תקינות האשכול מופץ כקובץ אימג' של קונטיינר ב-Artifact Registry. התמונה תומכת גם במעבדי GPU וגם במעבדי TPU. אפשר להשתמש בקובץ האימג' של הקונטיינר באשכולות GKE ובמכונות TPU עצמאיות, אבל לא באשכולות Slurm.

  1. מגדירים את Docker לאימות באמצעות Artifact Registry ומשיכת קובץ האימג' של הקונטיינר של סורק תקינות האשכול:

    gcloud auth configure-docker us-docker.pkg.dev
    docker pull us-docker.pkg.dev/gce-ai-infra/chs/chs:latest
    

    כדי לשלוף גרסה ספציפית במקום latest, מחליפים את latest במספר הגרסה. לדוגמה, 0.3.0 לגרסה v0.3.0 של GitHub. לרשימת הגרסאות, ראו גרסאות של סורק תקינות האשכול ב-GitHub.

  2. יוצרים שם חלופי למעטפת כדי להריץ פקודות chs ישירות. השם החלופי שיוצרים תלוי בסביבה:

    • אשכולות GKE: השם החלופי טוען את קובץ kubeconfig ואת פרטי הכניסה של Google Cloud במצב קריאה בלבד. הכינוי גם שומר את מצב ההרצות בנפח chs-local-state של Docker וכותב קובצי פלט לספרייה chs-output בספרייה הנוכחית:

      alias chs='docker run --rm -it --network host \
          -v ~/.kube:/workspace/.kube:ro \
          -v ~/.config/gcloud:/workspace/.config/gcloud:ro \
          -v chs-local-state:/workspace/.local/share \
          -v "$(pwd)/chs-output":/workspace/chs-output \
          us-docker.pkg.dev/gce-ai-infra/chs/chs:latest'
      
    • מכונות TPU עצמאיות: במכונת TPU שפועלת בה מערכת הפעלה שמותאמת לקונטיינרים, קובץ האימג' של הקונטיינר הוא אפשרות ההתקנה היחידה שנתמכת. הכינוי נותן לקונטיינר גישה למכשירי ה-TPU ולמרחב השמות של ה-PID המארח של המכונה, טוען את מערכת הקבצים הבסיסית של המארח ב-/host וטוען את פרטי הכניסה ל- Google Cloudבמצב קריאה בלבד. הכינוי גם שומר את מצב ההרצות בנפח chs-local-state של Docker וכותב קובצי פלט לספרייה chs-output בספרייה הנוכחית:

      alias chs='docker run --rm -it --privileged --pid=host \
          -v /:/host \
          -v ~/.config/gcloud:/workspace/.config/gcloud:ro \
          -v chs-local-state:/workspace/.local/share \
          -v "$(pwd)/chs-output":/workspace/chs-output \
          us-docker.pkg.dev/gce-ai-infra/chs/chs:latest'
      

אופציונלי: הגדרת קטגוריה של Cloud Storage לדוחות

כברירת מחדל, סורק התקינות של האשכול שומר דוחות ויומני אבחון בספריית פלט מקומית. אפשר להגדיר קטגוריה של Cloud Storage כדי לאחסן אותם גם מרחוק.

  1. אם עדיין אין לכם קטגוריה לדוחות של סריקות תקינות, אתם צריכים ליצור אחת:

    gcloud storage buckets create gs://BUCKET_NAME \
        --location=BUCKET_LOCATION \
        --project=PROJECT_ID
    
  2. מקצים את התפקיד "אדמין של אובייקטים באחסון" (roles/storage.objectAdmin) לחשבון המשתמש הראשי או לחשבון השירות:

    gcloud storage buckets add-iam-policy-binding gs://BUCKET_NAME \
        --member=PRINCIPAL \
        --role=roles/storage.objectAdmin
    

    החבר PRINCIPAL הוא חשבון המשתמש שכותב את הדוח. לדוגמה, user:EMAIL או serviceAccount:SERVICE_ACCOUNT_EMAIL.

  3. מגדירים את הקטגוריה שבה הסורק של תקינות האשכול מאחסן את הדוחות. הקטגוריה כבר צריכה להיות קיימת, כי סורק תקינות האשכול לא יוצר אותה באופן אוטומטי. צריך להריץ את הפקודה הזו רק פעם אחת לכל סביבה:

    chs configure storage gcs BUCKET_NAME
    

    כדי לאחסן דוחות בתיקייה עם קידומת בקטגוריה, מוסיפים את הקידומת לשם הקטגוריה:

    chs configure storage gcs BUCKET_NAME/PREFIX
    

הפעלת סריקת תקינות

בקטע הזה מוסבר איך לוודא שהצמתים לא פעילים, להתחיל סריקה ולעקוב אחרי ההתקדמות שלה.

מוודאים שצומתי היעד לא פעילים

הסורק של תקינות האשכול פועל רק על קיבולת לא פעילה, ולא מפסיק או מפנה את עומסי העבודה באופן אוטומטי. לפני שמתחילים סריקה, צריך לרוקן או לעצור את כל עומסי העבודה שפועלים בצמתים או במכונה של היעד.

אם סורק התקינות של האשכול מזהה עומסי עבודה פעילים בצומת או במכונה, הוא מטפל בקיבולת באופן הבא:

  • ‫GPU: סורק התקינות של האשכול מדלג על הצמתים העמוסים ומריץ את הסריקה על הצמתים הנותרים שלא פעילים.
  • TPU: האופן שבו סורק התקינות של האשכול מטפל בקיבולת עמוסה תלוי בסביבה:
    • אשכולות GKE: בדיקות TPU עם כמה מארחים (tpu-collectives ו-tpu-network-stress) דורשות פרוסה שלמה במצב חוסר פעילות, ובדיקות TPU עם מארח יחיד יכולות לפעול בצמתים נפרדים במצב חוסר פעילות:
      • מאגרי צמתים עם חלוקה סטטית (--nodepools או --nodes): אם חלק מהצמתים במאגר עסוקים כשמריצים את חבילת הבדיקות lite או standard, סורק התקינות של האשכול מתעד אזהרה ביומן, משמיט את הבדיקות עם כמה מארחים ומריץ את בדיקות ה-TPU עם מארח יחיד בצמתים הפנויים שנותרו.
      • מאגרי צמתים עם פריסה דינמית (--nodepools או --nodes): כדי לטרגט מאגר עם --nodepools, כל מאגר הצמתים צריך להיות במצב של חוסר פעילות, כדי שסורק תקינות האשכול יוכל להקצות משאב Slice למאגר מלא. אם אתם מטרגטים צמתים ספציפיים באמצעות --nodes (בגרסה 1.36.0-gke.3712000 של GKE ואילך), סורק התקינות של האשכול מקצה פרוסה משנית נפרדת של 2x2x1 לכל צומת לא פעיל, מדלג על צמתים פעילים ומריץ בדיקות TPU של מארח יחיד בצמתים הלא פעילים.
    • מכונות TPU עצמאיות: סורק התקינות של האשכול לא יכול לפעול אם תהליך אחר משתמש במכשירי ה-TPU ב-/dev/vfio.

כדי לוודא שקיבולת היעד לא פעילה, פועלים לפי השלבים שמתאימים לסביבה שלכם.

אשכולות GKE

  1. עוצרים או מוחקים את כל המשימות או ה-Pods של עומסי העבודה הפעילים במאגר הצמתים המיועד, או ממתינים עד שעומסי העבודה הפעילים יסתיימו.

    אם אתם משתמשים ב-kubectl drain כדי לפנות עומסי עבודה ממאגר הצמתים, צריך לבטל את החסימה של הצמתים לפני שמתחילים את הסריקה, כדי שסורק התקינות של האשכול יוכל לתזמן קבוצות Pod לאבחון (סורק התקינות של האשכול מדלג על צמתים חסומים):

    kubectl drain -l cloud.google.com/gke-nodepool=NODE_POOL_NAME \
        --ignore-daemonsets --delete-emptydir-data
    kubectl uncordon -l cloud.google.com/gke-nodepool=NODE_POOL_NAME
    

    חשוב לוודא שלא מתוזמנים עומסי עבודה חדשים במאגר הצמתים בזמן שהסריקה פועלת.

  2. מוודאים שלא נשארו פודים של עומסי עבודה במאגר הצמתים:

    kubectl get pods --all-namespaces -o wide \
        --field-selector=status.phase=Running | grep NODE_POOL_NAME
    

    פודים של המערכת, כמו אלה שמנוהלים על ידי DaemonSets במרחב השמות kube-system, יכולים להמשיך לפעול.

אשכולות Slurm

  1. בודקים אם יש משימות שפועלות במחיצת היעד:

    squeue --partition=PARTITION_NAME
    

    אם יש משימות שפועלות במחיצה, צריך להמתין עד שהן יסתיימו או לבטל אותן באמצעות scancel JOB_ID.

  2. מוודאים שהצמתים במחיצת היעד נמצאים במצב idle:

    sinfo --partition=PARTITION_NAME
    

מכונות TPU עצמאיות

מוודאים שאין תהליכים אחרים שמשתמשים במכשירי ה-TPU במכונה:

sudo fuser -v /dev/vfio/*

אם מופיעים תהליכים, צריך להמתין עד שהם יסתיימו או להפסיק אותם לפני שמתחילים בסריקה.

התחלת סריקה

הדגלים שמעבירים לפקודה chs run תלויים בסביבה שבה מריצים את סורק תקינות האשכול. הסורק של תקינות האשכול מזהה באופן אוטומטי את המתזמן ואת סוג המאיץ, כך שאין צורך לציין אותם.

כדי להציג את חבילות האבחון והבדיקות הזמינות לסוג מאיץ, מריצים את הפקודות הבאות:

  • למעבדי GPU:

    chs list suites --gpu
    chs list tests --gpu
    
  • למעבדי TPU:

    chs list suites --tpu
    chs list tests --tpu
    

מאגרי צמתים של GKE

מריצים את סורק התקינות של האשכול מכל מכונה שיש לה גישה ל-kubectl באשכול, כמו המכונה המקומית או Cloud Shell.

כדי להתחיל סריקה של מאגר צמתים אחד או יותר, מריצים את הפקודה הבאה:

chs run \
    --nodepools=NODE_POOL_NAMES \
    --suite=SUITE

מחליפים את מה שכתוב בשדות הבאים:

  • ‫NODE_POOL_NAMES: רשימה מופרדת בפסיקים של מאגרי הצמתים של ה-GPU או ה-TPU שרוצים לסרוק. לדוגמה: a4-pool-1,a4-pool-2 או tpu7x-pool-1,tpu7x-pool-2. כל מאגרי הצמתים המטורגטים צריכים להשתמש באותו סוג מכונה.
  • ‫SUITE: חבילת האבחון שרוצים להריץ, lite או standard. מידע נוסף על כל חבילה זמין במאמר חבילות אבחון.

כדי להריץ בדיקות ספציפיות במקום חבילה מלאה, מחליפים את הדגל --suite בדגל --tests ומציינים רשימה מופרדת בפסיקים של שמות בדיקות:

chs run \
    --nodepools=NODE_POOL_NAMES \
    --tests=TEST_NAMES

כדי לסרוק צמתים ספציפיים במקום מאגר צמתים שלם, מחליפים את הדגל --nodepools בדגל --nodes ומציינים רשימה של שמות צמתים שמופרדים בפסיקים.

כשמציינים כמה מאגרי צמתים בדגל --nodepools, סורק התקינות של האשכול מטפל בהם לפי סוג המאיץ:

  • מאגרי צמתים של GPU: משלב את כל צומתי ה-GPU הפנויים במאגרי הצמתים שצוינו לקבוצת יעד אחת, ומריץ בדיקות של כמה צמתים (nccl-cluster ו-nccl-pairwise) בכולם יחד.
  • מאגרי צמתים של TPU: הערכה של כל מאגר צמתים (פרוסת TPU) בנפרד ובמקביל בהרצה אחת, בלי בדיקה של כמה פרוסות (Multislice).

מחיצות Slurm

מריצים את סורק התקינות של האשכול בבקר של Slurm או בצומת ההתחברות, שבהם הפקודות sinfo ו-sbatch זמינות. ב-Slurm צריך לבחור באפשרות להתקנת חבילת Python. הוראות להתקנה מופיעות במאמר חבילת Python.

לפני שמתחילים סריקה, צריך להגדיר את פרטי הכניסה של Enroot באשכול כדי שהצמתים יוכלו לשלוף תמונות של נקודות השוואה מ-us-docker.pkg.dev:

gcloud auth configure-docker us-docker.pkg.dev
mkdir -p ~/.enroot
cat <<EOF > "${HOME}/.enroot/.credentials"
machine us-docker.pkg.dev login oauth2accesstoken password $(gcloud auth application-default print-access-token)
EOF

מתחילים סריקה במחיצה אחת או יותר:

chs run \
    --partitions=PARTITION_NAMES \
    --suite=SUITE

מחליפים את מה שכתוב בשדות הבאים:

  • ‫PARTITION_NAMES: רשימה מופרדת בפסיקים של מחיצות Slurm לסריקה.
  • ‫SUITE: חבילת האבחון שרוצים להריץ, lite או standard. מידע נוסף על כל חבילה זמין במאמר חבילות אבחון.

כדי להריץ בדיקות GPU ספציפיות במקום חבילה מלאה, מחליפים את הדגל --suite בדגל --tests ומציינים רשימה מופרדת בפסיקים של שמות בדיקות (לדוגמה, nccl-pairwise,gemm או nccl-domain):

chs run \
    --partitions=PARTITION_NAMES \
    --tests=TEST_NAMES

מכונות TPU עצמאיות

מריצים את סורק תקינות האשכול ישירות במכונה של ה-TPU. מכונת ה-TPU צריכה לחשוף את מכשירי ה-TPU שלה בנתיב /dev/vfio (אפשר לאמת את זה במכונה על ידי הרצת הפקודה ls /dev/vfio).

אם אתם לא מריצים את סורק התקינות של האשכול כמשתמש root, הגדילו את מגבלת ה-memlock לפני הרצת בדיקות ה-TPU:

ulimit -l unlimited

כדי להתחיל סריקה במכונת ה-TPU, מריצים את הפקודה הבאה:

chs run --suite=SUITE

מחליפים את SUITE בחבילת האבחון שרוצים להריץ, lite או standard. מידע נוסף על כל חבילה זמין במאמר חבילות אבחון.

כדי להריץ בדיקות TPU ספציפיות במקום חבילה מלאה, מחליפים את הדגל --suite בדגל --tests ומציינים רשימה מופרדת בפסיקים של שמות בדיקות (לדוגמה, tpu-host-device,tpu-hbm-stress):

chs run --tests=TEST_NAMES

צפייה בהרצות ובתוצאות

הסורק לבדיקת תקינות האשכול שומר את היסטוריית ההרצה ואת הגדרות התצורה באופן מקומי במכונת הלקוח שבה מריצים את הפקודות של chs (ב-~/.local/share/chs/, או בנפח של Docker ב-chs-local-state כשמשתמשים בקובץ האימג' של הקונטיינר). לכן, הפקודות chs history ו-chs results מציגות רק את ההרצות שהתחילו מהסביבה הזו.

כדי להציג את ההפעלות הקודמות ואת מזהי ההפעלה שלהן, מריצים את הפקודה הבאה:

chs history

כדי להציג את התוצאות של הרצה ואת המיקומים של דוח ה-HTML האינטראקטיבי (bill_of_health.html) ודוח ה-JSON‏ (bill_of_health.json), מריצים את הפקודה הבאה:

chs results RUN_ID

אם לא תציינו את RUN_ID, סורק התקינות של האשכול יבקש מכם לבחור הרצה. הפקודה מדפיסה נתיבים מקומיים, או מזהי URI של Cloud Storage אם הגדרתם קטגוריה. הוא קורא את התוצאות השמורות של הרצה קודמת ולא מתחיל משימות חדשות באשכול או במכונה.

ביטול סריקה

כדי לבטל סריקה, להפסיק את המשימות שלה ולהסיר את המשאבים שהיא יצרה באשכול או במכונה, מריצים את אחת מהפקודות הבאות:

  • כדי לבטל את ההפעלה האחרונה:

    chs cancel
    
  • ביטול של הרצה ספציפית:

    chs cancel RUN_ID
    
  • מבטלים את כל ההרצות של סורק תקינות האשכול באשכול או במכונה, כולל הרצות שהתחילו על ידי משתמשים אחרים:

    chs cancel --all
    

איך לפרש את התוצאות

בסיום הסריקה, סורק התקינות של האשכול שומר את פריטי המידע הבאים בספריית הפלט המקומית, ומעלה אותם לקטגוריה של Cloud Storage אם הגדרתם אחסון:

  • דוח HTML אינטראקטיבי (bill_of_health.html): מציג כל בדיקה, המדדים שנמדדו והסטטוס שלה.
  • דוח JSON ‏(bill_of_health.json): מכיל את הפרמטרים שנבדקו ואת המדדים שנמדדו בכל בדיקה.
  • ספריית Workspace: מכילה את יומני האבחון.

איך פותחים את דוח התקינות

כדי למצוא את הנתיבים המקומיים המדויקים או את מזהי ה-URI של Cloud Storage (‏gs://BUCKET/PREFIX/bills_of_health/RUN_ID.html ו-gs://BUCKET/PREFIX/bills_of_health/RUN_ID.json) של דוחות הסריקה, מריצים את הפקודה הבאה:

chs results RUN_ID

אם הגדרתם קטגוריה של Cloud Storage, אתם יכולים לראות את דוח ה-JSON ישירות מה-URI שמוחזר על ידי chs results:

gcloud storage cat gs://BUCKET_NAME/PREFIX/bills_of_health/RUN_ID.json

תוכן הדוח

בדוח התקינות מפורטים כל הצמתים שנסרקו על ידי סורק התקינות של האשכול, וגם תוצאות הבדיקה של כל צומת. הפורמט של דוחות הסריקה של GPU ו-TPU זהה. כל צומת מקבל אחד מהסטטוסים הבאים:

סטטוס תיאור
HEALTHY כל הבדיקות עמדו בביצועים הצפויים לסוג המכונה.
DEGRADED הצומת השלים את הבדיקות, אבל תוצאה אחת או יותר היו נמוכות מהביצועים הצפויים.
POTENTIALLY DEGRADED בדיקת סינון הייתה מתחת לביצועים הצפויים, ובדיקת העומס המתאימה לא הופעלה כדי לאשר את התוצאה.
INCOMPLETE בדיקה אחת או יותר נכשלה, פג הזמן הקצוב שלה, היא בוטלה או שהיא לא דיווחה על מדדים בצומת.

הקובץ bill_of_health.json מכיל את השדות הבאים ברמה העליונה:

  • ‫report_id: המזהה הייחודי של הרצת הסריקה.
  • ‫chs_version: הגרסה של סורק התקינות של האשכול שיצר את הדוח.
  • created_at: חותמת הזמן של יצירת הדוח.
  • ‫system_info: מטא-נתונים על המערכת שנבדקת, כמו סוג האשכול וסוג המכונה.
  • ‫test_results: רשימה של אובייקטים של תוצאות בדיקה. כל רשומה כוללת את השדות הבאים:
    • ‫test_name: שם בדיקת האבחון.
    • ‫result_status: תוצאת הבדיקה, למשל RESULT_STATUS_SUCCESS או RESULT_STATUS_FAILED.
    • ‫target_resources: הצמתים (node_name ו-instance_id) שבהם הבדיקה בוצעה.
    • ‫metrics: המדדים שנבדקים והקריטריונים לאימות של הבדיקה.

דוח התקינות הוא בפורמט JSON עקבי ומובנה. אפשר לטעון דוחות ל-BigQuery או לכלי ניתוח אחרים, ולהשוות בין דוחות של סריקות עוקבות של אותה קיבולת כדי לזהות שינויים הדרגתיים בביצועים.

תיקון צמתים לא תקינים

אם בדוח התקינות מזוהה צומת או מכונה עם הסטטוס DEGRADED,‏ POTENTIALLY DEGRADED או INCOMPLETE, צריך לבצע את הפעולות הבאות:

  1. כדי לשלול בעיה זמנית, מריצים מחדש את הסריקה במאגר הצמתים או בצומת של GKE, במחיצת Slurm או במכונה עצמאית של TPU לפני שחוסמים או מרוקנים את הצומת (הסורק של תקינות האשכול מדלג על צומתי GKE חסומים ועל צומתי Slurm מרוקנים). הוראות מפורטות מופיעות במאמר התחלת סריקה.

  2. אם הבעיה נמשכת, מונעים תזמון של עומסי עבודה חדשים בצומת או במכונה המושפעים:

    • אשכולות GKE: חסימת הצומת הלא תקין:

      kubectl cordon NODE_NAME
      
    • אשכולות Slurm: מרוקנים את הצומת הלא תקין:

      sudo scontrol update NodeName=NODE_NAME State=DRAIN Reason="CHS unhealthy"
      
    • מכונות TPU עצמאיות: אל תתחילו עומסי עבודה חדשים במכונת ה-TPU עד שתסיימו לפתור את הבעיה.

  3. מתקנים או מחליפים את הצומת או המכונה באחת מהאפשרויות הבאות, בהתאם לסוג המאיץ ולסביבה:

    כשאתם פונים לתמיכה, צרפו את ספריית סביבת העבודה מספריית הפלט המקומית או מהקטגוריה של Cloud Storage, שמכילה את יומני האבחון, וציינו את מזהה ההרצה.

  4. אחרי שהצומת או המכונה תוקנו או הוחלפו, צריך להגדיר אותם שוב כניתנים לתזמון כדי שסורק התקינות של האשכול לא ידלג עליהם, ואז להריץ סריקה חדשה כדי לוודא שהקיבולת תקינה:

    • אשכולות GKE: מבטלים את החסימה של הצומת, ואז מריצים מחדש את הסריקה לפני שמתזמנים עומסי עבודה חדשים:

      kubectl uncordon NODE_NAME
      
    • אשכולות Slurm: מפעילים מחדש את הצומת כדי להחזיר אותו למצב idle, ואז מריצים שוב את הסריקה לפני שמתזמנים משימות חדשות:

      sudo scontrol update NodeName=NODE_NAME State=RESUME
      
    • מכונות TPU עצמאיות: מריצים מחדש את הסריקה במכונה, ואז ממשיכים להריץ את עומסי העבודה אחרי שהסריקה מאשרת שהמכונה תקינה.

Telemetry

הסורק של תקינות האשכול שולח ל-Google מדדי שימוש אנונימיים כדי לעזור לשפר את הכלי, והוא לא אוסף פרטים אישיים מזהים (PII). הטלמטריה מופעלת כברירת מחדל. כדי לבטל את ההסכמה, מריצים את chs configure telemetry disable או מגדירים את משתנה הסביבה CHS_TELEMETRY=0.

המאמרים הבאים

כדי לפתור בעיות נפוצות בסורק התקינות של האשכול, קראו את המאמר פתרון בעיות בסורק התקינות של האשכול.