פתרון בעיות בסורק התקינות של האשכול

במאמר הזה מתוארות בעיות נפוצות בסורק התקינות של האשכול ואיך לפתור אותן.

הסריקה מדלגת על צמתים או נעצרת כי זוהו עומסי עבודה פעילים

הבעיה: הסריקה מדלגת על חלק מצומתי ה-GPU, או נעצרת במהלך בדיקות טרום-הרצה של מאגר צומתי TPU, ומדווחת שזוהו עומסי עבודה פעילים.

הסיבה: צומת יעד אחד או יותר מריצים עומסי עבודה.

פתרון: מרוקנים או עוצרים את עומסי העבודה בצומתי היעד, ואז מריצים מחדש את הסריקה. מידע נוסף זמין במאמר אימות שצומתי היעד לא פעילים.

הסריקה נעצרת בגלל סוגי מכונות מעורבים

הבעיה: הסריקה נעצרת במהלך בדיקות טרום-הרצה, ומתקבל דיווח שלצמתים של היעד יש סוגי מכונות שונים.

הסיבה: מאגרי הצמתים שציינתם בדגל --nodepools או המחיצות שציינתם בדגל --partitions לא משתמשים באותו סוג מכונה. לדוגמה, אי אפשר לשלב בסריקה אחת מאגרי צמתים של GPU ו-TPU, או צמתים של A3 Mega ו-A4.

פתרון: מריצים סריקה נפרדת לכל סוג מכונה.

הסריקה נעצרת בגלל שגיאה בהרשאת האחסון

הבעיה: הסריקה נעצרת במהלך בדיקות טרום-הרצה ומדווחת על שגיאה ב-Cloud Storage.

הסיבה: הקטגוריה לא קיימת, או שלחשבון המשתמש שכותב את הדוח אין הרשאה לכתוב בקטגוריה.

פתרון: מוודאים שהקטגוריה קיימת ושלחשבון המשתמש יש את התפקיד "אדמין של אובייקטים ב-Cloud Storage" בקטגוריה. מידע נוסף זמין במאמר הגדרת קטגוריה של Cloud Storage לדוחות.

כלי שורת הפקודה לא יכול להתחבר לאשכול

הבעיה: כלי שורת הפקודה chs מחזיר שגיאת אימות או שגיאת חיבור.

הסיבה: חסרה הרשומה kubeconfig של האשכול, או שפרטי הכניסה לא זמינים בתוך הקונטיינר.

פתרון: מריצים את הפקודה gcloud container clusters get-credentials, כמו שמתואר במאמר התחברות לאשכול או למכונה. לאחר מכן, מוודאים שקובץ kubeconfig ופרטי הכניסה של Google Cloud מותקנים בקונטיינר, כפי שמתואר במאמר התקנת הסורק לבדיקת תקינות האשכול.

לגורם המבקש אין הרשאת גישה לפרויקט

הבעיה: הפקודה chs מחזירה את השגיאה הבאה:

ERROR: The caller doesn't have permission to access the project PROJECT_ID

הסיבה: פרטי הכניסה חסרים או שפג תוקפם, או שלזהות הפעילה אין את ההרשאות הנדרשות לניהול זהויות והרשאות גישה (IAM) בפרויקט.

פתרון: מגדירים את Application Default Credentials באמצעות חשבון המשתמש:

gcloud auth application-default login

אם אתם צריכים גם לאמת את Google Cloud CLI באמצעות חשבון המשתמש שלכם במקום חשבון שירות, הריצו את הפקודה הבאה:

gcloud auth login --no-browser

בדיקות GPU מדווחות על שגיאות במנהל ההתקן או בחומרה

הבעיה: בדוח התקינות מופיע הסטטוס DEGRADED או INCOMPLETE בחלק מהצמתים אחרי הרצת הבדיקה nvidia-smi או dcgm.

הסיבה: לא זוהה GPU בצומת, מנהל ההתקן של ה-GPU לא פועל או ש-NVIDIA Data Center GPU Manager ‏(DCGM) זיהה תקלה בחומרה.

פתרון: בודקים את יומני האבחון בספריית סביבת העבודה של ספריית הפלט המקומית או בקטגוריה של Cloud Storage. לאחר מכן, פועלים לפי השלבים שמתאימים לסביבה שלכם בקטע תיקון צמתים לא תקינים.

בדיקות הרשת מדווחות על רוחב פס נמוך או על זמן אחזור גבוה

הבעיה: בדוח התקינות מוצג רוחב פס נמוך לתקשורת קולקטיבית או זמן אחזור גבוה בחלק מהצמתים.

הסיבה: ב-GPU, הבעיה נגרמת בגלל GPU פגום, חיבור NVLink או ממשק רשת בצומת אחד או יותר. ב-TPU, הסיבה לכך היא קישור ICI או שבב TPU פגום בצומת אחד או יותר.

פתרון: ב-GPU, משתמשים בתוצאות הבדיקה של nccl-pairwise כדי לזהות אילו צמתים מעורבים בזוגות הצמתים האיטיים. ב-TPU, בודקים את התוצאות של tpu-collectives ו-tpu-network-stress בדוח התקינות. לאחר מכן, פועלים לפי השלבים שמתאימים לסביבה שלכם בקטע תיקון צמתים לא תקינים.

המשאבים נשארים באשכול אחרי שהסריקה נעצרת

הבעיה: משימות או משאבים של אבחון נשארים באשכול Google Kubernetes Engine ‏(GKE) אחרי שהתהליך של chs הסתיים.

הסיבה: ב-GKE, התהליך chs צריך להמשיך לפעול במהלך הסריקה כדי לנקות את המשאבים כשהסריקה מסתיימת.

פתרון: מבטלים את ההרצה שהופסקה או את כל ההרצות באשכול כדי להסיר את המשימות שנותרו ולשחרר את הצמתים:

chs cancel RUN_ID

כדי לבטל את כל ההרצות באשכול, מריצים את הפקודה chs cancel --all.

הסריקה נכשלת במכונה עצמאית של TPU כשיחידות ה-TPU עסוקות

הבעיה: כשמריצים סריקה במכונה עצמאית של TPU, כלי שורת הפקודה chs מחזיר את השגיאה TPUs are busy.

הסיבה: תהליך אחר במכונת ה-TPU משתמש במכשירי ה-TPU.

פתרון: ממתינים עד שהתהליך השני יסתיים או עוצרים אותו, ואז מריצים שוב את הסריקה.

הסריקה נכשלת עם שגיאת מגבלת memlock במכונה עצמאית של TPU

הבעיה: כשמריצים סריקה במכונה עצמאית של TPU, כלי שורת הפקודה chs מדווח שמגבלת ה-memlock נמוכה מדי או שבבדיקות ה-TPU נדרשת מגבלת memlock של root או ללא הגבלה.

הסיבה: לסשן הנוכחי של המשתמש יש מגבלה על מרחב הכתובות הנעולות בזיכרון (memlock).

פתרון: מריצים את סורק התקינות של האשכול בתור המשתמש root, או מגדילים את מגבלת ה-memlock לפני שמריצים את הסריקה:

ulimit -l unlimited

הקונטיינר נכשל במכונה עצמאית של TPU בלי גישה למארח

הבעיה: כשמריצים סריקה במכונה עצמאית של TPU באמצעות קובץ האימג' של הקונטיינר, כלי שורת הפקודה chs נכשל ומופיעה השגיאה הבאה:

CHS runs in a container without access to the host

הסיבה: במצב עצמאי במכונת TPU, הקונטיינר צריך לשתף את מרחב השמות של ה-PID של המארח ולטעון את מערכת הקבצים של המארח כדי לבדוק את מכשירי ה-TPU ב-/dev/vfio ולהשתמש בהם.

פתרון: מפעילים את הקונטיינר עם הדגלים --privileged,‏ --pid=host ו--v /:/host. לפקודה המלאה של docker run, ראו קובץ אימג' של קונטיינר.

התקנת החבילה נכשלת עם שגיאה בגרסת Python

הבעיה: הפעלת pip install נכשלת עם השגיאה: Package 'chs' requires a different Python.

הסיבה: גרסת python3 במכונה שלכם היא גרסה ישנה יותר מ-3.12, וזה קורה הרבה בצומתי התחברות של Slurm ובמכונות TPU.

פתרון: משתמשים ב-uv כדי ליצור סביבה וירטואלית של Python 3.12 ומתקינים את סורק התקינות של האשכול בלי הרשאות root:

python3 -m venv uv-venv
uv-venv/bin/pip install uv
uv-venv/bin/uv venv --python 3.12 chs-venv
source chs-venv/bin/activate
uv-venv/bin/uv pip install git+https://github.com/GoogleCloudPlatform/cluster-health-scanner.git

הסריקה מדלגת על מכונת TPU עצמאית כי יחסי התלות של בדיקת ה-TPU לא מותקנים

הבעיה: כשמריצים סריקה במכונה עצמאית של TPU, ‏chs run מדלג על המכונה ומחזיר את האזהרה הבאה:

The TPU test dependencies are not installed. CHS installs them only on Linux x86_64 with Python 3.12.

הסיבה: חבילת Python של סורק תקינות האשכול הותקנה עם גרסת Python שונה מ-3.12 (לדוגמה, Python 3.13). במכונות TPU עצמאיות, יחסי התלות של נקודת ההשוואה של TPU מותקנים רק ב-Linux x86_64 עם Python 3.12.

פתרון: מתקינים מחדש את סורק התקינות של האשכול בסביבה וירטואלית של Python 3.12 באמצעות uv (ראו התקנת החבילה נכשלת עם שגיאה בגרסת Python), או משתמשים בקובץ אימג' של קונטיינר של סורק התקינות של האשכול.