במדריך הזה מוסבר איך לאבחן ולפתור בעיות נפוצות במכונות וירטואליות ב-Compute Engine שמחוברים אליהן מעבדים גרפיים, כולל שגיאות חומרה וצווארי בקבוק בביצועים. אם נתקלים בשגיאה ZONE_RESOURCE_POOL_EXHAUSTED או בשגיאות קיבולת אחרות כשיוצרים מכונות וירטואליות של GPU, אפשר לעיין במאמרים פתרון בעיות שקשורות לזמינות של משאבים או פתרון בעיות שקשורות לניצול של הזמנות.
פתרון בעיות במכונות וירטואליות עם GPU באמצעות NVIDIA DCGM
NVIDIA Data Center GPU Manager (DCGM) היא חבילת כלים לניהול ולמעקב אחרי יחידות ה-GPU של מרכז הנתונים של NVIDIA בסביבות של אשכולות.
כדי להשתמש ב-DCGM לפתרון בעיות בסביבת ה-GPU:
- ודאו שאתם משתמשים בגרסה העדכנית ביותר של מנהל ההתקן המומלץ של NVIDIA לדגם ה-GPU שמחובר למכונה הווירטואלית. כדי לבדוק את גרסאות הדרייברים, ראו גרסאות מומלצות של דרייברים של NVIDIA.
- מוודאים שמותקנת הגרסה העדכנית של DCGM. כדי להתקין את הגרסה העדכנית, קראו את המאמר התקנת DCGM.
אבחון בעיות
כשמריצים פקודת אבחון של dcgmi, הבעיות שמדווחות על ידי כלי האבחון כוללות את השלבים הבאים לטיפול בבעיה. בדוגמה הבאה מוצג הפלט שניתן לפעול לפיו מהפקודה dcgmi diag -r memory -j.
{
........
"category":"Hardware",
"tests":[
{
"name":"GPU Memory",
"results":[
{
"gpu_id":"0",
"info":"GPU 0 Allocated 23376170169
bytes (98.3%)",
"status":"Fail",
""warnings":[
{
"warning":"Pending page
retirements together with a DBE were detected on GPU 0. Drain the GPU and reset it or reboot the node to resolve this issue.",
"error_id":83,
"error_category":10,
"error_severity":6
}
]
}
.........
בקטע הקוד של הפלט שלמעלה, אפשר לראות שב-GPU 0 יש דפים בהמתנה להוצאה משימוש שנגרמו בגלל שגיאה שלא ניתן לשחזר. בפלט מופיע הערך הייחודי של error_id ועצות לניפוי באגים בבעיה. בפלט לדוגמה הזה, מומלץ לרוקן את ה-GPU ולהפעיל מחדש את ה-VM. ברוב המקרים, ביצוע ההוראות בקטע הזה של הפלט יכול לעזור לפתור את הבעיה.
פתרון בעיות בביצועי ה-GPU במכונות וירטואליות מסוג A3
סדרת המכונות A3 זמינה עם מעבדי GPU מסוג NVIDIA H200 או H100. הסדרה הזו כוללת את סוגי המכונות A3 Ultra (H200), A3 Mega (H100), A3 High (H100) ו-A3 Edge (H100).
איך מזהים צומת פגום
משימות אימון או השוואה לשוק בקנה מידה גדול באשכול GPU עם כמה צמתים עלולות להפסיק להגיב או לפעול בצורה לא טובה. זה קורה בדרך כלל כי צומת אחד או יותר לא פועלים כמו שצריך ומאטים את כל הפעולה. בקטע הזה מוסבר איך לזהות צומת או מכונה מארחת פגומים באמצעות הפעלת בדיקת השוואה (benchmark) של NCCL או ניתוח של יומני NCCL.
הרצת בדיקת השוואה של NCCL
כדי לזהות את קבוצת הצמתים שגורמת לכשל, בודקים באופן שיטתי קבוצות משנה של האשכול באמצעות נקודות השוואה של NCCL כמו all_reduce_perf.
- כדי לזהות את קבוצות הצמתים, מקבצים את הצמתים לקבוצות לוגיות, למשל מחיצות ב-Slurm.
- כדי ליצור קובצי מארחים, יוצרים קובץ מארח נפרד לכל קבוצת צמתים, ומציינים את שמות המארחים ואת מספר יחידות ה-GPU לכל צומת. מספר המשבצות שצריך לציין תלוי במספר ה-GPU של סוג ה-VM מסוג A3. לדוגמה, למכונות וירטואליות מסוג
a3-highgpu-8gיש 8 יחידות GPU, ולכן צריך לצייןslots=8. - כדי להריץ נקודות השוואה, מריצים את נקודת ההשוואה
all_reduce_perfלכל קבוצת צמתים בנפרד.mpirun -x LD_LIBRARY_PATH --hostfile HOSTFILE_NAME -n TOTAL_PROCESSES \ ./build/all_reduce_perf -b 1G -e 8G -f 2 -g NUM_GPUS_PER_NODEמחליפים את מה שכתוב בשדות הבאים:
-
HOSTFILE_NAME: השם של קובץ המארח שמכיל את רשימת הצמתים ואת מספר המעבדים הגרפיים לכל צומת בקבוצת הצמתים. -
TOTAL_PROCESSES: המספר הכולל של תהליכי MPI שיופעלו בכל המארחים בקבוצת הצמתים. -
NUM_GPUS_PER_NODE: מספר המעבדים הגרפיים לכל צומת. לכל סוגי המכונות מסוג A3, הערך הוא8.
-
- כדי לנתח את התוצאות, אם משימה נתקעת או מציגה רוחב פס נמוך משמעותית (
busbw) בקבוצת צמתים מסוימת, סביר להניח שהקבוצה הזו פגומה. - כדי לחלק את קבוצת הצמתים, אם היא פגומה, מחלקים את קובץ המארח שלה לשניים ובודקים שוב כדי לצמצם את החיפוש הבינארי עד שמאתרים את הצומת הבעייתי.
ניתוח יומני NCCL
אם שיטת ההשוואה לא מצביעה על צומת, צריך לנתח את יומני ה-NCCL המפורטים.
- כדי להפעיל את יומן ניפוי הבאגים, מגדירים את משתני הסביבה הבאים בסשן המעטפת שבו מתכננים להריץ את עומס העבודה:
export NCCL_DEBUG=INFO export NCCL_DEBUG_SUBSYS=INIT,NET,COLL export NCCL_DEBUG_FILE="LOG_DIRECTORY/nccl_log.%h.%p"מחליפים את
הגדרה שלLOG_DIRECTORYבספרייה שבה רוצים לאחסן את היומנים.NCCL_DEBUG_FILEעם%hו-%pיוצרת קובצי יומן ייחודיים ולא משולבים לכל תהליך.אם אתם מריצים עומס עבודה עם כמה צמתים באמצעות
mpirun, אתם צריכים להפיץ את המשתנים האלה לכל הצמתים באמצעות הדגל-x. לדוגמה:mpirun -x NCCL_DEBUG -x NCCL_DEBUG_SUBSYS -x NCCL_DEBUG_FILE ... - כדי למצוא את השגיאה הראשונה, משתמשים בפקודה הבאה כדי למצוא את אירועי הזמן הקצוב לתפוגה או הכישלון המוקדמים ביותר בכל קובצי היומן:
grep "NCCL WARN.*NET/FasTrak" LOG_DIRECTORY/* | sed 's/.*NET\/FasTrak\(.*\)/\1/g' \ | sort | head -n 20מחליפים את
LOG_DIRECTORYבספרייה שבה מאוחסנים היומנים. - כדי לספור פעולות קולקטיביות, צומת איטי משלים פחות פעולות קולקטיביות. ספירת
"opCount"רשומות לדירוגים חשודים:grep "opCount" LOG_DIRECTORY/nccl_log.HOSTNAME.PID | wc -lמחליפים את מה שכתוב בשדות הבאים:
-
LOG_DIRECTORY: הספרייה שבה מאוחסנים היומנים -
HOSTNAME: שם המארח של הצומת -
PID: מזהה התהליך של תהליך ה-NCCL
-
- כדי לאסוף יותר נתוני רישום ביומן לפני שמשימה נכשלת,
אפשר להגדיל באופן זמני את הזמן הקצוב לתפוגה של העברת הנתונים:
export NCCL_FASTRAK_DATA_TRANSFER_TIMEOUT_MS=3600000
מעקב אחרי ויסות נתונים (throttle) תרמי של ה-GPU
אם המכונות הווירטואליות מסדרת A3 מגיעות באופן עקבי לטמפרטורות גבוהות מ-87°C תחת עומס, יכולה להיות ירידה בביצועים שלהן. כדי לבדוק אם יש ויסות תרמי של ה-GPU בצמתים באשכול, אפשר להשתמש ב-nvidia-smi או ב-dcgmi.
שימוש ב-nvidia-smi
כדי לבדוק את הטמפרטורה הנוכחית ואת סטטוס הוויסות של כל ה-GPU בצומת, מריצים את הפקודה הבאה:
nvidia-smi --query-gpu=timestamp,name,pci.bus_id,temperature.gpu,clocks_throttle_reasons.hw_slowdown --format=csv
בפלט, הערך Active בעמודה clocks_throttle_reasons.hw_slowdown מציין שה-GPU מוגבל בגלל טמפרטורות גבוהות.
שימוש ב-dcgmi
חבילת האבחון של NVIDIA Data Center GPU Manager (DCGM) כוללת בדיקות של חריגות תרמיות. כדי להריץ אבחון ברמה 1, מריצים את הפקודה הבאה:
dcgmi diag -r 1
אם התוצאה היא Warn או Fail בקטע Thermal, זה אומר שהייתה חריגה תרמית במהלך הבדיקה. אם חריגה תרמית מלווה בהאטה של השעון, סביר להניח שה-GPU מתחמם יתר על המידה וצריך לבדוק את זה.
שגיאות Xid
אחרי שיוצרים מכונה וירטואלית עם יחידות GPU, צריך להתקין מנהלי התקנים של NVIDIA במכונות הווירטואליות עם יחידות ה-GPU כדי שהאפליקציות יוכלו לגשת ליחידות ה-GPU. עם זאת, לפעמים מנהלי ההתקנים האלה מחזירים הודעות שגיאה.
הודעת Xid היא דוח שגיאות ממנהל ההתקן של NVIDIA, שמופיע ביומן הליבה של מערכת ההפעלה או ביומן האירועים של ה-VM של Linux. ההודעות האלה מופיעות בקובץ /var/log/messages. למידע נוסף על הודעות Xid, כולל סיבות אפשריות, עיינו במסמכי התיעוד של NVIDIA.
איך Google מטפלת בשגיאות Xid
Google משתמשת בבדיקות תקינות פסיביות כדי להעריך מערכות GPU. אם צריך להחליף חומרה, Google מתחילה באופן אוטומטי תחזוקת חירום. Google מזהה שגיאות Xid ושולחת באופן יזום מכונות לתיקון כשקודי השגיאה מצביעים על סבירות גבוהה לכשל בחומרה, כמו Xid 74, 79 ו-140. חלק מקודי ה-Xid יכולים להיגרם מבעיות בתוכנה או בחומרה, ולכן Google משתמשת בהתאמת דפוסים כדי להפעיל תיקונים, ולא כל אירוע גורם לתיקון אוטומטי.
סוגי שגיאות Xid
ברשימה הבאה מתוארות שלוש הקטגוריות העיקריות של שגיאות Xid והפעולות המומלצות לתיקון:
שגיאות באפליקציה: מצביעות על בעיות בקוד האפליקציה. שגיאות באפליקציה כוללות מזהי Xid כמו Xid 13, 31, 94, 95 ו-137, שמציינים סוגים שונים של הפרות גישה לזיכרון, בדומה לשגיאת פילוח (segmentation fault). הן לא מצביעות על שגיאת ECC. כדי לפתור את השגיאות האלה, NVIDIA ממליצה להשתמש באחת מגישות ניפוי הבאגים הבאות:
- ניפוי באגים ישיר: מריצים את האפליקציה ישירות ב-cuda-gdb או מריצים את הכלי memcheck של Compute Sanitizer.
- ניפוי באגים לאחר חריגה: מריצים את האפליקציה עם
CUDA_DEVICE_WAITS_ON_EXCEPTION=1. כשיש חריגה, מנהל ההתקן של ה-GPU מקפיא את מצב האפליקציה בלי לצאת, כדי שתוכלו לצרף מנפה באגים מאוחר יותר (cuda-gdb -p <PID>) ולבדוק את דוח הקריסות בזמן אמת.
שגיאות בדרייבר: שגיאות שנגרמות בגלל הדרייבר של NVIDIA GPU. כדי לפתור את השגיאות האלה, ודאו שאתם משתמשים בגרסה האחרונה של מנהל ההתקן של NVIDIA. Google עוקבת אחרי השגיאות האלה ומשתפת פעולה עם NVIDIA כדי לתקן את הדרייבר.
שגיאות בקושחה או בחומרה שניתנות לשחזור: שגיאות בקושחה או בחומרה שמאפשרות שחזור בלי להחליף את החומרה. כדי לפתור את השגיאות האלה, צריך לבצע פעולות שחזור ידניות כמו איפוס ה-GPU או הפעלה מחדש של המכונה. שגיאות שניתן לשחזר בקושחה או בחומרה כוללות שגיאות של קוד תיקון שגיאות (ECC) (רלוונטיות ל-Xid כמו Xid 48, 63 ו-64) שמציינות שלבים שונים של זיהוי והפחתת שגיאות ECC. למידע נוסף על הוצאת דפים משימוש ועל הפחתת שגיאות ECC, קראו את השאלות הנפוצות של NVIDIA בנושא הוצאת דפים דינמיים משימוש.
בדיקת ההודעות ב-Xid
כדי לאבחן במהירות למה עומס עבודה של GPU נכשל, הפסיק להגיב או חווה ירידה בביצועים, בודקים את יומני הליבה של המכונה (dmesg או /var/log/kern.log) ומחפשים קודי שגיאה מספריים של NVIDIA Xid.
כדי לזהות מיד את הבעיה, כדאי לעיין בטבלאות של שגיאות ה-Xid בסעיפי המשנה הבאים:
- לזהות את שורש הבעיה: לזהות אם הכשל נגרם בגלל באג באפליקציה (כמו גישה לא חוקית לזיכרון), התנגשות בין מנהלי התקנים או תקלה פיזית בחומרה (כמו שגיאות זיכרון ECC של שני ביטים).
- קביעת הבעלות התפעולית: בודקים אילו פעולות שחזור ידניות מיידיות צריך לבצע, כמו איפוס של יחידות ה-GPU, הפעלה מחדש של המכונות הווירטואליות או הפעלת מנפי שגיאות (debuggers), לעומת פעולות התיקון האוטומטיות והחלפת החומרה ש-Google מנהלת באופן פעיל במארח.
- ביצוע שלבי השחזור הנכונים: הימנעות מתהליכים מיותרים לפתרון בעיות, וידיעה מדויקת מתי מספיק לבצע שחזור ידני ומתי צריך לדווח על המארח כפגום. לפעמים, שחזור ידני לא מספיק. לדוגמה, אם מקור השגיאה הוא במטמון של ה-GPU (SRAM), שאי אפשר למפות מחדש, כפי שמצוין ב-
Xid 48עםSRAM Threshold Exceeded=Yes, או אם ה-GPU מיצה את בנק המיפוי מחדש שלו, כפי שמצוין ב-Xid 64: All reserved rows for bank are remapped. במקרים כאלה, Google מזהה שה-GPU עומד בדרישות להחלפת חומרה ושולחת את המכונה לתיקון באופן יזום. אם בעומסי העבודה שלכם יש שגיאות חוזרות או אם אתם מבחינים בתקלות חוזרות בזיכרון, אתם יכולים לדווח על המארח הפגום כדי להפעיל תיקון או החלפה אוטומטיים. ב-GKE, קראו את המאמר איך מדווחים על מארחים פגומים ב-GKE.
טיפול ב-Xid
בקטעים הבאים, הודעות השגיאה הנפוצות של Xid מקובצות לפי קטגוריה טכנית, לצד הפתרונות המוסמכים ותחומי האחריות שלהן:
- שגיאות בזיכרון של ה-GPU (Xids
48,63,64,92,94,95) - שגיאות במעבד המערכת של ה-GPU (GSP) (מזהי Xid
119,120) - שגיאות גישה לא חוקית לזיכרון (Xids
13,31,137) - הודעות שגיאה נפוצות אחרות של Xid (Xid
74,79,109,149)
שגיאות בזיכרון ה-GPU
זיכרון GPU הוא הזיכרון שזמין ב-GPU, שאפשר להשתמש בו לאחסון זמני של נתונים. זיכרון ה-GPU מוגן באמצעות קוד תיקון שגיאות (ECC), שמזהה ומתקן שגיאות של סיבית אחת (SBE), ומזהה ומדווח על שגיאות של שתי סיביות שלא ניתנות לתיקון (DBE).
שגיאות הזיכרון האלה צפויות להתרחש במהלך חיי המעבד הגרפי. לפני שהושקו מעבדי ה-GPU של NVIDIA A100, הייתה תמיכה בהוצאה דינמית של דפים משימוש. במעבדי GPU של NVIDIA A100 וגרסאות מאוחרות יותר (כמו NVIDIA H100), יש התאוששות משגיאות של מיפוי מחדש של שורות לשגיאות HBM (DRAM). כברירת מחדל, ECC מופעל, ו-Google ממליצה מאוד להשאיר אותו מופעל.
בטבלה הבאה מפורטות שגיאות נפוצות שקשורות לזיכרון של ה-GPU והצעות לפתרון:
| הודעת שגיאה של Xid | פעולה של הלקוח | פעולה של Google |
|---|---|---|
Xid 48: Double Bit ECC
ה-ECC זיהה שגיאת זיכרון של שני ביטים (שלא ניתנת לתיקון). השגיאה הזו תמיד קוטעת את עומס העבודה שפועל ויוצרת את Xid 48. |
|
Google עוקבת אחרי המקרים שבהם ה-GPU עומד בדרישות להחלפת חומרה, למשל אם בנק המיפוי מחדש של HBM מוצה או אם ה-GPU חורג מסף השגיאות של SRAM במהלך חייו, ושולחת באופן יזום את המכונה לתיקון כדי להחליף את ה-GPU. |
Xid 63: ECC page retirement or row remapping recording
event
מציין שתועד אירוע של הוצאה משימוש של דף דינמי או מיפוי מחדש של שורה בגלל שגיאת זיכרון. |
|
Google עוקבת אחרי ספי השגיאות ושולחת את המכונה לתיקון כשה-GPU דורש תיקון פיזי או החלפה. |
Xid 64: ECC page retirement or row remapper recording
failure
ההודעה כוללת את הפרטים הבאים: Xid 64: All reserved rows for bank are remapped
|
|
כשהמאגר של המיפוי מחדש מתרוקן ( |
אם אתם מקבלים לפחות שתיים מהודעות ה-Xid הבאות ביחד:
ההודעה כוללת את הפרטים הבאים: Xid XX: row remap pending
|
|
Google שולחת את המכונה לתיקון אם מאגר המיפוי מחדש מוצה או כשה-GPU דורש תיקון או החלפה פיזיים. |
Xid 92: High single-bit ECC error rate |
הודעת ה-Xid הזו מוחזרת אחרי שמנהל ההתקן של ה-GPU מתקן שגיאה שניתנת לתיקון, והיא לא אמורה להשפיע על עומסי העבודה. הודעת ה-Xid הזו היא לידיעה בלבד. לא צריך לעשות כלום. |
ללא |
Xid 94: Contained error
מציין שאירעה שגיאה ב-GPU ואם השגיאה הייתה מוגבלת לאפליקציה אחת. הודעת Xid 94 לבדה לא מצביעה על שורש הבעיה. צריך לפרש אותה לצד שגיאות Xid אחרות שמתרחשות במקביל כדי לקבוע מהי הסיבה הבסיסית. |
|
ללא |
Xid 95: Uncontained error
מציין שאירעה שגיאת GPU שלא הוגבלה לאפליקציה אחת. הודעת Xid 95 לבדה לא מצביעה על שורש הבעיה. צריך לפרש אותה לצד שגיאות Xid אחרות שמתרחשות במקביל כדי לקבוע מהי הסיבה הבסיסית. |
|
ללא |
שגיאות GSP
מעבד מערכת GPU (GSP) הוא מיקרו-בקר שפועל על יחידות GPU ומטפל בחלק מפונקציות הניהול של החומרה ברמה נמוכה.
| הודעת שגיאה של Xid | פעולה של הלקוח | פעולה של Google |
|---|---|---|
Xid 119: GSP RPC timeout |
|
אין. אם השגיאה נמשכת ושלחתם בקשת תמיכה, Google תבדוק את מצב החומרה או מנהל ההתקן באמצעות תהליך העבודה של התמיכה. |
Xid 120: GSP error |
שגיאות גישה לא חוקית לזיכרון
מזהי ה-Xid הבאים מוחזרים כשיש באפליקציות שגיאות בגישה לא חוקית לזיכרון:
| הודעת שגיאה של Xid | פעולה של הלקוח | פעולה של Google |
|---|---|---|
|
זוהתה הפרה של גישה לזיכרון, בדומה לשגיאת פילוח. השגיאות האלה בדרך כלל מעידות על באג באפליקציה שבו יש גישה לזיכרון של ה-GPU מחוץ לתחום, או במאגרים ששוחררו, כמו ביטול הפניה של מצביע לא חוקי או מערך מחוץ לתחום. הן לא מייצגות שגיאות ECC, אלא אם גם Xid 48 מופיעה. |
כדי לפתור את הבעיה, צריך לנפות באגים בשגיאות הגישה לזיכרון באפליקציה. אפשר להשתמש ב-cuda-gdb, ב-Compute Sanitizer או ב-cuda-memcheck. פרטים נוספים זמינים במאמרי העזרה של NVIDIA Xid. |
אין. במקרים נדירים שבהם פגיעה בחומרה עלולה לגרום לדיווח שגוי על שגיאות גישה לא חוקית לזיכרון, אפשר להשתמש ב-NVIDIA Data Center GPU Manager (DCGM) כדי להריץ את |
הודעות שגיאה נפוצות אחרות של Xid
| הודעת שגיאה של Xid | פעולה של הלקוח | פעולה של Google |
|---|---|---|
Xid 74: NVLINK error |
|
ללא |
Xid 79: GPU has fallen off the bus
זה אומר שמנהל ההתקן לא יכול לתקשר עם ה-GPU כי בעיית חומרה גרמה ל-GPU להיעלם מאפיק ה-PCI. |
כדי לשחזר את עומסי העבודה, אתם יכולים להשתמש באחת מהשיטות הבאות, בהתאם להגדרה של תחזוקת חירום בפרויקט:
|
Google מזהה שה-GPU נפל מאפיק ה-PCI ושולחת את המכונה לתיקון. |
Xid 109: Context switch timeout
Xid 109 היא שגיאה כללית שמדווחת על ידי מנהל ההתקן של ה-GPU של NVIDIA, ונוצרת כשמכונה של GPU לא מצליחה להקדים או להחליף משימות בתוך תקופת הזמן הקצוב לתפוגה הצפויה. ל-Google יש היסטוריה ארוכה של חקירת Xid 109 עם NVIDIA, והגורמים הידועים לבאגים בדרייברים תוקנו בדרייברים העדכניים ביותר. הסיבה ל-Xid 109 היא לא בעיה בחומרה. |
|
ללא |
Xid 149 שמוזכר בו 0x02a, כמו בדוגמה הבאה:
זו בעיה ידועה שמשפיעה על הקושחה של מעבדי GPU מסוג NVIDIA B200. |
|
ללא |
פתרון בעיות שקשורות לכשל ב-nvidia-smi אחרי תיקון של מערכת ההפעלה או שדרוג הליבה
אם הפקודה nvidia-smi נכשלת עם השגיאה NVIDIA-SMI has failed because it couldn't communicate with the NVIDIA driver אחרי חלון זמן לתחזוקה, הפעלה של תיקון מערכת ההפעלה או הפעלה מחדש של ה-VM, צריך לבדוק את חבילות הליבה שמוחזקות. נעילות של חבילות מהתקנה קודמת של מנהל התקן במצב binary יכולות למנוע התקנה של כותרות ליבה תואמות.
כדי לאבחן ולפתור את הבעיה, בוחרים את מערכת ההפעלה:
Ubuntu
בודקים את גרסת הליבה שפועלת:
uname -rבודקים אם התקנה קודמת של מנהל התקן במצב
binaryנעלה את חבילות הליבה, למשל כשמשתמשים במכונות--force-version,--installation-branch=ltsאו NVIDIA RTX Virtual Workstation (vWS):apt-mark showholdבודקים אם
linux-image-gcpאוlinux-headers-gcpמופיעים ברשימה.בודקים אם כותרות הליבה מותקנות בליבה שפועלת:
dpkg -l | grep "linux-headers-$(uname -r)"אם מטא-חבילות הליבה מוחזקות, צריך להסיר את נעילות החבילות:
sudo apt-mark unhold linux-image-gcp linux-headers-gcpמתקינים את כותרות הליבה של הליבה שפועלת:
sudo apt-get update && sudo apt-get install -y linux-headers-$(uname -r)בונים מחדש וטוענים את מודול הליבה (kernel) של NVIDIA:
אם מקורות המודולים של DKMS רשומים (בודקים את
sudo dkms status):sudo dkms autoinstall sudo modprobe nvidia nvidia-smiאם הפקודה
sudo dkms statusלא מציגה מודול NVIDIA רשום (לדוגמה, אם מנהל ההתקן הותקן בעבר באמצעות קובץ בינארי של.runללא--dkms), מריצים מחדש את מנהל ההתקנה של מנהל ההתקן של ה-GPU של Google Cloud :sudo python3 cuda_installer.pyz install_driver
Debian
בודקים את גרסת הליבה שפועלת:
uname -rבודקים אם התקנה קודמת של מנהל התקן במצב
binaryנעלה את חבילות הליבה, למשל כשמשתמשים במכונות--force-version,--installation-branch=ltsאו NVIDIA RTX Virtual Workstation (vWS):apt-mark showholdבודקים אם
linux-image-cloud-amd64אוlinux-headers-cloud-amd64מופיעים ברשימה.בודקים אם כותרות הליבה מותקנות בליבה שפועלת:
dpkg -l | grep "linux-headers-$(uname -r)"אם מטא-חבילות הליבה מוחזקות, צריך להסיר את נעילות החבילות:
sudo apt-mark unhold linux-image-cloud-amd64 linux-headers-cloud-amd64מתקינים את כותרות הליבה של הליבה שפועלת:
sudo apt-get update && sudo apt-get install -y linux-headers-$(uname -r)בונים מחדש וטוענים את מודול הליבה (kernel) של NVIDIA:
אם מקורות המודולים של DKMS רשומים (בודקים את
sudo dkms status):sudo dkms autoinstall sudo modprobe nvidia nvidia-smiאם הפקודה
sudo dkms statusלא מציגה מודול NVIDIA רשום (לדוגמה, אם מנהל ההתקן הותקן בעבר באמצעות קובץ בינארי של.runללא--dkms), מריצים מחדש את מנהל ההתקנה של מנהל ההתקן של ה-GPU של Google Cloud :sudo python3 cuda_installer.pyz install_driver
RHEL ו-Rocky Linux
בודקים את גרסת הליבה שפועלת:
uname -rבודקים אם התקנה קודמת של מנהל התקן במצב
binaryנעלה את חבילות הליבה, למשל כשמשתמשים במכונות--force-version,--installation-branch=ltsאו NVIDIA RTX Virtual Workstation (vWS):grep "^exclude=.*kernel" /etc/dnf/dnf.confבודקים אם כותרות הליבה מותקנות בליבה שפועלת:
rpm -qa | grep "kernel-devel-$(uname -r)"אם חבילות הליבה מוחרגות, מסירים את
kernel*מהשורהexclude=בקובץ/etc/dnf/dnf.conf.מתקינים את כותרות הליבה של הליבה שפועלת:
sudo dnf install -y kernel-devel-$(uname -r) kernel-headers-$(uname -r)בונים מחדש וטוענים את מודול הליבה (kernel) של NVIDIA:
אם מקורות המודולים של DKMS רשומים (בודקים את
sudo dkms status):sudo dkms autoinstall sudo modprobe nvidia nvidia-smiאם הפקודה
sudo dkms statusלא מציגה מודול NVIDIA רשום (לדוגמה, אם מנהל ההתקן הותקן בעבר באמצעות קובץ בינארי של.runללא--dkms), מריצים מחדש את מנהל ההתקנה של מנהל ההתקן של ה-GPU של Google Cloud :sudo python3 cuda_installer.pyz install_driver
פתרון בעיות באתחול מאובטח
אם מתקינים את מנהל ההתקן של NVIDIA במכונה שמופעל בה אתחול מאובטח, ו-nvidia-smi לא מצליח לתקשר עם מנהל ההתקן של NVIDIA, יכול להיות שהאתחול המאובטח יחסום את הטעינה של מודול הליבה (kernel) הלא חתום.
כדי לזהות ולפתור את הבעיה, מבצעים את השלבים הבאים:
בודקים אם מודול הליבה נדחה על ידי "אתחול מאובטח" בגלל חתימה חסרה או לא חוקית:
sudo dmesg | grep -iE 'secure boot|nvidia'
אם האתחול המאובטח חסם את המודול, צריך לחתום באופן ידני על מודולי הדרייבר ולרשום את מפתח הבעלים של המכונה (MOK), או להשתמש בקובץ אימג' של מערכת ההפעלה עם מודולים של ליבה (kernel) שנחתמו מראש. להוראות, ראו התקנת מנהלי התקנים של GPU (מכונות וירטואליות עם אתחול מאובטח).
איפוס מעבדי ה-GPU
יכול להיות שתצטרכו לאפס את ה-GPU כדי לפתור בעיות מסוימות. כדי לאפס את ה-GPU:
- במכונות וירטואליות מסוג N1, G2, A2 ו-G4 שמחוברות ליחידת GPU אחת או יותר, מפעילים מחדש את המכונה הווירטואלית.
- במכונות וירטואליות מסוג G4 עם מעבדי GPU חלקיים (פחות ממעבד GPU אחד מצורף), מבצעים את השלבים הבאים:
- במכונות A3, A4, A4X ו-A4X Max, מריצים את הפקודה
sudo nvidia-smi --gpu-reset.- ברוב המכונות הווירטואליות של Linux, קובץ ההפעלה
nvidia-smiנמצא בספרייה/var/lib/nvidia/bin. - בצומתי GKE, קובץ ההפעלה
nvidia-smiנמצא בספרייה/home/kubernetes/bin/nvidia.
- ברוב המכונות הווירטואליות של Linux, קובץ ההפעלה
- במכונות A3, A4, A4X ו-A4X Max בצומתי GKE, אתם יכולים להשתמש גם ב-gpu-reset-tool כדי לאפס באופן אוטומטי את כל ה-GPU בצומת. בכלי הזה צריך רק לציין את שם צומת היעד.
אפשר גם לאפס את ה-GPU כשמאפסים את ה-VM או כשעוצרים ומפעילים מחדש את ה-VM. למידע נוסף על מצבי מחזור החיים של מכונות וירטואליות ועל ההבדלים בין פעולות השחזור של מכונות וירטואליות, קראו את המאמרים מחזור החיים של מכונות Compute Engine והשהיה, עצירה או איפוס של מכונות Compute Engine.
פתיחה של בקשת תמיכה
אם לא הצלחתם לפתור את הבעיות בעזרת ההנחיות שבדף הזה, אספו את המידע הבא ופתחו בקשת תמיכה:
- מזהה הפרויקט שבו נמצאים המכונות שהושפעו.
- רשימה של כל השמות או המזהים של המכונות באשכול.
- רשימה של צמתים חשודים שזוהו במהלך פתרון הבעיות.
- יומני NCCL מלאים, לא משולבים עם הגדרות ניפוי באגים מופעלות.
- פלט מבדיקות תקינות של החומרה (
dcgmi,nvidia-smi). - הפקודה המדויקת של נקודת ההשוואה או עומס העבודה שנכשלה.
- קובצי יומן רלוונטיים, כמו יומני מנוע מארח ויומני אבחון. כדי לאסוף את הנתונים האלה, מריצים את
gather-dcgm-logs.sh, שנמצא ב-/usr/local/dcgm/scriptsבהתקנות שמוגדרות כברירת מחדל. - דוח על באג של NVIDIA. מריצים את
nvidia-bug-report.sh. במעבדים גרפיים מדגם Blackwell ואילך, פועלים לפי ההוראות במאמר יצירת דוח על באג במעבדים גרפיים מדגם Blackwell ואילך. - פרטים על שינויים שבוצעו לאחרונה בסביבה לפני הכשל.
המאמרים הבאים
בודקים את סוגי המכונות של GPU.