במאמר הזה מוסבר איך לעקוב אחרי עבודות תחזוקה מתוזמנות, לתכנן אותן ולבצע אותן במכונות של אשכול GPU (A5X, A4X Max, A4X, A4, A3 Ultra, A3 Mega ו-A3 High (8 GPUs)) ושל GPU כללי. כשמנהלים באופן יזום את אירועי התחזוקה של המארח במכונות של Compute Engine, אפשר לצמצם את ההפרעות ולשמור על ביצועים אופטימליים.
למידע נוסף על אפשרויות לתחזוקת התשתית, קראו את המאמרים הבאים:
כדי לנהל את התחזוקה של בלוקים של קיבולת ששמורה למכונות, בין אם פועלות בהם מכונות ובין אם לא, קראו את המאמר ניהול אירועים במארחים ששמורים למכונות.
כדי לנהל את התחזוקה של אשכול ב-Cluster Director, קראו את המאמר ניהול תקינות האשכול.
לפני שמתחילים
צריך לבחור את הכרטיסייה הרלוונטית לאופן שבו תכננתם להשתמש בדוגמאות בדף הזה:
המסוף
כשמשתמשים במסוף Google Cloud כדי לגשת לשירותים ולממשקי ה-API של Google Cloud , לא צריך להגדיר אימות.
gcloud
התקינו את ה-CLI של Google Cloud ואז היכנסו ל-CLI של gcloud באמצעות הזהות המאוחדת שלכם. אחרי שנכנסתם לחשבון, אתחלו את ה-CLI של Google Cloud באמצעות הפקודה הבאה:
gcloud initREST
כדי להשתמש בסביבת פיתוח מקומית בדוגמאות של API בארכיטקטורת REST שבדף הזה, צריך להשתמש בפרטי הכניסה שאתם נותנים ל-CLI של gcloud.
התקינו את ה-CLI של Google Cloud ואז היכנסו ל-CLI של gcloud באמצעות הזהות המאוחדת שלכם.
מידע נוסף מופיע במאמר אימות לשימוש ב-REST במסמכי האימות של Google Cloud .
התפקידים הנדרשים
כדי לקבל את ההרשאות שדרושות לניהול אירועי תחזוקה של מארחים במכונות, בקשו מהאדמין לתת לכם את התפקידים הבאים ב-IAM:
- אדמין Compute (
roles/compute.admin) בפרויקט -
כדי לקבל גישה לקריאה בלבד ליומני הביקורת של אירועי המערכת: צפייה ביומנים (
roles/logging.viewer) בפרויקט
להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.
אלה תפקידים מוגדרים מראש שכוללים את ההרשאות שנדרשות כדי לנהל אירועי תחזוקה של מארחים במכונות Compute. כדי לראות בדיוק אילו הרשאות נדרשות, אפשר להרחיב את הקטע ההרשאות הנדרשות:
ההרשאות הנדרשות
כדי לנהל אירועי תחזוקה של מארחים במכונות, צריך את ההרשאות הבאות:
-
כדי לראות את הפרטים של המכונה:
compute.instances.getבפרויקט
יכול להיות שתקבלו את ההרשאות האלה באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש אחרים.
סקירה כללית
כדי לבצע אופטימיזציה של התחזוקה של המכונות, פועלים לפי השלבים הבאים:
הסבר על תחזוקת מארחים ואיך מטפלים בה מידע ולמידה על התדירות ועל אופן התחזוקה של המכונות בהתאם לסדרת המכונות שלהן, ואיך להכין את עומס העבודה לטיפול בתחזוקת המארח. המידע הזה עוזר לכם לצמצם את השיבושים ולמנוע אובדן נתונים.
הגדרת הצליל והרטט של התראות אתם יכולים ליצור התראות מבוססות-יומן כדי לקבל התראות כשנקבעת, מתחילה או מסתיימת פעולת תחזוקה במכונות שלכם. הגישה הזו עוזרת לכם לתכנן את הפעילויות באופן יזום ולמנוע זמני השבתה בלתי צפויים.
ניהול התחזוקה במכונות. לבדוק אם מתוכננות עבודות תחזוקה במכונות שלכם. במקרה הצורך, אתם יכולים להתחיל את התחזוקה באופן ידני בכל המכונות. התהליך הזה עוזר להגביר את העמידות של עומסי העבודה לאירועים במארח, למנוע זמני השבתה ולמקסם את הזמינות של האפליקציות.
הסבר על תחזוקת המארח ואיך לטפל בה
במהלך מחזור החיים של מכונה ב-Compute Engine, המכונה המארחת שבה פועלת המכונה שלכם עוברת כמה אירועים במארח. אירוע מארח יכול לכלול את הדברים הבאים:
- תחזוקה מתוכננת של התשתית של Compute Engine.
- תחזוקת חירום לא מתוכננת לתיקון התשתית של Compute Engine אחרי שגיאה במארח או דיווח על מארח פגום.
בטבלה הבאה מתוארות התכונות של תחזוקת המארח לסוגי מכונות שמותאמים לאופטימיזציה של מאיצים:
| סוג המכונה | תדירות אופיינית של אירועי תחזוקה מתוזמנים | התנהגות התחזוקה | התראה מראש על פעולות תחזוקה מתוכננות | התראות מראש על תחזוקת חירום | תחזוקה לפי דרישה | הדמיה של תחזוקה |
|---|---|---|---|---|---|---|
| A5X | 90 ימים לפחות | מסתיים ב-Local SSD data persistence | 90 ימים | אם מפעילים התראות למקרי חירום, אז 7 ימים. אם לא, זה ייקח כמה שעות. | כן | לא |
| A4X Max ו-A4X | 90 ימים לפחות | עצירה והפעלה מחדש (עם שמירת נתונים ב-SSD מקומי) | 90 ימים | אם מפעילים התראות למקרי חירום, אז 7 ימים. אם לא, זה ייקח כמה שעות. | כן | לא |
| A4 | 90 ימים לפחות | עצירה והפעלה מחדש (עם שמירת נתונים ב-SSD מקומי) | 90 ימים | אם מפעילים התראות למקרי חירום, אז 7 ימים. אם לא, זה ייקח כמה שעות. | כן | לא |
| A3 Ultra | 90 ימים לפחות | עצירה והפעלה מחדש (עם שמירת נתונים ב-SSD מקומי) | 90 ימים | אם מפעילים התראות למקרי חירום, אז 7 ימים. אם לא, זה ייקח כמה שעות. | כן | לא |
| A3 Mega ו-A3 High (8 מעבדי GPU) | 90 ימים לפחות | עצירה והפעלה מחדש (עם שמירת נתונים ב-SSD מקומי) | 90 ימים | אם מפעילים התראות למקרי חירום, אז 7 ימים. אם לא, זה ייקח כמה שעות. | כן | כן |
| A3 Edge | 30 ימים לפחות | עצירה והפעלה מחדש | 7 ימים | אם מפעילים התראות למקרי חירום, אז 7 ימים. אם לא, זה ייקח כמה שעות. | כן | כן |
תדירויות התחזוקה שמוצגות בטבלה הקודמת הן הערכות, ולא הבטחות. יכול להיות ש-Compute Engine יבצע תחזוקה בתדירות גבוהה יותר מדי פעם.
כדי למנוע אובדן נתונים או התקדמות, הגדירו את עומסי העבודה כך שיטפלו בתחזוקת המארח. לדוגמה, אפשר להשתמש בשיטות הבאות כדי לשמור את הנתונים הזמניים ואת ההתקדמות לפני שעומס העבודה נעצר:
הגדרת התראות למכונות Compute
כדי לקבל התראות על אירועי תחזוקה מתוזמנים, שהתחילו או שהסתיימו במכונות שלכם, אתם יכולים ליצור מדיניות התראות מבוססת-יומנים.
כדי ליצור התראה על אירועי תחזוקה של המכונות, מבצעים את הפעולות הבאות: חוזרים על התהליך הזה לכל התראה שרוצים ליצור.
-
במסוף Google Cloud , נכנסים לדף Logs Explorer של :
אם אתם משתמשים בשורת החיפוש כדי למצוא את הדף הזה, בחרו בתוצאה עם כותרת המשנה Logging.
מעבירים את המתג Show query למצב פעיל.
בחלונית Query, יוצרים אחת מהשאילתות הבאות. השאילתות האלה מסננות את רשומות היומן כדי לזהות אירועי תחזוקה ספציפיים. אם רוצים להשתמש בכמה שאילתות, צריך לחזור על התהליך הזה כדי ליצור התראה ייחודית לכל שאילתה.
כדי לקבל התראות כשיש עבודות תחזוקה מתוזמנות במכונה:
protoPayload.methodName="compute.instances.upcomingMaintenance" severity>=DEFAULT protoPayload.status.message =~ "scheduled"כדי לקבל התראות כשחלון הזמן לתחזוקה של מכונה נפתח:
protoPayload.methodName="compute.instances.upcomingMaintenance" severity>=DEFAULT protoPayload.status.message =~ "ongoing"כדי לקבל התראות כשתחזוקה של מכונה מתחילה:
protoPayload.methodName="compute.instance.terminateOnHostMaintenance" severity>=DEFAULTכדי לקבל התראות כשהתחזוקה של מכונה מסוימת מסתיימת:
protoPayload.methodName="compute.instances.upcomingMaintenance" severity>=DEFAULT protoPayload.status.message =~ "completed"
כדי לאמת את השאילתה, לוחצים על Run query. אם השאילתה תקינה, בחלונית Query results יוצגו רשומות ביומן שתואמות לשאילתה.
בסרגל הכלים של תוצאות ה-Query, לוחצים על הרשימה Actions ובוחרים באפשרות Create log alert. החלונית Create logs-based alert policy תופיע.
בקטע Alert details:
בשדה Alert Policy Name, מזינים שם למדיניות התראות.
ברשימה Policy severity level, בוחרים באפשרות Warning (או רמת חומרה גבוהה יותר).
לוחצים על הבא.
בקטע Choose logs to include in the alert, לוחצים על Next.
בקטע Set notification frequency and autoclose duration, מציינים את הפרטים הבאים:
ברשימה Time between notifications, בוחרים באיזו תדירות רוצים לקבל התראות.
ברשימה Incident autoclose duration, בוחרים אחרי כמה זמן Cloud Logging יפסיק לשלוח התראות ויסגור את האירוע באופן אוטומטי.
לוחצים על הבא.
בקטע Who should be notified?, מציינים ערוץ התראות שאליו יישלחו התראות מ-Logging.
לוחצים על Save.
כדי לראות דוגמאות של התראות על אירועי תחזוקה ב-Logs Explorer, עיינו במאמר דוגמאות להתראות על תחזוקה במסמכי התיעוד של Compute Engine.
ניהול פעולות תחזוקה במכונות Compute
כדי לראות את פעולות התחזוקה של המכונות ולשלוט בהן, אתם יכולים לבצע אחת או יותר מהפעולות הבאות:
כדי לבדוק את המצב ואת המועד המתוכנן של עבודות התחזוקה הקרובות במכונות, צפו במצב התחזוקה של המכונות.
כדי להתחיל מיד את התחזוקה במכונות, במקום להמתין לזמן התחזוקה המתוזמן, התחילו את התחזוקה במכונות באופן ידני.
הצגת מצב התחזוקה של מכונות Compute
כדי לראות את המצב ואת המועד המתוכנן של פעולות התחזוקה הקרובות במכונות, בודקים את הערך של השדה upcomingMaintenance במטא-נתונים של המכונה. אם במכונה אין את השדה upcomingMaintenance, לא מתוזמן אירוע תחזוקה למארח של המכונה. למידע נוסף על השדות ב-upcomingMaintenance, קראו את ההגדרות של סטטוס התחזוקה במאמרי העזרה של Compute Engine.
בנוסף, אם נקבעה תחזוקה למכונה, השדה upcomingGroupMaintenance מכיל את השדה maintenanceReasons. בשדה הזה מתוארת הסיבה שבגללה נקבעה תחזוקה למכונה, כפי שמתואר בטבלה הבאה:
| סוג התחזוקה | סיבת התחזוקה | מצב המכונה |
|---|---|---|
| תחזוקה מתוכננת אחרי דיווח על מארח פגום | FAILURE_GPU_CUSTOMER_REPORTED |
ההגדרה חלה רק על מכונות שפועלות במארח שדיווחתם עליו כפגום. |
| תחזוקה מתוכננת לתחזוקה שוטפת |
|
החיוב חל על מכונות פועלות, מושהות או שהופסקו. |
| פעולת תחזוקה לא מתוכננת במקרה חירום |
|
ההגדרה חלה רק על מכונות שפועלות. |
כדי לראות את השדה maintenanceReasons במכונה, צריך להשתמש ב-CLI של gcloud או ב-API בארכיטקטורת REST. כדי לראות את מצב התחזוקה של כמה מכונות בו-זמנית, צריך להשתמש במסוף Google Cloud או ב-API בארכיטקטורת REST. אחרת, בוחרים באחת מהאפשרויות הבאות:
המסוף
נכנסים לדף VM instances במסוף Google Cloud .
בעמודה Maintenance status ב-Compute Engine מוצג סטטוס התחזוקה של המכונות. אם העמודה הזו לא מופיעה בטבלה VM instances, לוחצים על view_column Column display options, מסמנים את התיבה Maintenance status ולוחצים על OK.
gcloud
כדי לראות את מצב התחזוקה של מכונה, משתמשים בפקודה gcloud compute instances describe עם הדגל --flatten=resourceStatus.upcomingMaintenance:
gcloud compute instances describe INSTANCE_NAME \
--flatten=resourceStatus.upcomingMaintenance \
--zone=ZONE
מחליפים את מה שכתוב בשדות הבאים:
INSTANCE_NAME: שם המכונה.
ZONE: האזור שבו נמצאת המכונה.
הפלט אמור להיראות כך:
אם נקבע אירוע תחזוקה של מארח למכונה, הפלט דומה לפלט הבא:
--- canReschedule: true latestWindowStartTime: '2025-11-01T19:00:00Z' maintenanceReasons: - 'PLANNED_UPDATE' - 'PLANNED_NETWORK_UPDATE' maintenanceStatus: 'PENDING' type: 'SCHEDULED' windowEndTime: '2025-11-01T22:00:00Z' windowStartTime: '2025-11-01T19:00:00Z'אם לא מתוזמן אירוע תחזוקה של מארח למכונה, הפלט דומה לזה:
--- null
REST
כדי לראות את מצב התחזוקה של המכונות, שולחים אחת מבקשות ה-GET הבאות. כששולחים בקשה, צריך לכלול את פרמטר השאילתה fields כדי להציג רק את השם, סוג המכונה והתחזוקה הקרובה של המכונה. צריך גם לכלול את הפרמטר של השאילתה filter כדי לסנן מכונות רק לפי סוג מכונה ספציפי.
כדי לראות מכונות בכל האזורים: השיטה
instances.aggregatedList.GET https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/aggregated/instances?fields=items.name,items.machineType,items.upcomingMaintenance&filter=machineType%3AMACHINE_TYPEכדי להציג מכונות באזור ספציפי: השיטה
instances.list.GET https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instances?fields=items.name,items.machineType,items.upcomingMaintenance&filter=machineType%3AMACHINE_TYPE
מחליפים את מה שכתוב בשדות הבאים:
PROJECT_ID: מזהה הפרויקט שבו יצרתם מכונות.
ZONE: האזור שבו נמצאים המופעים.
MACHINE_TYPE: סוג המכונה שלפיו רוצים לסנן את המכונות.
אם נקבע אירוע תחזוקה של מארח למכונה, המכונה מכילה את השדה upcomingMaintenance:
{
"items": [
{
"name": "vm-01",
"machineType": "https://www.googleapis.com/compute/v1/projects/example-project/zones/europe-west1-b/machineTypes/a3-ultragpu-8g",
"resourceStatus": {
"upcomingMaintenance": {
"canReschedule": true,
"latestWindowStartTime": "2024-11-01T19:00:00Z",
"maintenanceStatus": "PENDING",
"maintenanceReasons": [
"PLANNED_UPDATE",
"PLANNED_NETWORK_UPDATE"
],
"type": "SCHEDULED",
"windowEndTime": "2024-11-01T22:00:00Z",
"windowStartTime": "2024-11-01T19:00:00Z"
}
}
},
...
]
}
אם רוצים לצמצם עוד יותר את רשימת המכונות, אפשר להגדיר את הפרמטר filter של השאילתה לביטוי סינון אחר.
שרת מטא-נתונים
כדי לראות את מצב התחזוקה של מכונה:
אם עדיין לא עשיתם זאת, מתחברים לLinux או למכונה של Windows.
כדי לראות את לוח הזמנים לתחזוקה, שולחים שאילתה לנקודת הקצה (endpoint)
upcoming-maintenance:curl http://metadata.google.internal/computeMetadata/v1/instance/upcoming-maintenance?alt=json -H "Metadata-Flavor: Google"אם נקבע אירוע תחזוקה של מארח למכונה, הפלט דומה לפלט הבא:
"Upcoming maintenance": { "can_reschedule": "true", "latest_window_start_time": "2024-12-01T19:00:01Z", "maintenance_reasons": [ "PLANNED_UPDATE", "PLANNED_NETWORK_UPDATE" ], "maintenance_status": "PENDING", "type": "SCHEDULED", "window_end_time": "2024-12-01T21:00:01Z", "window_start_time": "2024-12-01T19:00:01Z" }אם לא מתוזמן אירוע תחזוקה של מארח, הפלט יהיה דומה לזה:
{ }כדי לראות את מצב התחזוקה הנוכחי של מכונה וירטואלית, שולחים שאילתה לנקודת הקצה
maintenance-event:curl http://metadata.google.internal/computeMetadata/v1/instance/maintenance-event -H "Metadata-Flavor: Google"למידע נוסף על הפלט של השאילתות האלה, ראו בדיקת הפלט.
הפעלה ידנית של תחזוקה במכונות Compute Engine
אתם יכולים להתחיל את התחזוקה של המכונות באופן ידני במקום לחכות למועד המתוזמן.
בהתאם למצב התחזוקה של המכונה, יקרה אחד מהדברים הבאים:
| מצב תחזוקה | תיאור | מה רואים |
|---|---|---|
| מתוזמנת | ב-Compute Engine נקבעה תחזוקה מתוזמנת למכונה. אתם יכולים להתחיל את התחזוקה באופן ידני לפני הזמן המתוזמן. |
|
| בתהליך | מתבצעת תחזוקה. אי אפשר להזיז אותו. |
|
| הושלמה | פעולות התחזוקה הסתיימו. Compute Engine הסיר את כל התראות התחזוקה מהמכונה. |
|
אתם יכולים להתחיל תחזוקה ידנית לכמה מכונות בו-זמנית או למכונות ספציפיות. כדי להפעיל כמה מכונות, צריך להשתמש במסוף Google Cloud או ב-CLI של gcloud (אם המכונות נמצאות באותו אזור). במופעים בודדים, בוחרים באחת מהאפשרויות הבאות:
המסוף
נכנסים לדף VM instances במסוף Google Cloud .
בוחרים את השורות של המכונות שרוצים להתחיל בהן את פעולות התחזוקה.
לוחצים על הפעלת תחזוקה.
כדי לאשר, לוחצים על הפעלת תחזוקה.
gcloud
כדי להתחיל באופן ידני את התחזוקה של מכונה אחת או יותר באותו אזור, משתמשים בפקודה gcloud compute instances perform-maintenance:
gcloud compute instances perform-maintenance INSTANCE_NAMES \
--zone=ZONE
מחליפים את מה שכתוב בשדות הבאים:
INSTANCE_NAMES: רשימה של שמות מכונות שמופרדים ברווחים, לדוגמהvm-01 vm-02 vm-03.
ZONE: האזור שבו נמצאים המופעים.
REST
כדי להתחיל תחזוקה של מכונה באופן ידני, שולחים בקשת POST אל ה-method instances.performMaintenance:
POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instances/INSTANCE_NAME/performMaintenance
מחליפים את מה שכתוב בשדות הבאים:
PROJECT_ID: מזהה הפרויקט שבו יצרתם את המכונה.
ZONE: האזור שבו נמצאת המכונה.
INSTANCE_NAME: שם המכונה.
המאמרים הבאים
כדי לבדוק את עומס העבודה אחרי אירוע במארח, קראו את המאמר מתכונים להשוואה (benchmarking).
מידע נוסף על מעקב אחרי מכונות וירטואליות זמין במאמר מעקב אחרי מכונות וירטואליות ואשכולות Slurm.