הקצאת משאבים לשדרוג הצמתים

בדף הזה מוסבר איך לוודא שאתם יכולים להשתמש באסטרטגיות לשדרוג צמתים כדי לבצע שינויים בצמתים של האשכול. מומלץ לבדוק אם יש בפרויקט מספיק משאבים כדי לעדכן את מאגרי הצמתים הרגילים של Google Kubernetes Engine (GKE), בהתאם לאסטרטגיה שבחרתם.

המשאבים שנדרשים לשדרוג צמתים

יכול להיות ששדרוגי צמתים ידרשו מ-GKE ליצור באופן זמני צמתים נוספים, בהתאם לאסטרטגיית הצמתים ולהגדרות שבחרתם. לכן, יכול להיות ש-GKE ידרוש משאבים נוספים לשדרוג של מאגר צמתים.

כל הצמתים שנוצרים על ידי GKE, כולל צמתים שמשמשים לשדרוגים, כפופים למכסת המשאבים של הפרויקט, לזמינות המשאבים ולקיבולת ההזמנה, למאגרי צמתים עם התאמה ספציפית להזמנה.

אם יש לכם דרישות מיוחדות לסוגי מכונות ומגבלות קיבולת, אנחנו ממליצים מאוד לוודא שיש לכם מספיק משאבים. יכול להיות שתצטרכו להגדיר אסטרטגיה שדורשת פחות משאבים כדי לוודא שתוכלו לשדרג את הצמתים, או לבצע פעולה אחרת כמו יצירת הזמנה. מידע נוסף זמין במאמר שדרוג בסביבה עם משאבים מוגבלים.

המשאבים שנדרשים לאסטרטגיות שדרוג שונות

בקטעים הבאים מתוארים המשאבים הנוספים שנדרשים כדי להשתמש באסטרטגיות השדרוג הזמינות. אם נתקלתם בבעיות בשדרוג, בדקו את פעולות השדרוג ופעלו לפי ההוראות כדי לפתור את שגיאות השדרוג.

מקורות מידע על שדרוגים זמניים

שדרוגי מתח הם אסטרטגיית ברירת המחדל לשדרוג צמתים. בשדרוגים מתח נוצרות מכונות וירטואליות נוספות (אם הערך של maxSurge גדול מאפס) לפני ניקוז ומחיקה של צמתים ישנים, ולכן השדרוגים עלולים להיכשל אם אין מספיק משאבים בפרויקט.

אם המשאבים הזמינים קטנים ממספר הצמתים שצוינו ב-maxSurge, מספר השדרוגים במקביל קטן מ-maxSurge ועוד maxUnavailable. אם אין לכם קיבולת נוספת, תוכלו לקרוא איך לשדרג בסביבה עם משאבים מוגבלים.

בטבלה הבאה מתוארות דוגמאות שממחישות התנהגויות שונות של שדרוג:

הגדרות השדרוג מספר הצמתים הנוספים שמותרים לפי המשאבים הזמינים תוצאה
maxSurge: 5 maxUnavailable: 0 5 משדרג 5 צמתים במקביל.
maxSurge: 5 maxUnavailable: 0 2 משדרג רק 2 צמתים במקביל.
maxSurge: 5 maxUnavailable: 0 0 השדרוג נכשל, כי אי אפשר להוסיף עוד צמתים, ובהגדרות השדרוג אסור להפעיל מחדש את הצמתים הקיימים. ‫GKE ממשיך לנסות לשדרג באופן אוטומטי עד שהפעולה מצליחה.
maxSurge: 5 maxUnavailable: 1 5 משדרג 6 צמתים במקביל, תוך הבטחה שמאגר הצמתים יאבד באופן זמני רק צומת אחד בגלל השדרוג.
maxSurge: 5 maxUnavailable: 1 2 משדרג רק 3 צמתים במקביל, ומוודא שבמאגר הצמתים חסר לכל היותר צומת אחד בגלל השדרוג.
maxSurge: 5 maxUnavailable: 1 0 משדרג רק צומת אחד בכל פעם על ידי יצירה מחדש של כל צומת בשיטת שדרוג הדרגתי.

מקורות מידע על שדרוגים כחולים-ירוקים

שדרוגים כחולים-ירוקים מכפילים באופן זמני את מספר הצמתים במאגר הצמתים, כלומר מאגר הצמתים צריך באופן זמני פי שניים יותר משאבים. אם אין לכם מספיק משאבים זמינים והגדרתם את מאגר הצמתים לשימוש באסטרטגיה הזו, תצטרכו להגדיר שדרוגי מתח כדי לבטל את החסימה של השדרוגים. כשמגדירים את האסטרטגיה הזו, חשוב לוודא שהפרמטרים של שדרוג המתח מתאימים למשאבים הזמינים של הצמתים במאגר הצמתים. למידע נוסף, ראו את הקטע הקודם, משאבים לשדרוגים במתח.

בדיקת פעולות השדרוג כדי לאתר כשלים שקשורים למשאבים

כדי לקבל מידע נוסף על פעולות השדרוג, וגם מידע על הסיבה לכך שפעולות השדרוג נכשלו, אתם יכולים לבדוק את אובייקטי פעולות השדרוג. כדי להציג את רשימת האובייקטים של פעולת השדרוג, מריצים את הפקודה הבאה:

gcloud container operations list \
    --filter="STATUS=DONE AND TYPE=UPGRADE_NODES AND targetLink:https://container.googleapis.com/v1/projects/PROJECT_ID/zones/COMPUTE_ZONE/clusters/CLUSTER_NAME"

מחליפים את מה שכתוב בשדות הבאים:

  • ‫PROJECT_ID: מזהה הפרויקט ב- Google Cloud .
  • COMPUTE_ZONE: האזור של האשכול ב-Compute Engine.
  • ‫CLUSTER_NAME: שם האשכול.

אם השדרוג האחרון נכשל בגלל מכסת משאבים לא מספיקה, הפלט יהיה דומה לזה:

gcloud container operations describe operation-1234567891234-1abc2d3e
detail: "Insufficient quota to satisfy the request: waiting on IG: instance https://www.googleapis.com/compute/v1/projects/my-project-123/zones/us-central1-a/instances/gke-my-cluster-default-pool-123ab45c-de67\
  \ is still CREATING. Last attempt errors: [QUOTA_EXCEEDED] Instance 'gke-my-cluster-default-pool-123ab45c-de67'\
  \ creation failed: Quota 'IN_USE_ADDRESSES' exceeded.  Limit: 50.0 in region us-central1.\
...

אם הסיבה היא שאין מספיק מקום שמור, הפלט דומה לזה:

gcloud container operations describe operation-1234567891234-1abc2d3e
detail: "Reservation does not have enough resources for the request: waiting on IG:\
  \ instance https://www.googleapis.com/compute/v1/projects/my-project-123/zones/us-central1-a/instances/gke-my-cluster-default-pool-123ab45c-de67\
  \ is still CREATING. Last attempt error: [CONDITION_NOT_MET] Instance 'gke-my-cluster-default-pool-123ab45c-de67'\
  \ creation failed: Specified reservation 'foo' does not have available resources\
  \ for the request."

אם הסיבה היא קיבולת לא מספקת, תראו הודעות שגיאה לגבי זמינות המשאבים.

פתרון שגיאות בשדרוג

אם השדרוג נכשל בגלל מחסור במשאבים, נסו את השלבים הבאים:

  1. כדאי לשקול אסטרטגיית שדרוג שדורשת פחות משאבים. אם אתם משתמשים בשדרוגים כחולים-ירוקים, כדאי לשקול שדרוגי מתח.
  2. בודקים אם יש בפרויקט משאבים של Compute Engine שצורכים משאבים ואין בהם יותר צורך. אם יש כאלה, צריך להסיר אותם ולנסות שוב לשדרג.
  3. אם שני השלבים הראשונים לא פותרים את הבעיה, בקשו להגדיל את המכסה או הגדילו את ההקצאה הספציפית.
  4. אם אתם פועלים בסביבה עם משאבים מוגבלים, למשל עם דרישות מיוחדות לסוגי מכונות ומגבלות קיבולת, עיינו בקטע הבא כדי לבצע את השלבים לביטול החסימה של השדרוגים.

שדרוג בסביבה עם משאבים מוגבלים

אם הקיבולת של Google Cloud מוגבלת למשאב ספציפי שמאגר הצמתים משתמש בו, מומלץ להשתמש בהזמנה ל-GPU ול-TPU. במאגרי צמתים שמכילים רק מעבדי CPU, מומלץ לשדרג את מעבדי ה-CPU באמצעות קיבולת קבועה.

שתי השיטות האלה יכולות לעזור לכם לוודא שיש לכם מספיק משאבים כדי לשדרג גרסה או לעדכן מאגר צמתים. אם אין לכם מספיק משאבים, יכול להיות שלא תוכלו לעדכן את הצמתים עד שתהיה לכם גישה לקיבולת נוספת.

אם אין לכם קיבולת נוספת, לא תוכלו להשתמש בשדרוגים כחולים-ירוקים.

כשמשתמשים בשדרוגים זמניים בסביבה עם מגבלת משאבים, חשוב לשים לב לדברים הבאים:

  • כשמשתמשים בצומתי עלייה חדה לשדרוג, נדרשים צמתים נוספים, וזה יכול להיות קשה בסביבה עם משאבים מוגבלים. מידע נוסף על ההגדרה הזו זמין במאמר maxSurge: GKE יוצר צומת חדש לפני הסרת צומת קיים.
  • אם מגדירים ערך גדול מאפס בשדה maxUnavailable והקיבולת לא מגיעה מהזמנה, בתרחישים מסוימים GKE משחרר באופן זמני את הקיבולת של הצומת כשמשדרגים או מעדכנים אותו. כלומר, אם הקיבולת מוגבלת, אתם עלולים לאבד אותה. מידע נוסף זמין במאמר maxUnavailable: GKE makes an existing node unavailable to recreate it.

ההנחיות הבאות משתנות בהתאם לשאלה אם יש לכם הקצאה למאגר הצמתים שצריך לשדרג.

שדרוג עם קיבולת קבועה

כדי לשדרג מעבדים בסביבה עם משאבים מוגבלים, צריך להשתמש בקיבולת קבועה. כדי לעשות את זה, משתמשים בשדרוגים מתפרצים ומגדירים את maxUnavailable לערך שגדול מאפס. פרטים נוספים זמינים במאמר maxUnavailable: GKE makes an existing node unavailable to recreate it.

שימוש בקיבולת קבועה מאפשר לכם לשדרג גרסאות ולבצע את רוב העדכונים של מאגרי הצמתים כשאתם לא יכולים לקבל קיבולת נוספת, ועוזר למנוע אובדן של קיבולת קיימת במהלך הפעולה.

שדרוג עם קיבולת מוגבלת באמצעות הזמנה

כדי לשדרג GPUs ו-TPUs בסביבה עם קיבולת מוגבלת, השתמשו בהזמנה וכוונו את הגדרות השדרוג המתח למהירות ולאמינות.

אם יש לכם קיבולת נוספת בהזמנה, אתם יכולים להשתמש ב-maxSurge כדי ליצור צומתי עלייה חדה. מגדירים את maxSurge בהתאם למספר הצמתים שרוצים לשבש בו-זמנית, ולקיבולת הנוספת שיש לכם. לדוגמה, מגדירים את הערך maxSurge=1;maxUnavailable=0 אם רוצים לשבש רק צומת אחד בכל פעם, או אם יש קיבולת ליצירת צומת אחד נוסף בלבד.

אם אין לכם קיבולת נוספת, אתם יכולים להשתמש ב-maxUnavailable עם הגדרה כמו maxSurge=0;maxUnavailable=1, כי הקיבולת שמורה. ההגדרה הזו משבשת צומת אחד בכל פעם, ויוצרת מחדש את הצומת כדי לעדכן אותו. אנחנו ממליצים על הגישה הזו כדי לבצע תחזוקה של מארחים לצמתים שמריצים עומסי עבודה של אימון והסקה.

המאמרים הבאים