מידע על התאמה אוטומטית לעומס (autoscaling) באשכולות GKE

בדף הזה מוסבר איך Google Kubernetes Engine‏ (GKE) משנה באופן אוטומטי את הגודל של מאגרי הצמתים באשכול Standard, בהתאם לדרישות של עומסי העבודה. כשהביקוש גבוה, המידרוג האוטומטי של האשכול מוסיף צמתים למאגר הצמתים. במאמר התאמה אוטומטית של קנה מידה באשכול מוסבר איך להגדיר את המידרוג האוטומטי באשכול.

הדף הזה מיועד לאדמינים, לאדריכלים ולמפעילים שמתכננים את צורכי הקיבולת והתשתית, ומבצעים אופטימיזציה של ארכיטקטורת המערכות והמשאבים כדי להשיג את עלות הבעלות הכוללת (TCO) הנמוכה ביותר לחברה או ליחידה העסקית שלהם. במאמר תפקידים ומשימות נפוצים של משתמשי GKE מפורטים תפקידים נפוצים ומשימות לדוגמה שמוזכרים בתוכן של Google Cloud .

באשכולות Autopilot לא צריך לדאוג להקצאת צמתים או לניהול מאגרי צמתים, כי מאגרי הצמתים מוקצים באופן אוטומטי באמצעות הקצאת צמתים אוטומטית, ומשתנים באופן אוטומטי בהתאם לדרישות של עומסי העבודה.

לפני שאתם קוראים את הדף הזה, ודאו שאתם מכירים את המושגים הבסיסיים של Kubernetes, ואיך פועלות בקשות למשאבים ומגבלות.

שיטות מומלצות:

תכננו ועצבו את הגדרות האשכול עם האדמינים והאדריכלים של הארגון, המפתחים או צוות אחר שאחראי על ההטמעה והתחזוקה של האפליקציה.

למה כדאי להשתמש במידרוג אוטומטי של אשכולות

ההתאמה האוטומטית לעומס באשכול של GKE משנה באופן אוטומטי את מספר הצמתים במאגר צמתים נתון, בהתאם לדרישות של עומסי העבודה. כשהביקוש נמוך, מידרוג אוטומטי מקטין את האשכול לגודל המינימלי שאתם מגדירים. כך אפשר להגדיל את הזמינות של עומסי העבודה כשצריך, וגם לשלוט בעלויות. אתם לא צריכים להוסיף או להסיר צמתים באופן ידני, או להקצות יותר מדי משאבים למאגרי הצמתים. במקום זאת, אתם מציינים את הגודל המינימלי והמקסימלי של מאגר הצמתים, והשאר מתבצע באופן אוטומטי.

אם משאבים נמחקים או מועברים במהלך התאמה אוטומטית לעומס של האשכול, יכול להיות שיהיו שיבושים זמניים בעומסי העבודה. לדוגמה, אם עומס העבודה שלכם מורכב מבקר עם רפליקה אחת, יכול להיות שה-Pod של הרפליקה הזו יתוזמן מחדש לצומת אחר אם הצומת הנוכחי שלו יימחק. לפני שמפעילים את המידרוג האוטומטי של אשכולות, צריך לתכנן את עומסי העבודה כך שיוכלו להתמודד עם שיבושים פוטנציאליים, או לוודא שאין הפרעות ל-Pods קריטיים.

שיטות מומלצות:

כדי להגדיל את הסבילות של עומס העבודה להפרעות, פורסים את עומס העבודה באמצעות בקר עם כמה רפליקות, כמו Deployment.

כדי לשפר את הביצועים של הכלי להתאמה אוטומטית של קנה המידה של אשכולות, אפשר להשתמש בסטרימינג של קובצי אימג'. התכונה הזו מאפשרת להעביר בסטרימינג מרחוק את נתוני קובצי האימג' הנדרשים מקובצי אימג' של קונטיינרים שעומדים בדרישות, ובמקביל לשמור את קובץ האימג' במטמון באופן מקומי כדי לאפשר לעומסי העבודה בצמתים חדשים להתחיל מהר יותר.

איך פועל המידרוג האוטומטי של האשכול

המידרוג האוטומטי של האשכול פועל לכל מאגר צמתים. כשמגדירים מאגר צמתים עם התאמה אוטומטית לעומס באשכול, מציינים את הגודל המינימלי והמקסימלי של מאגר הצמתים.

המידרוג האוטומטי של האשכול מגדיל או מקטין את מאגר הצמתים באופן אוטומטי על ידי הוספה או הסרה של מכונות וירטואליות (VM) בקבוצת מופעי המכונה המנוהלים (MIG) של Compute Engine, שעליה מבוסס מאגר הצמתים. המידרוג האוטומטי של האשכול מקבל את ההחלטות האלה לגבי התאמה לעומס על סמך הקצאות המשאבים (ולא על סמך ניצול המשאבים בפועל) של Pods שפועלים בצמתים של מאגר הצמתים הזה. הוא בודק מדי פעם את הסטטוס של Pods וצמתים, ומבצע פעולות:

  • אם אי אפשר לתזמן Pods באף אחד מהצמתים הקיימים, המידרוג האוטומטי של האשכול מוסיף צמתים עד לגודל המקסימלי של מאגר הצמתים. למידע נוסף על המקרים שבהם המידרוג האוטומטי של האשכול משנה את גודל האשכול, ראו מתי המידרוג האוטומטי של האשכול משנה את גודל האשכול?
  • אם GKE מחליט להוסיף צמתים חדשים למאגר הצמתים, הכלי להתאמה אוטומטית של אשכולות מוסיף כמה צמתים שצריך, עד למגבלות של מאגר הצמתים או של האשכול.
  • המידרוג האוטומטי של האשכול לא ממתין עד שצומת אחד יעלה לפני שהוא יוצר את הצומת הבא. אחרי ש-GKE מחליט כמה צמתים ליצור, יצירת הצמתים מתבצעת במקביל. המטרה היא לצמצם את הזמן שנדרש לפודים מסוג Unschedulable להפוך ל-Active.
  • אם חלק מהצמתים לא נוצרים בגלל מיצוי המכסה, המידרוג האוטומטי של האשכול ממתין עד שאפשר יהיה לתזמן את המשאבים.
  • אם הצמתים לא מנוצלים מספיק, ואפשר לתזמן את כל ה-Pods גם עם פחות צמתים במאגר הצמתים, הכלי למידרוג אוטומטי של אשכולות מסיר צמתים עד לגודל המינימלי של מאגר הצמתים.
  • אם יש Pods בצומת שלא יכולים לעבור לצמתים אחרים באשכול, המידרוג האוטומטי של האשכול לא ינסה לצמצם את הצומת הזה.
  • אם אפשר להעביר Pods לצמתים אחרים, אבל אי אפשר לרוקן את הצומת בצורה חלקה אחרי תקופת זמן קצובה, הצומת יופסק באופן כפוי. תקופת הזמן הקצוב לתפוגה היא שעה אחת בגרסאות GKE‏ 1.32.7-gke.1079000 ואילך, ו-10 דקות בגרסאות GKE מוקדמות יותר. אי אפשר להגדיר את תקופת החסד המקסימלית באשכולות GKE. למידע נוסף על אופן הפעולה של צמצום אנכי בהתאם לעומס, קראו את השאלה How does scale-down work?‎ בשאלות הנפוצות על מידרוג אוטומטי של אשכולות במסמכי התיעוד של קוד פתוח.

התדירות שבה המידרוג האוטומטי של האשכול בודק אם יש באשכול פודים שלא ניתן לתזמן תלויה בעיקר בגודל האשכול. באשכולות קטנים, הבדיקה יכולה להתבצע כל כמה שניות. אי אפשר להגדיר לוח זמנים מדויק שנדרש לבדיקה הזו.

אם חסרים משאבים בצמתים כי הפודים ביקשו משאבים לא מספיקים או שהוגדרו להם משאבים לא מספיקים כברירת מחדל, המצב לא יתוקן על ידי המידרוג האוטומטי של האשכול. כדי לוודא שהמידרוג האוטומטי של האשכול יפעל בצורה הכי מדויקת שאפשר, כדאי לשלוח הקצאות משאבים מפורשות לכל עומסי העבודה.

אל תפעילו את ההתאמה האוטומטית לעומס של Compute Engine לקבוצות של מכונות מנוהלות בצומתי האשכול. המידרוג האוטומטי של אשכולות ב-GKE נפרד מההתאמה האוטומטית לעומס ב-Compute Engine. זה יכול לגרום לכך שמאגרי הצמתים לא יוגדלו או יצומצמו בהתאם לעומס, כי המנגנון להתאמה אוטומטית לעומס של Compute Engine יתנגש עם המנגנון להתאמה אוטומטית לעומס של אשכולות ב-GKE.

קריטריונים תפעוליים

כשמשנים את הגודל של מאגר צמתים, הכלי Cluster Autoscaler מניח את ההנחות הבאות:

  • אפשר להפעיל מחדש את כל הפודים המשוכפלים בצומת אחר, מה שעלול לגרום לשיבוש קצר.
  • המשתמשים או האדמינים לא מנהלים את הצמתים באופן ידני. הכלי Cluster autoscaler יכול לשנות כל פעולה ידנית לניהול צמתים.
  • לכל הצמתים במאגר צמתים יחיד יש את אותה קבוצת תוויות.
  • המידרוג האוטומטי של האשכול מתחשב בעלות היחסית של סוגי המכונות במאגרים השונים, ומנסה להרחיב את מאגר הצמתים הזול ביותר. עם זאת, התנאים הבאים חלים על ההתנהגות הזו של הכלי להתאמה אוטומטית של קנה המידה של אשכולות:
    • הכלי Cluster Autoscaler מביא בחשבון את העלות המופחתת של מאגרי צמתים שמכילים VM במודל Spot, שהן ניתנות להפסקה לפני הזמן. עם זאת, מידרוג אוטומטי של אשכולות גם מביא בחשבון את זמינות המשאבים בכל תחום, ויכול להיות שהוא יבחר במשאב היקר יותר, אבל הזמין.
    • כשכמה מאגרי צמתים משתמשים ב-VM במודל Spot, הכלי להתאמה אוטומטית של קנה המידה של האשכול לא בוחר באופן אוטומטי באפשרות הזולה ביותר. כדי להשתמש בצורה אופטימלית וחסכונית במכונות VM במודל Spot ולמנוע את התרחיש הזה, מומלץ להשתמש בסוגי מחשוב בהתאמה אישית.
  • המידרוג האוטומטי של האשכול בודק את הבקשות של קונטיינר ה-init לפני תזמון ה-Pods. בקשות של קונטיינר init יכולות להשתמש בכל המשאבים הזמינים בצמתים שלא הוקצו, מה שעלול למנוע את תזמון הפודים. המידרוג האוטומטי של האשכול פועל לפי אותם כללים לחישוב בקשות שבהם משתמש Kubernetes. למידע נוסף, קראו את המסמכים של Kubernetes בנושא שימוש בקונטיינרים של init.
  • תוויות שנוספות באופן ידני אחרי היצירה הראשונית של האשכול או מאגר הצמתים לא נכללות במעקב. צמתים שנוצרים על ידי הכלי להתאמה אוטומטית של קנה המידה של האשכול מקבלים תוויות שצוינו באמצעות --node-labels בזמן היצירה של מאגר הצמתים.
  • בגרסה 1.21 של GKE או בגרסאות קודמות, המידרוג האוטומטי של האשכול מתייחס למידע על הטיינט של הצמתים הקיימים ממאגר צמתים כמייצג את כל מאגר הצמתים. החל מגרסה 1.22 של GKE, הכלי למידרוג אוטומטי משלב מידע מצמתים קיימים באשכול ובמאגר הצמתים. הכלי Cluster autoscaler גם מזהה את השינויים הידניים שאתם מבצעים בצומת ובמאגר הצמתים.
שיטה מומלצת:

אם האפליקציות שלכם לא עמידות בפני שיבושים, אל תפעילו את המידרוג האוטומטי של האשכול.

איזון בין אזורים

אם מאגר הצמתים מכיל כמה קבוצות מופעי מכונה מנוהלים עם אותו סוג מכונה, המידרוג האוטומטי של האשכול מנסה לשמור על איזון בין הגדלים של קבוצות מופעי המכונה המנוהלים בזמן הגדלת קנה המידה. כך אפשר למנוע חלוקה לא שווה של צמתים בין קבוצות מופעי מכונה מנוהלים באזורים שונים של מאגר צמתים. ‫GKE לא מתחשב במדיניות ההתאמה האוטומטית לעומס כשמצמצמים את המשאבים.

המידרוג האוטומטי של האשכול מאזן בין אזורים רק במהלך אירוע של הגדלת משאבים. המידרוג האוטומטי של האשכול מצמצם צמתים שלא מנוצלים מספיק, בלי קשר לגדלים היחסיים של קבוצות מופעי המכונה המנוהלים שבבסיס מאגר הצמתים. כתוצאה מכך, הצמתים עלולים להתפזר באופן לא אחיד בין התחומים.

המדיניות בנושא מיקום

החל מגרסה 1.24.1-gke.800 של GKE, אפשר לשנות את מדיניות המיקום של מידרוג אוטומטי של אשכולות. ניתן לשלוט במדיניות ההפצה של המידרוג האוטומטי של האשכול על ידי ציון הדגל location_policy עם אחד מהערכים הבאים:

  • ‫BALANCED: המדיניות הזו מורה למנגנון המידרוג האוטומטי של האשכול לפזר את המשאבים של מאגר הצמתים בין האזורים שנבחרו באופן שווה ככל האפשר, תוך התחשבות בדרישות של Pod (כמו זיקה) ובזמינות המשאבים. המדיניות הזו היא מדיניות ברירת המחדל למיקום של מאגרי צמתים שמשתמשים במקומות שמורים או בצמתים על פי דרישה, אבל אפשר להשתמש בה גם ל-VM במודל Spot. אי אפשר להשתמש ב-BALANCED במאגרי צמתים במצב הקצאה "התחלה גמישה".
  • ‫ANY: המדיניות הזו מורה למנגנון להתאמה לעומס (autoscaler) של האשכול לחפש את הקיבולת המבוקשת בכל האזורים שצוינו. המידרוג האוטומטי של אשכולות נותן עדיפות למקומות שמורים שלא בשימוש ולאזורים עם מספיק קיבולת, מה שיכול להוביל לריכוז של משאבים במאגר הצמתים. זו מדיניות ברירת המחדל למיקום במצב הקצאה "התחלה גמישה" ובמאגרי צמתים שמשתמשים ב-VM במודל Spot, אבל אפשר להשתמש בה גם במאגרי צמתים שמשתמשים במקומות שמורים או בצמתים על פי דרישה. כדי שהמדיניות הזו תפעל, צריך להפעיל את ההתאמה האוטומטית לעומס ולהגדיר את המספר הראשוני של הצמתים ל-0, כך שהמידרוג האוטומטי יהיה אחראי להקצאת כל הצמתים.
שיטה מומלצת:

השתמשו במדיניות BALANCED אם עומסי העבודה שלכם משתמשים רק במשאבי מאיצים זמינים, ומופצים בין אזורים (לדוגמה, כדי לשפר את העמידות בפני תקלות). כדאי להשתמש במדיניות ANY כדי לתעדף את השימוש במקומות שמורים שלא נוצלו, ולהגביר את הגמישות, היעילות והזמינות של קיבולת המחשוב של משאבי מחשוב נדירים (כמו מאיצים).

הזמנות

החל מגרסה 1.27 של GKE, המידרוג האוטומטי של אשכולות תמיד מתחשב במקומות שמורים כשהוא מקבל החלטות לגבי הגדלת קנה המידה. מאגרי הצמתים עם הזמנות תואמות שלא נוצלו מקבלים עדיפות כשבוחרים את מאגר הצמתים להגדלה, גם אם מאגר הצמתים הוא לא היעיל ביותר. בנוסף, כשמאזנים את ההרחבה בכמה אזורים, המערכת תמיד נותנת עדיפות למקומות שמורים שלא נוצלו.

עם זאת, המידרוג האוטומטי של האשכול בודק את ההזמנות רק בפרויקט שלו. כתוצאה מכך, אם יש אפשרות לצומת זול יותר בפרויקט של האשכול, יכול להיות שהמידרוג האוטומטי יבחר באפשרות הזו במקום במקום השמור המשותף. אם אתם צריכים לשתף מקומות שמורים בין פרויקטים, כדאי להשתמש במחלקות מחשוב בהתאמה אישית, שמאפשרות להגדיר את העדיפות שבה המידרוג האוטומטי של האשכול משתמש כדי לשנות את קנה המידה של הצמתים, כולל מקומות שמורים משותפים.

ערכי ברירת מחדל

במאגרי צמתים של VM במודל Spot, מדיניות ברירת המחדל של חלוקת המשאבים של המידרוג האוטומטי של אשכולות היא ANY. במדיניות הזו, הסיכון שהמכונות הווירטואליות במודל Spot יופקעו נמוך יותר.

במאגרי צמתים שלא ניתנים להפסקה לפני הזמן, מדיניות ברירת המחדל להפצה של הכלי להתאמה אוטומטית של גודל האשכול היא BALANCED.

גודל מינימלי ומקסימלי של מאגר צמתים

כשיוצרים מאגר צמתים חדש, אפשר לציין את הגודל המינימלי והמקסימלי של כל מאגר צמתים באשכול, וההתאמה האוטומטית לעומס של האשכול מקבלת החלטות לגבי שינוי קנה המידה במסגרת מגבלות ההתאמה לעומס האלה. כדי לעדכן את הגודל המינימלי, צריך לשנות ידנית את גודל האשכול לגודל שנמצא בטווח האילוצים החדשים, אחרי שמציינים את הערך המינימלי החדש. לאחר מכן, המידרוג האוטומטי של האשכולות מקבל החלטות לגבי שינוי קנה המידה על סמך האילוצים החדשים.

הגודל הנוכחי של מאגר הצמתים פעולת המידרוג האוטומטי של האשכול מגבלות על שינוי קנה מידה
נמוך מהמינימום שציינתם המידרוג האוטומטי של האשכול מגדיל את האשכול כדי להקצות פודים בהמתנה. האפשרות לצמצם אנכית בהתאם לעומס (scale down) מושבתת. מאגר הצמתים לא יצומצם אנכית בהתאם לעומס (scale down) מתחת לערך שציינתם.
בטווח הגודל המינימלי והמקסימלי שציינתם התאמה לעומס (autoscaling) באשכול מגדילה או מקטינה את המשאבים בהתאם לביקוש. מאגר הצמתים נשאר בגבולות הגודל שציינתם.
גבוה מהמקסימום שציינתם הכלי Cluster Autoscaler מצמצם אנכית בהתאם לעומס רק את הצמתים שאפשר להסיר בבטחה. הגדלת קנה המידה מושבתת. מאגר הצמתים לא יגדל מעבר לערך שציינתם.

כברירת מחדל, המידרוג האוטומטי של האשכול לא מצמצם אוטומטית את אשכולות Standard לאפס צמתים. ב-GKE מגרסה 1.37.1-gke.3020000 ואילך, אתם יכולים להגדיר את הכלי להתאמה אוטומטית לעומס של אשכולות כך שיקטין את האשכול הרגיל לאפס צמתים, אם לא פועלים באשכול עומסי עבודה בניהול המשתמשים במשך תקופת השהיה מסוימת. למידע נוסף, קראו את המאמר התאמה לעומס של אשכול לאפס צמתים כשהוא במצב חוסר פעילות. כשפורסים עומס עבודה באשכול שאין בו צמתים, המידרוג האוטומטי של האשכול והיצירה האוטומטית של מאגר הצמתים מגדילים את האשכול כדי להריץ את עומס העבודה.

מידע נוסף על ההחלטות של המידרוג האוטומטי זמין במאמר המגבלות של המידרוג האוטומטי של אשכולות.

איך GKE מטפל במגבלות על גודל הגבולות

אם שינויים חיצוניים או עדכוני הגדרות גורמים לגודל של מאגר הצמתים לחרוג מהגבולות המינימליים והמקסימליים, המידרוג האוטומטי של האשכולות לא מאלץ באופן יזום את מאגר הצמתים להישאר בתוך הגבולות האלה. במקום זאת, הוא מסתמך על בדיקות שמונעות על ידי ביקוש ובטיחות כדי להתאים את הגודל לאורך זמן.

בטבלה הבאה מוסבר איך GKE מטפל בתנאי הגבול האלה:

תנאי גבול מה שהמידרוג האוטומטי לא עושה מה עושה המידרוג האוטומטי תרחיש נפוץ להפעלת טריגר
הגודל הנוכחי קטן מהמינימום (למשל, הגודל הנוכחי הוא 1 והמינימום הוא 3) התקציב לא גדל באופן אוטומטי כדי להגיע למינימום. הגדלת קנה המידה מתבצעת רק כשפודים שלא ניתן לתזמן (בהמתנה) דורשים משאבים. הפעלת התאמה אוטומטית של קנה המידה כשהערך של השדה --min-nodes מוגדר כגבוה יותר מהגודל הנוכחי של מאגר הצמתים.
הגודל הנוכחי גדול מהגודל המקסימלי (לדוגמה, הגודל הנוכחי = 10, הגודל המקסימלי = 5) לא מסיימת באופן מיידי את פעולת הצמתים כדי לעמוד במגבלה המקסימלית. הצמצום האנכי בהתאם לעומס (scale down) מתבצע רק כשלא מנצלים את הצמתים ואפשר לרוקן אותם בבטחה. הפעלת התאמה אוטומטית לעומס (automatic scaling) כשהערך של השדה --max-nodes מוגדר כנמוך יותר מהגודל הנוכחי של מאגר הצמתים.

אם אתם צריכים לאלץ באופן מיידי מאגר צמתים להתאים לגבולות המינימום או המקסימום החדשים, אתם צריכים לשנות ידנית את הגודל של מאגר הצמתים לערך שנמצא בטווח האילוצים החדשים.

מגבלות על התאמה אוטומטית לעומס (Autoscaling)

אתם יכולים להגדיר את המספר המינימלי והמקסימלי של צמתים שבהם הכלי להתאמה אוטומטית של אשכולות לעומס ישתמש כשמתאימים את מאגר הצמתים לעומס. משתמשים בדגלים --min-nodes ו---max-nodes כדי להגדיר את המספר המינימלי והמקסימלי של צמתים בכל אזור.

החל מגרסה 1.24 של GKE, אפשר להשתמש בדגלים --total-min-nodes ו---total-max-nodes לאשכולות חדשים. הדגלים האלה מגדירים את המספר המינימלי והמקסימלי של הצמתים במאגר הצמתים בכל האזורים.

בנוסף, אתם יכולים להגדיר מגבלות למספר המקסימלי של מעבדים, זיכרון או צמתים למשאבים שתואמים לבורר תוויות, באמצעות המשאב המותאם אישית CapacityQuota. מידע נוסף זמין במאמר הגדרת מגבלות מפורטות על משאבים.

דוגמה למספר מינימלי ומקסימלי של צמתים

הפקודה הבאה יוצרת אשכול בכמה אזורים עם התאמה אוטומטית לעומס, שכולל בהתחלה שישה צמתים בשלושה אזורים, עם צומת אחד לפחות בכל אזור ועד ארבעה צמתים בכל אזור:

gcloud container clusters create example-cluster \
    --num-nodes=2 \
    --location=us-central1-a \
    --node-locations=us-central1-a,us-central1-b,us-central1-f \
    --enable-autoscaling --min-nodes=1 --max-nodes=4

בדוגמה הזו, הגודל הכולל של האשכול יכול להיות בין שלושה ל-12 צמתים, שפרוסים על פני שלושת האזורים. אם אחד מהאזורים נכשל, הגודל הכולל של האשכול יכול להיות בין שניים לשמונה צמתים.

דוגמה לסך כל הצמתים

הפקודה הבאה, שזמינה ב-GKE בגרסה 1.24 ואילך, יוצרת אשכול מרובה-אזורים עם התאמה אוטומטית לעומס, שכולל בהתחלה שישה צמתים בשלושה אזורים, עם מינימום של שלושה צמתים ומקסימום של 12 צמתים במאגר הצמתים בכל האזורים:

gcloud container clusters create example-cluster \
    --num-nodes=2 \
    --location=us-central1-a \
    --node-locations=us-central1-a,us-central1-b,us-central1-f \
    --enable-autoscaling --total-min-nodes=3 --total-max-nodes=12

בדוגמה הזו, הגודל הכולל של האשכול יכול להיות בין שלושה ל-12 צמתים, בלי קשר לפיזור בין האזורים.

פרופילים של התאמה אוטומטית לעומס (Autoscaling)

ההחלטה מתי להסיר צומת היא פשרה בין אופטימיזציה של ניצול המשאבים לבין הזמינות שלהם. הסרת צמתים שלא מנוצלים מספיק משפרת את ניצול האשכול, אבל יכול להיות שעומסי עבודה חדשים יצטרכו להמתין להקצאת משאבים מחדש לפני שיוכלו לפעול.

אתם יכולים לציין באיזה פרופיל התאמה אוטומטית לעומס להשתמש כשמקבלים החלטות כאלה. הפרופילים הזמינים הם:

  • ‫balanced: פרופיל ברירת המחדל שמתעדף שמירה של יותר משאבים זמינים לפודים נכנסים, וכך מקצר את הזמן שנדרש כדי להפעיל אותם באשכולות רגילים. הפרופיל balanced לא זמין לאשכולות Autopilot.
  • ‫optimize-utilization: נותן עדיפות לאופטימיזציה של הניצול על פני שמירת משאבים פנויים באשכול. כשמפעילים את הפרופיל הזה, המידרוג האוטומטי של האשכול מצמצם את האשכול בצורה אגרסיבית יותר. ‫GKE יכול להסיר יותר צמתים, ולהסיר צמתים מהר יותר. ב-GKE, המערכת מעדיפה לתזמן Pods בצמתים שכבר יש בהם הקצאה גבוהה של מעבד (CPU), זיכרון או מעבדי GPU. עם זאת, יש גורמים אחרים שמשפיעים על התזמון, כמו פריסת Pods ששייכים לאותו Deployment, ‏ StatefulSet או Service, בין צמתים.

פרופיל ההתאמה האוטומטית לעומס (optimize-utilization) עוזר למנגנון המידרוג האוטומטי של האשכול לזהות ולהסיר צמתים שלא מנוצלים מספיק. כדי לבצע את האופטימיזציה הזו, GKE מגדיר את שם המתזמן במפרט ה-Pod ל-gke.io/optimize-utilization-scheduler. פודים שמציינים מתזמן בהתאמה אישית לא מושפעים.

הפקודה הבאה מפעילה את פרופיל ההתאמה לעומס (autoscaling) של optimize-utilization באשכול קיים:

gcloud container clusters update CLUSTER_NAME \
    --autoscaling-profile optimize-utilization

שיקולים לגבי תזמון ושיבוש של Pod

כשמצמצמים אנכית, מידרוג אוטומטי של האשכול פועל בהתאם לכללי התזמון והפינוי שמוגדרים ב-Pods. ההגבלות האלה יכולות למנוע ממידרוג אוטומטי למחוק צומת. יכול להיות שהמחיקה של צומת תימנע אם הוא מכיל Pod עם אחד מהתנאים הבאים:

  • כללי הקרבה או אי-הקרבה של ה-Pod מונעים את התזמון מחדש.
  • ה-Pod לא מנוהל על ידי בקר כמו Deployment, ‏ StatefulSet, ‏ Job או ReplicaSet.
  • ל-Pod יש אחסון מקומי וגרסת מישור הבקרה של GKE נמוכה מ-1.22. באשכולות GKE עם מישור בקרה בגרסה 1.22 ואילך, פודים עם אחסון מקומי לא חוסמים יותר את האפשרות לצמצם אנכית בהתאם לעומס (scale down).
  • ל-Pod יש את ההערה "cluster-autoscaler.kubernetes.io/safe-to-evict": "false".
  • מחיקת הצומת תחרוג מהערך שהוגדר ל-PodDisruptionBudget.

למידע נוסף על מידרוג אוטומטי של אשכולות ועל מניעת שיבושים, ראו את השאלות הבאות בשאלות הנפוצות בנושא מידרוג אוטומטי של אשכולות:

סדר פינוי הפודים במהלך צמצום אנכי בהתאם לעומס (scale down)

במהלך פעולת צמצום אנכי בהתאם לעומס (scale down) של צומת, המידרוג האוטומטי של האשכול מקבץ פודים לשתי רמות עדיפות על סמך הערך של PriorityClass. ‫GKE מפנה פודים בכל שכבה במקביל, בסדר הבא:

  1. רמה בעדיפות נמוכה יותר (ערך נמוך מ-1000000000): ה-cluster autoscaler מפנה קודם את הפודים האלה וממתין עד שעה להשלמת הפינוי.
  2. רמה בעדיפות גבוהה יותר (ערך גדול מ-1000000000 או שווה לו): המידרוג האוטומטי של האשכול מפנה את הפודים האלה רק אחרי שכל הפודים בעדיפות נמוכה יותר מסתיימים, וממתין עד 10 דקות לסיום הפינוי. ב-GKE, הערך 1000000000 הוא הערך הגבוה ביותר שאפשר להקצות ל-PriorityClass בהתאמה אישית. ערכים שגדולים מ-1000000000 שמורים למחלקות עדיפות מובנות של המערכת.

הפינויים בכל שכבה מתבצעים במקביל, ולכן אי אפשר לשנות את סדר הפינוי של Pods באותה שכבה. אם יש לכם עומסי עבודה קריטיים שחייבים לפעול עד שכל שאר ה-Pods של האפליקציה יסתיימו, כמו שרתי proxy של המערכת או DaemonSets בהתאמה אישית, הקצו עדיפות value של 1000000000 בדיוק ל-PriorityClass שלהם.

עיכוב מחיקת צומת באמצעות הערות צומת

כברירת מחדל, במהלך צמצום אנכי בהתאם לעומס, הכלי להגדרה אוטומטית של קנה המידה של האשכול מפנה Pods מצומת ואז מוחק את הצומת. יכול להיות שתצטרכו לעכב את המחיקה כדי להשלים ניקוי נוסף, זמן להשלמת תהליך (connection draining) או סנכרון מצב.

כדי להשהות באופן זמני את מחיקת הצומת, מוסיפים לצומת הערה אחת או יותר עם הקידומת delay-deletion.cluster-autoscaler.kubernetes.io/. כשהכלי לשינוי קנה מידה אוטומטי של אשכולות מטרגט צומת לצמצום אנכי בהתאם לעומס, הוא מסמן את הצומת ומתחיל את תהליך הניקוז. אם המידרוג האוטומטי של האשכול מזהה אנוטציה עם הקידומת delay-deletion.cluster-autoscaler.kubernetes.io/ בצומת, הוא משהה את שלב המחיקה הסופי של ה-VM. המחיקה תישאר מושהית עד שתסירו מהצומת את כל ההערות עם הקידומת הזו.

לגישה הזו יש את הדרישות והמגבלות הבאות:

  • מפתח: מפתח ההערה חייב להתחיל בקידומת delay-deletion.cluster-autoscaler.kubernetes.io/. אפשר להוסיף כל מחרוזת כדי להגדיר מפתח ייחודי ותיאורי, לדוגמה, delay-deletion.cluster-autoscaler.kubernetes.io/ingress.
  • ערך: המידרוג האוטומטי של האשכול לא מעריך את ערך ההערה. עם זאת, הערך בדרך כלל מייצג את הגורם הספציפי (כמו בקר) שהחיל את ההערה. הגישה הזו פועלת באופן דומה ל-finalizers של Kubernetes, שבהם כמה גורמים עצמאיים יכולים להוסיף הערות, וה-cluster autoscaler ממתין עד שכולן יוסרו.
  • זמן קצוב לתפוגה: כדי למנוע חסימות של התאמה לעומס ללא הגבלת זמן, הכלי להתאמה אוטומטית של אשכולות לעומס משהה את מחיקת הצמתים לזמן קצוב לתפוגה של 2 דקות (120 שניות) לכל היותר. אי אפשר להגדיר את הזמן הקצוב לתפוגה.

התאמה אוטומטית לעומס (automatic scaling) של יחידות TPU ב-GKE

ב-GKE יש תמיכה ביחידות Tensor Processing Unit‏ (TPU) כדי להאיץ עומסי עבודה של למידת מכונה. גם מאגר צמתים של פרוסת TPU במארח יחיד וגם מאגר צמתים של פרוסת TPU במארחים מרובים תומכים בהתאמה לעומס (autoscaling) ובהקצאת משאבים אוטומטית.

כשמגדירים את הדגל --enable-autoprovisioning באשכול GKE, המערכת יוצרת או מוחקת מאגרי צמתים של פרוסות TPU עם מארח יחיד או עם כמה מארחים, עם גרסה וטופולוגיה של TPU שעומדות בדרישות של עומסי העבודה בהמתנה.

כשמשתמשים ב---enable-autoscaling, ‏GKE משנה את הגודל של מאגר הצמתים בהתאם לסוג שלו, באופן הבא:

  • מאגר צמתים של פרוסת TPU עם מארח יחיד: GKE מוסיף או מסיר צומתי TPU במאגר הצמתים הקיים. מאגר הצמתים יכול להכיל כל מספר של צומתי TPU בין אפס לגודל המקסימלי של מאגר הצמתים, כפי שנקבע על ידי הדגלים --max-nodes ו---total-max-nodes. כשמאגר הצמתים משתנה, לכל צומתי ה-TPU במאגר הצמתים יש את אותו סוג מכונה ואותה טופולוגיה. במאמר יצירת מאגר צמתים מוסבר איך יוצרים מאגר צמתים של פרוסות TPU במארח יחיד.

  • מאגר צמתים של פרוסות TPU עם כמה מארחים: GKE מגדיל באופן אטומי את מאגר הצמתים מאפס למספר הצמתים שנדרש כדי לעמוד בטופולוגיית ה-TPU. לדוגמה, במאגר של צומתי TPU עם סוג המכונה ct5lp-hightpu-4t וטופולוגיה של 16x16, המאגר מכיל 64 צמתים. המידרוג האוטומטי של GKE עוזר לוודא שבמאגר הצמתים הזה יש בדיוק 0 או 64 צמתים. כשמצמצמים את קנה המידה, GKE מפנה את כל ה-Pods המתוזמנים ומרוקן את כל מאגר הצמתים לאפס. במאמר יצירת מאגר צמתים מוסבר איך יוצרים מאגר צמתים של פרוסות TPU עם כמה מארחים.

מכונות VM במודל Spot והתאמה לעומס (autoscaling) באשכול

מכיוון שהמידרוג האוטומטי של אשכולות מעדיף להרחיב את מאגרי הצמתים הכי פחות יקרים, כשהעומסים על המערכת וזמינות המשאבים מאפשרים זאת, המידרוג האוטומטי של אשכולות מוסיף VM במודל Spot בזמן ההרחבה.

עם זאת, למרות שהמידרוג האוטומטי של האשכול מעדיף להוסיף VM במודל Spot, ההעדפה הזו לא מבטיחה שרוב ה-Pods יפעלו במכונות וירטואליות מהסוגים האלה. אפשר להפסיק את הפעולה של מכונות וירטואליות במודל Spot. בגלל ההפסקה הזמנית הזו, יש סיכוי גבוה יותר ש-Pods ב-VM במודל Spot יפונו. כשהם מפונים, יש להם רק 15 שניות לסיום.

לדוגמה, נניח שיש לכם 10 Pods ושילוב של מכונות וירטואליות על פי דרישה ומכונות וירטואליות במודל Spot:

  • אתם מתחילים עם 10 Pods שפועלים במכונות וירטואליות על פי דרישה, כי ה-VM במודל Spot לא היו זמינות.
  • אין צורך בכל 10 ה-Pods, ולכן הכלי להרחבה אוטומטית של אשכולות מסיר שני Pods ומשבית את המכונות הווירטואליות הנוספות על פי דרישה.
  • כשתצטרכו שוב 10 Pods, מידרוג אוטומטי יוסיף VM במודל Spot (כי הן זולות יותר) ויתזמן בהן שני Pods. שמונת ה-Pods האחרים נשארים במכונות הווירטואליות על פי דרישה.
  • אם צריך לצמצם שוב את המשאבים של המערכת באמצעות הכלי להתאמה לעומס של אשכולות, סביר להניח שהמכונות הווירטואליות במחיר Spot יופקעו קודם, ורוב ה-Pods ימשיכו לפעול במכונות וירטואליות על פי דרישה.

כדי לתת עדיפות למכונות VM במודל Spot ולמנוע את התרחיש הקודם, מומלץ להשתמש במחלקות מחשוב בהתאמה אישית. בעזרת מחלקות מחשוב בהתאמה אישית, אתם יכולים ליצור כללי עדיפות שמעדיפים VM במודל Spot במהלך הרחבה, על ידי מתן עדיפות גבוהה יותר מאשר לצמתים על פי דרישה. כדי להגדיל עוד יותר את הסיכוי שה-Pods יפעלו בצמתים שמגובים על ידי VM במודל Spot, צריך להגדיר העברה פעילה.

בדוגמה הבאה מוסבר איך להשתמש במחלקות מחשוב בהתאמה אישית כדי לתת עדיפות למכונות וירטואליות במודל Spot. מידע נוסף על הפרמטרים של ComputeClass זמין במסמכי התיעוד של ComputeClass CRD:

apiVersion: cloud.google.com/v1
kind: ComputeClass
metadata:
  name: prefer-l4-spot
spec:
  # Defines a prioritized list of machine types and configurations for node provisioning.
  priorities:
  - machineType: g2-standard-24
    # Specifically requests Spot VMs for this configuration. GKE will try to provision these VMs first.
    spot: true
    gpu:
      type: nvidia-l4
      count: 2
  # If GKE can't satisfy the preceding rule, request on-demand nodes with the same configuration
  - machineType: g2-standard-24
    spot: false
    gpu:
      type: nvidia-l4
      count: 2
  nodePoolAutoCreation:
    enabled: true
  # Configures active migration behavior for workloads using this ComputeClass.
  activeMigration:
    optimizeRulePriority: true
    # Enables Cluster Autoscaler to attempt to migrate workloads to Spot VMs
    # if Spot capacity becomes available and the workload is currently
    # running on an on-demand VM (based on the priority rules in this example).

בדוגמה שלמעלה, כלל העדיפות מגדיר העדפה ליצירת צמתים עם סוג המכונה g2-standard-24 ומכונות וירטואליות במודל Spot. אם אין מכונות VM במודל Spot זמינות, GKE משתמש במכונות VM על פי דרישה כאפשרות חלופית. סוג המחשוב הזה גם מפעיל את activeMigration, ומאפשר למידרוג אוטומטי להעביר עומסי עבודה ל-VM במודל Spot כשהקיבולת זמינה.

אם אתם לא יכולים להשתמש במחלקות מחשוב בהתאמה אישית, הוסיפו זמינות, טולרנטיות או טולרנטיות של צומת. לדוגמה, כלל השיוך הבא של צומת מצהיר על העדפה לתזמון Pods בצמתים שמגובים על ידי מכונות וירטואליות במחיר Spot (מערכת GKE מוסיפה באופן אוטומטי את התווית cloud.google.com/gke-spot=true לסוגי הצמתים האלה):

affinity:
  nodeAffinity:
    preferredDuringSchedulingIgnoredDuringExecution:
    - weight: 1
      preference:
        matchExpressions:
        # set to "true". GKE automatically applies this label to Spot VMs.
        - key: cloud.google.com/gke-spot
          operator: Equal
          values:
          - true

בפוסט Running a GKE application on spot nodes with on-demand nodes as fallback בבלוג, תוכלו לקרוא מידע נוסף על שימוש ב-node affinity, ב-taint וב-toleration לתזמון של VM במודל Spot.

ProvisioningRequest CRD

‫ProvisioningRequest הוא משאב בהתאמה אישית עם מרחב שמות, שמאפשר למשתמשים לבקש קיבולת לקבוצה של Pods מהכלי להתאמה לעומס (autoscaler) של האשכול. האפשרות הזו שימושית במיוחד לאפליקציות עם Pods מקושרים שצריך לתזמן יחד כיחידה אחת.

מחלקות הקצאה נתמכות

יש שלוש מחלקות ProvisioningClasses נתמכות:

  • ‫queued-provisioning.gke.io: המחלקה הזו, שספציפית ל-GKE, משתלבת עם מתזמן המשימות לפריסת workload דינמית (DWS). היא מאפשרת להוסיף בקשות לתור ולמלא אותן כשהמשאבים זמינים. האפשרות הזו אידיאלית למשימות באצווה או לעומסי עבודה (workloads) שסובלים עיכובים. במאמר פריסת GPUs לעומסי עבודה של AI ואצווה באמצעות מתזמן משימות לפריסת workload דינמית מוסבר איך להשתמש בהקצאת משאבים בהמתנה ב-GKE. נתמך מגרסת GKE‏ 1.28.3-gke.1098000 באשכולות Standard ומגרסת GKE‏ 1.30.3-gke.1451000 באשכולות Autopilot.

  • ‫check-capacity.autoscaling.x-k8s.io: המחלקה הזו בקוד פתוח מאמתת את הזמינות של המשאבים לפני שהיא מנסה לתזמן Pods. נתמך מגרסה 1.30.2-gke.1468000 של GKE.

  • ‫best-effort-atomic.autoscaling.x-k8s.io: המחלקה הזו בקוד פתוח מנסה להקצות משאבים לכל ה-Pods בבקשה ביחד. אם אי אפשר להקצות מספיק משאבים לכל ה-Pods, לא יוקצו משאבים והבקשה כולה תיכשל. נתמך מגרסה 1.31.27 של GKE.

למידע נוסף על המחלקות CheckCapacity ו-BestEffortAtomicScaleUp, אפשר לעיין במסמכי התיעוד של קוד פתוח.

מגבלות בשימוש ב-ProvisioningRequest

  • המידרוג האוטומטי של אשכולות GKE תומך רק ב-PodTemplate אחד לכל ProvisioningRequest.
  • הכלי לשינוי קנה מידה אוטומטי של אשכולות ב-GKE יכול להגדיל רק מאגר צמתים אחד בכל פעם. אם ה-ProvisioningRequest דורש משאבים מכמה מאגרי צמתים, צריך ליצור ProvisioningRequests נפרדים לכל מאגר צמתים.

שיטות מומלצות לשימוש ב-ProvisioningRequest

  • משתמשים ב-total-max-nodes: במקום להגביל את המספר המקסימלי של הצמתים (--max-nodes), משתמשים ב---total-max-nodes כדי להגביל את סך המשאבים שהאפליקציה צורכת.
  • השתמשו ב-location-policy=ANY: ההגדרה הזו מאפשרת לתזמן את ה-Pods בכל מיקום זמין, מה שיכול לזרז את ההקצאה ולייעל את השימוש במשאבים.
  • (אופציונלי) שילוב עם Kueue: אפשר להשתמש ב-Kueue כדי ליצור ProvisioningRequests באופן אוטומטי ולייעל את תהליך העבודה. מידע נוסף מופיע במאמרי העזרה של Kueue.

תקופות השהיה

פעולת הגדלה יכולה להיכשל בגלל שגיאות ביצירת צמתים, כמו מכסה לא מספיקה או ניצול מלא של כתובות ה-IP. כשהשגיאות האלה מתרחשות, קבוצת המכונות המנוהלות (MIG) הבסיסית מנסה שוב לבצע את הפעולה אחרי השהיה ראשונית של חמש דקות. אם השגיאות נמשכות, תקופת ההמתנה הזו גדלה באופן אקספוננציאלי עד למקסימום של 30 דקות. במהלך הזמן הזה, המידרוג האוטומטי של האשכול עדיין יכול להגדיל מאגרי צמתים אחרים באשכול שלא נתקלים בשגיאות.

מידע נוסף

מידע נוסף על התאמה אוטומטית של קנה מידה של אשכולות זמין במאמר שאלות נפוצות בנושא התאמה אוטומטית של קנה מידה בפרויקט Kubernetes בקוד פתוח.

מעקב אחרי המידרוג האוטומטי של האשכול

כדי להבין את ההתנהגות וההחלטות של המידרוג האוטומטי של אשכולות, GKE מספק כמה כלים לניראות (observability):

  • אירועי חשיפה: הכלי Cluster Autoscaler מפיק אירועים שמפרטים את ההחלטות לגבי הגדלה, הקטנה והחלטות חשובות אחרות. האירועים האלה זמינים כרשומות ביומן ב-Cloud Logging. למידע נוסף, ראו הצגת אירועים של מידרוג אוטומטי באשכול.

  • אירועי Kubernetes: המידרוג האוטומטי של האשכול יוצר אירועי Kubernetes סטנדרטיים ב-Pods (כמו TriggeredScaleUp או NotTriggeredScaleUp) ובצמתים (כמו ScaleDown). המידרוג האוטומטי של האשכול יוצר גם עדכוני סטטוס ב-ConfigMap של cluster-autoscaler-status במרחב השמות kube-system. כדי לראות את האירועים האלה, אפשר להשתמש בפקודה kubectl get events -n kube-system או לבדוק משאבים ספציפיים.

  • המדד Pending Pods: המדד kubernetes.io/autoscaler/cluster_pending_pods_per_ccc זמין ב-GKE בגרסה 1.37 ואילך, ומציג ב-Cloud Monitoring בזמן אמת תצוגה של מספר ה-Pods שהמידרוג האוטומטי של האשכול מעבד. המדד הזה עוזר לכם להעריך את הביקוש ולזהות בעיות. באופן ספציפי יותר, המדד הזה משויך למשאב k8s_entity, ואפשר לפרק אותו לפי ComputeClass, הסיבה לכך שה-Pod בהמתנה מנקודת המבט של המידרוג האוטומטי של האשכולות, וסוג ה-Pod. התווית resource.labels.entity_name מציינת את השם של ComputeClass. מחרוזת ריקה ("") מציינת שאין שיוך ל-ComputeClass ספציפי. למידע נוסף, קראו את המאמר מעקב אחרי סטטוס Pod בהמתנה באמצעות Cloud Monitoring.

  • מדד של כשלים בהקצאת צמתים: המדד kubernetes.io/autoscaler/cluster_node_provisioning_failed_attempts_count_per_ccc זמין ב-GKE בגרסה 1.37 ואילך, ועוקב אחרי ניסיונות כושלים להוסיף צמתים, לפי סיבות ספציפיות. המדד הזה יכול לעזור לכם להבין למה אשכול לא משתנה בהתאם לצורך. מידע נוסף זמין במאמר מעקב אחרי כשלים בהקצאת צמתים.

  • מדד ניסיונות הקצאת הצמתים: זמין ב-GKE בגרסה 1.37 ואילך, המדד kubernetes.io/autoscaler/cluster_node_provisioning_attempts_count_per_ccc מספק ספירה של כל פעם שהמידרוג האוטומטי מתחיל הגדלה. המדד הזה עוזר לוודא שההתאמה האוטומטית לעומס מגיבה לביקוש. מידע נוסף זמין במאמר מעקב אחרי ניסיונות הקצאה של צמתים.

מגבלות

אלו המגבלות של המידרוג האוטומטי של האשכול:

  • הכלי לשינוי קנה מידה של אשכולות לא תומך ב-PersistentVolumes מקומיים.
  • בגרסאות של מישור הבקרה של GKE שקודמות ל-1.24.5-gke.600, כשהפודים מבקשים אחסון זמני, המידרוג האוטומטי של האשכול לא תומך בהגדלת מאגר צמתים עם אפס צמתים שמשתמש בכונני SSD מקומיים כאחסון זמני.
  • מגבלות על גודל האשכול: עד 15,000 צמתים. כשמפעילים אשכולות בגודל כזה, צריך להביא בחשבון מגבלות אחרות של אשכולות ואת השיטות המומלצות שלנו.
  • כשמצמצמים את קנה המידה, הכלי להתאמה לעומס של האשכול מכבד תקופת סיום הדרגתית של שעה אחת, כדי לתזמן מחדש את ה-Pods של הצומת לצומת אחר לפני סיום הצומת באופן כפוי.
  • לפעמים, המידרוג האוטומטי של האשכול לא יכול לצמצם אנכית בהתאם לעומס (scale down) באופן מלא, וצומת נוסף קיים אחרי הצמצום. זה יכול לקרות כשפודים נדרשים של המערכת מתוזמנים לצמתים שונים, כי אין טריגר להעברת אף אחד מהפודים האלה לצומת אחר. יש לי כמה צמתים עם ניצול נמוך, אבל הם לא מצטמצמים אנכית בהתאם לעומס. למה?. כדי לעקוף את המגבלה הזו, אפשר להגדיר תקציב לשיבוש Pod.
  • אין תמיכה בתזמון בהתאמה אישית עם מסננים ששונו.
  • התכונה Cluster Autoscaler מתחשבת בהתנהגות ברירת המחדל של kube-scheduler כשהיא מחליטה להקצות צמתים חדשים לפודים בהמתנה. אין תמיכה בשימוש במתזמנים בהתאמה אישית, והוא עלול לגרום להתנהגות לא צפויה של התאמה לעומס.
  • הצמתים לא יוגדלו אם לפודים יש ערך PriorityClass נמוך מ--10. איך המידרוג האוטומטי של האשכול פועל עם עדיפות Pod ועם הפקעה?
  • ייתכן שלמידרוג אוטומטי של אשכולות אין מספיק כתובות IP פנויות להוספת צמתים או Pods חדשים, וכתוצאה מכך נכשלת ההגדלה של קנה המידה. במקרה כזה, אירועי eventResult יצוינו עם הסיבה scale.up.error.ip.space.exhausted. כדי להוסיף עוד כתובות IP לצמתים, אפשר להרחיב את רשת המשנה הראשית, או להוסיף כתובות IP חדשות ל-Pods באמצעות CIDR לא רציף של כמה Pods. מידע נוסף מופיע במאמר אין מספיק כתובות IP פנויות לפודים.
  • התאמה אוטומטית לעומס של אשכולות ב-GKE שונה מהתאמה אוטומטית לעומס של אשכולות בפרויקט Kubernetes בקוד פתוח. הפרמטרים של המידרוג האוטומטי של אשכולות ב-GKE תלויים בהגדרות של האשכול, ויכולים להשתנות. אם אתם צריכים יותר שליטה על ההתנהגות של ההתאמה האוטומטית לעומס, השביתו את המידרוג האוטומטי של אשכולות ב-GKE והפעילו את המידרוג האוטומטי של אשכולות ב-Kubernetes בקוד פתוח. עם זאת, ל-Kubernetes בקוד פתוח אין תמיכה של Google Cloud .
  • כשמוחקים מאגר צומתי GKE שהוגדר בו התאמה אוטומטית לעומס, הצמתים מקבלים את הדגל NoSchedule וכל ה-Pods בצמתים האלה נמחקים מיד. כדי לצמצם את הירידה הפתאומית במשאבים הזמינים, המידרוג האוטומטי של מאגר הצמתים עשוי להקצות צמתים חדשים באותו מאגר צמתים. הצמתים החדשים שנוצרו הופכים לזמינים לתזמון, וה-Pods שפונו מתוזמנים חזרה אליהם. בסופו של דבר, כל מאגר הצמתים נמחק, כולל הצמתים החדשים שהוקצו וה-Pods שלהם, מה שעלול לגרום להפרעות בשירות. כדי לעקוף את הבעיה ולמנוע מהמידרוג האוטומטי להקצות צמתים חדשים במהלך המחיקה, השביתו את ההתאמה האוטומטית לעומס (automatic scaling) במאגר הצמתים לפני שתתחילו במחיקה.
  • כדי לקבל החלטות לגבי שינוי קנה המידה, Cluster Autoscaler צריך לחזות את כמות המשאבים הזמינים בצמתים חדשים. הפודים של DaemonSet נכללים, מה שמקטין את המשאבים הזמינים. התחזיות לא מדויקות ב-100%, וכמות המשאבים הזמינים יכולה להשתנות בין גרסאות GKE. לכן, לא מומלץ להגדיר את הגודל והמגבלות של עומסי העבודה כך שיתאימו לסוג מסוים של מכונה. במקום זאת, כדאי להשתמש בסוגי מכונות בהתאמה אישית. אם עומס עבודה צריך לטרגט סוג מסוים של מכונה, חשוב לוודא שהגודל שלו משאיר מאגר של משאבים שניתן להקצות בצמתים. במקרה כזה, צריך גם לוודא שכל הפודים הרלוונטיים של DaemonSet יכולים להתאים לצמתים יחד עם הפודים של עומס העבודה.
  • המידרוג האוטומטי של האשכול לא תומך באילוצים מחמירים של פריסת טופולוגיית Pod כשהשדה whenUnsatisfiable מוגדר לערך DoNotSchedule. כדי לרכך את דרישות הפיזור, אפשר להגדיר את השדה whenUnsatisfiable לערך ScheduleAnyway.

בעיות מוכרות

  • בגרסאות של מישור הבקרה של GKE שקודמות ל-1.22, הכלי למידרוג אוטומטי של אשכולות ב-GKE מפסיק להרחיב אנכית את כל מאגרי הצמתים באשכולות ריקים (ללא צמתים). ההתנהגות הזו לא מתרחשת ב-GKE בגרסה 1.22 ואילך.

פתרון בעיות

למידע על פתרון בעיות, ראו את הדפים הבאים:

המאמרים הבאים