כדי להגדיל את הקיבולת של האשכולות ב-Google Distributed Cloud, אתם יכולים לשנות כמה מגבלות שקשורות לאשכולות, כמו מספר הצמתים, הפודים והשירותים. במאמר הזה נסביר איך הממדים האלה פועלים ביחד, ונתאר את הדרישות והשיטות המומלצות שיעזרו לכם להרחיב את הפעילות בלי לשבש את עומסי העבודה.
הסבר על המגבלות
Google Distributed Cloud היא מערכת מורכבת עם משטח שילוב גדול. יש הרבה מאפיינים שמשפיעים על יכולת ההתאמה לעומס (scalability) של האשכול. לדוגמה, מספר הצמתים הוא רק אחד מהמאפיינים הרבים שבהם אפשר לשנות את קנה המידה של Google Distributed Cloud. מאפיינים אחרים כוללים את המספר הכולל של Pods ו-Services. רבים מהממדים האלה, כמו מספר ה-Pod לכל צומת ומספר הצמתים לכל אשכול, קשורים זה לזה. למידע נוסף על המאפיינים שמשפיעים על יכולת ההתאמה לעומס, קראו את המאמר Kubernetes Scalability thresholds בקטע Scalability Special Interest Group (SIG) במאגר של קהילת Kubernetes ב-GitHub.
מגבלות הסקיילביליות מושפעות גם מהחומרה ומהגדרת הצומת שבהם האשכול פועל. המגבלות שמתוארות במסמך הזה נבדקו בסביבה שכנראה שונה מהסביבה שלכם. לכן, יכול להיות שלא תקבלו את אותם מספרים אם הסביבה הבסיסית היא הגורם המגביל.
למידע נוסף על המגבלות שחלות על אשכולות Google Distributed Cloud, קראו את המאמר מכסות ומגבלות.
הכנה להרחבת הפעילות
כשאתם מתכוננים להרחיב את האשכולות של Google Distributed Cloud, כדאי להביא בחשבון את הדרישות והמגבלות שמתוארות בקטעים הבאים.
דרישות המעבד (CPU) והזיכרון של צומת מישור הבקרה
בטבלה הבאה מפורטת הגדרת המעבד (CPU) והזיכרון המומלצת לצומתי מישור הבקרה באשכולות שמריצים עומסי עבודה בסביבת הייצור:
| מספר הצמתים באשכול | מעבדים מומלצים למישור הבקרה | הזיכרון המומלץ למישור הבקרה |
|---|---|---|
| 1-50 | 8 ליבות | 32 GiB |
| 51-100 | 16 ליבות | 64 GiB |
מספר ה-Pods והשירותים
מספר הפודים והשירותים שיכולים להיות באשכולות נשלט על ידי ההגדרות הבאות:
clusterNetwork.pods.cidrBlocksמציין את מספר ה-Pods שמותרים באשכול.nodeConfig.podDensity.maxPodsPerNodeמציין את המספר המקסימלי של Pods שיכולים לפעול בצומת אחד.clusterNetwork.services.cidrBlocksמציין את מספר השירותים שמותרים באשכול.
Pod CIDR ומספר הצמתים המקסימלי
המספר הכולל של כתובות ה-IP ששמורות ל-Pods באשכול הוא אחד מהגורמים שמגבילים את הרחבת האשכול. ההגדרה הזו, בשילוב עם ההגדרה של מספר הפודים המקסימלי לכל צומת, קובעת את מספר הצמתים המקסימלי שיכול להיות באשכול לפני שייגמרו כתובות ה-IP לפודים.
כמה נקודות שכדאי לחשוב עליהן:
המספר הכולל של כתובות ה-IP ששמורות ל-Pods באשכול מצוין באמצעות
clusterNetwork.pods.cidrBlocks, שמקבל טווח של כתובות IP שמצוינות בסימון CIDR. לדוגמה, הערך192.168.0.0/16שמאוכלס מראש מציין טווח של 65,536 כתובות IP מ-192.168.0.0עד192.168.255.255.המספר המקסימלי של Pods שיכולים לפעול בצומת אחד מצוין באמצעות
nodeConfig.podDensity.maxPodsPerNode.בהתאם להגדרה של מספר הפודים המקסימלי לכל צומת, Google Distributed Cloud מקצה לצומת בערך פי שניים כתובות IP. כתובות ה-IP הנוספות עוזרות למנוע שימוש חוזר לא מכוון בכתובות ה-IP של Pods בפרק זמן קצר.
אם מחלקים את המספר הכולל של כתובות ה-IP של Pod במספר כתובות ה-IP של Pod שהוקצו בכל צומת, מקבלים את המספר הכולל של הצמתים שיכולים להיות באשכול.
לדוגמה, אם ה-CIDR של הפוד הוא 192.168.0.0/17, יש לכם בסך הכול 32,768 כתובות IP (2(32-17) = 215 = 32,768). אם מגדירים את המספר המקסימלי של Pods לכל צומת ל-250, Google Distributed Cloud מקצה טווח של כ-500 כתובות IP, ששווה בערך לבלוק CIDR של /23 (2(32-23) = 29 = 512).
לכן, המספר המקסימלי של צמתים במקרה הזה הוא 64 (215 כתובות/אשכול חלקי 29 כתובות/צומת = 2(15-9) צמתים/אשכול = 26 = 64 צמתים/אשכול).
גם clusterNetwork.pods.cidrBlocks וגם nodeConfig.podDensity.maxPodsPerNode הם לא ניתנים לשינוי, לכן חשוב לתכנן בקפידה את הצמיחה העתידית של האשכול כדי להימנע ממצב שבו נגמרת הקיבולת של הצמתים. במאמר מגבלות מפורטים המספרים המקסימליים המומלצים של Pods לכל אשכול, Pods לכל צומת וצמתים לכל אשכול, על סמך בדיקות.
CIDR של השירות
אפשר לעדכן את ה-CIDR של השירות כדי להוסיף עוד שירותים כשמרחיבים את האשכול. עם זאת, אי אפשר להקטין את טווח ה-CIDR של השירות. למידע נוסף, קראו את המאמר הגדלת טווח הרשת של השירות.
משאבים ששמורים לתהליכי רקע של המערכת
כברירת מחדל, Google Distributed Cloud שומר באופן אוטומטי משאבים בצומת בשביל דימונים של המערכת, כמו sshd או udev. משאבי המעבד (CPU) והזיכרון שמורים בצומת לדמונים של המערכת, כדי שלדמונים האלה יהיו המשאבים שהם צריכים. בלי התכונה הזו, יכול להיות ש-Pods יצרכו את רוב המשאבים בצומת, ולא יאפשרו לדמונים של המערכת להשלים את המשימות שלהם.
באופן ספציפי, Google Distributed Cloud שומרת 80 מילי-ליבות של מעבד (80mCPU) ו-280 מגה-בייטים (280MiB) של זיכרון בכל צומת בשביל ה-daemons של המערכת. שימו לב שיחידת המעבד (CPU) mCPU מייצגת אלפית של ליבה, ולכן 80/1000 או 8% מליבה בכל צומת שמורים לתהליכי רקע של המערכת. כמות המשאבים השמורים קטנה ואין לה השפעה משמעותית על הביצועים של Pod. עם זאת, ה-kubelet בצומת יכול לפנות Pods אם השימוש שלהם ב-CPU או בזיכרון חורג מהכמויות שהוקצו להם.
רשתות עם MetalLB
כדאי להגדיל את מספר הדוברים של MetalLB כדי לטפל בהיבטים הבאים:
רוחב פס: רוחב הפס של כל האשכול לשירותי איזון עומסים תלוי במספר הרמקולים וברוחב הפס של כל צומת רמקול. ככל שיש יותר תנועה ברשת, צריך יותר רמקולים.
עמידות בפני תקלות: ככל שיש יותר רמקולים, כך ההשפעה הכוללת של תקלה ברמקול אחד קטנה יותר.
ב-MetalLB נדרשים חיבורים של שכבה 2 בין הצמתים של איזון העומסים. במקרה כזה, יכול להיות שתהיו מוגבלים למספר הצמתים עם קישוריות שכבה 2 שבהם אתם יכולים להציב דוברי MetalLB.
חשוב לתכנן בקפידה כמה דוברי MetalLB אתם רוצים שיהיו באשכול, ולקבוע כמה צומתי שכבה 2 אתם צריכים. מידע נוסף זמין במאמר בעיות מדרגיות ב-MetalLB.
בנוסף, כשמשתמשים במצב איזון עומסים מקובץ, גם הצמתים של מישור הבקרה צריכים להיות באותה רשת של שכבה 2. באיזון עומסים ידני אין את ההגבלה הזו. מידע נוסף זמין במאמר מצב איזון עומסים ידני.
הפעלת הרבה צמתים, Pods ושירותים
הוספת צמתים, Pods ושירותים היא דרך להגדיל את האשכול. בקטעים הבאים מפורטות הגדרות נוספות שכדאי להביא בחשבון כשמגדילים את מספר הצמתים, ה-Pods והשירותים באשכול. בקטע מגבלות מוסבר על המגבלות של המאפיינים האלה ואיך הם קשורים זה לזה.
יצירת אשכול בלי kube-proxy
כדי ליצור אשכול עם ביצועים גבוהים שאפשר להרחיב כך שישתמש במספר גדול של שירותים ונקודות קצה, מומלץ ליצור את האשכול בלי kube-proxy. בלי kube-proxy, האשכול משתמש ב-GKE Dataplane V2 במצב kube-proxy-replacement. במצב הזה נמנעת צריכת המשאבים שנדרשת כדי לתחזק קבוצה גדולה של כללי iptables.
אי אפשר להשבית את השימוש ב-kube-proxy באשכול קיים. צריך להגדיר את התצורה הזו כשיוצרים את האשכול. להוראות ולמידע נוסף, קראו את המאמר יצירת אשכול בלי kube-proxy.
הגדרת CoreDNS
בקטע הזה מתוארים היבטים של CoreDNS שמשפיעים על יכולת ההתאמה לעומס (scalability) של האשכולות.
Pod DNS
כברירת מחדל, אשכולות של Google Distributed Cloud מוסיפים Pods עם resolv.conf שנראה כך:
nameserver KUBEDNS_CLUSTER_IP
search <NAMESPACE>.svc.cluster.local svc.cluster.local cluster.local c.PROJECT_ID.internal google.internal
options ndots:5
האפשרות ndots:5 מציינת ששמות מארחים עם פחות מ-5 נקודות לא נחשבים לשם דומיין שמוגדר במלואו (FQDN). שרת ה-DNS מוסיף את כל דומייני החיפוש שצוינו לפני שהוא מחפש את שם המארח שביקשתם במקור, ומסדר את החיפושים באופן הבא כשמפענחים את google.com:
google.com.NAMESPACE.svc.cluster.localgoogle.com.svc.cluster.localgoogle.com.cluster.localgoogle.com.c.PROJECT_ID.internalgoogle.com.google.internalgoogle.com
כל אחד מהחיפושים מתבצע עבור IPv4 (רשומת A) ו-IPv6 (רשומת AAAA), וכתוצאה מכך נוצרות 12 בקשות DNS לכל שאילתה שאינה FQDN, מה שמגביר באופן משמעותי את תנועת ה-DNS. כדי לפתור את הבעיה, מומלץ להצהיר על שם המארח לחיפוש כ-FQDN על ידי הוספת נקודה בסוף (google.com.). צריך להצהיר על כך ברמת עומס העבודה של האפליקציה. למידע נוסף, קראו את דף העזרה של resolv.conf.
IPv6
אם האשכול לא משתמש ב-IPv6, אפשר להפחית את בקשות ה-DNS בחצי על ידי ביטול החיפוש של רשומת AAAA בשרת ה-DNS במעלה הזרם. אם אתם צריכים עזרה בהשבתת החיפושים ב-AAAA, פנו ל-Cloud Customer Care.
מאגר צמתים ייעודי
בגלל האופי הקריטי של שאילתות DNS במחזורי החיים של אפליקציות, מומלץ להשתמש בצמתים ייעודיים לפריסה של coredns. הפריסה הזו שייכת לדומיין כשל שונה מאפליקציות רגילות. אם אתם צריכים עזרה בהגדרת צמתים ייעודיים לפריסה של coredns, פנו אל Cloud Customer Care.
בעיות במדרגיות של MetalLB
MetalLB פועל במצב פעיל-סביל, כלומר בכל שלב יש רק רמקול MetalLB אחד שמשרת כתובת VIP מסוימת של LoadBalancer.
יתירות כשל
בגרסאות של Google Distributed Cloud שקדמו ל-1.28.0, בקנה מידה גדול, יתירות הכשל של MetalLB עלולה להימשך זמן רב ולהוות סיכון לאמינות של האשכול.
מגבלות על החיבורים
אם יש כתובת VIP מסוימת של LoadBalancer, כמו שירות Ingress, שצפויה לקבל קרוב ל-30,000 חיבורים בו-זמנית או יותר, סביר להניח שצומת הדובר שמטפל ב-VIP ינצל את כל היציאות הזמינות. בגלל מגבלה בארכיטקטורה, אין פתרון לבעיה הזו ב-MetalLB. כדאי לשקול לעבור לאיזון עומסים מקובץ עם BGP לפני יצירת האשכול, או להשתמש במחלקת Ingress אחרת. מידע נוסף זמין במאמר הגדרת Ingress.
רמקולים של מאזן עומסים
כברירת מחדל, Google Distributed Cloud משתמש באותו מאגר של צומתי מאזן עומסים גם למישור הבקרה וגם למישור הנתונים. אם לא מציינים מאגר של צומתי מאזן עומסים (loadBalancer.nodePoolSpec), המערכת משתמשת במאגר של צומתי מישור הבקרה (controlPlane.nodePoolSpec).
כדי להגדיל את מספר הדוברים כשמשתמשים במאגר הצמתים של מישור הבקרה לאיזון עומסים, צריך להגדיל את מספר המכונות של מישור הבקרה. בפריסות בסביבת ייצור, מומלץ להשתמש בשלושה צומתי מישור בקרה כדי להבטיח זמינות גבוהה. יכול להיות שהגדלת מספר הצמתים של מישור הבקרה מעבר לשלושה כדי להכיל רמקולים נוספים לא תהיה שימוש טוב במשאבים שלכם.
הגדרת Ingress
אם אתם צופים כ-30,000 חיבורים בו-זמניים לכתובת VIP אחת של שירות LoadBalancer, יכול להיות ש-MetalLB לא יוכל לתמוך בכך.
אפשר לחשוף את ה-VIP באמצעות מנגנונים אחרים, כמו F5 BIG-IP. לחלופין, אתם יכולים ליצור אשכול חדש באמצעות איזון עומסים בחבילה עם BGP, שאין לו את אותה מגבלה.
לכוונן את הרכיבים של Cloud Logging ו-Cloud Monitoring
באשכולות גדולים, בהתאם לפרופילים של האפליקציות ולדפוסי התנועה, יכול להיות שהגדרות ברירת המחדל של המשאבים לרכיבים של Cloud Logging ו-Cloud Monitoring לא יספיקו. במאמר הגדרת משאבים של רכיבי Stackdriver מוסבר איך לשנות את בקשות המשאבים והמגבלות של רכיבי הניטור.
באופן ספציפי, kube-state-metrics באשכולות עם מספר גדול של שירותים ונקודות קצה (endpoints) עלול לגרום לשימוש מוגזם בזיכרון גם ב-kube-state-metrics עצמו וגם ב-gke-metrics-agent באותו צומת. השימוש במשאבים של metrics-server יכול גם להשתנות בהתאם לצמתים, לפודים ולשירותים. אם נתקלתם בבעיות במשאבים ברכיבים האלה, פנו אל Cloud Customer Care.
שימוש ב-sysctl כדי להגדיר את מערכת ההפעלה
מומלץ לשנות את הגדרות מערכת ההפעלה של הצמתים כך שיתאימו בצורה הטובה ביותר לתרחיש לדוגמה של עומס העבודה. לרוב צריך לכוונן את הפרמטרים fs.inotify.max_user_watches ו-fs.inotify.max_user_instances ששולטים במספר המשאבים של inotify. לדוגמה, אם מופיעות הודעות שגיאה כמו אלה, יכול להיות שצריך לשנות את הפרמטרים הבאים:
The configured user limit (128) on the number of inotify instances has been reached
ENOSPC: System limit for number of file watchers reached...
הכוונון משתנה בדרך כלל בהתאם לסוגי עומסי העבודה ולתצורת החומרה. אתם יכולים להתייעץ עם ספק מערכת ההפעלה לגבי השיטות המומלצות הספציפיות למערכת ההפעלה.
שיטות מומלצות
בקטע הזה מתוארות שיטות מומלצות להגדלת האשכול.
שינוי קנה המידה של מאפיין אחד בכל פעם
כדי לצמצם את הבעיות ולהקל על ביטול השינויים, אל תשנו יותר ממאפיין אחד בכל פעם. הגדלה של כמה ממדים בו-זמנית יכולה לגרום לבעיות גם באשכולות קטנים יותר. לדוגמה, אם תנסו להגדיל את מספר ה-Pods המתוזמנים לכל צומת ל-110, ובמקביל תגדילו את מספר הצמתים באשכול ל-250, סביר להניח שהפעולה תיכשל כי מספר ה-Pods, מספר ה-Pods לכל צומת ומספר הצמתים חורגים מהמגבלה.
התאמת העומס באשכולות בשלבים
הגדלת אשכול יכולה לצרוך הרבה משאבים. כדי להפחית את הסיכון לכשלים בפעולות באשכול או לשיבושים בעומסי העבודה באשכול, מומלץ לא לנסות ליצור אשכולות גדולים עם הרבה צמתים בפעולה אחת.
יצירת אשכולות היברידיים או עצמאיים ללא צומתי עובדים
אם אתם יוצרים אשכול היברידי או עצמאי גדול עם יותר מ-50 צומתי עובדים, עדיף ליצור קודם אשכול בזמינות גבוהה (HA) עם צומתי מישור בקרה, ואז להגדיל אותו בהדרגה. הפעולה של יצירת האשכול משתמשת באשכול אתחול, שהוא לא HA ולכן פחות אמין. אחרי שיוצרים את האשכול ההיברידי או העצמאי עם זמינות גבוהה, אפשר להשתמש בו כדי להגדיל את מספר הצמתים.
הגדלת מספר צומתי העובדים באצוות
אם אתם מרחיבים אשכול ליותר צומתי עובדים, עדיף להרחיב אותו בשלבים. מומלץ להוסיף עד 20 צמתים בכל פעם. זה נכון במיוחד לאשכולות שפועלים בהם עומסי עבודה קריטיים.
הפעלת שליפת תמונות במקביל
כברירת מחדל, kubelet שולף תמונות באופן סדרתי, אחת אחרי השנייה. אם יש לכם חיבור upstream לא תקין לשרת של מאגר התמונות, משיכת תמונה לא תקינה יכולה לעכב את כל התור של מאגר צמתים מסוים.
כדי לצמצם את הסיכון, מומלץ להגדיר את serializeImagePulls לערך false בהגדרות האישיות של kubelet. להוראות ולמידע נוסף, קראו את המאמר הגדרת משיכת קובצי אימג' של kubelet.
הפעלת שליפות מקבילות של תמונות עלולה לגרום לעליות חדות בצריכת רוחב הפס של הרשת או בקלט/פלט של הדיסק.
לכוונן את הקצאות המשאבים והמגבלות של האפליקציה
בסביבות צפופות, יכול להיות שעומסי העבודה של האפליקציה יפונו. Kubernetes משתמש במנגנון שצוין כדי לדרג pod-ים במקרה של פינוי.
שיטה מומלצת להגדרת משאבי הקונטיינר היא להשתמש באותה כמות זיכרון לבקשות ולמגבלות, ובמגבלת מעבד גדולה יותר או בלתי מוגבלת. מידע נוסף זמין במאמר הכנת אפליקציות Kubernetes מבוססות-ענן במרכז הארכיטקטורה של Cloud.
שימוש בשותף אחסון
לפריסות בקנה מידה גדול, מומלץ להשתמש באחד משותפי האחסון של GDC Ready. חשוב לוודא את הפרטים הבאים עם שותף האחסון הספציפי:
- פריסות האחסון פועלות לפי השיטות המומלצות להיבטי אחסון, כמו זמינות גבוהה, הגדרת עדיפות, זיקות לצמתים ובקשות ומגבלות של משאבים.
- גרסת האחסון מתאימה לגרסה הספציפית של Google Distributed Cloud.
- ספק האחסון יכול לתמוך בהיקף הגדול שאתם רוצים לפרוס.
הגדרת אשכולות לזמינות גבוהה
חשוב לבדוק את הפריסה בקנה מידה גדול ולוודא שהרכיבים הקריטיים מוגדרים לזמינות גבוהה בכל מקום שאפשר. ב-Google Distributed Cloud יש תמיכה באפשרויות פריסה של זמינות גבוהה לכל סוגי האשכולות. מידע נוסף זמין במאמר בחירת מודל פריסה. במאמר דוגמאות להגדרות של אשכולות תוכלו למצוא דוגמאות לקובצי תצורה של אשכולות בפריסות HA.
חשוב גם לבדוק רכיבים אחרים, כולל:
- ספק האחסון
- תגובות לפעולה מאתר אחר (webhook) באשכול
מעקב אחרי ניצול המשאבים במערכת
בקטע הזה מפורטות כמה המלצות בסיסיות למעקב אחרי אשכולות בקנה מידה גדול.
מעקב צמוד אחרי מדדי הניצול
חשוב לעקוב אחרי הניצול של הצמתים ושל רכיבי המערכת הבודדים, ולוודא שיש להם מרווח ביטחון מספיק. כדי לראות אילו יכולות מעקב רגילות זמינות כברירת מחדל, קראו את המאמר שימוש במרכזי בקרה מוגדרים מראש.
מעקב אחרי צריכת רוחב הפס
חשוב לעקוב מקרוב אחרי צריכת רוחב הפס כדי לוודא שהרשת לא רוויה, מה שעלול לגרום לפגיעה בביצועים של האשכול.
שיפור הביצועים של etcd
מהירות הדיסק היא קריטית לביצועים וליציבות של etcd. דיסק איטי מגדיל את זמן האחזור של בקשות etcd, מה שעלול לגרום לבעיות ביציבות של האשכול. כדי לשפר את הביצועים של האשכול, Google Distributed Cloud מאחסן אובייקטים של אירועים במכונה נפרדת וייעודית של etcd. מופע etcd הרגיל משתמש ב-/var/lib/etcd כספריית הנתונים שלו, וביציאה 2379 לבקשות לקוח. המכונה etcd-events משתמשת ב-/var/lib/etcd-events בתור ספריית הנתונים שלה, וביציאה 2382 לבקשות לקוח.
מומלץ להשתמש בכונן SSD למאגרי ה-etcd. כדי להשיג ביצועים אופטימליים, כדאי להרכיב דיסקים נפרדים ל-/var/lib/etcd ול-/var/lib/etcd-events. שימוש בדיסקים ייעודיים מבטיח ששני המופעים של etcd לא ישתפו קלט/פלט של דיסק.
במסמכי התיעוד של etcd יש המלצות נוספות לגבי חומרה, כדי להבטיח את הביצועים הטובים ביותר של etcd כשמריצים את האשכולות בסביבת הייצור.
כדי לבדוק את הביצועים של etcd ושל הדיסק, משתמשים במדדי זמן האחזור הבאים של קלט/פלט של etcd ב-Metrics Explorer:
-
etcd_disk_backend_commit_duration_seconds: משך הזמן צריך להיות פחות מ-25 אלפיות השנייה לאחוזון ה-99 (p99). -
etcd_disk_wal_fsync_duration_seconds: משך הזמן צריך להיות פחות מ-10 אלפיות השנייה באחוזון ה-99 (p99).
למידע נוסף על הביצועים של etcd, קראו את המאמרים What does the etcd warning "apply entries took too long" mean? ו-What does the etcd warning "failed to send out heartbeat on time" mean?.
אם אתם צריכים עזרה נוספת, תוכלו לפנות אל Cloud Customer Care. במאמר קבלת תמיכה תוכלו לקרוא מידע נוסף על מקורות המידע לתמיכה, כולל:
- הדרישות לפתיחת בקשת תמיכה.
- כלים שיעזרו לכם לפתור בעיות, כמו הגדרת הסביבה, יומנים ומדדים.
- רכיבים נתמכים.