כדי למנוע התנגשויות בין כתובות IP ברשת, אתם יכולים לתכנן את כתובות ה-IP להתקנה של Google Distributed Cloud לפני שאתם יוצרים אשכולות. במאמר הזה נסביר איך להקצות כתובות לצמתים, לכתובות IP וירטואליות (VIP), לפודים ולשירותים, באמצעות התקנה לדוגמה שבה אשכולות המשתמשים מופעלים באמצעות Controlplane V2. אם אשכולות המשתמשים שלכם משתמשים ב-kubeception, קראו את המאמר תכנון כתובות ה-IP (kubeception).
לפני שמתחילים
קראו את הסקירה הכללית על Google Distributed Cloud ואת הסקירה הכללית על ההתקנה.
דוגמה להקצאת כתובות IP
בקטע הזה מופיעה דוגמה להקצאת כתובות IP סטטיות בהתקנה שכוללת את הרכיבים הבאים:
תחנת עבודה של אדמין
אשכול אדמין בזמינות גבוהה (HA)
אשכול משתמש אחד עם זמינות גבוהה (HA) שכולל חמישה צומתי עובדים
אשכול משתמש אחד ללא זמינות גבוהה עם ארבעה צומתי עובדים
בדוגמה הזו, באשכולות המשתמשים מופעלת האפשרות Controlplane V2. ב-Controlplane V2, הצמתים של מישור הבקרה של אשכול המשתמש נמצאים באשכול המשתמש עצמו.
אם אתם לא רוצים להפעיל את Controlplane V2 באשכולות המשתמשים, קראו את המאמר תכנון כתובות ה-IP (kubeception). המונח kubeception מתייחס למקרה שבו מישור הבקרה של אשכול משתמש פועל בצומת אחד או יותר באשכול האדמין. אנחנו לא ממליצים להשתמש ב-kubeception. מומלץ להפעיל את Controlplane V2.
צמתים של אשכול אדמין
לאשכול אדמין יש שלושה צמתים, ובכל אחד מהם פועלים רכיבים של מישור הבקרה.
איזון עומסים
בדוגמה הזו, נניח שהאשכולות משתמשים במאזן העומסים MetalLB. מאזן העומסים הזה פועל בצומתי האשכול, כך שלא צריך מכונות וירטואליות נוספות לאיזון עומסים.
תת-רשתות
בדוגמה הזו, נניח שכל אשכול נמצא ב-VLAN משלו, והאשכולות נמצאים בתת-הרשתות הבאות:
| VMs (מכונות וירטואליות) | תת-רשת | שער ברירת המחדל |
|---|---|---|
| תחנת עבודה של אדמין ואשכול אדמין | 172.16.20.0/24 | 172.16.20.1 |
| אשכול משתמשים 1 | 172.16.21.0/24 | 172.16.21.1 |
| אשכול משתמשים 2 | 172.16.22.0/24 | 172.16.22.1 |
בתרשים הבא מוצגות שלוש רשתות ה-VLAN ורשתות המשנה. שימו לב שכתובות ה-VIP לא משויכות לצומת מסוים באשכול. הסיבה לכך היא שמאזן העומסים MetalLB יכול לבחור איזה צומת יכריז על ה-VIP של שירות מסוים. לדוגמה, באשכול משתמש 1, צומת עובד אחד יכול להכריז על 172.16.21.31, וצומת עובד אחר יכול להכריז על 172.16.21.32.
כתובת IP לדוגמה: תחנת עבודה של אדמין
בדוגמה הזו, תחנת העבודה של האדמין נמצאת באותה רשת משנה כמו אשכול האדמין: 172.16.20.0/24. כתובת שקרובה לכתובות של הצמתים תתאים לתחנת העבודה של האדמין. לדוגמה, 172.16.20.20.
כתובות IP לדוגמה: צומתי אשכול אדמין
לאשכול האדמין בדוגמה הזו יש שלושה צמתים, ולכן צריך להקצות שלוש כתובות IP. לדוגמה, אפשר להקצות את כתובות ה-IP הבאות לצמתים באשכול האדמין:
| אשכול אדמין | כתובות IP |
|---|---|
| אשכול אדמין בזמינות גבוהה (HA) | 172.16.20.2 - 172.16.20.4 |
כתובות IP לדוגמה: VIP לאשכול האדמין
צריך להקצות כתובת VIP לשרת ה-API של Kubernetes באשכול האדמין.
שימו לב שבקובץ התצורה של האשכול, השדה של כתובת ה-VIP הזו נקרא controlPlaneVIP. לדוגמה, אפשר להקצות את כתובת ה-VIP הבאה לשרת ה-API של Kubernetes באשכול האדמין:
| VIP | כתובת IP |
|---|---|
| כתובת ה-VIP של שרת ה-API של Kubernetes באשכול האדמין | 172.16.20.30 |
שימו לב שבמקרה של אשכולות אדמין עם זמינות גבוהה, ה-controlPlaneVIP צריך להיות באותו VLAN כמו כתובות ה-IP של צומת מישור הבקרה שצוינו ב-network.controlPlaneIPBlock.
כתובות IP לדוגמה: צמתים של אשכול משתמשים 1
באשכול משתמש עם שמונה צמתים, צריך להקצות תשע כתובות IP. הכתובת הנוספת נדרשת במהלך שדרוג, עדכון ותיקון אוטומטי של האשכול. לדוגמה, אפשר להקצות את כתובות ה-IP הבאות לצמתים באשכול המשתמשים 1:
| כתובות IP לצמתים באשכול משתמש 1 |
|---|
| 172.16.21.2 - 172.16.21.10 |
כתובות IP לדוגמה: כתובות VIP לאשכול משתמשים 1
בטבלה הבאה מוצגת דוגמה לאופן שבו אפשר להקצות כתובות VIP שיוגדרו במאזן העומסים של אשכול משתמשים 1:
| VIP | תיאור | כתובת IP |
|---|---|---|
| כתובת IP וירטואלית לשרת ה-API של Kubernetes באשכול משתמש 1 | מוגדר במאזן העומסים של אשכול המשתמשים הראשון | 172.16.21.30 |
| Ingress VIP לאשכול משתמשים 1 | מוגדר במאזן העומסים של אשכול המשתמשים הראשון | 172.16.21.31 |
| כתובות VIP של שירותים לאשכול משתמשים 1 | עשר כתובות לשירותים מסוג LoadBalancer.מוגדר לפי הצורך במאזן העומסים של אשכול המשתמשים 1. שימו לב שהטווח הזה כולל את ה-VIP של תעבורת הנתונים הנכנסת. הדרישה הזו חלה על מאזן העומסים MetalLB. |
172.16.21.31 - 172.16.21.40 |
שימו לב שה-VIP של שרת ה-API של Kubernetes מצוין ב-loadBalancer.vips.controlPlaneVIP של קובץ התצורה של האשכול. כשהתכונה Controlplane V2 מופעלת, ה-controlPlaneVIP צריך להיות באותו VLAN כמו כתובות ה-IP של צומת מישור הבקרה שצוינו ב-network.controlPlaneIPBlock.
כתובות IP לדוגמה: אשכול משתמשים עם 2 צמתים
באשכול משתמש עם חמישה צמתים, צריך להקצות שש כתובות IP. הכתובת הנוספת נדרשת במהלך שדרוג, עדכון ותיקון אוטומטי של האשכול. לדוגמה, אפשר להקצות את כתובות ה-IP הבאות לצמתים באשכול המשתמשים השני:
| כתובות IP לצמתים באשכול משתמשים 2 |
|---|
| 172.16.22.2 - 172.16.22.7 |
כתובות IP לדוגמה: כתובות VIP לאשכול משתמשים 2
בטבלה הבאה מוצגת דוגמה לאופן שבו אפשר להגדיר כתובות VIP במאזן העומסים של אשכול משתמשים 2:
| VIP | תיאור | כתובת IP |
|---|---|---|
| כתובת VIP לשרת ה-API של Kubernetes לאשכול משתמשים 2 | מוגדר במאזן העומסים של אשכול המשתמשים השני | 172.16.22.30 |
| Ingress VIP לאשכול משתמשים 2 | מוגדר במאזן העומסים של אשכול המשתמשים השני | 172.16.22.31 |
| כתובות ה-VIP של השירותים באשכול משתמשים 2 | עשר כתובות לשירותים מסוג LoadBalancer.מוגדר לפי הצורך במאזן העומסים של אשכול משתמש 2. שימו לב שהטווח הזה כולל את ה-VIP של תעבורת הנתונים הנכנסת. הדרישה הזו חלה על מאזן העומסים MetalLB. |
172.16.22.31 - 172.16.22.40 |
שימו לב שה-VIP של שרת ה-API של Kubernetes מצוין ב-loadBalancer.vips.controlPlaneVIP של קובץ התצורה של האשכול. כשהתכונה Controlplane V2 מופעלת, ה-controlPlaneVIP צריך להיות באותו VLAN כמו כתובות ה-IP של צומת מישור הבקרה שצוינו ב-network.controlPlaneIPBlock.
דוגמאות לכתובות IP: פודים ושירותים
לפני שיוצרים אשכול, צריך לציין טווח CIDR שישמש לכתובות ה-IP של הפודים, וטווח CIDR נוסף שישמש לכתובות ה-ClusterIP של שירותי Kubernetes.
מחליטים באילו טווחי CIDR רוצים להשתמש לפודים ולשירותים. לדוגמה:
| מטרה | טווח CIDR |
|---|---|
| פודים באשכול האדמין | 192.168.0.0/16 |
| Pods באשכול משתמשים 1 | 192.168.0.0/16 |
| Pods באשכול משתמשים 2 | 192.168.0.0/16 |
| שירותים באשכול האדמין | 10.96.232.0/24 |
| שירותים באשכול משתמשים 1 | 10.96.0.0/20 |
| שירותים באשכול משתמשים 2 | 10.96.128.0/20 |
הדוגמאות שלמעלה ממחישות את הנקודות הבאות:
טווח ה-CIDR של Pod יכול להיות זהה בכמה אשכולות.
בדרך כלל צריך יותר Pods מאשר Services, כך שלכל אשכול נתון, כנראה תרצו טווח CIDR של Pod שגדול יותר מטווח ה-CIDR של Service. טווח ה-Pod לדוגמה של אשכול משתמש הוא 192.168.0.0/16, ויש לו 2^(32-16) = 2^16 כתובות. אבל טווח שירות לדוגמה לאשכול משתמשים הוא 10.96.0.0/20, שיש לו רק 2^(32-20) = 2^12 כתובות.
הימנעו מחפיפה
כדאי להשתמש בטווחי CIDR שאינם ברירת המחדל כדי למנוע חפיפה עם כתובות IP שניתן להגיע אליהן ברשת. טווח הכתובות של השירות ושל ה-Pod לא יכול לחפוף לכתובת מחוץ לאשכול שרוצים להגיע אליה מתוך האשכול.
לדוגמה, נניח שטווח השירות הוא 10.96.232.0/24 וטווח ה-Pod הוא 192.168.0.0/16 (192.168.0.1 עד 192.168.255.254). כל תנועה שנשלחת מ-Pod לכתובת באחד מהטווחים האלה תטופל כתנועה בתוך האשכול, ולא תגיע ליעד מחוץ לאשכול.
באופן ספציפי, טווחי הכתובות של השירותים וה-Pods לא יכולים לחפוף לטווחים הבאים:
כתובות IP של צמתים בכל אשכול
כתובות IP שמשמשות מכונות לאיזון עומסים
כתובות VIP שמשמשות את הצמתים של מישור הבקרה ומאזני העומסים
כתובות IP של שרתי vCenter, שרתי DNS ושרתי NTP
מומלץ שטווחי הכתובות של השירותים וה-Pods יהיו במרחב הכתובות הפרטיות RFC 1918.
זו אחת מהסיבות להמלצה להשתמש בכתובות RFC 1918. נניח שטווח ה-Pod או השירות מכיל כתובות IP חיצוניות. כל תעבורת נתונים שנשלחת מ-Pod לאחת מהכתובות החיצוניות האלה תטופל כתעבורת נתונים בתוך האשכול, ולא תגיע ליעד החיצוני.
שרת DNS ושער ברירת מחדל
לפני שאתם ממלאים את קובצי התצורה, אתם צריכים לדעת את כתובת ה-IP של שרת ה-DNS שבו יכולים להשתמש תחנת העבודה של האדמין והצמתים באשכול.
אתם גם צריכים לדעת את כתובת ה-IP של שער ברירת המחדל של כל אחת מרשתות המשנה. בדוגמאות שלמעלה, שער ברירת המחדל של כל רשת משנה הוא הכתובת הראשונה בטווח. לדוגמה, ברשת המשנה של אשכול האדמין, שער ברירת המחדל מוצג כ-172.16.20.1.