בעזרת Cloud Data Fusion אתם יכולים להתחבר למקורות הנתונים שלכם ממכונות ציבוריות או פרטיות, בסביבות של תכנון צינורות עיבוד נתונים והרצה שלהם.
לפני שמתחילים
כדי להבין את הרשתות ב-Cloud Data Fusion, צריך להבין את המושגים הבאים:
פרויקט של דייר (tenant)
Cloud Data Fusion יוצר פרויקט דייר (tenant) שמכיל את המשאבים והשירותים שנדרשים כדי לנהל את צינורות עיבוד הנתונים בשבילכם, למשל כשהוא מריץ צינורות עיבוד נתונים באשכולות של Managed Service for Apache Spark שנמצאים בפרויקט הלקוח שלכם.
פרויקט הדייר לא נחשף אליכם ישירות, אבל כשיוצרים מכונה פרטית, משתמשים בשם הפרויקט כדי להגדיר קישור (peering) בין רשתות VPC שכנות. לכל מופע פרטי בפרויקט הדייר יש רשת VPC ורשת משנה משלו.
בפרויקט יכולות להיות כמה מכונות Cloud Data Fusion. כשנכנסים למופע בממשק המשתמש של Cloud Data Fusion או ב-Google Cloud CLI, אפשר לנהל את המשאבים והשירותים שכלולים בו.
מידע נוסף זמין במסמכי התיעוד של Service Infrastructure בנושא פרויקטים של דיירים.
פרויקט של לקוח
הלקוח יוצר את הפרויקט הזה והוא הבעלים שלו. כברירת מחדל, מערכת Cloud Data Fusion יוצרת בפרויקט הזה אשכול זמני של Managed Service for Apache Spark כדי להפעיל את צינורות הנתונים.
מכונת Cloud Data Fusion
מכונת Cloud Data Fusion היא פריסה ייחודית של Cloud Data Fusion, שבה מתכננים ומריצים צינורות עיבוד נתונים. אפשר ליצור כמה מכונות בפרויקט אחד ולציין את Google Cloud האזור שבו רוצים ליצור את המכונות של Cloud Data Fusion. בהתאם לדרישות ולאילוצי העלויות שלכם, אתם יכולים ליצור מכונה שמשתמשת במהדורת Developer, Basic או Enterprise של Cloud Data Fusion. כל מכונה מכילה פריסה ייחודית ועצמאית של Cloud Data Fusion, שכוללת קבוצת שירותים שמטפלים בניהול מחזור החיים של צינור עיבוד הנתונים, בתזמור, בתיאום ובניהול המטא-נתונים. השירותים האלה פועלים באמצעות משאבים שפועלים לאורך זמן בפרויקט של דייר.
דיאגרמה של הרשת
בתרשימים הבאים מוצגים החיבורים כשיוצרים פייפליינים שמחלצים, משנים, משלבים, מצברים ומעלים נתונים ממקורות נתונים שונים מקומיים וממקורות נתונים בענן.
אפשר לראות את הדיאגרמות במאמרים בנושא שליטה ביציאה במופע פרטי וחיבור למקור ציבורי.
עיצוב והפעלה של צינורות עיבוד נתונים
ב-Cloud Data Fusion יש הפרדה בין סביבות התכנון וההפעלה, כך שאפשר לתכנן צינור עיבוד נתונים פעם אחת ולהפעיל אותו בכמה סביבות. סביבת העיצוב נמצאת בפרויקט הדייר, וסביבת ההפעלה נמצאת בפרויקט אחד או יותר של הלקוח.
דוגמה: אתם מעצבים את צינור עיבוד הנתונים באמצעות שירותי Cloud Data Fusion, כמו Wrangler ו-Preview. השירותים האלה פועלים בפרויקט הדייר, שבו הגישה לנתונים נשלטת על ידי התפקיד Cloud Data Fusion Service Agent שמנוהל על ידי Google. לאחר מכן מריצים את צינור הנתונים בפרויקט הלקוח כדי שישתמש באשכול שלכם ב-Managed Service for Apache Spark. בפרויקט של הלקוח, חשבון השירות שמוגדר כברירת מחדל ב-Compute Engine שולט בגישה לנתונים. אתם יכולים להגדיר את הפרויקט כך שישתמש בחשבון שירות בהתאמה אישית.
מידע נוסף על הגדרת חשבונות שירות זמין במאמר חשבונות שירות של Cloud Data Fusion.
סביבת העיצוב
כשיוצרים מכונת Cloud Data Fusion בפרויקט של הלקוח, מערכת Cloud Data Fusion יוצרת באופן אוטומטי פרויקט נפרד של דייר שמנוהל על ידי Google, כדי להפעיל את השירותים שנדרשים לניהול מחזור החיים של צינורות ושל מטא-נתונים, ממשק המשתמש של Cloud Data Fusion וכלי עיצוב כמו Preview ו-Wrangler.
פענוח DNS ב-Cloud Data Fusion
כדי לפתור שמות דומיין בסביבת זמן העיצוב כשמארגנים את הנתונים שמעבירים ל- Google Cloudומציגים אותם בתצוגה מקדימה, משתמשים ב-DNS Peering (זמין החל מ-Cloud Data Fusion 6.7.0). הוא מאפשר להשתמש בדומיין או בשמות מארחים כמקורות ויעדים, ולא צריך להגדיר אותם מחדש בתדירות גבוהה כמו כתובות IP.
מומלץ להשתמש בפענוח DNS בסביבת זמן התכנון ב-Cloud Data Fusion, כשבודקים חיבורים וצופים בתצוגה מקדימה של צינורות עיבוד נתונים שמשתמשים בשמות דומיינים של שרתים מקומיים או שרתים אחרים (כמו מסדי נתונים או שרתי FTP), ברשת VPC פרטית.
למידע נוסף, קראו את המאמרים קישור בין רשתות שכנות (peering) ב-DNS והעברת Cloud DNS.
סביבת הפעלה
אחרי שמאמתים ופורסים את צינור עיבוד הנתונים במכונה, מפעילים אותו ידנית או שהוא מופעל לפי לוח זמנים או טריגר של מצב צינור עיבוד הנתונים.
לא משנה אם סביבת ההפעלה מסופקת ומנוהלת על ידי Cloud Data Fusion או על ידי הלקוח, הסביבה קיימת בפרויקט של הלקוח.
מכונות ציבוריות (ברירת מחדל)
הדרך הכי קלה להקצות מכונה של Cloud Data Fusion היא ליצור מכונה ציבורית. היא מתאימה כנקודת התחלה ומאפשרת גישה לנקודות קצה (endpoints) חיצוניות באינטרנט הציבורי.
מכונה ציבורית ב-Cloud Data Fusion משתמשת ברשת ה-VPC שמוגדרת כברירת מחדל בפרויקט.
רשת ה-VPC שמוגדרת כברירת מחדל כוללת את המאפיינים הבאים:
- תת-רשתות שנוצרות באופן אוטומטי לכל אזור
- טבלאות ניתוב
- כללי חומת אש כדי להבטיח תקשורת בין משאבי המחשוב שלכם
יצירת רשתות בין אזורים
כשיוצרים פרויקט חדש, אחד היתרונות של רשת ברירת המחדל של VPC הוא שהיא מאכלסת באופן אוטומטי רשת משנה אחת לכל אזור, באמצעות טווח כתובות IP מוגדר מראש שמבוטא כבלוק CIDR. טווח כתובות ה-IP מתחיל ב-10.128.0.0/20, 10.132.0.0/20, באזורים הגלובליים של Google Cloud .
כדי לוודא שמשאבי המחשוב מתחברים זה לזה בין אזורים, רשת ה-VPC שמוגדרת כברירת מחדל מגדירה את הנתיבים המקומיים שמוגדרים כברירת מחדל לכל רשת משנה. אם מגדירים את נתיב ברירת המחדל לאינטרנט (0.0.0.0/0), מקבלים גישה לאינטרנט ומתעדים את כל תעבורת הרשת שלא מנותבת.
כללי חומת אש
רשת ה-VPC שמוגדרת כברירת מחדל מספקת קבוצה של כללי חומת אש:
| ברירת מחדל | תיאור |
|---|---|
ברירת המחדל היא לאפשר icmp |
הפעלת פרוטוקול icmp למקור 0.0.0.0/0 |
| ברירת מחדל: אישור פנימי | הפעלת tcp:0-65535; udp:0-65535; icmp למקור 10.128.0.0/9, שכולל מינימום 10.128.0.1 עד מקסימום 10.255.255.254 כתובות IP |
ברירת מחדל של אישור rdp |
הפעלת tcp:3389 במקור 0.0.0.0/0 |
ברירת מחדל של אישור ssh |
הפעלת tcp:22 במקור 0.0.0.0/0 |
הגדרות ברירת המחדל האלה של רשת ה-VPC מצמצמות את הדרישות המוקדמות להגדרת שירותי ענן, כולל Cloud Data Fusion. בגלל חששות לגבי אבטחת הרשת, ארגונים רבים לא מאפשרים להשתמש ברשת ברירת המחדל של VPC לפעולות עסקיות. בלי רשת VPC שמוגדרת כברירת מחדל, אי אפשר ליצור מכונה ציבורית של Cloud Data Fusion. במקום זאת, צרו מכונה פרטית.
רשת ה-VPC שמוגדרת כברירת מחדל לא נותנת גישה פתוחה למשאבים. במקום זאת, הגישה נשלטת על ידי ניהול הזהויות והרשאות הגישה (IAM):
- כדי להיכנס אל Google Cloud, צריך לאמת את הזהות.
- אחרי שמתחברים, צריך הרשאה מפורשת (לדוגמה, התפקיד Viewer) כדי לראות את השירותים של Google Cloud .
מכונות פרטיות
בחלק מהארגונים, כל מערכות הייצור צריכות להיות מבודדות מכתובות IP ציבוריות. מכונה פרטית של Cloud Data Fusion עומדת בדרישה הזו בכל סוגי ההגדרות של רשת VPC.
Private Service Connect ב-Cloud Data Fusion
יכול להיות שיהיה צורך לחבר מכונות Cloud Data Fusion למשאבים שנמצאים במקום, ב- Google Cloudאו אצל ספקי שירותי ענן אחרים. כשמשתמשים ב-Cloud Data Fusion עם כתובות IP פנימיות, נוצרים חיבורים למקורות חיצוניים ברשת ה-VPC בGoogle Cloud פרויקט. התעבורה ברשת לא עוברת דרך האינטרנט הציבורי. כשנותנים ל-Cloud Data Fusion גישה ל-VPC באמצעות קישור בין רשתות VPC שכנות (peering), יש מגבלות שמתגלות כשמשתמשים ברשתות בקנה מידה גדול.
באמצעות ממשקי Private Service Connect, Cloud Data Fusion מתחבר ל-VPC שלכם בלי להשתמש בקישור בין רשתות VPC. ממשק Private Service Connect הוא סוג של Private Service Connect שמאפשר ל-Cloud Data Fusion ליזום חיבורים פרטיים ומאובטחים לרשתות VPC של צרכנים. כך אתם נהנים מהגמישות ומהגישה הנוחה (כמו בקישור בין רשתות VPC שכנות), וגם מההרשאה המפורשת ומהשליטה בצד הצרכן ש-Private Service Connect מציע. מידע נוסף זמין במאמר יצירת מכונה פרטית באמצעות Private Service Connect.
גישה לנתונים בסביבות תכנון וביצוע
במכונה ציבורית, התקשורת ברשת מתבצעת דרך האינטרנט הפתוח, וזה לא מומלץ לסביבות קריטיות. כדי לגשת למקורות הנתונים בצורה מאובטחת, תמיד מריצים את צינורות הנתונים ממופע פרטי בסביבת ההרצה.
גישה למקורות
כשניגשים למקורות נתונים, למכונות ציבוריות ופרטיות:
- לבצע שיחות יוצאות לממשקי API של Google Cloud באמצעות גישה פרטית ל-Google
- לתקשר עם סביבת ביצוע (Managed Service for Apache Spark) באמצעות VPC peering
בטבלה הבאה מוצגת השוואה בין מכונות ציבוריות ופרטיות במהלך התכנון והביצוע של מקורות נתונים שונים:
| מקורות נתונים | מכונה ציבורית של Cloud Data Fusion (זמן תכנון) |
Public Cloud Data Fusion Managed Service for Apache Spark (execution) |
מכונת Cloud Data Fusion בענן פרטי (בזמן התכנון) |
ענן פרטי Data Fusion Managed Service for Apache Spark (הרצה) |
|---|---|---|---|---|
| Google Cloud source (אחרי שנותנים הרשאות ומגדירים כללי חומת אש) |
||||
| מקור מקומי (אחרי שמגדירים VPN/Interconnect, מעניקים הרשאות ומגדירים כללי חומת אש) |
||||
| מקור אינטרנט ציבורי (אחרי שנותנים הרשאות ומגדירים כללי חומת אש) |