בדף הזה מוסבר מהם השיקולים החשובים בתכנון פייפליין הנתונים לפני שמתחילים לפתח את הקוד. פייפליינים מעבירים נתונים ממערכת אחת לאחרת, ולעיתים קרובות הם רכיבים קריטיים במערכות מידע עסקיות. הביצועים והאמינות של פייפליין הנתונים יכולים להשפיע על המערכות הרחבות יותר, ועל מידת היעילות שבה הדרישות העסקיות שלכם נענות.
אם תתכננו את פייפליינים לפני שתפתחו אותם, תוכלו לשפר את הביצועים והאמינות שלהם. בדף הזה מוסברים שיקולים שונים בתכנון צינורות עיבוד נתונים ב-Dataflow, כולל:
- ציפיות לגבי הביצועים של צינורות עיבוד הנתונים, כולל סטנדרטים למדידה
- שילוב של צינורות עיבוד הנתונים עם מקורות נתונים, כיורים ומערכות מקושרות אחרות
- אזורי צינורות עיבוד נתונים, מקורות ו-sinks
- אבטחה, כמו הצפנת נתונים ורשתות פרטיות
הגדרה ומדידה של יעדי SLO
מדד חשוב של ביצועים הוא עד כמה הצינור עומד בדרישות העסקיות. יעדים למדידת רמת השירות (SLO) מספקים הגדרות מוחשיות של ביצועים שאפשר להשוות לספים מקובלים. לדוגמה, אתם יכולים להגדיר את יעדי ה-SLO הבאים למערכת:
עדכניות הנתונים: יצירת 90% מההמלצות למוצרים על סמך פעילות המשתמשים באתר שהתרחשה לפני לא יותר מ-3 דקות.
נכונות הנתונים: בחודש קלנדרי, פחות מ-0.5% מחשבוניות הלקוחות מכילות שגיאות.
בידוד נתונים/איזון עומסים: בתוך יום עסקים אחד, לעבד את כל התשלומים בעדיפות גבוהה תוך 10 דקות מההגשה, ולהשלים את התשלומים בעדיפות רגילה עד יום העסקים הבא.
אתם יכולים להשתמש במדדי רמת שירות (SLI) כדי למדוד את העמידה ב-SLO. מדדי SLI הם מדדים כמותיים שמציינים עד כמה המערכת עומדת ביעד SLO נתון. לדוגמה, כדי למדוד את ה-SLO של עדכניות הנתונים, אפשר להשתמש ב-SLI של משך הזמן שחלף מאז הפעילות האחרונה של המשתמש שעובדה. אם הפייפליין שלכם יוצר המלצות מאירועי פעילות משתמשים, ואם ה-SLI מדווח על עיכוב של 4 דקות בין זמן האירוע לזמן עיבוד האירוע, ההמלצות לא מתייחסות לפעילות של המשתמש באתר מלפני 4 דקות. אם צינור עיבוד נתונים שמעבד נתונים בסטרימינג חורג מהשהיה של 4 דקות במערכת, סימן שה-SLO לא מתקיים.
רכיבי המערכת שמעבר לצינור עיבוד הנתונים משפיעים על ה-SLO, ולכן חשוב לתעד מגוון של מדדי SLI שמתארים את הביצועים הכוללים של המערכת מעבר לביצועים של צינור עיבוד הנתונים עצמו, כולל מדדים שמתארים את התקינות של המערכת מקצה לקצה. לדוגמה, יכול להיות שצינור עיבוד הנתונים ב-Dataflow יחשב תוצאות עם עיכוב מקובל, אבל תתרחש בעיה בביצועים במערכת במורד הזרם שתשפיע על יעדי SLO רחבים יותר.
למידע נוסף על יעדי SLO חשובים שכדאי להביא בחשבון, קראו את הספר Site Reliability Engineering.
עדכניות הנתונים
עדכניות הנתונים מתייחסת לשימושיות של הנתונים ביחס לגיל שלהם. בספר Site Reliability Engineering מוזכרים יעדי ה-SLO הבאים לעדכניות הנתונים, כפורמטים הנפוצים ביותר של יעדי SLO לעדכניות נתונים בצינור עיבוד נתונים:
X% מהנתונים עובדו תוך Y [שניות, ימים, דקות]. ה-SLO הזה מתייחס לאחוז הנתונים שעובדו בפרק זמן נתון. הוא משמש בדרך כלל לצינורות עיבוד נתונים באצווה שמעבדים מקורות נתונים מוגבלים. המדדים של SLO מהסוג הזה הם גודלי נתוני הקלט והפלט בשלבי עיבוד עיקריים, ביחס לזמן הריצה שחלף בצינור עיבוד הנתונים. אפשר לבחור שלב שקורא קבוצת נתונים של קלט ושלב אחר שמעבד כל פריט בקלט. דוגמה ל-SLO: "במשחק Shave the Yak, 99% מפעילויות המשתמשים שמשפיעות על הניקוד של השחקנים נרשמות תוך 30 דקות מסיום המשחק".
הנתונים הישנים ביותר הם בני X [שניות, ימים, דקות] לכל היותר. ה-SLO הזה מתייחס לגיל הנתונים שנוצרו על ידי צינור עיבוד הנתונים. בדרך כלל משתמשים בו בפייפליינים זורמים, שמעבדים נתונים ממקורות לא מוגבלים. ב-SLO מהסוג הזה, משתמשים במדדים שמציינים כמה זמן לוקח לצינור עיבוד הנתונים לעבד את הנתונים. שני מדדים אפשריים הם משך הזמן של הפריט הכי ישן שלא עבר עיבוד, כלומר כמה זמן פריט שלא עבר עיבוד נמצא בתור, או משך הזמן של הפריט האחרון שעבר עיבוד. דוגמה ל-SLO: "המלצות על מוצרים נוצרות על סמך פעילות משתמשים מלפני 5 דקות לכל היותר".
משימת צינור עיבוד הנתונים מסתיימת תוך X [שניות, ימים, דקות]. ה-SLO הזה מגדיר מועד אחרון להשלמה מוצלחת, והוא משמש בדרך כלל לצינורות עיבוד נתונים באצווה שמעבדים נתונים ממקורות נתונים מוגבלים. כדי לעמוד ב-SLO הזה, צריך את משך הזמן הכולל של הצינור וסטטוס השלמת המשימה, בנוסף לאותות אחרים שמציינים את הצלחת המשימה, כמו אחוז הרכיבים שעובדו והובילו לשגיאות. דוגמה ל-SLO: "הזמנות של לקוחות מיום העסקים הנוכחי יעובדו עד השעה 9:00 ביום שלמחרת".
במאמר מדדי משימות ב-Dataflow מוסבר איך משתמשים ב-Cloud Monitoring כדי למדוד את עדכניות הנתונים.
תקינות הנתונים
תקינות הנתונים מתייחסת לנתונים שאין בהם שגיאות. אתם יכולים לקבוע אם הנתונים נכונים באמצעים שונים, כולל:
בדיקות יחידה ובדיקות אינטגרציה, שאפשר להפוך לאוטומטיות באמצעות אינטגרציה רציפה.
בדיקות צינור עיבוד נתונים מקצה לקצה, שאפשר להריץ בסביבת טרום-ייצור אחרי שצינור עיבוד הנתונים עובר בהצלחה את בדיקות היחידה והשילוב. אתם יכולים להפוך את בדיקות צינור עיבוד הנתונים מקצה לקצה לאוטומטיות באמצעות פיתוח רציף (continuous delivery).
תהליכים שפועלים בסביבת הייצור, כשמשתמשים במעקב כדי לבחון מדדים שקשורים לנכונות הנתונים.
בצינורות עיבוד נתונים שפועלים, הגדרת יעד לתקינות הנתונים כוללת בדרך כלל מדידה של התקינות לאורך זמן. לדוגמה:
- בכל משימה, פחות מ-X% מפריטי הקלט מכילים שגיאות בנתונים. אתם יכולים להשתמש ב-SLO הזה כדי למדוד את תקינות הנתונים בצינורות עיבוד נתונים באצווה. דוגמה ל-SLO: "בכל משימת אצווה יומית לעיבוד קריאות של מונה חשמל, פחות מ-3% מהקריאות מכילות שגיאות בהזנת הנתונים".
- בחלון זמן נע של X דקות, פחות מ-Y% מפריטי הקלט מכילים שגיאות בנתונים. אפשר להשתמש ב-SLO הזה כדי למדוד את תקינות הנתונים בפייפליינים זורמים. דוגמה ל-SLO: "פחות מ-2% מקריאות מונה החשמל בשעה האחרונה מכילות ערכים שליליים".
כדי למדוד את ה-SLO האלה, צריך להשתמש במדדים לאורך תקופה מתאימה כדי לצבור את מספר השגיאות לפי סוג. דוגמאות לסוגי שגיאות: הנתונים שגויים בגלל סכימה בפורמט שגוי, או שהנתונים לא נמצאים בטווח תקין.
במאמר מדדי משימות ב-Dataflow מוסבר איך משתמשים ב-Cloud Monitoring כדי למדוד את תקינות הנתונים.
בידוד נתונים ואיזון עומסים
בידוד נתונים כולל פילוח של הנתונים לפי מאפיינים, מה שיכול להקל על איזון העומסים. לדוגמה, בפלטפורמה לעיבוד תשלומים אונליין, אפשר לפלח את הנתונים כך שתשלומים מסוימים יהיו בעדיפות רגילה או בעדיפות גבוהה. לאחר מכן, אפשר להשתמש באיזון עומסים בצינור עיבוד הנתונים כדי לוודא שתשלומים בעדיפות גבוהה יעובדו לפני תשלומים בעדיפות רגילה.
נניח שאתם מגדירים את יעדי ה-SLO הבאים לעיבוד תשלומים:
- תשלומים בעדיפות גבוהה מעובדים תוך 10 דקות.
- תשלומים בעדיפות רגילה מעובדים עד השעה 9:00 ביום העסקים הבא.
אם פלטפורמת התשלומים עומדת ביעדי ה-SLO האלה, הלקוחות יכולים לראות תשלומים סופיים בעדיפות גבוהה במרכז בקרה לדיווח כשהם מסתיימים. לעומת זאת, תשלומים רגילים עשויים להופיע במרכז הבקרה רק ביום למחרת.
בתרחיש לדוגמה הזה, יש לכם את האפשרויות הבאות:
- מריצים צינור עיבוד נתונים אחד כדי לעבד גם תשלומים בעדיפות רגילה וגם תשלומים בעדיפות גבוהה.
- לבודד את הנתונים ולאזן את העומסים שלהם על סמך סדרי עדיפויות בכמה צינורות עיבוד נתונים.
בקטעים הבאים מוסבר בהרחבה על כל אחת מהאפשרויות.
שימוש בצינור עיבוד נתונים אחד כדי לעמוד ביעדי SLO מעורבים
בתרשים הבא מוצג צינור עיבוד נתונים אחד שמשמש לעיבוד תשלומים בעדיפות גבוהה ובעדיפות רגילה. הצינור מקבל התראה על תשלומים חדשים ממקור נתונים בסטרימינג, כמו נושא ב-Pub/Sub או נושא ב-Apache Kafka. לאחר מכן, הוא מעבד את התשלומים באופן מיידי וכותב אירועים ב-BigQuery באמצעות הזנת זרם נתונים.
היתרון של צינור עיבוד נתונים יחיד הוא שהוא מפשט את הדרישות התפעוליות, כי צריך לנהל רק מקור נתונים אחד וצינור עיבוד נתונים אחד. ב-Dataflow יש תכונות של כוונון אוטומטי שעוזרות להריץ את המשימה במהירות וביעילות.
החיסרון בצינור עיבוד נתונים יחיד הוא שצינור עיבוד הנתונים המשותף לא יכול לתעדף תשלומים בעדיפות גבוהה על פני תשלומים בעדיפות רגילה, ומשאבי צינור עיבוד הנתונים משותפים לשני סוגי התשלומים. בתרחיש העסקי שתואר קודם, ה-pipeline צריך לעמוד ב-SLO המחמיר יותר מבין השניים. כלומר, הצינור חייב להשתמש ב-SLO לתשלומים בעדיפות גבוהה, בלי קשר לעדיפות בפועל של התשלומים שעובדו. חיסרון נוסף הוא שבמקרה של עומס עבודה, פייפליין זורם לא יכול לתעדף את העיבוד של עומס העבודה לפי דחיפות העבודה.
שימוש בכמה צינורות עיבוד נתונים שמותאמים ליעדי SLO ספציפיים
אתם יכולים להשתמש בשני צינורות עיבוד נתונים כדי לבודד משאבים ולעמוד ביעדי SLO ספציפיים. התרשים הבא ממחיש את הגישה הזו.
תשלומים בעדיפות גבוהה מבודדים לפייפליין זורם לצורך עיבוד בעדיפות גבוהה. תשלומים בעדיפות רגילה מעובדים על ידי צינור עיבוד נתונים באצווה שפועל מדי יום ומשתמש במשימות טעינה של BigQuery כדי לכתוב תוצאות מעובדות.
יש יתרונות לבידוד נתונים בצינורות עיבוד נתונים שונים. כדי להעביר תשלומים בעדיפות גבוהה במסגרת יעדי SLO מחמירים יותר, אפשר לקצר את זמני העיבוד על ידי הקצאת משאבים נוספים לצינור עיבוד הנתונים שמיועד לתשלומים בעדיפות גבוהה. הגדרות המשאבים כוללות הוספה של רכיבי Worker של Dataflow, שימוש במכונות גדולות יותר והפעלת התאמה אוטומטית לעומס (automatic scaling). בידוד של פריטים בעדיפות גבוהה לתור עיבוד נפרד יכול גם להפחית את העיכובים בעיבוד אם יש עלייה פתאומית בתשלומים בעדיפות רגילה.
כשמשתמשים בכמה צינורות עיבוד נתונים כדי לבודד את הנתונים ממקורות של אצווה וסטרימינג ולאזן את העומסים שלהם, מודל התכנות של Apache Beam מאפשר לצינורות עיבוד הנתונים בעדיפות גבוהה (סטרימינג) ובעדיפות רגילה (אצווה) לשתף את אותו הקוד. החריג היחיד הוא טרנספורמציית הקריאה הראשונית, שקוראת ממקור מוגבל לצינור עיבוד הנתונים באצווה. מידע נוסף זמין במאמר יצירת ספריות של טרנספורמציות לשימוש חוזר.
תכנון של מקורות נתונים וכיורי נתונים
כדי לעבד נתונים, צריך לשלב את הפייפליין עם מערכות אחרות. המערכות האלה נקראות מקורות וsinks. פייפליינים קוראים נתונים ממקורות וכותבים נתונים לכיורים. בנוסף למקורות ולכיורים, יכול להיות שצינורות עיבוד הנתונים יתקשרו עם מערכות חיצוניות כדי להעשיר נתונים, לסנן אותם או לקרוא ללוגיקה עסקית חיצונית בשלב עיבוד.
כדי לאפשר מדרגיות, השלבים של הפייפליין ב-Dataflow פועלים במקביל בכמה worker-ים. גם גורמים שלא קשורים לקוד של צינור עיבוד הנתונים ולשירות Dataflow משפיעים על יכולת ההתאמה של צינור עיבוד הנתונים לעומס. הגורמים האלה יכולים לכלול:
יכולת ההתאמה של מערכות חיצוניות: מערכות חיצוניות שהצינור שלכם יוצר איתן אינטראקציה יכולות להגביל את הביצועים, וליצור את הגבול העליון של יכולת ההתאמה. לדוגמה, נושא של Apache Kafka שהוגדר עם מספר לא מספיק של מחיצות לקצב הקריאה שאתם צריכים, יכול להשפיע על הביצועים של צינור עיבוד הנתונים. כדי לוודא שהצינור ורכיביו עומדים ביעדי הביצועים, עיינו במסמכי התיעוד של השיטות המומלצות למערכות החיצוניות שבהן אתם משתמשים. אתם יכולים גם לפשט את תכנון הקיבולת של התשתית באמצעות שירותי Google Cloud שמספקים יכולת התאמה מובנית לעומס. למידע נוסף, קראו את הקטע שימוש במקורות ובכיורים מנוהלים של Google Cloud בדף הזה.
בחירת פורמט הנתונים: יכול להיות שפורמטים מסוימים של נתונים ייקראו מהר יותר מאחרים. לדוגמה, שימוש בפורמטי נתונים שתומכים בקריאות שניתן לבצע במקביל, כמו Avro, בדרך כלל מהיר יותר משימוש בקובצי CSV עם שורות חדשות מוטמעות בשדות, ומהיר יותר משימוש בקבצים דחוסים.
מיקום הנתונים והטופולוגיה של הרשת: הקרבה הגיאוגרפית ומאפייני הרשת של מקורות הנתונים ושל יעדי הנתונים ביחס לפייפליין עשויים להשפיע על הביצועים. למידע נוסף, אפשר לעיין בקטע שיקולים אזוריים שבדף הזה.
שיחות לשירותים חיצוניים
קריאה לשירותים חיצוניים מהצינור שלכם כרוכה בתקורה לכל קריאה, שיכולה להפחית את הביצועים והיעילות של הצינור. אם פייפליין הנתונים קורא לשירותים חיצוניים, כדי לצמצם את התקורה, כדאי לאסוף כמה רכיבי נתונים לבקשות בודדות כשאפשר. הרבה טרנספורמציות קלט/פלט מקוריות של Apache Beam מבצעות את המשימה הזו באופן אוטומטי, כולל BigQueryIO ופעולות של הזנת זרם נתונים. בנוסף למגבלות הקיבולת, בחלק מהשירותים החיצוניים יש גם מכסות שמגבילות את המספר הכולל של הקריאות בפרק זמן מסוים, כמו מכסה יומית, או מגבילות את קצב הקריאות, כמו מספר הבקשות לשנייה.
מכיוון ש-Dataflow מבצע עבודה במקביל על פני כמה וורקרים, יותר מדי תנועה יכולה להציף שירות חיצוני או למצות את המכסות הזמינות. כשמשתמשים בהתאמה אוטומטית לעומס, יכול להיות ש-Dataflow ינסה לפצות על כך על ידי הוספת עובדים כדי להריץ שלב איטי כמו קריאה חיצונית. הוספת וורקרים יכולה להגביר את העומס על מערכות חיצוניות. חשוב לוודא שהמערכות החיצוניות יכולות לתמוך בדרישות העומס הצפויות, או להגביל את התנועה מהצינור לרמות שניתן לעמוד בהן. מידע נוסף זמין במאמר הגבלת גודלי אצווה וקריאות בו-זמניות לשירותים חיצוניים.
שימוש ב Google Cloud מקורות וב-Sinks מנוהלים
כשמשתמשים ב Google Cloud שירותים מנוהלים בצינור עיבוד הנתונים ב-Dataflow, לא צריך להתמודד עם המורכבות של ניהול הקיבולת. השירותים האלה מספקים יכולת מובנית להתאמה לעומס, ביצועים עקביים ומכסות ומגבלות שמתאימות לרוב הדרישות. עדיין צריך לשים לב למכסות ולמגבלות השונות של פעולות בצינור עיבוד הנתונים. ל-Dataflow עצמו יש מכסות ומגבלות. כדי להגדיל חלק מהמכסות, אפשר לפנות לתמיכה שלGoogle Cloud .
Dataflow משתמש במכונות וירטואליות של Compute Engine כדי להריץ את המשימות, ולכן צריך מכסה מספיקה ב-Compute Engine. מכסה לא מספיקה ב-Compute Engine יכולה להפריע להתאמה האוטומטית לעומס (scaling) של צינור עיבוד הנתונים, או למנוע את התחלת המשימות.
בחלקים הבאים נסביר איך Google Cloudמכסות ומגבלות שונות יכולות להשפיע על התכנון, הפיתוח והמעקב אחרי צינור עיבוד הנתונים. Pub/Sub ו-BigQuery משמשים כדוגמאות למקורות ולכיורים של צינור עיבוד נתונים.
דוגמה 1: Pub/Sub
כשמשתמשים ב-Pub/Sub עם Dataflow, Pub/Sub מספק שירות הטמעת אירועים עמיד וניתן להתאמה, כדי להעביר הודעות אל Data pipelines בסטרימינג ומתוכם. אתם יכולים להשתמש במסוף Google Cloud כדי לראות את ניצול המכסות של Pub/Sub ולהגדיל את מגבלות המכסות. אם יש לכם צינור עיבוד נתונים אחד שחורג מהמכסות ומהמגבלות לכל פרויקט, מומלץ לבקש להגדיל את המכסה.
המכסות והמגבלות של Pub/Sub מבוססות על השימוש ברמת הפרויקט. באופן ספציפי, מפרסמים ומנויים בפרויקטים שונים מקבלים מכסות עצמאיות של קצב העברת נתונים. אם כמה צינורות עיבוד נתונים מפרסמים או נרשמים לנושא אחד, אפשר להשיג את קצב העברת הנתונים המקסימלי המותר בנושא הזה על ידי פריסת כל צינור עיבוד נתונים בפרויקט משלו. בהגדרה הזו, כל צינור עיבוד נתונים משתמש בחשבון שירות אחר שמבוסס על פרויקט כדי לצרוך ולפרסם הודעות.
בתרשים הבא, Pipeline 1 ו-Pipeline 2 חולקים את אותה מכסת קצב העברה של מנויים ובעלי תוכן דיגיטלי שזמינה ל-Project A. לעומת זאת, Pipeline 3 יכול להשתמש בכל מכסת קצב הנתונים של המנוי והמפרסם שמצורפת ל-Project B.
כמה צינורות עיבוד נתונים יכולים לקרוא מנושא Pub/Sub אחד באמצעות מינויים נפרדים לנושא, וכך צינורות עיבוד הנתונים של Dataflow יכולים למשוך הודעות ולאשר אותן בנפרד ממנויים אחרים, כמו צינורות עיבוד נתונים אחרים. התכונה הזו מאפשרת לשכפל בקלות צינורות עיבוד נתונים על ידי יצירת מינויים נוספים ל-Pub/Sub. יצירת מינויים נוספים שימושית ליצירת צינורות עיבוד נתונים משוכפלים לזמינות גבוהה (בדרך כלל לתרחישי שימוש בסטרימינג), להרצת צינורות עיבוד נתונים נוספים לבדיקה על אותם נתונים, ולהפעלת עדכונים של צינורות עיבוד נתונים.
דוגמה 2: BigQuery
קריאה וכתיבה של נתוני BigQuery נתמכות על ידי Apache Beam SDK בכמה שפות, כולל Java, Python ו-Go. כשמשתמשים ב-Java, המחלקה BigQueryIO מספקת את הפונקציונליות הזו. ב-BigQueryIO יש שתי שיטות לקריאת נתונים: EXPORT (ייצוא טבלה) ו-DIRECT_READ.
שיטות הקריאה השונות צורכות מכסות שונות של BigQuery.
ייצוא טבלה הוא שיטת הקריאה שמוגדרת כברירת מחדל. התהליך מתואר בתרשים הבא:
בתרשים מוצג התהליך הבא:
- BigQueryIO מפעיל BigQuery Export כדי לייצא נתוני טבלה. נתוני הטבלה שמיוצאים נכתבים במיקום זמני ב-Cloud Storage.
- BigQueryIO קורא את נתוני הטבלה מהמיקום הזמני ב-Cloud Storage.
בקשות הייצוא ל-BigQuery מוגבלות על ידי מכסות הייצוא. בנוסף, בקשת הייצוא צריכה להסתיים לפני שהצינור יכול להתחיל לעבד נתונים, מה שמוסיף עוד זמן ריצה למשימה.
לעומת זאת, בגישת הקריאה הישירה משתמשים ב-BigQuery Storage API כדי לקרוא נתונים בטבלה ישירות מ-BigQuery. BigQuery Storage API מספק ביצועי קריאה עם תפוקה גבוהה לנתוני שורות בטבלה באמצעות gRPC. כשמשתמשים ב-BigQuery Storage API, אין צורך בשלב הייצוא, וכך נמנעות מגבלות המכסות של הייצוא וזמן הריצה של המשימה עשוי להתקצר.
בתרשים הבא מוצג התהליך כשמשתמשים ב-BigQuery Storage API. בניגוד לתהליך שמשתמש בבקשת BigQuery Export, התהליך הזה פשוט יותר כי יש בו רק שלב אחד של קריאה ישירה כדי להעביר את הנתונים מהטבלה לפייפליין.
גם לכתיבת נתונים בטבלאות ב-BigQuery יש השלכות על המכסות. צינורות עיבוד נתונים באצווה שמשתמשים במשימות טעינה של BigQuery צורכים מכסות שונות של משימות טעינה של BigQuery שחלות ברמת הטבלה והפרויקט. באופן דומה, פייפליינים זורמים שמשתמשים בהזנות זרם נתונים של BigQuery צורכים מכסות של הזנות זרם נתונים של BigQuery.
כדי לקבוע מהן השיטות המתאימות ביותר לקריאה ולכתיבה של נתונים, כדאי להביא בחשבון את התרחיש לדוגמה. לדוגמה, אל תשתמשו במשימות טעינה של BigQuery כדי להוסיף נתונים לטבלה אלפי פעמים ביום. משתמשים בצינור עיבוד נתונים בסטרימינג כדי לכתוב נתונים כמעט בזמן אמת ב-BigQuery. לשם כך, צינור עיבוד הנתונים בסטרימינג צריך להשתמש בהזנת זרם נתונים או ב-Storage Write API.
שיקולים אזוריים
Dataflow מוצע כשירות מנוהל במספר Google Cloud אזורים. כשבוחרים אזור להרצת המשימות, כדאי להביא בחשבון את הגורמים הבאים:
- המיקום של מקורות הנתונים ושל יעדי הנתונים
- העדפות או הגבלות על מיקומי עיבוד הנתונים
- תכונות של Dataflow שמוצעות רק באזורים ספציפיים
- האזור שמשמש לניהול הביצוע של משימה מסוימת
- האזור שבו נמצאים ה-workers של המשימה
במשימה נתונה, הגדרת האזור שבה אתם משתמשים למשימה ול-workers יכולה להיות שונה. למידע נוסף, כולל מתי לציין אזורים ותחומים, קראו את המסמכים בנושא אזורים ב-Dataflow.
כשמציינים אזורים להרצת משימות Dataflow, אפשר לתכנן את המשימות בהתאם לשיקולים אזוריים של זמינות גבוהה ותוכנית התאוששות מאסון (DR). למידע נוסף, קראו את המאמר זמינות גבוהה ויתירות גיאוגרפית.
אזורים
באזורים של Dataflow מאוחסנים ומטופלים מטא-נתונים שקשורים למשימה, כמו מידע על תרשים Apache Beam עצמו, למשל שמות של טרנספורמציות. הם גם שולטים בהתנהגויות של ה-workers, כמו התאמה לעומס (autoscaling). ציון אזור עוזר לכם לעמוד בדרישות האבטחה והתאימות, לאחסן ולעבד נתונים באופן מקומי ולמקם את המשימה באזור מסוים. כדי למנוע פגיעה בביצועים כתוצאה מקריאות רשת בין אזורים, מומלץ להשתמש באותו אזור למשימה ול-workers, כשאפשר.
Dataflow workers
משימות Dataflow משתמשות במכונות וירטואליות של Compute Engine, שנקראות Dataflow workers, כדי להריץ את צינור עיבוד הנתונים. במשימות Dataflow אפשר להשתמש בכל אזור של Compute Engine בשביל ה-workers, כולל אזורים שאין בהם מיקומי Dataflow. אם תציינו אזור עובדים למשימה, תוכלו לשלוט במיקום האזורי של העובדים. כדי לציין אזור או תחום של Worker:
- אם אתם משתמשים ב-CLI של gcloud כדי ליצור משימה מתבנית של Dataflow, השתמשו בדגל
--worker-regionכדי לשנות את האזור של ה-worker, או בדגל--worker-zoneכדי לשנות את אזור ה-worker. - אם אתם משתמשים ב-Apache Beam Java SDK כדי ליצור את המשימה, הגדירו אזורים ו-zones ל-workers באמצעות אפשרויות צינור עיבוד הנתונים.
אפשר להשתמש ב-
workerRegionכדי לשנות את אזור ה-worker או ב-workerZoneכדי לשנות את תחום ה-worker.
כדי לשפר את זמן האחזור ואת קצב הנתונים ברשת, מומלץ ליצור את ה-workers באזור שקרוב מבחינה גיאוגרפית למקורות הנתונים ולכיורי הנתונים. אם לא תציינו אזור או אזור זמין ל-workers כשאתם יוצרים משימה, Dataflow יבחר כברירת מחדל אזור זמין שנמצא באותו אזור של המשימה.
אם אתם לא משתמשים בשירות ארגון נתונים של Dataflow או ב-Streaming Engine, הנתונים שעוברים עיבוד במסגרת המשימה (כלומר, נתונים שמאוחסנים באובייקט PCollection כלשהו) נמצאים ב-workers של המשימה, בהנחה שאין קוד משתמש שמעביר נתונים מחוץ ל-workers. אם השירות "ארגון נתונים של Dataflow" או Streaming Engine מופעלים, אפשר להעביר את מערך הנתונים המבוזר שמיוצג על ידי אובייקט PCollection בין ה-workers לבין השירותים האלה.
שיקולים בנוגע להצפנת נתונים
Dataflow הוא שירות שמנוהל במלואו, ולכן הוא מצפין באופן אוטומטי את הנתונים שעוברים בפייפליין הנתונים באמצעות Google-owned and Google-managed encryption keys , גם כשהם בתנועה וגם כשהם במנוחה. במקום להשתמש ב- Google-owned and Google-managed encryption keys, יכול להיות שתעדיפו לנהל את מפתחות ההצפנה שלכם. במקרים כאלה, Dataflow תומך במפתחות הצפנה בניהול הלקוח (CMEK) באמצעות Cloud Key Management Service (KMS). אתם יכולים גם להשתמש ב-Cloud HSM, שירות של מודול אבטחה לחומרה (HSM) שמתארח בענן, שמאפשר לארח מפתחות הצפנה ולבצע פעולות קריפטוגרפיות באשכול של מודולי HSM עם אישור FIPS 140-2 ברמה 3.
כשמשתמשים ב-CMEK, Dataflow משתמש במפתח Cloud KMS כדי להצפין את הנתונים, חוץ מפעולות שמבוססות על מפתחות נתונים כמו חלונות, קיבוץ וצירוף. אם מפתחות הנתונים מכילים מידע אישי רגיש, כמו פרטים אישיים מזהים (PII), צריך לגבב (hash) או לשנות את המפתחות לפני שהם נכנסים לצינור עיבוד הנתונים של Dataflow.
שיקולים לגבי רשתות פרטיות
יכול להיות שדרישות האבטחה והרשת שלכם מחייבות שעומסי עבודה שמבוססים על מכונות וירטואליות, כמו משימות Dataflow, ישתמשו רק בכתובות IP פרטיות. ב-Dataflow אפשר לציין ש-workers ישתמשו בכתובות IP פרטיות לכל התקשורת ברשת. אם כתובות ה-IP הציבוריות מושבתות, צריך להפעיל גישה פרטית ל-Google ברשת המשנה כדי ש-Dataflow workers יוכלו להגיע לממשקי ה-API ולשירותים של Google.
מומלץ להשבית את כתובות ה-IP הציבוריות של ה-workers ב-Dataflow, אלא אם משימות ה-Dataflow דורשות כתובות IP ציבוריות כדי לגשת למשאבי רשת מחוץ ל- Google Cloud. השבתת כתובות ה-IP הציבוריות מונעת מה-workers של Dataflow לגשת למשאבים שנמצאים מחוץ לרשת המשנה או לגשת לרשתות VPC שכנות. באופן דומה, נמנעת גישה לרשת של ה-VM worker מחוץ לרשת המשנה או לרשתות ה-VPC השכנות.
למידע נוסף על השימוש באפשרות צינור עיבוד הנתונים --usePublicIps כדי לציין אם לעובדים צריכות להיות רק כתובות IP פרטיות, ראו אפשרויות צינור עיבוד הנתונים.