עומסי עבודה מקבילים מאוד, שנקראים גם עומסי עבודה מקבילים באופן מביך, נפוצים בארגונים בתחומי הפיננסים, המדיה ומדעי החיים. לעומסי עבודה מקבילים כאלה, ארגונים בדרך כלל פורסים אשכול של צומתי מחשוב. כל צומת יכול לבצע משימות עיבוד עצמאיות, בתצורה שנקראת מחשוב סריגי (Grid Computing). כדי לעבד נתונים לעומסי עבודה מקבילים, אתם יכולים להשתמש ב-Apache Beam עם Dataflow. מידע נוסף על Apache Beam זמין במדריך התכנות של Apache Beam.
לשימוש ב-Dataflow לעומסי עבודה שיש ביניהם הקבלה גבוהה יש יתרונות רבים.
- יוצרים תהליך עבודה מנוהל לחלוטין, עם עיבוד נתונים ותזמור באותו צינור עיבוד נתונים.
- ממשק המשתמש וה-API של Dataflow כוללים תכונות של ניראות.
- ב-Dataflow יש רישום מרכזי ביומן לכל שלבי צינור עיבוד הנתונים.
- ב-Dataflow יש התאמה אוטומטית לעומס כדי למקסם את הביצועים ולייעל את השימוש במשאבים.
- Dataflow הוא עמיד בפני תקלות ומספק איזון עומסים דינמי.
- ב-Dataflow יש זיהוי ותיקון של משימות איטיות.
- משתמשים במערכת אחת לכל ההיבטים של צינור עיבוד הנתונים, גם לעיבוד לפני ואחרי וגם לעיבוד המשימות. אפשר אפילו להשתמש בקוד C++ קיים בצינור עיבוד הנתונים.
- להשתמש בעיבוד פעם אחת בדיוק המובנה ש-Dataflow מספק.
בנוסף, Dataflow כולל אמצעי אבטחה שונים:
- שימוש במפתח הצפנה בניהול הלקוח (CMEK) בצינור עיבוד הנתונים.
- להגדיר כללי חומת אש לרשת שמשויכת למשימת ה-Dataflow.
- משתמשים ברשת VPC.
בעומסי העבודה האלה צריך להפיץ את הנתונים לפונקציות שפועלות על פני הרבה ליבות. ההפצה הזו דורשת לעיתים קרובות קריאות בו-זמניות רבות מאוד, ואחריהן פיזור נתונים נרחב שנקלט במערכות במורד הזרם. היכולות העיקריות של Dataflow הן הפצה של עומסי עבודה באצווה ובסטרימינג בין משאבים, וניהול של התאמה לעומס (autoscaling) ואיזון דינמי של עומסי העבודה בין המשאבים האלה. לכן, כשמשתמשים ב-Dataflow לעומסי עבודה מקבילים, הצרכים של הביצועים, יכולת ההתאמה לעומס, הזמינות והאבטחה מטופלים באופן אוטומטי.
שילוב קוד חיצוני בצינור עיבוד הנתונים
ל-Apache Beam יש ערכות SDK מובנות ל-Java, ל-Python ול-Go. עם זאת, עומסי עבודה רבים במקביל משתמשים בקוד שנכתב ב-C++. אתם יכולים להשתמש ב-Dataflow ובשירותים אחרים של Google Cloud כדי להריץ קובצי בינאריים (ספריות) של C++ כקוד חיצוני באמצעות Apache Beam. הכללת קובצי C++ בינאריים מאפשרת לכם להפעיל את סוגי עומסי העבודה האלה באמצעות שירותים שמנוהלים במלואם. הוא גם מאפשר לכם ליצור צינורות עיבוד נתונים שלמים באמצעות גרף אציקלי מכוון (DAG) מתוחכם.
אותה גישה להרצת קובצי C++ בינאריים רלוונטית גם לקוד שנכתב בשפות אחרות שבהן אפשר לקמפל קובץ בינארי עצמאי.
צינורות עיבוד נתונים מקבילים מאוד מקצה לקצה
באמצעות Dataflow, אתם יכולים לבצע את עיבוד הקריאה והכתיבה של קלט/פלט, את הניתוח ואת פלט המשימה, והכול באותו צינור עיבוד נתונים. כך אפשר להריץ צינורות עיבוד נתונים שלמים במקביל.
לדוגמה, עומס עבודה מקבילי מאוד של HPC יכול לכלול את השלבים הבאים:
הטמעת נתונים גולמיים, ממקורות פנימיים וחיצוניים כאחד. הנתונים יכולים להגיע ממקורות מוגבלים או לא מוגבלים. מקורות לא מוגבלים מומרים בדרך כלל למקורות מוגבלים כדי להתאים לטכנולוגיות שמשמשות ל-task farming.
עיבוד מראש של הנתונים הגולמיים לצורה ולקידוד של נתונים שרכיב ה-task farming יכול להשתמש בהם.
משתמשים במערכת כדי להפיץ את החישובים למארחים ולאחזר נתונים ממקור, ואז מממשים את התוצאות לניתוח לאחר מכן.
מבצעים ניתוח לאחר מכן כדי להמיר את התוצאות לפלט.
אתם יכולים להשתמש ב-Dataflow כדי לנהל את כל השלבים האלה בצינור עיבוד נתונים אחד, תוך ניצול התכונות של Dataflow:
מכיוון שמערכת אחת אחראית לכל השלבים, אין צורך במערכת תזמור חיצונית כדי לתאם את ההפעלה של כמה צינורות עיבוד נתונים.
כשמשתמשים באחסון ועיבוד נתונים באופן מקומי, לא צריך לבצע מטריאליזציה ודה-מטריאליזציה באופן מפורש בין גבולות השלבים, וכך לשפר את היעילות.
בעזרת טלמטריה טובה יותר במערכת, אפשר לקבל מידע על מספר הבייטים הכולל בשלב מסוים, וכך לתכנן את השלבים הבאים.
עם התאמה אוטומטית לעומס, כשהנתונים נמצאים במערכת, המשאבים מותאמים לעומס על סמך נפחי הנתונים כשהנתונים עוברים בשלבים של פייפליין.
צינור עיבוד הנתונים המקבילי של Dataflow HPC משתמש במנועי הרצה מודרניים של DAG. אפשר להשלים את כל התהליכים הרגילים של צינור עיבוד הנתונים ב-DAG אחד, ולכן גם בצינור עיבוד נתונים אחד של Dataflow. אפשר להשתמש ב-DAG שנוצר על ידי Apache Beam כדי להגדיר את הצורה של צינור עיבוד הנתונים.
אם אתם עוברים ממערכת של חוות משימות לתהליך עבודה מקבילי מאוד, אתם צריכים לעבור ממשימות לנתונים. PTransform מכיל DoFn, שיש לו פונקציית תהליך שמקבלת רכיב נתונים. הנקודה על הגרף יכולה להיות כל אובייקט עם מאפיין אחד או יותר.
באמצעות DAG וצינור עיבוד נתונים אחד, אפשר לטעון את כל הנתונים במערכת במהלך כל תהליך העבודה. אין צורך להוציא נתונים למסדי נתונים או לאחסון.
רכיביGoogle Cloud שמשמשים בתהליכי עבודה שיש ביניהם הקבלה גבוהה
באפליקציות של מחשוב סריגי (Grid Computing), צריך להפיץ את הנתונים לפונקציות שפועלות בהרבה ליבות. הדפוס הזה דורש בדרך כלל קריאות בו-זמניות רבות, ולרוב אחריו יש פיזור נתונים רחב שנקלט במערכות במורד הזרם.
Dataflow משולב עם Google Cloud שירותים מנוהלים אחרים שיכולים לקלוט קלט/פלט של נתונים מקבילים בקנה מידה עצום:
- Pub/Sub: שירות גלובלי להטמעת עדכונים בזמן אמת של אירועים
- Bigtable: מאגר נתונים בעמודות רחבות לשמירה במטמון ולשליפה
- Cloud Storage: מאגר אובייקטים מאוחד
- BigQuery: שירות מחסן נתונים (data warehouse) בקנה מידה של פטה-בייט
השילוב של השירותים האלה מספק פתרון מצוין לעומסי עבודה מקבילים מאוד.
ארכיטקטורה נפוצה לעומסי עבודה מקבילים מאוד שפועלים ב-Google Cloud כוללת את הרכיבים הבאים:
Dataflow Runner ל-Apache Beam. ה-runner הזה מחלק את העבודה לצומתי הרשת באמצעות תהליך עיבוד שנגזר מ-DAG. DAG יחיד של Apache Beam מאפשר להגדיר צינורות עיבוד נתונים מורכבים עם כמה שלבים, שבהם אפשר לאחד מחדש שלבים מקבילים של צינור עיבוד הנתונים באמצעות קלט צדדי או צירופים.
Cloud Storage. השירות הזה מספק מיקום להכנת קובצי ה-C++ הבינאריים. כשצריך לאחסן קבצים גדולים, כמו במקרים רבים של שימוש במדיה, הקבצים האלה נמצאים גם ב-Cloud Storage.
Bigtable, BigQuery ו-Pub/Sub. השירותים האלה משמשים גם כמקורות וגם כיעדים.
התרשים הבא מתאר ארכיטקטורה ברמה גבוהה של תהליך עבודה לדוגמה.
אפשר גם להשתמש במערכות אחסון אחרות. לפרטים נוספים, עיינו ברשימה של מערכות אחסון ומקורות סטרימינג בדף pipeline I/O במסמכי התיעוד של Apache Beam.
מריץ Dataflow ל-Apache Beam
אתם יכולים להשתמש ב-Dataflow כדי לשנות ולהעשיר את הנתונים במצב סטרימינג ובמצב אצווה. Dataflow מבוסס על Apache Beam.
Cloud Storage
Cloud Storage הוא מאגר אובייקטים מאוחד שכולל הצגת נתונים בזמן אמת, ניתוח נתונים, למידת מכונה (ML) וארכוב נתונים. לעומסי עבודה מקבילים מאוד עם Dataflow, Cloud Storage מספק גישה לקובצי C++ בינאריים. במקרים מסוימים, Cloud Storage מספק גם את המיקום של הנתונים שנדרשים לשלב העיבוד.
כדי להתמודד עם עומסי העבודה הגבוהים שנדרשים למחשוב סריגי, צריך להבין את מאפייני הביצועים של Cloud Storage. מידע נוסף על ביצועי הצגת הנתונים ב-Cloud Storage זמין במאמר הנחיות לגבי קצב הבקשות והפצת הגישה במסמכי התיעוד של Cloud Storage.
Bigtable
Bigtable הוא שירות מסד נתונים NoSQL עם ביצועים גבוהים, שמותאם לעומסי עבודה תפעוליים ואנליטיים גדולים.
Bigtable משלים את Dataflow. המאפיינים העיקריים של Bigtable, קריאות וכתיבות עם זמן אחזור קצר (6 אלפיות השנייה באחוזון ה-90), מאפשרים לו לטפל באלפי לקוחות בו-זמנית ובעומסי עבודה כבדים. התכונות האלה הופכות את Bigtable לכיור ולמקור נתונים אידיאליים בתוך הפונקציה DoFn בשלב העיבוד של Dataflow.
BigQuery
BigQuery הוא מחסן נתונים (data warehouse) ארגוני מהיר, חסכוני ומנוהל באופן מלא, שמיועד לניתוח נתונים בקנה מידה גדול. תוצאות של רשת משמשות לעיתים קרובות לניתוח, ומאפשרות להריץ צבירות בקנה מידה גדול על פלט הנתונים של הרשת.
Pub/Sub
Pub/Sub הוא שירות אסינכרוני וסקלאבילי להעברת הודעות, שמפריד בין השירותים שיוצרים את ההודעות לבין השירותים שמעבדים אותן. אתם יכולים להשתמש ב-Pub/Sub לניתוח נתונים בזמן אמת ולצינורות עיבוד נתונים של שילוב נתונים כדי להטמיע ולהפיץ נתונים. הוא יעיל באותה מידה כתוכנת תווך (middleware) מבוססת-הודעות לשילוב שירותים, או כתור להפעלת משימות במקביל.
ה-DAG של Dataflow
אתם יכולים להשתמש ב-Apache Beam SDK כדי ליצור DAGs אקספרסיביים, שמאפשרים ליצור צינורות עיבוד נתונים בכמה שלבים בסטרימינג או באצווה. ה-runner מטפל בהעברת הנתונים, והנתונים מיוצגים כאובייקטים מסוג PCollection, שהם אוספים מקבילים של רכיבים שלא ניתנים לשינוי.
התרשים הבא ממחיש את התהליך הזה.
באמצעות Apache Beam SDK אפשר להגדיר DAG. ב-DAG, אפשר לכלול קוד שמוגדר על ידי המשתמש כפונקציות. בדרך כלל, משתמשים באותה שפת תכנות (Java, Python או Go) גם להצהרה על ה-DAG וגם לקוד שמוגדר על ידי המשתמש. אתם יכולים גם להשתמש בקוד שלא מובנה, כמו C++, בשביל הקוד שמוגדר על ידי המשתמש.
המאמרים הבאים
- שיטות מומלצות לעבודה עם צינורות עיבוד נתונים מקבילים של Dataflow HPC.
- במדריך הזה מוסבר איך ליצור צינור עיבוד נתונים שמשתמש בקונטיינרים מותאמים אישית עם ספריות C++.