פיתוח צינור עיבוד נתונים כולל שלבים ומשימות שונים, כמו פיתוח קוד, בדיקה והעברה לסביבת הייצור. במסמך הזה מוסבר:
- שיקולים לגבי אינטגרציה רציפה (CI) ופיתוח רציף (CD) כדי לתמוך ב-build אוטומטי, בבדיקות ובפריסה של צינורות עיבוד נתונים בסביבות שונות.
- תכונות של Dataflow לאופטימיזציה של הביצועים וניצול המשאבים בסביבת הייצור.
- גישות ונקודות מעקב לעדכון פייפליינים זורמים בסביבת הייצור.
- שיטות מומלצות לשיפור האמינות של צינורות עיבוד הנתונים בסביבת הייצור.
אינטגרציה רציפה (CI)
שילוב רציף (CI) מחייב את המפתחים למזג קוד למאגר משותף לעיתים קרובות, וזה שימושי לאפליקציות שמשתנות הרבה, כמו אתרים שמתעדכנים לעיתים קרובות. למרות שפייפליינים של נתונים בדרך כלל לא משתנים כמו סוגים אחרים של אפליקציות, שיטות CI מספקות יתרונות רבים לפיתוח פייפליינים. לדוגמה, בדיקות אוטומטיות מספקות משוב מהיר כשנתקלים בפגמים, ומפחיתות את הסבירות שרגרסיות ייכנסו לבסיס הקוד.
אוטומציה של בדיקות היא חלק חשוב מ-CI. כשמשלבים את הבדיקות האוטומטיות עם כיסוי בדיקות מתאים, הן מריצות את חבילת המקרים לבדיקה בכל פעם שמתבצע commit של קוד. שרת ה-CI יכול לפעול בשילוב עם כלי לאוטומציה של גרסאות build כמו Maven, כדי להריץ את חבילת המקרים לבדיקה כשלב אחד או יותר בצינור עיבוד הנתונים של ה-CI. אתם יכולים לארוז קוד שעובר בהצלחה בדיקות יחידה ובדיקות שילוב, ולהפוך אותו לרכיבי פריסה שמהם מופעלים צינורות עיבוד נתונים. ה-build הזה נקרא build שעבר.
המספר והסוגים של פריטי המידע שנוצרים בתהליך הפיתוח מ-build שעבר בהצלחה משתנים בהתאם לאופן שבו מופעלים צינורות עיבוד הנתונים. באמצעות Apache Beam Java SDK, אתם יכולים לארוז את קוד הצינור בקובץ JAR שמופעל באופן עצמאי. אחר כך אפשר לאחסן את קובץ ה-JAR בקטגוריה שמתארחת בפרויקט של סביבת פריסה, כמו פרויקט Google Cloud של טרום-ייצור או ייצור. אם אתם משתמשים בתבניות קלאסיות (סוג של הפעלה מבוססת-תבנית), פריטי המידע שנוצרו בתהליך הפיתוח של הפריסה כוללים קובץ תבנית JSON, קובץ JAR של צינור עיבוד הנתונים ותבנית מטא-נתונים אופציונלית. לאחר מכן תוכלו לפרוס את פריטי המידע שנוצרו בסביבות פריסה שונות באמצעות פיתוח רציף (continuous delivery), כפי שמוסבר בקטע הבא.
פיתוח רציף (continuous delivery) ופריסה רציפה (CD)
בפיתוח רציף (CD), פריטי פריסה מועתקים לסביבת פריסה אחת או יותר שמוכנה להפעלה ידנית. בדרך כלל, פריטי המידע שנוצרו על ידי שרת ה-CI נפרסים בסביבה אחת או יותר של טרום-ייצור כדי להריץ בדיקות מקצה לקצה. סביבת הייצור מתעדכנת אם כל הבדיקות מקצה לקצה עוברות בהצלחה.
בצינורות עיבוד נתונים באצווה, פריסה רציפה יכולה להפעיל ישירות את צינור עיבוד הנתונים כמשימה חדשה ב-Dataflow. לחלופין, מערכות אחרות יכולות להשתמש בארטיפקטים כדי להפעיל משימות באצווה לפי הצורך. לדוגמה, אתם יכולים להשתמש ב-Managed Service for Apache Airflow כדי להריץ משימות באצווה בתהליך עבודה, או ב-Cloud Scheduler כדי לתזמן משימות באצווה.
יכול להיות שיהיה קשה יותר לפרוס פייפליינים זורמים מאשר צינורות עיבוד נתונים באצווה, ולכן יכול להיות שיהיה קשה יותר להפוך אותם לאוטומטיים באמצעות פריסה רציפה. לדוגמה, יכול להיות שתצטרכו להחליט איך להחליף או לעדכן פייפליין זורם קיים. אם אתם לא יכולים לעדכן צינור עיבוד נתונים, או אם אתם בוחרים לא לעדכן אותו, אתם יכולים להשתמש בשיטות אחרות כמו תיאום בין כמה משימות Dataflow כדי למזער או למנוע שיבושים בעסק.
זהויות ותפקידים שנדרשים ל-CI/CD
תהליך ה-CI/CD שלכם יוצר אינטראקציה עם מערכות שונות כדי ליצור, לבדוק ולפרוס צינורות עיבוד נתונים. לדוגמה, לפייפליין נדרשת גישה למאגר המקורות של קוד המקור. כדי לאפשר את האינטראקציות האלה, צריך לוודא שלצינור עיבוד הנתונים יש את הזהויות והתפקידים המתאימים. יכול להיות שגם הפעילויות הבאות בצינור עיבוד הנתונים ידרשו שלצינור עיבוד הנתונים יהיו זהויות ותפקידים ספציפיים.
בדיקות שילוב עם שירותים חיצוניים, כולל Google Cloud
כשמשתמשים ב-Direct Runner כדי להריץ בדיקות אד-הוק או בדיקות של שילוב מערכות, הצינור משתמש ב-Application Default Credentials (ADC) כדי לקבל את פרטי הכניסה. הגדרת ADC משתנה בהתאם למקום שבו מריצים את צינור עיבוד הנתונים. מידע נוסף זמין במאמר הגדרת Application Default Credentials.
חשוב לוודא שלחשבון השירות שמשמש לקבלת פרטי הכניסה למשאביGoogle Cloud שאליהם ניגש צינור עיבוד הנתונים יש מספיק תפקידים והרשאות.
פריסת פריטי מידע שנוצרו בתהליך הפיתוח (Artifact) בסביבות פריסה שונות
במידת האפשר, השתמשו בפרטי כניסה ייחודיים לכל סביבה (למעשה לכל פרויקט) והגבילו את הגישה למשאבים בהתאם.
משתמשים בחשבונות שירות ייחודיים לכל פרויקט כדי לקרוא ולכתוב פריטי מידע שנוצרו בתהליך הפיתוח (artifacts) של פריסה לקטגוריות אחסון. בהתאם לשימוש של צינור עיבוד הנתונים בתבנית, יכול להיות שתהליך הפריסה יצטרך להכין כמה פריטי מידע שנוצרו בתהליך הפיתוח (Artifact). לדוגמה, כדי ליצור ולהעביר לשלב ביניים תבנית של Dataflow, נדרשות הרשאות לכתיבת פריטי פריסה שנדרשים להפעלת צינור עיבוד הנתונים, כמו קובץ התבנית של צינור עיבוד הנתונים, לקטגוריה של Cloud Storage.
פריסת צינורות עיבוד נתונים בסביבות פריסה שונות
כשאפשר, השתמשו בחשבונות שירות ייחודיים לכל פרויקט כדי לגשת למשאבי Google Cloud בפרויקט ולנהל אותם, כולל גישה ל-Dataflow עצמו.
לחשבון השירות שבו אתם משתמשים כדי ליצור ולנהל משימות ב-Dataflow צריכות להיות מספיק הרשאות IAM לניהול משימות. לפרטים, קראו את הקטע חשבון השירות של Dataflow בדף האבטחה וההרשאות של Dataflow.
לחשבון השירות של ה-worker VM שמשמש להרצת משימות ב-Dataflow צריכה להיות הרשאה לנהל את המשאבים של Compute Engine בזמן שהמשימה פועלת, ולנהל את האינטראקציה בין צינור עיבוד הנתונים של Apache Beam לבין שירות Dataflow. לפרטים, קראו את הקטע חשבון שירות של worker VM בדף האבטחה וההרשאות של Dataflow.
כדי לציין חשבון שירות של worker VM בניהול המשתמש בשביל משימה, משתמשים באפשרות של צינור עיבוד הנתונים --serviceAccount.
אם לא תציינו חשבון שירות של worker VM כשאתם יוצרים משימה, Dataflow ינסה להשתמש בחשבון השירות שמוגדר כברירת מחדל ב-Compute Engine.
במקום זאת, מומלץ לציין חשבון שירות של worker VM בניהול המשתמש בסביבות ייצור, כי בדרך כלל לחשבון השירות שמוגדר כברירת מחדל ב-Compute Engine יש קבוצת הרשאות רחבה יותר מההרשאות שנדרשות למשימות של Dataflow.
בתרחישים של סביבת ייצור, מומלץ להשתמש בחשבונות שירות נפרדים לניהול משימות ב-Dataflow ולחשבון השירות של ה-worker VM, כדי לשפר את האבטחה בהשוואה לשימוש בחשבון שירות יחיד. לדוגמה, יכול להיות שחשבון השירות שמשמש ליצירת משימות ב-Dataflow לא צריך לגשת למקורות נתונים ולכיורים, או להשתמש במשאבים אחרים שמשמשים את צינור עיבוד הנתונים. בתרחיש הזה, חשבון השירות של ה-worker VM שמשמש להרצת משימות ב-Dataflow מקבל הרשאות להשתמש במשאבים של צינור עיבוד הנתונים. לחשבון שירות אחר ליצירת משימות ניתנות הרשאות לניהול (כולל יצירה) של משימות Dataflow.
דוגמה לצינור עיבוד נתונים של CI/CD
בתרשים הבא מוצגת תצוגה כללית ובלתי תלויה בכלים של CI/CD לפייפליינים של נתונים. בנוסף, הדיאגרמה מציגה את הקשר בין משימות הפיתוח, סביבות הפריסה והרכיבים שמריצים את ה-pipeline.
בתרשים מוצגים השלבים הבאים:
פיתוח קוד: במהלך פיתוח הקוד, המפתח מריץ את קוד הצינור באופן מקומי באמצעות Direct Runner. בנוסף, המפתחים משתמשים בסביבת Sandbox להפעלה אד-הוק של צינור עיבוד הנתונים באמצעות Dataflow Runner.
בצינורות עיבוד נתונים אופייניים של CI/CD, תהליך האינטגרציה הרציפה מופעל כשמפתח מבצע שינוי במערכת בקרת המקורות, למשל דחיפת קוד חדש למאגר.
פיתוח ובדיקה: תהליך האינטגרציה הרציפה מקמפל את קוד צינור עיבוד הנתונים, ואז מריץ בדיקות יחידה ובדיקות אינטגרציה של טרנספורמציות באמצעות Direct Runner. אפשר גם להריץ בדיקות אופציונליות של שילוב המערכת, שכוללות בדיקות שילוב עם מקורות וכיורים חיצוניים באמצעות מערכי נתונים קטנים לבדיקה.
אם הבדיקות מצליחות, תהליך ה-CI מאחסן את פריטי הפריסה, שיכולים לכלול קובצי JAR, קובצי אימג' של Docker ומטא-נתונים של תבניות, שנדרשים כדי להפעיל את צינור עיבוד הנתונים למיקומים שנגישים לתהליך הפיתוח הרציף. בהתאם לסוגי פריטי המידע שנוצרו לפריסה, יכול להיות שתשתמשו ב-Cloud Storage וב-Artifact Registry כדי לאחסן את סוגי פריטי המידע השונים.
העברה ופריסה: תהליך הפיתוח הרציף מעתיק את פריטי הפריסה לסביבת טרום-ייצור, או הופך את הפריטים האלה לזמינים לשימוש בסביבה הזו. המפתחים יכולים להריץ באופן ידני בדיקות מקצה לקצה באמצעות Dataflow Runner, או להשתמש בפריסה רציפה כדי להפעיל את הבדיקה באופן אוטומטי. בדרך כלל, קל יותר להפעיל גישה של פריסה רציפה בפייפליינים של אצווה מאשר בפייפליינים זורמים. מכיוון שצינורות עיבוד נתונים באצווה לא פועלים באופן רציף, קל יותר להחליף אותם בגרסה חדשה.
תהליך העדכון של פייפליינים זורמים יכול להיות פשוט או מורכב, וכדאי לבדוק את העדכונים בסביבת טרום-הייצור. יכול להיות שהליכי העדכון לא תמיד יהיו עקביים בין הגרסאות. לדוגמה, יכול להיות שצינור עיבוד נתונים ישתנה באופן שלא יאפשר עדכונים במקום. לכן, לפעמים קשה להפוך את עדכוני צינור עיבוד הנתונים לאוטומטיים באמצעות פריסה רציפה.
אם כל הבדיקות מקצה לקצה עוברות בהצלחה, אתם יכולים להעתיק את פריטי המידע שנוצרו בתהליך הפיתוח (artifacts) או להפוך אותם לזמינים בסביבת הייצור כחלק מתהליך הפיתוח הרציף (CD). אם הפייפליין החדש מעדכן או מחליף פייפליין זורם קיים, משתמשים בתהליכים שנבדקו בסביבת טרום-הייצור כדי לפרוס את הפייפליין החדש.
ביצוע משימה ללא תבנית לעומת ביצוע משימה עם תבנית
אתם יכולים ליצור משימת Dataflow באמצעות Apache Beam SDK ישירות מסביבת פיתוח. משימה מהסוג הזה נקראת משימה ללא תבנית. הגישה הזו נוחה למפתחים, אבל יכול להיות שאתם מעדיפים להפריד בין המשימות של פיתוח צינורות עיבוד נתונים לבין המשימות של הפעלת צינורות עיבוד נתונים. כדי לבצע את ההפרדה הזו, אתם יכולים להשתמש בתבניות Dataflow, שמאפשרות להעביר את צינורות עיבוד הנתונים לשלב ביניים ולהריץ אותם כמשימות נפרדות. אחרי שהתבנית הועלתה, משתמשים אחרים, כולל משתמשים שהם לא מפתחים, יכולים להריץ את המשימות מהתבנית באמצעות ה-CLI של Google Cloud, מסוףGoogle Cloud או ה-API בארכיטקטורת REST של Dataflow.
ב-Dataflow יש סוגים שונים של תבניות משימות:
- תבניות קלאסיות: המפתחים משתמשים ב-Apache Beam SDK כדי להריץ את קוד הצינור ולשמור את תרשים הביצוע שעבר סריאליזציה של JSON בתור התבנית. Apache Beam SDK מעביר את קובץ התבנית למיקום ב-Cloud Storage, יחד עם כל יחסי התלות שנדרשים לקוד של צינור עיבוד הנתונים.
- תבניות Flex: המפתחים משתמשים ב-Google Cloud CLI כדי לארוז את צינור עיבוד הנתונים כקובץ אימג' של Docker, שנשמר ב-Artifact Registry. בנוסף, נוצר באופן אוטומטי קובץ מפרט של תבנית Flex, והוא נשמר במיקום ב-Cloud Storage שהמשתמש ציין. קובץ המפרט של תבנית Flex מכיל מטא-נתונים שמתארים איך להריץ את התבנית, כמו פרמטרים של צינור עיבוד נתונים.
בנוסף לתכונות של תבניות Flex שמוסברות במסמכי התיעוד המקושרים, לתבניות Flex יש יתרונות על פני תבניות מותאמות אישית בכל הקשור לניהול תבניות.
- בתבניות מותאמות אישית, יכול להיות שכמה ארטיפקטים, כמו קובצי JAR, יאוחסנו במיקום זמני ב-Cloud Storage, אבל בלי תכונות לניהול הארטיפקטים האלה. לעומת זאת, תבנית Flex מוקפת בקובץ אימג' של Docker. האימג' כולל את כל יחסי התלות שנדרשים לצינור עיבוד הנתונים, מלבד המפרט של תבנית Flex, בארטיפקט פריסה אחד שמנוהל על ידי Artifact Registry.
- אתם יכולים להשתמש בתכונות לניהול קובצי אימג' של Docker בתבניות Flex. לדוגמה, אתם יכולים לשתף באופן מאובטח תבניות Flex על ידי מתן הרשאות משיכה (ואופציונלית גם דחיפה) ל-Artifact Registry, ולהשתמש בתגי קובצי אימג' של Docker לגרסאות שונות של תבניות Flex.
מפתחים יכולים להשתמש בתבניות מותאמות אישית ובתבניות Flex כדי להפעיל משימות בפרויקט שונה מהפרויקט שבבעלותו נמצאים המאגר וקטגוריית האחסון שמארחים את נכסי התבנית, או רק קטגוריית האחסון אם משתמשים בתבניות מותאמות אישית. התכונה הזו שימושית אם אתם צריכים לבודד את עיבוד הנתונים של כמה לקוחות לפרויקטים ולמשימות שונות בצינור עיבוד הנתונים. באמצעות תבניות Flex, אתם יכולים לציין גרסאות שונות של קובץ אימג' של Docker לשימוש כשאתם מפעילים צינור עיבוד נתונים. התכונה הזו מפשטת את ההחלפה בשלבים של צינורות עיבוד נתונים באצווה או פייפליינים זורמים בכמה פרויקטים, כשמעדכנים תבניות בשלב מאוחר יותר.
תכונות של Dataflow לאופטימיזציה של השימוש במשאבים
כדי לייעל את השימוש במשאבים, לשפר את הביצועים ולהוזיל את העלויות, ב-Dataflow יש את התכונות הבאות שספציפיות ל-runner:
- Streaming Engine: מנוע הסטרימינג מעביר את ההרצה של פייפליינים זורמים מ-VM של workers לשירות ייעודי. היתרונות כוללים שיפור בתגובה להתאמה אוטומטית לעומס, הפחתה במשאבים של ה-worker VM שנצרכים ועדכוני שירות אוטומטיים בלי פריסה מחדש. במקרים מסוימים, אפשר גם להפחית את השימוש במשאבים באמצעות עיבוד לפחות פעם אחת בתרחישים לדוגמה שבהם אפשר לסבול כפילויות. מומלץ להפעיל את Streaming Engine לפייפליינים זורמים. התכונה מופעלת כברירת מחדל כשמשתמשים בגרסאות העדכניות של Apache Beam Java SDK או Python SDK.
- ארגון נתונים של Dataflow: ארגון נתונים של Dataflow מעביר את פעולות הארגון של צינורות עיבוד נתונים באצווה מ-VM של עובדים לשירות ייעודי. היתרונות כוללים ביצוע מהיר יותר של רוב צינורות עיבוד הנתונים באצווה, צריכת משאבים מופחתת על ידי worker VM, תגובה משופרת להתאמה אוטומטית לעומס וסבילות משופרת לתקלות. מומלץ להפעיל את ארגון נתונים של Dataflow בצינורות עיבוד נתונים באצווה. התכונה מופעלת כברירת מחדל באמצעות Apache Beam Java SDK ו-Python SDK העדכני.
- תזמון משאבים גמיש (FlexRS): FlexRS מפחית את עלויות העיבוד ברצף (batch processing) באמצעות טכניקות תזמון מתקדמות, שירות ארגון הנתונים של Dataflow ושילוב של מכונות VM זמניות ומכונות VM רגילות.
עדכון פייפליינים זורמים בסביבת הייצור
מחזור החיים של משימה ב-Dataflow
משימת Dataflow עוברת מחזור חיים שמיוצג על ידי מצבי משימה שונים.
כדי להריץ משימת Dataflow, צריך לשלוח אותה לאזור.
לאחר מכן המשימה מנותבת לקצה עורפי זמין של Dataflow באחד מהתחומים באזור. לפני ש-Dataflow מקצה קצה עורפי, הוא מוודא שיש לכם מספיק מכסות והרשאות להפעלת המשימה. כשהבדיקות המקדימות האלה מסתיימות ומוקצה קצה עורפי, המשימה עוברת למצב JOB_STATE_PENDING. במשימות FlexRS, יכול להיות שההקצאה לקצה העורפי תתעכב למועד מאוחר יותר, והמשימות האלה יעברו למצב JOB_STATE_QUEUED.
הקצה העורפי שהוקצה בוחר את המשימה להרצה ומנסה להפעיל את ה-workers של Dataflow בפרויקט Google Cloud . האזור שנבחר למכונות הווירטואליות של ה-worker תלוי בכמה גורמים. במשימות באצווה שמשתמשות בארגון נתונים של Dataflow, השירות גם מנסה לוודא שה-backend של Dataflow וה-worker VMs נמצאים באותו אזור, כדי למנוע תעבורת נתונים בין אזורים.
אחרי שה-workers של Dataflow מתחילים, הם מבקשים עבודה מה-backend של Dataflow. ה-backend אחראי על פיצול העבודה לחלקים שאפשר לבצע במקביל, שנקראים חבילות, והם מופצים בין ה-workers. אם ה-workers לא יכולים לטפל בעבודה הקיימת, ואם מופעלת התאמה אוטומטית לעומס, הקצה העורפי מפעיל עוד workers כדי לטפל בעבודה. באופן דומה, אם מופעלים יותר וורקרים מהנדרש, חלק מהם מושבתים.
אחרי שה-workers של Dataflow מתחילים לפעול, הקצה העורפי של Dataflow פועל כמישור הבקרה כדי לתזמר את ביצוע המשימה. במהלך העיבוד, מישור הנתונים של המשימה מבצע פעולות ערבוב כמו GroupByKey, CoGroupByKey ו-Combine.
במשימות נעשה שימוש באחד מההטמעות הבאות של מישור הנתונים לפעולות ערבוב:
- מישור הנתונים פועל ב-workers של Dataflow, ונתוני ה-shuffle מאוחסנים בPersistent Disks.
- מישור הנתונים פועל כשירות, מחוץ למכונות הווירטואליות של ה-worker. להטמעה הזו יש שני וריאנטים, שאותם מציינים כשיוצרים את המשימה: ארגון נתונים של Dataflow לפייפליינים של אצווה ומנוע סטרימינג לפייפליינים זורמים. ערבול מבוסס-שירות משפר משמעותית את הביצועים ואת יכולת ההתאמה לעומס של פעולות ערבול הנתונים, בהשוואה לערבול מבוסס-Worker.
משימות סטרימינג שנכנסות למצב JOB_STATE_RUNNING ממשיכות לפעול ללא הגבלת זמן עד שהן מבוטלות או מרוקנות, אלא אם מתרחש כשל במשימה. משימות באצווה נעצרות באופן אוטומטי כשכל העיבוד מסתיים או אם מתרחשת שגיאה שבעקבותיה אי אפשר לשחזר. בהתאם לאופן שבו המשימה נעצרה, Dataflow מגדיר את סטטוס המשימה לאחד מכמה מצבי סיום, כולל JOB_STATE_CANCELLED, JOB_STATE_DRAINED או JOB_STATE_DONE.
שיטות מומלצות לאמינות של צינור עיבוד נתונים
בקטע הזה נדון בכשלים שעלולים להתרחש כשעובדים עם Dataflow, ובשיטות מומלצות לעבודה עם משימות ב-Dataflow.
לפעול לפי עקרונות הבידוד
המלצה כללית לשיפור האמינות הכוללת של צינור עיבוד הנתונים היא לפעול לפי עקרונות הבידוד של אזורים וזמינות. חשוב לוודא שבצינורות עיבוד הנתונים אין תלויות קריטיות בין אזורים. אם יש לכם צינור עיבוד נתונים שתלוי באופן קריטי בשירותים מכמה אזורים, תקלה באחד מהאזורים האלה יכולה להשפיע על צינור עיבוד הנתונים. כדי למנוע את הבעיה הזו, כדאי לפרוס בכמה אזורים לצורך יתירות וגיבוי.
יצירת תמונות מצב של Dataflow
ב-Dataflow יש תכונה של תמונת מצב שמאפשרת לגבות את המצב של צינור עיבוד הנתונים. אתם יכולים לשחזר את קובץ ה-snapshot של צינור עיבוד הנתונים לצינור עיבוד נתונים חדש ב-Dataflow להזרמת נתונים, באזור אחר או במיקום אחר. לאחר מכן תוכלו להתחיל את העיבוד מחדש של ההודעות בנושאי Pub/Sub או Kafka, החל מחותמת הזמן של קובץ ה-snapshot. אם תגדירו תמונות מצב קבועות של צינורות עיבוד הנתונים, תוכלו לצמצם את היעד למשך ההתאוששות (RTO).
למידע נוסף על קובצי Snapshot של Dataflow, קראו את המאמר שימוש בקובצי Snapshot של Dataflow.
מה עושים אם שליחת המשימה נכשלת?
כדי לשלוח משימות Dataflow שלא מבוססות על תבניות, משתמשים ב-Apache Beam SDK. כדי לשלוח את המשימה, מריצים את צינור עיבוד הנתונים באמצעות Dataflow Runner, שמוגדר כחלק מהאפשרויות של צינור עיבוד הנתונים. ערכת ה-SDK של Apache Beam מעבירה קבצים ל-Cloud Storage, יוצרת קובץ בקשה למשימה ושולחת את הקובץ ל-Dataflow.
לעומת זאת, משימות שנוצרו מתבניות Dataflow משתמשות בשיטות שליחה שונות, שבדרך כלל מסתמכות על templates API.
יכול להיות שיוצגו שגיאות שונות שמוחזרות על ידי Dataflow, שמצביעות על כשל במשימות עם תבניות ובמשימות ללא תבניות. בקטע הזה נסביר על סוגים שונים של כשלים בשליחת משימות, ועל שיטות מומלצות לטיפול בהם או לצמצום שלהם.
ניסיון חוזר לשלוח משימות אחרי כשלים זמניים
אם משימה לא מתחילה בגלל בעיה בשירות Dataflow, נסו להפעיל אותה שוב כמה פעמים. ניסיון חוזר יכול לפתור בעיות זמניות בשירות.
הפחתת כשלים אזוריים על ידי ציון אזור של Worker
ל-Dataflow יש זמינות אזורית והוא זמין בכמה אזורים. כשמשתמש שולח משימה לאזור בלי לציין במפורש אזור, Dataflow מנתב את המשימה לאזור באזור שצוין על סמך זמינות המשאבים.
האפשרות המומלצת למיקום משימות היא לציין אזור של Worker באמצעות הדגל --region במקום הדגל --zone, ככל האפשר. השלב הזה מאפשר ל-Dataflow לספק רמה נוספת של עמידות בפני תקלות לצינורות עיבוד הנתונים, על ידי בחירה אוטומטית של האזור הכי מתאים למשימה. משימות שמוגדר להן אזור מפורש לא נהנות מהיתרון הזה, והן נכשלות אם מתרחשות בעיות באזור. אם שליחת משימה נכשלת בגלל בעיה באזור, בדרך כלל אפשר לפתור את הבעיה על ידי ניסיון חוזר של המשימה בלי לציין אזור באופן מפורש.
צמצום כשלים אזוריים על ידי אחסון נתונים בכמה אזורים
אם אזור שלם לא זמין, נסו להפעיל את המשימה באזור אחר. חשוב לחשוב על הזמינות של הנתונים כשמשימות נכשלות באזורים שונים. כדי להגן מפני כשלים באזור אחד בלי להעתיק ידנית נתונים לכמה אזורים, השתמשו במשאבי Google Cloud שמאחסנים נתונים באופן אוטומטי בכמה אזורים. לדוגמה, השתמשו בקטגוריות של Cloud Storage בשני אזורים ובמספר אזורים. אם אזור מסוים לא זמין, אפשר להריץ מחדש את צינור עיבוד הנתונים באזור אחר שבו הנתונים זמינים.
במאמר זמינות גבוהה ויתירות גיאוגרפית תוכלו לקרוא דוגמה לשימוש בשירותים במספר אזורים עם Dataflow.
טיפול בכשלים בהפעלת צינורות עיבוד נתונים
אחרי ששולחים משימה והיא מתקבלת, אפשר לבצע בה רק את הפעולות הבאות:
- ביטול של משימות באצווה
- עדכון, ניקוז או ביטול של משימות סטרימינג
אי אפשר לשנות את המיקום של משימות שפועלות אחרי ששולחים את המשימה. אם אתם לא משתמשים ב-FlexRS, בדרך כלל עיבוד הנתונים של המשימות מתחיל תוך כמה דקות אחרי השליחה. יכולות לעבור עד שש שעות לפני שמתחיל עיבוד הנתונים במשימות FlexRS.
בקטע הזה נדון בכשלים בהרצת משימות ובשיטות מומלצות לטיפול בהם.
מעקב אחרי משימות כדי לזהות ולפתור בעיות שנגרמות בגלל שגיאות זמניות
במשימות באצווה, המערכת מנסה לשלוח מחדש חבילות שכוללות פריט שנכשל ארבע פעמים. Dataflow מסיים את המשימה כשחבילה אחת נכשלת ארבע פעמים. התהליך הזה פותר הרבה בעיות זמניות. עם זאת, אם מתרחש כשל ממושך, בדרך כלל מגיעים למגבלת הניסיונות החוזרים במהירות, והמשימה נכשלת במהירות.
כדי לעקוב אחרי משימות ולנהל אירועים, מגדירים כללי התראות לזיהוי משימות שנכשלו. אם משימה נכשלת, בודקים את יומני המשימה כדי לזהות כשלים במשימה שנגרמו בגלל פריטי עבודה שנכשלו וחורגים ממגבלת הניסיונות החוזרים.
במשימות סטרימינג, Dataflow מנסה שוב ושוב להפעיל פריטי עבודה שנכשלו. המשימה לא מסתיימת. עם זאת, יכול להיות שהמשימה תתעכב עד שהבעיה תיפתר. יוצרים כללי מדיניות מעקב כדי לזהות סימנים לצינור עיבוד נתונים תקוע, כמו עלייה בזמן האחזור של המערכת וירידה בעדכניות הנתונים. כדי לזהות עיכובים בצינור עיבוד הנתונים שנגרמים בגלל פריטי עבודה שנכשלים שוב ושוב, כדאי להטמיע רישום שגיאות ביומן בקוד של צינור עיבוד הנתונים.
הפעלה מחדש של משימות באזור אחר אם יש הפסקה זמנית בשירות באזור מסוים
אחרי שהמשימה מתחילה, ה-workers של Dataflow שמריצים את קוד המשתמש מוגבלים לאזור אחד. אם יש הפסקה זמנית בשירות באזור מסוים, לעיתים קרובות היא משפיעה על משימות Dataflow, בהתאם להיקף ההפסקה.
במקרה של הפסקות זמניות בשירות שמשפיעות רק על קצוות עורפיים של Dataflow, השירות המנוהל מעביר את הקצוות העורפיים באופן אוטומטי לאזור אחר כדי שהם יוכלו להמשיך את העבודה. אם במשימה נעשה שימוש בארגון נתונים של Dataflow, אי אפשר להעביר את הקצה העורפי בין אזורים. אם מתרחשת העברה של קצה עורפי של Dataflow, יכול להיות שהמשימות יתעכבו באופן זמני.
אם מתרחשת הפסקה זמנית בשירות באזור מסוים, סביר להניח שהמשימות שפועלות ייכשלו או יתעכבו עד שהזמינות באזור תחזור. אם אזור מסוים לא זמין למשך זמן רב, צריך לעצור את המשימות (ביטול של משימות באצווה וניקוז של משימות סטרימינג) ואז להפעיל אותן מחדש כדי לאפשר ל-Dataflow לבחור אזור חדש ותקין.
הפעלה מחדש של משימות באצווה באזור אחר אם יש הפסקה זמנית בשירות באזור מסוים
אם מתרחשת הפסקה זמנית בשירות באזור שבו פועלות משימות Dataflow, המשימות עלולות להיכשל או להיתקע. במשימות באצווה, אם אפשר, מפעילים מחדש את המשימה באזור אחר. חשוב לוודא שהנתונים זמינים באזורים שונים.
הפחתת הפסקות זמניות בשירות באזורים באמצעות זמינות גבוהה או יתירות כשל
במשימות סטרימינג, יש כמה אפשרויות לצמצום כשלים, בהתאם לסבילות לתקלות ולתקציב של האפליקציה. במקרה של הפסקה זמנית בשירות באזור מסוים, האפשרות הפשוטה והמשתלמת ביותר היא להמתין עד שההפסקה תסתיים. עם זאת, אם האפליקציה רגישה לזמן אחזור או אם אסור להפריע לעיבוד הנתונים או שצריך להמשיך אותו עם עיכוב מינימלי, בקטעים הבאים מפורטות אפשרויות.
זמינות גבוהה: רגישות לזמן אחזור ללא אובדן נתונים
אם האפליקציה שלכם לא יכולה לסבול אובדן נתונים, הפעילו צינורות עיבוד נתונים כפולים במקביל בשני אזורים שונים, וגרמו לצינורות עיבוד הנתונים לצרוך את אותם הנתונים. אותם מקורות נתונים צריכים להיות זמינים בשני האזורים. האפליקציות במורד הזרם שתלויות בפלט של צינורות עיבוד הנתונים האלה צריכות להיות מסוגלות לעבור בין הפלט משני האזורים האלה. בגלל שכפול המשאבים, האפשרות הזו כרוכה בעלות הגבוהה ביותר בהשוואה לאפשרויות האחרות. בקטע זמינות גבוהה ויתירות גיאוגרפית מופיעה דוגמה לפריסה.
מעבר לגיבוי בעת כשל: רגישות לזמן אחזור עם פוטנציאל מסוים לאובדן נתונים
אם האפליקציה שלכם יכולה לסבול אובדן נתונים פוטנציאלי, הפכו את מקור הנתונים בסטרימינג לזמין בכמה אזורים. לדוגמה, באמצעות Pub/Sub, אפשר להגדיר שני מינויים נפרדים לאותו נושא, אחד לכל אזור. אם יש הפסקה זמנית בשירות באזור מסוים, מפעילים פייפליין חלופי באזור אחר, וגורמים לפייפליין לצרוך נתונים מהמינוי לגיבוי.
להפעיל מחדש את המינוי לגיבוי בזמן מתאים כדי לצמצם את אובדן הנתונים בלי לפגוע בזמן האחזור. אפליקציות במורד הזרם צריכות לדעת איך לעבור לפלט של צינור עיבוד הנתונים הפועל, בדומה לאפשרות של זמינות גבוהה. באפשרות הזו נעשה שימוש בפחות משאבים מאשר בהפעלת צינורות עיבוד נתונים כפולים, כי רק הנתונים משוכפלים.
זמינות גבוהה ויתירות גיאוגרפית
כדי לעבד נתונים בזמינות גבוהה, אפשר להריץ כמה פייפליינים זורמים במקביל. לדוגמה, אפשר להריץ שתי משימות סטרימינג במקביל באזורים שונים, וכך ליצור יתירות גיאוגרפית וסבילות לתקלות בעיבוד הנתונים.
אם תביאו בחשבון את הזמינות הגיאוגרפית של מקורות הנתונים ושל יעדי הנתונים, תוכלו להפעיל צינורות עיבוד נתונים מקצה לקצה בהגדרת זמינות גבוהה במספר אזורים. בתרשים הבא מוצג פריסה לדוגמה.
בתרשים מוצג התהליך הבא:
Pub/Sub פועל ברוב האזורים בעולם, מה שמאפשר לשירות להציע גישה מהירה לנתונים ברחבי העולם, תוך מתן שליטה על המקום שבו ההודעות מאוחסנות. Pub/Sub יכול לאחסן באופן אוטומטי הודעות שפורסמו באזור Google Cloud שהכי קרוב למנויים, או שאפשר להגדיר אותו להשתמש באזור ספציפי או בקבוצת אזורים באמצעות כללי מדיניות לאחסון הודעות.
לאחר מכן, Pub/Sub מעביר את ההודעות למנויים ברחבי העולם, בלי קשר למקום שבו ההודעות מאוחסנות. לקוחות Pub/Sub לא צריכים לדעת מהם מיקומי השרתים שאליהם הם מתחברים, כי מנגנונים גלובליים של איזון עומסים מפנים את התנועה למרכז הנתונים הקרוב ביותר שלGoogle Cloud שבו ההודעות מאוחסנות.
Dataflow פועל באזורים Google Cloud ספציפיים. הפעלת צינורות עיבוד נתונים מקבילים באזורים נפרדים ב- Google Cloud מאפשרת לבודד את המשימות מכשלים שמשפיעים על אזור אחד. הדיאגרמה מציגה שני מופעים של אותו פייפליין, שכל אחד מהם פועל באזור נפרד של Google Cloud .
צינורות עיבוד הנתונים המקבילים של Dataflow כותבים לשני אזורים נפרדים של BigQuery, וכך מספקים יתירות גיאוגרפית. בתוך אזור, BigQuery מאחסן באופן אוטומטי עותקים של הנתונים בשני אזורים שונים של Google Cloud . למידע נוסף, קראו את המאמר תכנון למקרה אסון במסמכי התיעוד של BigQuery.