שדרוג של צינור עיבוד נתונים לסטרימינג

בדף הזה מפורטות הנחיות והמלצות לשדרוג צינורות עיבוד נתונים בסטרימינג. לדוגמה, יכול להיות שתצטרכו לשדרג לגרסה חדשה יותר של Apache Beam SDK, או לעדכן את קוד הצינור. יש אפשרויות שונות שמתאימות לתרחישים שונים.

בניגוד לפייפליינים באצווה, שמפסיקים לפעול כשהמשימה מסתיימת, פייפליינים זורמים פועלים בדרך כלל ברצף כדי לספק עיבוד ללא הפסקות. לכן, כשמשדרגים פייפליינים זורמים, צריך להביא בחשבון את השיקולים הבאים:

  • יכול להיות שתצטרכו למזער או למנוע שיבושים בצינור עיבוד הנתונים. במקרים מסוימים, יכול להיות שתוכלו לסבול שיבוש זמני בעיבוד בזמן שגרסה חדשה של צינור עיבוד נתונים נפרסת. במקרים אחרים, יכול להיות שהאפליקציה לא תהיה עמידה בפני שיבושים.
  • תהליכי העדכון של צינור עיבוד הנתונים צריכים לטפל בשינויים בסכימה באופן שיצמצם את ההפרעה לעיבוד ההודעות ולמערכות מחוברות אחרות. לדוגמה, אם הסכימה של ההודעות בצינור עיבוד נתונים של אירועים משתנה, יכול להיות שצריך לשנות את הסכימה גם ב-data sinks במורד הזרם.

אתם יכולים להשתמש באחת מהשיטות הבאות כדי לעדכן פייפליינים זורמים, בהתאם לפייפליין ולדרישות העדכון שלכם:

למידע נוסף על בעיות שעלולות להתרחש במהלך עדכון ואיך למנוע אותן, קראו את המאמרים אימות של משימה חלופית ובדיקת תאימות של משימה.

שיטות מומלצות

  • שדרגו את גרסת ה-SDK של Apache Beam בנפרד מכל שינוי בקוד של צינור עיבוד הנתונים.
  • לפני שמבצעים עדכונים נוספים, בודקים את צינור עיבוד הנתונים אחרי כל שינוי.
  • לשדרג באופן קבוע את גרסת ה-SDK של Apache Beam שמשמשת את צינור עיבוד הנתונים.
  • השתמשו בשיטות אוטומטיות כשאפשר, כמו עדכונים תוך כדי תנועה או עדכונים אוטומטיים של צינורות עיבוד נתונים מקבילים.
  • כדי ליהנות מהיתרונות של שדרוגים אוטומטיים של גרסאות המחברים, כדאי להשתמש ב-Managed I/O כשאפשר.

עדכונים תוך כדי טיסה

אתם יכולים לעדכן חלק מפייפליינים זורמים מתמשכים בלי לעצור את המשימה. התרחיש הזה נקרא עדכון משימה תוך כדי ריצה. אפשר לעדכן משימות שכבר התחילו רק במקרים הבאים:

  • המשימה חייבת להשתמש ב-Streaming Engine.
  • המשימה צריכה להיות במצב פעולה.
  • אתם משנים רק את מספר ה-workers שהמשימה משתמשת בהם.

מידע נוסף זמין בקטע הגדרת טווח ההתאמה האוטומטית לעומס (autoscaling) בדף "התאמה אופקית לעומס (scaling)".

במאמר עדכון של צינור עיבוד נתונים קיים מוסבר איך לעדכן משימה במהלך ההפעלה.

יצירה או עדכון (upsert) באופן אוטומטי של תבניות

כשמפעילים צינורות עיבוד נתונים באמצעות תבנית (תבניות קלאסיות, תבניות Flex, ‏Terraform או Config Connector), אפשר להשתמש בניסוי create_or_update_job כדי להשתמש בפונקציונליות של יצירה או עדכון (upsert).

כשמציינים את הערך create_or_update_job בפרמטר additional_experiments או בדגל additional-experiments:

  • אם כבר קיימת משימה פעילה או משימה בתהליך ניקוז עם שם המשימה שצוין, שירות התבניות מפעיל באופן אוטומטי את המשימה החדשה כעדכון למשימה הקיימת.
  • אם לא קיימת משימה פעילה בשם הזה, שירות התבניות מפעיל את המשימה החדשה כמשימה חדשה שנוצרה.

הניסוי הזה מייתר את הצורך לקבוע באופן פרוגרמטי אם להשתמש בפעולת ה-API ליצירה או לעדכון כשמפעילים תבנית.

בקטעים הבאים מופיעות דוגמאות קוד של Terraform ו-Config Connector שמשתמשות בניסוי הזה:

הפעלת משימת החלפה

אם המשימה המעודכנת תואמת למשימה הקיימת, תוכלו לעדכן את צינור עיבוד הנתונים באמצעות האפשרות update. כשמחליפים משימה קיימת, משימה חדשה מריצה את קוד הצינור המעודכן. שירות Dataflow שומר את שם המשימה, אבל מריץ את המשימה החלופית עם מזהה משימה מעודכן. התהליך הזה עלול לגרום לזמן השבתה בזמן שהמשימה הקיימת נעצרת, בדיקת התאימות פועלת והמשימה החדשה מתחילה. לפרטים נוספים, ראו ההשפעות של החלפת משימה.

‫Dataflow מבצע בדיקת תאימות כדי לוודא שאפשר לפרוס בבטחה את קוד צינור עיבוד הנתונים המעודכן בצינור עיבוד הנתונים שפועל. שינויים מסוימים בקוד גורמים לבדיקת התאימות להיכשל, למשל כשמוסיפים קלט צדדי לשלב קיים או מסירים אותו ממנו. אם בדיקת התאימות נכשלת, אי אפשר לבצע עדכון של משימה במקום.

במאמר הפעלת משימת החלפה מוסבר איך מפעילים משימת החלפה.

אם עדכון צינור עיבוד הנתונים לא תואם למשימה הנוכחית, צריך לעצור ולהחליף את צינור עיבוד הנתונים. אם צינור עיבוד הנתונים לא יכול לסבול זמן השבתה, מריצים צינורות עיבוד נתונים מקבילים.

עצירה והחלפה ידנית

כדי לבצע עצירה והחלפה ידנית, מבטלים או מרוקנים את צינור עיבוד הנתונים, ואז מחליפים אותו בצינור עיבוד הנתונים המעודכן. ביטול של צינור עיבוד נתונים גורם ל-Dataflow להפסיק מיד את העיבוד ולהשבית את המשאבים במהירות האפשרית, מה שעלול לגרום לאובדן של חלק מהנתונים שנמצאים בתהליך עיבוד (in-flight data). כדי למנוע אובדן נתונים, ברוב המקרים עדיף לבצע ניקוז. אפשר גם להשתמש בתמונות מצב של Dataflow כדי לשמור את המצב של פייפליין זורם, וכך להפעיל גרסה חדשה של משימת Dataflow בלי לאבד את המצב. מידע נוסף זמין במאמר שימוש בתמונות מצב של Dataflow.

ניקוז של צינור עיבוד נתונים סוגר באופן מיידי את כל החלונות שנמצאים בתהליך, ומפעיל את כל הטריגרים. למרות שהנתונים שנמצאים בתהליך לא אובדים, הניקוז עלול לגרום לכך שהנתונים בחלונות יהיו חלקיים. במקרים כאלה, חלונות בתהליך פולטים תוצאות חלקיות או לא שלמות. למידע נוסף, ראו ההשפעות של ניקוז משימה. אחרי שהמשימה הקיימת מסתיימת, מפעילים משימת סטרימינג חדשה שמכילה את קוד הצינור המעודכן, וכך אפשר להמשיך בעיבוד.

בשיטה הזו, יש זמן השבתה מסוים בין הזמן שבו משימת הסטרימינג הקיימת נעצרת לבין הזמן שבו צינור עיבוד הנתונים החלופי מוכן להמשיך בעיבוד הנתונים. עם זאת, ביטול או ניקוז של צינור עיבוד נתונים קיים ואז הפעלת משימה חדשה עם צינור עיבוד הנתונים המעודכן, פחות מסובכים מהרצת צינורות עיבוד נתונים מקבילים.

מידע נוסף זמין במאמר ניקוז של משימת Dataflow. אחרי שמרוקנים את המשימה הנוכחית, מתחילים משימה חדשה עם אותו שם.

הפסקה והחלפה אוטומטיות

ב-Dataflow יש תמיכה ב-API להפעלה של עדכון אוטומטי מסוג עצירה והחלפה. תהליך העבודה הזה, בסגנון הצהרתי, מבטל את השלבים הפרוצדורליים הידניים. אתם מצהירים על המשימה שצריך להחליף, והמשימה החדשה מופעלת ומתאמת את המעבר באופן אוטומטי.

כשמשתמשים בתהליך העבודה הזה, מוקצים משאבים חדשים למשימה בזמן שהמשימה הישנה עדיין פועלת. לאחר מכן, המשימה הישנה מקבלת באופן אוטומטי אות ניקוז. אחרי שהמשימה הישנה מסיימת את הניקוז או מגיעה לזמן הקצוב שהמשתמש הגדיר, המשימה החדשה מתחילה מיד לעבד נתונים. השתמשו בתהליך העבודה הזה בצינורות עיבוד נתונים שלא יכולים להכיל נתונים כפולים או צבירות חלקיות, אבל יכולים לקבל הפסקה קצרה בעיבוד בזמן שהמשימה הישנה מתרוקנת.

שליחת בקשה אוטומטית לעדכון מסוג "הסרה והחלפה"

כדי להשתמש בתהליך העבודה הזה:

מפעילים בקשה אוטומטית לעדכון מסוג "עצירה והחלפה" באמצעות אחת מהאפשרויות הבאות:

Java

אפשרות 1: עדכון באמצעות אותו שם משרה

--update \
--dataflowServiceOptions="update_strategy_parallel_job_update" \
--dataflowServiceOptions="parallel_replace_job_max_stop_duration=DURATION"
  • כדי לבצע עדכון אוטומטי של עצירה והחלפה באמצעות אותו שם, משתמשים בדגל --update ובאפשרות update_strategy_parallel_job_update.
  • כדי לבצע עדכון במקום, צריך להשתמש ב-update_strategy_in_place_update.

אפשרות 2: עדכון באמצעות שם משרה אחר

--dataflowServiceOptions="parallel_replace_job_name=OLD_JOB_NAME" \
--dataflowServiceOptions="parallel_replace_job_max_stop_duration=DURATION"
  • כדי לציין את המשימה הישנה לפי מזהה במקום לפי שם המשימה, משתמשים ב---dataflowServiceOptions="parallel_replace_job_id=OLD_JOB_ID".
  • אם תציינו שם חדש למשימה ותשתמשו בדגל --update, המערכת של Dataflow תחפש משימה קיימת עם השם החדש, וזה יגרום לשגיאה.

אופציונלי: השבתת הביטול האוטומטי

ביטול אוטומטי מופעל כברירת מחדל כשמציינים את האפשרות parallel_replace_job_max_stop_duration. כדי להשבית את הביטול האוטומטי, מגדירים את האפשרות parallel_replace_job_cancel_on_drain_timeout לערך false.

--dataflowServiceOptions="parallel_replace_job_cancel_on_drain_timeout=false"

אם משביתים את הביטול האוטומטי והמשימה הישנה נתקעת במצב ניקוז, גם המשימה הישנה וגם המשימה החדשה ממשיכות לפעול במקביל.

Python

אפשרות 1: עדכון באמצעות אותו שם משרה

--update \
--dataflow_service_options="update_strategy_parallel_job_update" \
--dataflow_service_options="parallel_replace_job_max_stop_duration=DURATION"
  • כדי לבצע עדכון אוטומטי של עצירה והחלפה באמצעות אותו שם, משתמשים בדגל --update ובאפשרות update_strategy_parallel_job_update.
  • כדי לבצע עדכון במקום, צריך להשתמש ב-update_strategy_in_place_update.

אפשרות 2: עדכון באמצעות שם משרה אחר

--dataflow_service_options="parallel_replace_job_name=OLD_JOB_NAME" \
--dataflow_service_options="parallel_replace_job_max_stop_duration=DURATION"
  • כדי לציין את המשימה הישנה לפי מזהה במקום לפי שם המשימה, משתמשים ב---dataflow_service_options="parallel_replace_job_id=OLD_JOB_ID".
  • אם תציינו שם חדש למשימה ותשתמשו בדגל --update, המערכת של Dataflow תחפש משימה קיימת עם השם החדש, וזה יגרום לשגיאה.

אופציונלי: השבתת הביטול האוטומטי

ביטול אוטומטי מופעל כברירת מחדל כשמציינים את האפשרות parallel_replace_job_max_stop_duration. כדי להשבית את הביטול האוטומטי, מגדירים את האפשרות parallel_replace_job_cancel_on_drain_timeout לערך false.

--dataflow_service_options="parallel_replace_job_cancel_on_drain_timeout=false"

אם משביתים את הביטול האוטומטי והמשימה הישנה נתקעת במצב ניקוז, גם המשימה הישנה וגם המשימה החדשה ממשיכות לפעול במקביל.

המשך

אפשרות 1: עדכון באמצעות אותו שם משרה

--update \
--dataflow_service_options="update_strategy_parallel_job_update" \
--dataflow_service_options="parallel_replace_job_max_stop_duration=DURATION"
  • כדי לבצע עדכון אוטומטי של עצירה והחלפה באמצעות אותו שם, משתמשים בדגל --update ובאפשרות update_strategy_parallel_job_update.
  • כדי לבצע עדכון במקום, צריך להשתמש ב-update_strategy_in_place_update.

אפשרות 2: עדכון באמצעות שם משרה אחר

--dataflow_service_options="parallel_replace_job_name=OLD_JOB_NAME" \
--dataflow_service_options="parallel_replace_job_max_stop_duration=DURATION"
  • כדי לציין את המשימה הישנה לפי מזהה במקום לפי שם המשימה, משתמשים ב---dataflow_service_options="parallel_replace_job_id=OLD_JOB_ID".
  • אם תציינו שם חדש למשימה ותשתמשו בדגל --update, המערכת של Dataflow תחפש משימה קיימת עם השם החדש, וזה יגרום לשגיאה.

אופציונלי: השבתת הביטול האוטומטי

ביטול אוטומטי מופעל כברירת מחדל כשמציינים את האפשרות parallel_replace_job_max_stop_duration. כדי להשבית את הביטול האוטומטי, מגדירים את האפשרות parallel_replace_job_cancel_on_drain_timeout לערך false.

--dataflow_service_options="parallel_replace_job_cancel_on_drain_timeout=false"

אם משביתים את הביטול האוטומטי והמשימה הישנה נתקעת במצב ניקוז, גם המשימה הישנה וגם המשימה החדשה ממשיכות לפעול במקביל.

gcloud

אפשרות 1: עדכון באמצעות אותו שם משרה

--update \
--additional-experiments="update_strategy_parallel_job_update" \
--additional-experiments="parallel_replace_job_max_stop_duration=DURATION"
  • כדי לבצע עדכון אוטומטי של עצירה והחלפה באמצעות אותו שם, משתמשים בדגל --update ובאפשרות update_strategy_parallel_job_update.
  • כדי לבצע עדכון במקום, צריך להשתמש ב-update_strategy_in_place_update.

אפשרות 2: עדכון באמצעות שם משרה אחר

--additional-experiments="parallel_replace_job_name=OLD_JOB_NAME" \
--additional-experiments="parallel_replace_job_max_stop_duration=DURATION"
  • כדי לציין את המשימה הישנה לפי מזהה במקום לפי שם המשימה, משתמשים ב---additional-experiments="parallel_replace_job_id=OLD_JOB_ID".
  • אם תציינו שם חדש למשימה ותשתמשו בדגל --update, המערכת של Dataflow תחפש משימה קיימת עם השם החדש, וזה יגרום לשגיאה.

אופציונלי: השבתת הביטול האוטומטי

ביטול אוטומטי מופעל כברירת מחדל כשמציינים את האפשרות parallel_replace_job_max_stop_duration. כדי להשבית את הביטול האוטומטי, מגדירים את האפשרות parallel_replace_job_cancel_on_drain_timeout לערך false.

--additional-experiments="parallel_replace_job_cancel_on_drain_timeout=false"

אם משביתים את הביטול האוטומטי והמשימה הישנה נתקעת במצב ניקוז, גם המשימה הישנה וגם המשימה החדשה ממשיכות לפעול במקביל.

אופציונלי: עדכון או הוספה (upsert) (יצירה או עדכון של משרה)

כדי להפעיל את ההתנהגות של עדכון או הוספה (upsert) (יצירה או עדכון של משרה):

--additional-experiments="create_or_update_job"

Terraform

additional_experiments = [
  "parallel_replace_job_max_stop_duration=DURATION",
  "parallel_replace_job_cancel_on_drain_timeout=true",
  "update_strategy_parallel_job_update",
  "parallel_replace_job_preallocate_compute_resources=true",
  "create_or_update_job"
]

Config Connector

metadata:
  annotations:
    # Force to use only direct controller. Multiple controllers can cause a Dataflow job to enter into a continuous update loop.
    # https://docs.cloud.google.com/config-connector/docs/concepts/controller-types#underlying-controller-types
    alpha.cnrm.cloud.google.com/reconciler: direct
    # Optional but recommended: Dataflow batch jobs do not support the drain operation. But for Dataflow streaming jobs, prefer "drain" over "cancel" as an on-delete option.
    cnrm.cloud.google.com/on-delete: drain
    # Optional but recommended: Set deletion-policy to "abandon" to avoid accidental deletion, this will ignore the on-delete option.
    cnrm.cloud.google.com/deletion-policy: abandon
spec:
  ...
  additionalExperiments:
    - "parallel_replace_job_max_stop_duration=DURATION"
    - "parallel_replace_job_cancel_on_drain_timeout=true"
    - "update_strategy_parallel_job_update"
    - "parallel_replace_job_preallocate_compute_resources=true"
    - "create_or_update_job"

מחליפים את המשתנים הבאים:

  • כדי לזהות את המשימה שרוצים להחליף, צריך לציין את parallel_replace_job_name או את parallel_replace_job_id:
    • ‫OLD_JOB_NAME: שם המשימה שרוצים להחליף.
    • ‫OLD_JOB_ID: המזהה של המשימה שרוצים להחליף.
  • כדי להפעיל את התכונה "הפסקה והחלפה אוטומטית", צריך לספק את הערך parallel_replace_job_max_stop_duration:
    • ‫DURATION: משך הזמן המקסימלי שהמשימה החדשה ממתינה עד שהמשימה הישנה תסיים את הניקוז. צריך להזין את משך הזמן כמחרוזת שמסתיימת ב-s,‏ m או h (לדוגמה, 30m,‏ 1h).
  • אל תגדירו את האפשרות parallel_replace_job_min_parallel_pipelines_duration כשאתם משתמשים בתהליך העבודה הזה. הגדרת האפשרות הזו מפעילה במקום זאת את תהליך העבודה עדכונים אוטומטיים של צינורות עיבוד נתונים מקבילים.
  • אופציונלי: מגדירים את האפשרות parallel_replace_job_cancel_on_drain_timeout. מכיוון שהביטול האוטומטי מופעל כברירת מחדל (ברירת המחדל היא true) כשמוגדרת האפשרות parallel_replace_job_max_stop_duration, לא צריך להגדיר את האפשרות הזו באופן מפורש כדי להפעיל אותה.
    • כדי לשמור על התנהגות ברירת המחדל, משמיטים את האפשרות הזו או מגדירים אותה ל-true.
    • כדי להשבית את הביטול האוטומטי, מגדירים את האפשרות הזו לערך false. אם מגדירים את האפשרות הזו לערך false והמשימה הישנה נתקעת במצב ניקוז, גם המשימה הישנה וגם המשימה החדשה ממשיכות לפעול במקביל.
  • אופציונלי: מגדירים את parallel_replace_job_preallocate_compute_resources:
    • מציינת אם העובדים מוקצים מראש למשימה החדשה בזמן שהמשימה הישנה מתרוקנת. ערכים: true (ברירת מחדל) או false. ב-Terraform וב-Config Connector, מומלץ להגדיר את האפשרות הזו לערך true כדי למנוע זמן קצוב לתפוגה בהקצאת משאבים. כשהערך של parallel_replace_job_preallocate_compute_resources מוגדר כ-false, המשימה החדשה נשארת במצב המתנה עד שהמשימה הישנה מסתיימת.

עיבוד מחדש של הודעות באמצעות Snapshot ו-Seek ב-Pub/Sub

במצבים מסוימים, אחרי שמחליפים או מבטלים צינור עיבוד נתונים מרוקן, יכול להיות שצריך לעבד מחדש הודעות Pub/Sub שנשלחו בעבר. לדוגמה, יכול להיות שתצטרכו להשתמש בלוגיקה עסקית מעודכנת כדי לעבד מחדש את הנתונים. Pub/Sub Seek הוא מאפיין שמאפשר להפעיל מחדש הודעות מתמונת מצב של Pub/Sub. אתם יכולים להשתמש ב-Pub/Sub Seek עם Dataflow כדי לעבד מחדש הודעות מהזמן שבו נוצרה תמונת המצב של המינוי.

במהלך הפיתוח והבדיקה, אתם יכולים גם להשתמש ב-Pub/Sub Seek כדי להפעיל מחדש את ההודעות הידועות שוב ושוב, כדי לאמת את הפלט מצינור עיבוד הנתונים. כשמשתמשים ב-Pub/Sub Seek, אל תחפשו תמונת מצב של מינוי אם המינוי נמצא בשימוש של צינור עיבוד נתונים. אם תעשו את זה, החיפוש עלול לשבש את הלוגיקה של סימן המים של Dataflow ולהשפיע על העיבוד של הודעות Pub/Sub בדיוק פעם אחת.

כדי להשתמש ב-Pub/Sub Seek עם צינורות עיבוד נתונים של Dataflow בחלון הטרמינל, מומלץ להשתמש בתהליך העבודה הבא של ה-CLI של gcloud:

  1. כדי ליצור קובץ snapshot של המינוי, משתמשים בפקודה gcloud pubsub snapshots create:

    gcloud pubsub snapshots create SNAPSHOT_NAME --subscription=PIPELINE_SUBSCRIPTION_NAME
    
  2. כדי לרוקן או לבטל את צינור עיבוד הנתונים, משתמשים בפקודה gcloud dataflow jobs drain או בפקודה gcloud dataflow jobs cancel:

    gcloud dataflow jobs drain JOB_ID
    

    או

    gcloud dataflow jobs cancel JOB_ID
    
  3. כדי לחפש את קובץ ה-snapshot, משתמשים בפקודה gcloud pubsub subscriptions seek:

    gcloud pubsub subscriptions seek SNAPSHOT_NAME
    
  4. פורסים צינור עיבוד נתונים חדש שמשתמש במינוי.

הפעלת צינורות עיבוד נתונים במקביל

כדי למנוע שיבושים בפייפליין הזורם בזמן העדכון, אפשר להריץ פייפליינים מקבילים. הגישה הזו מאפשרת להפעיל משימת סטרימינג חדשה עם קוד הצינור המעודכן, ולהריץ אותה במקביל למשימה הקיימת. אתם יכולים להשתמש בתהליך העבודה האוטומטי של Dataflow לפריסת עדכונים מקבילים בצינורות עיבוד נתונים, או לבצע את השלבים באופן ידני.

סקירה כללית על צינורות עיבוד נתונים מקבילים

כשיוצרים את צינור עיבוד הנתונים החדש, משתמשים באותה אסטרטגיית חלונות שבה השתמשתם בצינור עיבוד הנתונים הקיים. בתהליך העבודה הידני, מאפשרים לצינור עיבוד הנתונים הקיים להמשיך לפעול עד שסימן המים שלו חורג מחותמת הזמן של החלון המלא המוקדם ביותר שעובד על ידי צינור עיבוד הנתונים המעודכן. לאחר מכן, מרוקנים או מבטלים את צינור עיבוד הנתונים הקיים. אם אתם משתמשים בתהליך עבודה אוטומטי, העבודה הזו מתבצעת בשבילכם. הצינור המעודכן ממשיך לפעול במקומו, ומשתלט על העיבוד בעצמו.

התרשים הבא ממחיש את התהליך הזה.

צינור עיבוד נתונים ב' חופף לצינור עיבוד נתונים ב' בחלון זמן של 5 דקות.

בתרשים, Pipeline B הוא המשימה המעודכנת שמחליפה את Pipeline A. הערך t הוא חותמת הזמן של החלון המלא המוקדם ביותר שעובד על ידי Pipeline B. הערך w הוא סימן המים של Pipeline A. לשם הפשטות, נניח שיש סימן מים מושלם ללא נתונים מאוחרים. הזמן בפועל וזמן העיבוד מיוצגים בציר האופקי. שני הצינורות משתמשים בחלונות קבועים (עוקבים) של חמש דקות. התוצאות מופעלות אחרי שסימן המים עובר את הסוף של כל חלון.

מכיוון שפלט בו-זמני מתרחש במהלך התקופה שבה שני הצינורות חופפים, צריך להגדיר את שני הצינורות כך שיכתבו תוצאות ליעדים שונים. מערכות במורד הזרם יכולות להשתמש בהפשטה מעל שני כיורי היעד, כמו תצוגת מסד נתונים, כדי לשלוח שאילתות לתוצאות המשולבות. המערכות האלה יכולות גם להשתמש בהפשטה כדי לבטל כפילויות של תוצאות מהתקופה החופפת. למידע נוסף, ראו טיפול בפלט כפול.

מגבלות

לשימוש בעדכונים אוטומטיים או ידניים של צינורות עיבוד נתונים מקבילים יש את המגבלות הבאות:

  • עדכונים אוטומטיים בלבד: המשימה המקבילה החדשה חייבת להיות משימה של Streaming Engine.
  • אי אפשר להריץ בו-זמנית משימות עם אותו שם. עם זאת, כשמבצעים עצירה והחלפה אוטומטיות או עדכון מקביל של צינור עיבוד נתונים באמצעות אותו שם משימה, אפשר להשתמש שוב בשם המשימה. במקרה כזה, המשימה החדשה צריכה להתחיל לפחות שתי דקות אחרי תחילת המשימה הקודמת. ההגבלה הזו מונעת עדכונים מקבילים מרובים מניסיונות חוזרים ונשנים של ספריית הלקוח או מקריאות לשירות מרוחק (RPC) לא עדכניות.
  • הפעלה של שני צינורות עיבוד נתונים במקביל על אותו קלט עלולה לגרום לכפילות בנתונים, לצבירות חלקיות ולבעיות פוטנציאליות בסדר הנתונים כשהם מוכנסים לכיור. המערכת במורד הזרם צריכה להיות מתוכננת כך שתצפה את התוצאות האלה ותנהל אותן.
  • כשקוראים ממקור Pub/Sub, לא מומלץ להשתמש באותו מינוי לכמה צינורות עיבוד נתונים, כי זה עלול לגרום לבעיות בנכונות הנתונים. עם זאת, בתרחישי שימוש מסוימים, כמו צינורות עיבוד נתונים של חילוץ, המרה וטעינה (ETL), שימוש באותו מינוי בשני צינורות עיבוד נתונים עשוי להפחית את הכפילות. סביר להניח שבעיות בהתאמה אוטומטית לעומס יתרחשו בכל פעם שתספקו ערך שאינו אפס למשך החפיפה. כדי לצמצם את הבעיה, אפשר להשתמש בתכונה של עדכון משימות תוך כדי ריצה. מידע נוסף זמין במאמר כוונון עדין של התאמה לעומס (autoscaling) בצינורות עיבוד נתונים בסטרימינג של Pub/Sub.
  • ב-Apache Kafka, אפשר לצמצם את הכפילויות על ידי הפעלת offset committing ב-Kafka. כדי להפעיל את האפשרות הזו ב-Kafka, קראו את המאמר Committing back to Kafka.

עדכונים אוטומטיים של צינורות עיבוד נתונים מקבילים

ב-Dataflow יש תמיכה ב-API להפעלת משימת החלפה מקבילה. ה-API הזה, בסגנון הצהרתי, מבצע באופן מופשט את העבודה הידנית של הפעלת שלבים פרוצדורליים. מצהירים על המשימה שרוצים לעדכן, ואז משימה חדשה פועלת במקביל למשימה הישנה. אחרי שהמשימה החדשה פועלת במשך הזמן שציינתם, המשימה הישנה מרוקנת. התכונה הזו מבטלת את ההפסקות בעיבוד במהלך העדכונים. בנוסף, היא מפחיתה את המאמץ התפעולי שנדרש כדי לעדכן צינורות עיבוד נתונים לא תואמים.

שיטת העדכון הזו מתאימה במיוחד לצינורות עיבוד נתונים שיכולים להכיל כפילויות או צבירות חלקיות, ולא דורשים סדר קפדני בהוספת הנתונים. הוא מתאים מאוד לצינורות עיבוד נתונים של ETL, וגם לצינורות עיבוד נתונים שמשתמשים במצב סטרימינג של לפחות פעם אחת ובטרנספורמציה Redistribute עם הגדרת כפילויות מותרות ל-true.

אפשרויות שירות של צינור עיבוד נתונים מקביל אוטומטי

כדי לעדכן צינורות עיבוד נתונים מקבילים באופן אוטומטי, אפשר להשתמש באפשרויות השירות הבאות:

אפשרות שירות אופציונלי או חובה תיאור תלויות או החרגות
update_strategy_parallel_job_update חובה (אפשרות 1: עדכון באמצעות אותו שם משרה) פקודה לביצוע עדכון מקביל, שמריצה את שני צינורות עיבוד הנתונים בו-זמנית כדי לצמצם את זמן ההשבתה, כשמעדכנים תחת אותו שם משימה. צריך להגדיר אותו לצד הדגל --update ו-parallel_replace_job_min_parallel_pipelines_duration.
update_strategy_in_place_update אופציונלי חלופה לעדכון מקביל. מבצע עדכון רגיל של משימה במקום. צריך להגדיר אותו לצד הדגל --update.

לא ניתן להשתמש בו יחד עם update_strategy_parallel_job_update.

כשמגדירים את האפשרות הזו, המערכת מתעלמת מאפשרויות אחרות שקשורות למשימות מקבילות.

parallel_replace_job_min_parallel_pipelines_duration חובה מציינת את משך הזמן המינימלי שבו שני הצינורות פועלים בו-זמנית. אחרי שפרק הזמן הזה עובר, נשלח אות ניקוז למשימה הישנה. הערכים הקבילים נעים בין 0s (מומלץ כדי למנוע חפיפה) ל-744h (31 ימים). צריך לשלב את זה עם דרך לטרגט את המשרה הישנה. אחד מהפרטים הבאים:
  • אפשרות 1 – שימוש באותו שם משימה: update_strategy_parallel_job_update, או
  • אפשרות 2 – שימוש בשם אחר למשימה: parallel_replace_job_name (או לחלופין parallel_replace_job_id כדי לזהות את המשימה)
‫parallel_replace_job_name או parallel_replace_job_id (צריך לבחור באחת מהאפשרויות) חובה (אפשרות 2: עדכון באמצעות שם משרה אחר) מזהה את המשימה הישנה לפי שם או מזהה, כדי להחליף אותה במהלך עדכון של שם אחר. צריך להגדיר את parallel_replace_job_min_parallel_pipelines_duration.

אל תשתמשו בדגל --update או ב-parallel_replace_job_id עם האפשרות הזו.

parallel_replace_job_max_stop_duration אופציונלי משך הזמן המקסימלי שבו המשימה הישנה יכולה לרוקן את הנתונים לפני שמופעל ביטול אוטומטי. לדוגמה, 30m או 1h. צריך להגדיר תהליך עבודה מקביל לעדכון (אפשרות 1 או אפשרות 2).
parallel_replace_job_cancel_on_drain_timeout אופציונלי

אם מוגדר משך עצירה מקסימלי, ערך ברירת המחדל הוא true.

אפשרות בוליאנית שמציינת אם לבטל את המשימה הישנה אם משך הניקוז שלה חורג מ-parallel_replace_job_max_stop_duration. משמש בשילוב עם parallel_replace_job_max_stop_duration.

כדי להשבית את הביטול האוטומטי, מגדירים את הערך false. אם משביתים את הביטול האוטומטי והמשימה הישנה נתקעת במצב ניקוז, גם המשימה הישנה וגם המשימה החדשה ממשיכות לפעול במקביל.

שליחת בקשה לעדכון אוטומטי של צינור עיבוד נתונים מקביל

כדי להשתמש בתהליך העבודה האוטומטי, מפעילים משימת סטרימינג חדשה. אפשר לעדכן משימה באמצעות אותו שם משימה או שם משימה אחר.

Java

אפשרות 1: עדכון באמצעות אותו שם משרה

--update \
--dataflowServiceOptions="update_strategy_parallel_job_update" \
--dataflowServiceOptions="parallel_replace_job_min_parallel_pipelines_duration=DURATION"
  • כדי לבצע עדכון מקביל באמצעות אותו שם, משתמשים בדגל --update ובאפשרות update_strategy_parallel_job_update.
  • כדי לבצע עדכון במקום בלי להסיר אפשרויות שקשורות למשימות מקבילות, צריך להשתמש ב-update_strategy_in_place_update במקום ב-update_strategy_parallel_job_update.

אפשרות 2: עדכון באמצעות שם משרה אחר

--dataflowServiceOptions="parallel_replace_job_name=OLD_JOB_NAME" \
--dataflowServiceOptions="parallel_replace_job_min_parallel_pipelines_duration=DURATION"
  • כדי לציין את המשימה הישנה לפי מזהה במקום לפי שם המשימה, משתמשים ב---dataflowServiceOptions="parallel_replace_job_id=OLD_JOB_ID".
  • אם תציינו שם חדש למשימה ותשתמשו בדגל --update, המערכת של Dataflow תחפש משימה קיימת עם השם החדש, וזה יגרום לשגיאה.

אופציונלי: הגדרת זמן קצוב לניקוז וביטול אוטומטי

אפשר להוסיף את האפשרויות הבאות לכל אחת מההגדרות כדי להגדיר זמן קצוב לניקוז ולבטל באופן אוטומטי את המשימה הישנה אם היא נתקעת.

--dataflowServiceOptions="parallel_replace_job_max_stop_duration=DRAIN_TIMEOUT_DURATION" \
--dataflowServiceOptions="parallel_replace_job_cancel_on_drain_timeout=true"

אם משביתים את הביטול האוטומטי והמשימה הישנה נתקעת במצב ניקוז, גם המשימה הישנה וגם המשימה החדשה ממשיכות לפעול במקביל.

Python

אפשרות 1: עדכון באמצעות אותו שם משרה

--update \
--dataflow_service_options="update_strategy_parallel_job_update" \
--dataflow_service_options="parallel_replace_job_min_parallel_pipelines_duration=DURATION"
  • כדי לבצע עדכון מקביל באמצעות אותו שם, משתמשים בדגל --update ובאפשרות update_strategy_parallel_job_update.
  • כדי לבצע עדכון במקום בלי להסיר אפשרויות שקשורות למשימות מקבילות, צריך להשתמש ב-update_strategy_in_place_update במקום ב-update_strategy_parallel_job_update.

אפשרות 2: עדכון באמצעות שם משרה אחר

--dataflow_service_options="parallel_replace_job_name=OLD_JOB_NAME" \
--dataflow_service_options="parallel_replace_job_min_parallel_pipelines_duration=DURATION"
  • כדי לציין את המשימה הישנה לפי מזהה במקום לפי שם המשימה, משתמשים ב---dataflow_service_options="parallel_replace_job_id=OLD_JOB_ID".
  • אם תציינו שם חדש למשימה ותשתמשו בדגל --update, המערכת של Dataflow תחפש משימה קיימת עם השם החדש, וזה יגרום לשגיאה.

אופציונלי: הגדרת זמן קצוב לניקוז וביטול אוטומטי

אפשר להוסיף את האפשרויות הבאות לכל אחת מההגדרות כדי להגדיר זמן קצוב לניקוז ולבטל באופן אוטומטי את המשימה הישנה אם היא נתקעת.

--dataflow_service_options="parallel_replace_job_max_stop_duration=DRAIN_TIMEOUT_DURATION" \
--dataflow_service_options="parallel_replace_job_cancel_on_drain_timeout=true"

אם משביתים את הביטול האוטומטי והמשימה הישנה נתקעת במצב ניקוז, גם המשימה הישנה וגם המשימה החדשה ממשיכות לפעול במקביל.

המשך

אפשרות 1: עדכון באמצעות אותו שם משרה

--update \
--dataflow_service_options="update_strategy_parallel_job_update" \
--dataflow_service_options="parallel_replace_job_min_parallel_pipelines_duration=DURATION"
  • כדי לבצע עדכון מקביל באמצעות אותו שם, משתמשים בדגל --update ובאפשרות update_strategy_parallel_job_update.
  • כדי לבצע עדכון במקום בלי להסיר אפשרויות שקשורות למשימות מקבילות, צריך להשתמש ב-update_strategy_in_place_update במקום ב-update_strategy_parallel_job_update.

אפשרות 2: עדכון באמצעות שם משרה אחר

--dataflow_service_options="parallel_replace_job_name=OLD_JOB_NAME" \
--dataflow_service_options="parallel_replace_job_min_parallel_pipelines_duration=DURATION"
  • כדי לציין את המשימה הישנה לפי מזהה במקום לפי שם המשימה, משתמשים ב---dataflow_service_options="parallel_replace_job_id=OLD_JOB_ID".
  • אם תציינו שם חדש למשימה ותשתמשו בדגל --update, המערכת של Dataflow תחפש משימה קיימת עם השם החדש, וזה יגרום לשגיאה.

אופציונלי: הגדרת זמן קצוב לניקוז וביטול אוטומטי

אפשר להוסיף את האפשרויות הבאות לכל אחת מההגדרות כדי להגדיר זמן קצוב לניקוז ולבטל באופן אוטומטי את המשימה הישנה אם היא נתקעת.

--dataflow_service_options="parallel_replace_job_max_stop_duration=DRAIN_TIMEOUT_DURATION" \
--dataflow_service_options="parallel_replace_job_cancel_on_drain_timeout=true"

אם משביתים את הביטול האוטומטי והמשימה הישנה נתקעת במצב ניקוז, גם המשימה הישנה וגם המשימה החדשה ממשיכות לפעול במקביל.

gcloud

אפשרות 1: עדכון באמצעות אותו שם משרה

--update \
--additional-experiments="update_strategy_parallel_job_update" \
--additional-experiments="parallel_replace_job_min_parallel_pipelines_duration=DURATION"
  • כדי לבצע עדכון מקביל באמצעות אותו שם, משתמשים בדגל --update ובאפשרות update_strategy_parallel_job_update.
  • כדי לבצע עדכון במקום בלי להסיר אפשרויות שקשורות למשימות מקבילות, צריך להשתמש ב-update_strategy_in_place_update במקום ב-update_strategy_parallel_job_update.

אפשרות 2: עדכון באמצעות שם משרה אחר

--additional-experiments="parallel_replace_job_name=OLD_JOB_NAME" \
--additional-experiments="parallel_replace_job_min_parallel_pipelines_duration=DURATION"
  • כדי לציין את המשימה הישנה לפי מזהה במקום לפי שם המשימה, משתמשים ב---additional-experiments="parallel_replace_job_id=OLD_JOB_ID".
  • אם תציינו שם חדש למשימה ותשתמשו בדגל --update, ‏Dataflow יחפש משימה קיימת עם השם החדש, מה שיגרום לשגיאה.

אופציונלי: הגדרת זמן קצוב לניקוז וביטול אוטומטי

אפשר להוסיף את האפשרויות הבאות לכל אחת מההגדרות כדי להגדיר זמן קצוב לניקוז ולבטל באופן אוטומטי את המשימה הישנה אם היא נתקעת.

--additional-experiments="parallel_replace_job_max_stop_duration=DRAIN_TIMEOUT_DURATION" \
--additional-experiments="parallel_replace_job_cancel_on_drain_timeout=true"

אם משביתים את הביטול האוטומטי והמשימה הישנה נתקעת במצב ניקוז, גם המשימה הישנה וגם המשימה החדשה ממשיכות לפעול במקביל.

אופציונלי: עדכון או הוספה (upsert) (יצירה או עדכון של משרה)

כדי להפעיל את ההתנהגות של עדכון או הוספה (upsert) (יצירה או עדכון של משרה):

--additional-experiments="create_or_update_job"

Terraform

additional_experiments = [
  "parallel_replace_job_min_parallel_pipelines_duration=DURATION",
  "parallel_replace_job_max_stop_duration=DRAIN_TIMEOUT_DURATION",
  "update_strategy_parallel_job_update",
  "create_or_update_job"
]

Config Connector

metadata:
  annotations:
    # Force to use only direct controller. Multiple controllers can cause a Dataflow job to enter into a continuous update loop.
    # https://docs.cloud.google.com/config-connector/docs/concepts/controller-types#underlying-controller-types
    alpha.cnrm.cloud.google.com/reconciler: direct
    # Optional but recommended: Dataflow batch jobs do not support the drain operation. But for Dataflow streaming jobs, prefer "drain" over "cancel" as an on-delete option.
    cnrm.cloud.google.com/on-delete: drain
    # Optional but recommended: Set deletion-policy to "abandon" to avoid accidental deletion, this will ignore the on-delete option.
    cnrm.cloud.google.com/deletion-policy: abandon
spec:
  ...
  additionalExperiments:
    - "parallel_replace_job_min_parallel_pipelines_duration=DURATION"
    - "parallel_replace_job_max_stop_duration=DRAIN_TIMEOUT_DURATION"
    - "update_strategy_parallel_job_update"
    - "create_or_update_job"

מחליפים את המשתנים הבאים:

  • אם אתם מעדכנים באמצעות שם משימה אחר (אפשרות 2), אתם צריכים לספק את parallel_replace_job_name או את parallel_replace_job_id כדי לזהות את המשימה שצריך להחליף. אי אפשר לעדכן באמצעות שם משימה אחר ב-Terraform או ב-Config Connector.
    • ‫OLD_JOB_NAME: שם המשימה שרוצים להחליף.
    • ‫OLD_JOB_ID: המזהה של המשימה שרוצים להחליף.
  • ‫DURATION: משך הזמן המינימלי שבו שני הצינורות פועלים במקביל, כמספר שלם או כמספר נקודה צפה. כדי שלא תהיה חפיפה, מומלץ להגדיר משך זמן של 0s. אחרי שפרק הזמן הזה חולף, נשלח אות ניקוז למשימה הישנה.

    משך הזמן צריך להיות בין 0 שניות (0s) ל-31 ימים (744h). משתמשים ב-s, ב-m וב-h כדי לציין שניות, דקות ושעות. לדוגמה, 10m הוא 10 דקות.

  • ‫DRAIN_TIMEOUT_DURATION: אופציונלי. משך הזמן המקסימלי לניקוז המשימה הישנה לפני שמופעל ביטול אוטומטי. צריך להזין את משך הזמן כמחרוזת שמסתיימת ב-s,‏ m או h (לדוגמה, 30m,‏ 1h).

  • ‫parallel_replace_job_cancel_on_drain_timeout: אופציונלי. אם לבטל את המשימה הקודמת אם היא לא מסיימת את הניקוז לפני משך העצירה המקסימלי. אם מציינים משך זמן לזמן הקצוב לניקוז, ברירת המחדל היא true. כדי להשבית את הביטול האוטומטי, מגדירים את האפשרות הזו לערך false. אם מגדירים את האפשרות הזו לערך false והמשימה הישנה נתקעת במצב ניקוז, גם המשימה הישנה וגם המשימה החדשה ממשיכות לפעול במקביל.

כשמפעילים את המשימה החדשה, Dataflow ממתין עד שכל ה-workers יוקצו לפני שהוא מתחיל לעבד את הנתונים. כדי לעקוב אחרי סטטוס הפריסה, בודקים את יומני המשימות של Dataflow.

הפעלה ידנית של צינורות עיבוד נתונים מקבילים

בתרחישים מורכבים יותר, או כשצריך יותר שליטה בתהליך העדכון, אפשר להריץ צינורות עיבוד נתונים מקבילים באופן ידני. מאפשרים לצינור עיבוד הנתונים הקיים להמשיך לפעול עד שסימן המים שלו חורג מחותמת הזמן של החלון המלא המוקדם ביותר שעובד על ידי צינור עיבוד הנתונים המעודכן. לאחר מכן, מרוקנים או מבטלים את צינור עיבוד הנתונים הקיים.

טיפול בפלט כפול

בדוגמה הבאה מתוארת גישה אחת לטיפול בפלט כפול. שני ה-פייפליינים כותבים פלט ליעדים שונים, משתמשים במערכות downstream כדי לשלוח שאילתות על התוצאות, ומבטלים כפילויות של תוצאות מהתקופה החופפת. בדוגמה הזו נעשה שימוש בצינור עיבוד נתונים שקורא נתוני קלט מ-Pub/Sub, מבצע עיבוד מסוים וכותב את התוצאות ב-BigQuery.

  1. במצב הראשוני, פייפליין זורם הקיים (Pipeline A) פועל וקורא הודעות מנושא Pub/Sub‏ (Topic) באמצעות מינוי (Subscription A). התוצאות נכתבות בטבלה ב-BigQuery (טבלה א'). התוצאות נצרכות דרך תצוגה ב-BigQuery, שפועלת כחזית שמסתירה את השינויים בטבלה שמתחתיה. התהליך הזה הוא יישום של שיטת עיצוב שנקראת "תבנית חזית" (façade pattern). בתרשים הבא מוצג המצב הראשוני.

    צינור עיבוד נתונים אחד עם מינוי אחד, וכתיבה לטבלה אחת ב-BigQuery.

  2. יוצרים מינוי חדש (Subscription B) לצינור עיבוד הנתונים המעודכן. פורסים את צינור עיבוד הנתונים המעודכן (Pipeline B), שקורא מהנושא ב-Pub/Sub‏ (Topic) באמצעות Subscription B וכותב לטבלה נפרדת ב-BigQuery‏ (Table B). התרשים הבא ממחיש את התהליך הזה.

    שני צינורות עיבוד נתונים, לכל אחד מהם מינוי אחד. כל צינור עיבוד נתונים כותב לטבלה נפרדת ב-BigQuery. תצוגת חזית קוראת משתי הטבלאות.

    בשלב הזה, Pipeline A ו-Pipeline B פועלים במקביל וכותבים תוצאות בטבלאות נפרדות. אתם מתעדים את הזמן t כחותמת הזמן של החלון המלא המוקדם ביותר שעובד על ידי Pipeline B.

  3. כשסימן המים של Pipeline A חורג מהזמן t, מרוקנים את Pipeline A. כשמרוקנים את צינור עיבוד הנתונים, כל החלונות הפתוחים נסגרים והעיבוד של הנתונים הפעילים מסתיים. אם הצינור מכיל חלונות וחשוב שהחלונות יהיו שלמים (בהנחה שאין נתונים מאוחרים), לפני ניקוז צינור עיבוד נתונים א', צריך לתת לשני הצינורות לפעול עד שיהיו חלונות חופפים שלמים. עוצרים את משימת הסטרימינג של Pipeline A אחרי שכל הנתונים בתהליך עובדו ונכתבו ב-Table A. בתרשים הבא מוצג השלב הזה.

    צינור עיבוד הנתונים א' מרוקן ולא קורא יותר את מינוי א', והוא לא שולח יותר נתונים לטבלה א' אחרי שהריקון הושלם. כל העיבוד מתבצע על ידי הצינור השני.

  4. בשלב הזה, רק Pipeline B פועל. אתם יכולים לשלוח שאילתה מתצוגה של BigQuery (תצוגת חזית), שפועלת כחזית של טבלה א' וטבלה ב'. לשורות עם חותמת זמן זהה בשתי הטבלאות, מגדירים את התצוגה כך שתחזיר את השורות מטבלה ב', או אם השורות לא קיימות בטבלה ב', חוזרים לטבלה א'. בתרשים הבא מוצגת התצוגה (Façade View) שקוראת גם מ-Table A וגם מ-Table B.

    צינור עיבוד נתונים א' נעלם, ורק צינור עיבוד נתונים ב' פועל.

    בשלב הזה, אתם יכולים למחוק את מינוי א'.

אם מתגלות בעיות בפריסה של צינור עיבוד נתונים חדש, קל יותר לחזור למצב הקודם כשיש צינורות עיבוד נתונים מקבילים. בדוגמה הזו, יכול להיות שתרצו להמשיך להריץ את Pipeline A בזמן שאתם עוקבים אחרי Pipeline B כדי לוודא שהוא פועל בצורה תקינה. אם מתרחשות בעיות בצינור עיבוד נתונים ב', אפשר לחזור לצינור עיבוד נתונים א'.

טיפול בשינויים בסכימה

מערכות לטיפול בנתונים צריכות לעיתים קרובות להתאים את עצמן לשינויים בסכימה לאורך זמן, לפעמים בגלל שינויים בדרישות העסקיות ולפעמים מסיבות טכניות. כדי להחיל עדכונים בסכימה, בדרך כלל צריך לתכנן ולבצע אותם בקפידה כדי למנוע שיבושים במערכות המידע של העסק.

נניח שיש לכם צינור עיבוד נתונים שקורא הודעות שמכילות מטענים ייעודיים (payloads) של JSON מנושא Pub/Sub. הצינור ממיר כל הודעה למכונה של TableRow, ואז כותב את השורות בטבלה ב-BigQuery. הסכימה של טבלת הפלט דומה להודעות שעובדו על ידי צינור עיבוד הנתונים. בתרשים הבא, הסכימה נקראת סכימה א'.

צינור עיבוד נתונים שקורא מינוי וכותב לטבלת פלט של BigQuery באמצעות סכימה א'.

עם הזמן, הסכימה של ההודעה עשויה להשתנות בדרכים לא טריוויאליות. לדוגמה, שדות נוספים, מוסרים או מוחלפים. סכימה א' מתפתחת לסכימה חדשה. בדיון הבא, הסכימה החדשה נקראת סכימה ב'. במקרה כזה, צריך לעדכן את Pipeline A, וסכימת טבלת הפלט צריכה לתמוך ב-Schema B.

בטבלת הפלט, אתם יכולים לבצע שינויים מסוימים בסכימה בלי זמן השבתה. לדוגמה, אתם יכולים להוסיף שדות חדשים או להקל על מצבי עמודות, כמו שינוי של REQUIRED ל-NULLABLE, בלי זמן השבתה. המוטציות האלה בדרך כלל לא משפיעות על שאילתות קיימות. עם זאת, מוטציות בסכימה שמשנות או מסירות שדות קיימים בסכימה משבשות את השאילתות או גורמות לשיבושים אחרים. הגישה הבאה מאפשרת לבצע שינויים בלי להשבית את המערכת.

מפרידים את הנתונים שנכתבו על ידי צינור עיבוד הנתונים לטבלה ראשית ולטבלת ביניים אחת או יותר. בטבלה הראשית נשמרים נתונים היסטוריים שנכתבו על ידי צינור עיבוד הנתונים. בטבלאות ה-staging נשמר הפלט האחרון של צינור עיבוד הנתונים. אתם יכולים להגדיר תצוגת חזית של BigQuery מעל הטבלאות הראשיות והטבלאות של שלב הביניים, וכך לאפשר לצרכנים לשלוח שאילתות גם על נתונים היסטוריים וגם על נתונים עדכניים.

בתרשים הבא מוצג תהליך ה-pipeline הקודם, אבל הפעם הוא כולל טבלת ביניים (Staging Table A), טבלה ראשית ותצוגת חזית.

צינור עיבוד נתונים שקורא מינוי וכותב בטבלת BigQuery זמנית. טבלה שנייה (ראשית) כוללת פלט מגרסה קודמת של הסכימה. תצוגת חזית קוראת גם מטבלת ה-staging וגם מהטבלה הראשית.

בתהליך המתוקן, Pipeline A מעבד הודעות שמשתמשות ב-Schema A וכותב את הפלט ל-Staging Table A, שיש לה סכימה תואמת. הטבלה הראשית מכילה נתונים היסטוריים שנכתבו על ידי גרסאות קודמות של צינור עיבוד הנתונים, וגם תוצאות שמוזגו מדי פעם מטבלת ה-staging. הצרכנים יכולים לשלוח שאילתות לגבי נתונים עדכניים, כולל נתונים היסטוריים ונתונים בזמן אמת, באמצעות תצוגת החזית.

כשהסכימה של ההודעה משתנה מסכימה א' לסכימה ב', יכול להיות שתצטרכו לעדכן את קוד הצינור כדי שיתאים להודעות שמשתמשות בסכימה ב'. צריך לעדכן את צינור עיבוד הנתונים הקיים בהטמעה החדשה. הפעלת צינורות עיבוד נתונים במקביל מאפשרת להמשיך את עיבוד הנתונים בסטרימינג בלי הפרעות. סיום והחלפה של צינורות עיבוד נתונים גורמים להפסקה בעיבוד, כי אין צינור עיבוד נתונים שפועל במשך פרק זמן מסוים.

הצינור המעודכן כותב לטבלת ביניים נוספת (טבלת ביניים ב') שמשתמשת בסכימה ב'. אתם יכולים להשתמש בתהליך עבודה מתוזמר כדי ליצור את טבלת ה-staging החדשה לפני עדכון צינור עיבוד הנתונים. מעדכנים את תצוגת החזית כך שתכלול תוצאות מטבלת ה-staging החדשה, אולי באמצעות שלב קשור בתהליך העבודה.

בתרשים הבא מוצג התהליך המעודכן, שכולל את טבלת ה-Staging ב' עם סכימה ב', ואיך תצוגת החזית מתעדכנת כך שהיא כוללת תוכן מהטבלה הראשית ומשתי טבלאות ה-Staging.

עכשיו צינור עיבוד הנתונים משתמש בסכימה ב' וכותב לטבלת ה-staging ב'. תצוגת חזית קוראת מהטבלה הראשית, מטבלת ההכנה א' ומטבלת ההכנה ב'.

כחלק מתהליך נפרד מעדכון צינור עיבוד הנתונים, אתם יכולים למזג את טבלאות ה-staging לטבלה הראשית, באופן תקופתי או לפי הצורך. בתרשים הבא מוצג איך Staging Table A מוזגה לטבלה הראשית.

טבלת ה-Staging‏ A מוזגה לתוך הטבלה הראשית. תצוגת החזית קוראת מטבלת ה-Staging‏ B ומהטבלה הראשית.

המאמרים הבאים