התכונה "קלט/פלט מנוהל" מאפשרת ל-Dataflow לנהל מחברי קלט/פלט ספציפיים שמשמשים בצינורות עיבוד נתונים של Apache Beam. קלט/פלט מנוהל מפשט את הניהול של צינורות עיבוד נתונים שמשתלבים עם מקורות וכיורים נתמכים.
הקלט/פלט המנוהל מורכב משני רכיבים שפועלים יחד:
טרנספורמציה של Apache Beam שמספקת API נפוץ ליצירת מחברי קלט/פלט (מקורות וכיורים).
שירות Dataflow שמנהל את מחברי הקלט/פלט האלה בשבילכם, כולל היכולת לשדרג אותם בלי קשר לגרסת Apache Beam.
היתרונות של קלט/פלט מנוהל כוללים:
שדרוגים אוטומטיים. Dataflow משדרג באופן אוטומטי את מחברי הקלט/פלט המנוהלים בצינור עיבוד הנתונים. כלומר, הצינור מקבל תיקוני אבטחה, שיפורי ביצועים ותיקוני באגים למחברים האלה, בלי שצריך לשנות את הקוד. מידע נוסף מופיע במאמר שדרוגים אוטומטיים.
API עקבי. באופן מסורתי, למחברי קלט/פלט ב-Apache Beam יש ממשקי API נפרדים, וכל מחבר מוגדר באופן שונה. ב-Managed I/O יש ממשק API יחיד להגדרות אישיות שמשתמש במאפיינים של ערכי מפתח, וכך הקוד של צינור עיבוד הנתונים פשוט ועקבי יותר. מידע נוסף זמין במאמר Configuration API.
דרישות
ערכות ה-SDK הבאות תומכות בקלט/פלט מנוהל:
- Apache Beam SDK ל-Java בגרסה 2.58.0 ואילך.
- Apache Beam SDK ל-Python בגרסה 2.61.0 ואילך.
השירות לקצה העורפי דורש את Dataflow Runner v2. אם Runner v2 לא מופעל, הצינור עדיין פועל אבל לא נהנה מהיתרונות של שירות הקלט/פלט המנוהל.
שדרוגים אוטומטיים
צינורות עיבוד נתונים ב-Dataflow עם מחברי קלט/פלט מנוהלים משתמשים באופן אוטומטי בגרסה האמינה האחרונה של המחבר. השדרוגים האוטומטיים מתבצעים בנקודות הבאות במחזור החיים של המשימה:
שליחת משימה. כששולחים משימת אצווה או משימת סטרימינג, Dataflow משתמש בגרסה החדשה ביותר של מחבר Managed I/O שנבדקה ופועלת היטב.
שדרוגים הדרגתיים. במשימות סטרימינג, Dataflow משדרג את המחברים של Managed I/O בצינורות עיבוד נתונים פעילים כשגרסאות חדשות הופכות לזמינות. אתם לא צריכים לעדכן ידנית את המחבר או את גרסת Apache Beam של צינור עיבוד הנתונים.
כברירת מחדל, שדרוגים הדרגתיים מתבצעים בחלון של 30 יום – כלומר, השדרוגים מתבצעים בערך כל 30 יום. אפשר לשנות את החלון או להשבית את השדרוגים המתגלגלים לכל משימה בנפרד. למידע נוסף, קראו את המאמר הגדרת חלון השדרוג המתגלגל.
שבוע לפני השדרוג, Dataflow כותב הודעה ביומני ההודעות של המשימה.
משרות חלופיות. במשימות סטרימינג, Dataflow בודק אם יש עדכונים בכל פעם שמפעילים משימה חלופית, ומשתמש באופן אוטומטי בגרסה האחרונה שידועה כתקינה. Dataflow מבצע את הבדיקה הזו גם אם לא משנים את הקוד במשימה החלופית.
בתרשים הבא מוצג תהליך השדרוג. המשתמש יוצר צינור עיבוד נתונים של Apache Beam באמצעות גרסת SDK X. Dataflow משדרג את גרסת Managed I/O לגרסה הנתמכת האחרונה. השדרוג מתבצע כשהמשתמש שולח את המשימה, אחרי חלון השדרוג המתגלגל או כשהמשתמש שולח משימה חלופית.

תהליך השדרוג מוסיף כ-2 דקות לזמן ההפעלה של המשימה הראשונה (לכל פרויקט) שמשתמשת ב-I/O מנוהל, וכחצי דקה למשימות הבאות. בשדרוגים הדרגתיים, שירות Dataflow מפעיל משימה חלופית. כתוצאה מכך, יכול להיות שהצינור יהיה מושבת באופן זמני בזמן שמאגר ה-workers הקיים נסגר ומאגר חדש מופעל. כדי לבדוק את הסטטוס של פעולות קלט/פלט מנוהלות, חפשו רשומות ביומן שכוללות את המחרוזת "Managed Transform(s)".
הגדרת חלון השדרוג המתגלגל
כדי לציין את חלון השדרוג של משימת סטרימינג ב-Dataflow, מגדירים את managed_transforms_rolling_upgrade_window אפשרות השירות למספר הימים. הערך צריך להיות בין 10 ל-90 ימים, כולל.
Java
--dataflowServiceOptions=managed_transforms_rolling_upgrade_window=DAYS
Python
--dataflow_service_options=managed_transforms_rolling_upgrade_window=DAYS
gcloud
משתמשים בפקודה gcloud dataflow jobs run עם האפשרות additional-experiments. אם אתם משתמשים בתבנית Flex עם קלט/פלט מנוהל, השתמשו בפקודה gcloud dataflow flex-template run.
--additional-experiments=managed_transforms_rolling_upgrade_window=DAYS
כדי להשבית את השדרוגים האלה, מגדירים את האפשרות managed_transforms_rolling_upgrade_window של השירות לערך never. עדיין אפשר להפעיל עדכון על ידי הפעלת משימה חלופית.
Java
--dataflowServiceOptions=managed_transforms_rolling_upgrade_window=never
Python
--dataflow_service_options=managed_transforms_rolling_upgrade_window=never
המשך
--dataflow_service_options=managed_transforms_rolling_upgrade_window=never
gcloud
משתמשים בפקודה gcloud dataflow jobs run עם האפשרות additional-experiments. אם אתם משתמשים בתבניות Flex, השתמשו בפקודה gcloud dataflow flex-template run.
--additional-experiments=managed_transforms_rolling_upgrade_window=never
Configuration API
קלט/פלט מנוהל הוא טרנספורמציה מוכנה לשימוש של Apache Beam, שמספקת ממשק API עקבי להגדרת מקורות וכיורים.
Java
כדי ליצור מקור או sink שנתמכים על ידי Managed I/O, משתמשים במחלקה Managed. מציינים את המקור או את הכיור שרוצים ליצור, ומעבירים קבוצה של פרמטרים להגדרה, בדומה לדוגמה הבאה:
Map config = ImmutableMap.<String, Object>builder()
.put("config1", "abc")
.put("config2", 1);
pipeline.apply(Managed.read(/*Which source to read*/).withConfig(config))
.getSinglePCollection();
אפשר גם להעביר פרמטרים של הגדרות כקובץ YAML. דוגמה לקוד מלא מופיעה במאמר קריאה מ-Apache Iceberg.
Python
מייבאים את המודול apache_beam.transforms.managed ומפעילים את השיטה managed.Read או managed.Write. מציינים איזה מקור או sink ליצור, ומעבירים קבוצה של פרמטרים של הגדרות אישיות, בדומה לדוגמה הבאה:
pipeline
| beam.managed.Read(
beam.managed.SOURCE, # Example: beam.managed.KAFKA
config={
"config1": "abc",
"config2": 1
}
)
אפשר גם להעביר פרמטרים של הגדרות כקובץ YAML. דוגמה לקוד מלא מופיעה במאמר קריאה מ-Apache Kafka.
יעדים דינמיים
בחלק מהיעדים, מחבר הקלט/פלט המנוהל יכול לבחור באופן דינמי יעד על סמך ערכי השדות ברשומות הנכנסות.
כדי להשתמש ביעדים דינמיים, צריך לספק מחרוזת תבנית ליעד. מחרוזת התבנית יכולה לכלול שמות של שדות בתוך סוגריים מסולסלים, כמו "tables.{field1}". בזמן הריצה, המחבר מחליף את הערך של השדה בכל רשומה נכנסת כדי לקבוע את היעד של הרשומה הזו.
לדוגמה, נניח שבנתונים שלכם יש שדה בשם airport. אפשר להגדיר את היעד בתור "flights.{airport}". אם airport=SFO, הרשומה נכתבת ב-flights.SFO. בשדות בתצוגת עץ, משתמשים בסימון נקודה. לדוגמה:
{top.middle.nested}.
במאמר כתיבה עם יעדים דינמיים תוכלו למצוא קוד לדוגמה שמראה איך להשתמש ביעדים דינמיים.
סינון
יכול להיות שתרצו לסנן שדות מסוימים לפני שהם נכתבים בטבלת היעד. בכיורים שתומכים ביעדים דינמיים, אפשר להשתמש בפרמטר drop, keep או only למטרה הזו. הפרמטרים האלה מאפשרים לכלול מטא-נתונים של היעד ברשומות הקלט, בלי לכתוב את המטא-נתונים ביעד.
אפשר להגדיר לכל היותר אחד מהפרמטרים האלה לכיור נתון.
| פרמטר להגדרה | סוג נתונים | תיאור |
|---|---|---|
drop |
רשימת מחרוזות | רשימה של שמות שדות שצריך להשמיט לפני הכתיבה ביעד. |
keep |
רשימת מחרוזות | רשימה של שמות שדות שצריך לשמור כשכותבים ליעד. שדות אחרים יושמטו. |
only |
מחרוזת | שם של שדה אחד בדיוק שישמש כרשומה ברמה העליונה לכתיבה ביעד. כל שאר השדות מושמטים. השדה הזה חייב להיות מסוג שורה. |
מקורות ו-Sinks נתמכים
הקלט/פלט המנוהל תומך במקורות ובכיורים הבאים.
מידע נוסף זמין במאמר מחברי קלט/פלט מנוהלים במסמכי התיעוד של Apache Beam.