קלט/פלט מנוהל של Dataflow למסדי נתונים

‫Dataflow תומך בקריאה ממסדי נתונים ובכתיבה למסדי נתונים באמצעות Java Database Connectivity ‏ (JDBC). ‫Dataflow משתמש במחבר Apache Beam JdbcIO כדי להתחבר למקורות וליעדים של נתוני JDBC. התכונה 'ניהול קלט/פלט למסדי נתונים' תומכת במנהלי התקנים סטנדרטיים של JDBC למסדי נתונים שונים, כולל PostgreSQL,‏ MySQL ו-Microsoft SQL Server.

דרישות

ערכות ה-SDK הבאות תומכות בקלט/פלט מנוהל למסדי נתונים:

  • ‫Apache Beam SDK for Java בגרסה 2.69.0 ואילך
  • ‫Apache Beam SDK ל-Python בגרסה 2.69.0 ואילך

הגדרות אישיות

התכונה 'ניהול קלט/פלט למסדי נתונים' תומכת בפרמטרים הבאים של הגדרות:

POSTGRES קריאה

הגדרות אישיות סוג תיאור
jdbc_url str כתובת ה-URL של החיבור למקור JDBC.
connection_properties str הפרמטר הזה משמש להגדרת מאפייני חיבור שמועברים למנהל ההתקן של JDBC, שלא הוגדרו כבר כפרמטרים עצמאיים (למשל, אפשר להגדיר שם משתמש וסיסמה באמצעות הפרמטרים שלמעלה). הפורמט של המחרוזת צריך להיות 'key1=value1;key2=value2;'.
fetch_size int32 השיטה הזו משמשת לביטול הגודל של הנתונים שאותם המערכת תאחזר ותטען בזיכרון לכל קריאה למסד הנתונים. צריך להשתמש בו רק אם ערך ברירת המחדל גורם לשגיאות זיכרון.
location str השם של הטבלה שממנה ייקראו הנתונים.
num_partitions int32 מספר המחיצות
output_parallelization boolean האם לשנות את הסדר של PCollection שמתקבל כדי שהתוצאות יחולקו לכל העובדים.
partition_column str השם של עמודה מסוג מספרי שתשמש לחלוקה למחיצות.
סיסמה str הסיסמה למקור JDBC.
read_query str שאילתת SQL שמשמשת לשאילתת מקור JDBC.
שם משתמש str שם המשתמש למקור JDBC.

POSTGRES כתיבה

הגדרות אישיות סוג תיאור
jdbc_url str כתובת ה-URL של החיבור ליעד JDBC.
חלוקה אוטומטית של נתונים boolean אם הערך הוא True, אפשר להשתמש במספר דינמי של רסיסים לכתיבה.
batch_size int64 לא רלוונטי
connection_properties str הפרמטר הזה משמש להגדרת מאפייני חיבור שמועברים למנהל ההתקן של JDBC, שלא הוגדרו כבר כפרמטרים עצמאיים (למשל, אפשר להגדיר שם משתמש וסיסמה באמצעות הפרמטרים שלמעלה). הפורמט של המחרוזת צריך להיות 'key1=value1;key2=value2;'.
location str שם הטבלה שאליה ייכתבו הנתונים.
סיסמה str הסיסמה למקור JDBC.
שם משתמש str שם המשתמש למקור JDBC.
write_statement str שאילתת SQL שמשמשת להוספת רשומות ליעד JDBC.

MYSQL קריאה

הגדרות אישיות סוג תיאור
jdbc_url str כתובת ה-URL של החיבור למקור JDBC.
connection_init_sql list[str] הגדרת משפטי ה-SQL לאתחול החיבור שבהם נעשה שימוש על ידי ה-Driver. רק MySQL ו-MariaDB תומכים בזה.
connection_properties str הפרמטר הזה משמש להגדרת מאפייני חיבור שמועברים למנהל ההתקן של JDBC, שלא הוגדרו כבר כפרמטרים עצמאיים (למשל, אפשר להגדיר שם משתמש וסיסמה באמצעות הפרמטרים שלמעלה). הפורמט של המחרוזת צריך להיות 'key1=value1;key2=value2;'.
disable_auto_commit boolean האם להשבית את השמירה האוטומטית בקריאה. אם לא מציינים ערך, ברירת המחדל היא true. הצורך בהגדרה הזו משתנה בהתאם לפלטפורמת מסד הנתונים. ב-Informix צריך להגדיר את הערך false, וב-Postgres צריך להגדיר את הערך true.
fetch_size int32 השיטה הזו משמשת לביטול הגודל של הנתונים שאותם המערכת תאחזר ותטען בזיכרון לכל קריאה למסד הנתונים. צריך להשתמש בו רק אם ערך ברירת המחדל גורם לשגיאות זיכרון.
location str השם של הטבלה שממנה ייקראו הנתונים.
num_partitions int32 מספר המחיצות
output_parallelization boolean האם לשנות את הסדר של PCollection שמתקבל כדי שהתוצאות יחולקו לכל העובדים.
partition_column str השם של עמודה מסוג מספרי שתשמש לחלוקה למחיצות.
סיסמה str הסיסמה למקור JDBC.
read_query str שאילתת SQL שמשמשת לשאילתת מקור JDBC.
שם משתמש str שם המשתמש למקור JDBC.

MYSQL כתיבה

הגדרות אישיות סוג תיאור
jdbc_url str כתובת ה-URL של החיבור ליעד JDBC.
חלוקה אוטומטית של נתונים boolean אם הערך הוא True, אפשר להשתמש במספר דינמי של רסיסים לכתיבה.
batch_size int64 לא רלוונטי
connection_init_sql list[str] הגדרת משפטי ה-SQL לאתחול החיבור שבהם נעשה שימוש על ידי ה-Driver. רק MySQL ו-MariaDB תומכים בזה.
connection_properties str הפרמטר הזה משמש להגדרת מאפייני חיבור שמועברים למנהל ההתקן של JDBC, שלא הוגדרו כבר כפרמטרים עצמאיים (למשל, אפשר להגדיר שם משתמש וסיסמה באמצעות הפרמטרים שלמעלה). הפורמט של המחרוזת צריך להיות 'key1=value1;key2=value2;'.
location str שם הטבלה שאליה ייכתבו הנתונים.
סיסמה str הסיסמה למקור JDBC.
שם משתמש str שם המשתמש למקור JDBC.
write_statement str שאילתת SQL שמשמשת להוספת רשומות ליעד JDBC.

SQLSERVER קריאה

הגדרות אישיות סוג תיאור
jdbc_url str כתובת ה-URL של החיבור למקור JDBC.
connection_properties str הפרמטר הזה משמש להגדרת מאפייני חיבור שמועברים למנהל ההתקן של JDBC, שלא הוגדרו כבר כפרמטרים עצמאיים (למשל, אפשר להגדיר שם משתמש וסיסמה באמצעות הפרמטרים שלמעלה). הפורמט של המחרוזת צריך להיות 'key1=value1;key2=value2;'.
disable_auto_commit boolean האם להשבית את השמירה האוטומטית בקריאה. אם לא מציינים ערך, ברירת המחדל היא true. הצורך בהגדרה הזו משתנה בהתאם לפלטפורמת מסד הנתונים. ב-Informix צריך להגדיר את הערך false, וב-Postgres צריך להגדיר את הערך true.
fetch_size int32 השיטה הזו משמשת לביטול הגודל של הנתונים שאותם המערכת תאחזר ותטען בזיכרון לכל קריאה למסד הנתונים. צריך להשתמש בו רק אם ערך ברירת המחדל גורם לשגיאות זיכרון.
location str השם של הטבלה שממנה ייקראו הנתונים.
num_partitions int32 מספר המחיצות
output_parallelization boolean האם לשנות את הסדר של PCollection שמתקבל כדי שהתוצאות יחולקו לכל העובדים.
partition_column str השם של עמודה מסוג מספרי שתשמש לחלוקה למחיצות.
סיסמה str הסיסמה למקור JDBC.
read_query str שאילתת SQL שמשמשת לשאילתת מקור JDBC.
שם משתמש str שם המשתמש למקור JDBC.

SQLSERVER כתיבה

הגדרות אישיות סוג תיאור
jdbc_url str כתובת ה-URL של החיבור ליעד JDBC.
חלוקה אוטומטית של נתונים boolean אם הערך הוא True, אפשר להשתמש במספר דינמי של רסיסים לכתיבה.
batch_size int64 לא רלוונטי
connection_properties str הפרמטר הזה משמש להגדרת מאפייני חיבור שמועברים למנהל ההתקן של JDBC, שלא הוגדרו כבר כפרמטרים עצמאיים (למשל, אפשר להגדיר שם משתמש וסיסמה באמצעות הפרמטרים שלמעלה). הפורמט של המחרוזת צריך להיות 'key1=value1;key2=value2;'.
location str שם הטבלה שאליה ייכתבו הנתונים.
סיסמה str הסיסמה למקור JDBC.
שם משתמש str שם המשתמש למקור JDBC.
write_statement str שאילתת SQL שמשמשת להוספת רשומות ליעד JDBC.

המאמרים הבאים

מידע נוסף ודוגמאות קוד זמינים במאמרים הבאים: