Google משתמשת בטכנולוגיית AI כדי לתרגם תוכן לשפה המועדפת עליך. בתרגומים כאלו עשויות להיות שגיאות.
קלט/פלט מנוהל של Dataflow למסדי נתונים
קל לארגן דפים בעזרת אוספים
אפשר לשמור ולסווג תוכן על סמך ההעדפות שלך.
Dataflow תומך בקריאה ממסדי נתונים ובכתיבה למסדי נתונים באמצעות Java Database Connectivity (JDBC). Dataflow משתמש במחבר Apache Beam
JdbcIO כדי להתחבר למקורות וליעדים של נתוני JDBC. התכונה 'ניהול קלט/פלט למסדי נתונים' תומכת במנהלי התקנים סטנדרטיים של JDBC למסדי נתונים שונים, כולל PostgreSQL, MySQL ו-Microsoft SQL Server.
דרישות
ערכות ה-SDK הבאות תומכות בקלט/פלט מנוהל למסדי נתונים:
- Apache Beam SDK for Java בגרסה 2.69.0 ואילך
- Apache Beam SDK ל-Python בגרסה 2.69.0 ואילך
הגדרות אישיות
התכונה 'ניהול קלט/פלט למסדי נתונים' תומכת בפרמטרים הבאים של הגדרות:
POSTGRES קריאה
| הגדרות אישיות |
סוג |
תיאור |
|
jdbc_url
|
str
|
כתובת ה-URL של החיבור למקור JDBC.
|
|
connection_properties
|
str
|
הפרמטר הזה משמש להגדרת מאפייני חיבור שמועברים למנהל ההתקן של JDBC, שלא הוגדרו כבר כפרמטרים עצמאיים (לדוגמה, אפשר להגדיר שם משתמש וסיסמה באמצעות הפרמטרים שלמעלה). הפורמט של המחרוזת צריך להיות key1=value1;key2=value2;.
|
|
fetch_size
|
int32
|
השיטה הזו משמשת לשינוי הגודל של הנתונים שאותם המערכת תאחזר ותטען בזיכרון לכל קריאה למסד הנתונים. צריך להשתמש בו רק אם ערך ברירת המחדל גורם לשגיאות זיכרון.
|
|
location
|
str
|
שם הטבלה שממנה ייקראו הנתונים.
|
|
num_partitions
|
int32
|
מספר המחיצות
|
|
output_parallelization
|
boolean
|
האם לשנות את הסדר של ה-PCollection שמתקבל כדי שהתוצאות יחולקו לכל העובדים.
|
|
partition_column
|
str
|
השם של עמודה מסוג מספרי שתשמש לחלוקה למחיצות.
|
|
סיסמה
|
str
|
הסיסמה למקור JDBC. אפשר לציין אותו כסיסמה רגילה, או כמפרט סוד בפורמט JSON אם משתמשים בו עם מנהל סודות.
|
|
read_query
|
str
|
שאילתת SQL שמשמשת לשאילתת מקור JDBC.
|
|
secret_manager
|
str
|
Secret Manager שמשמש לאחזור ערכים סודיים. האפשרויות הזמינות: GoogleCloudSecretManager, GoogleCloudHsmGeneratedSecretManager. אם לא מגדירים את המדיניות, לא נעשה שימוש במנהל סודות והסיסמה נחשבת לסיסמה רגילה.
|
|
שם משתמש
|
str
|
שם המשתמש למקור JDBC.
|
POSTGRES כתיבה
| הגדרות אישיות |
סוג |
תיאור |
|
jdbc_url
|
str
|
כתובת ה-URL של החיבור ליעד JDBC.
|
|
חלוקת נתונים אוטומטית
|
boolean
|
אם הערך הוא True, אפשר להשתמש במספר דינמי של רסיסים לכתיבה.
|
|
batch_size
|
int64
|
לא רלוונטי
|
|
connection_properties
|
str
|
הפרמטר הזה משמש להגדרת מאפייני חיבור שמועברים למנהל ההתקן של JDBC, שלא הוגדרו כבר כפרמטרים עצמאיים (לדוגמה, אפשר להגדיר שם משתמש וסיסמה באמצעות הפרמטרים שלמעלה). הפורמט של המחרוזת צריך להיות key1=value1;key2=value2;.
|
|
location
|
str
|
שם הטבלה שאליה ייכתבו הנתונים.
|
|
סיסמה
|
str
|
הסיסמה למקור JDBC. אפשר לציין אותו כסיסמה רגילה, או כמפרט סוד בפורמט JSON אם משתמשים בו עם מנהל סודות.
|
|
secret_manager
|
str
|
Secret Manager שמשמש לאחזור ערכים סודיים. האפשרויות הזמינות: GoogleCloudSecretManager, GoogleCloudHsmGeneratedSecretManager. אם לא מגדירים את המדיניות, לא נעשה שימוש במנהל סודות והסיסמה נחשבת לסיסמה רגילה.
|
|
שם משתמש
|
str
|
שם המשתמש למקור JDBC.
|
|
write_statement
|
str
|
שאילתת SQL שמשמשת להוספת רשומות ליעד JDBC.
|
MYSQL קריאה
| הגדרות אישיות |
סוג |
תיאור |
|
jdbc_url
|
str
|
כתובת ה-URL של החיבור למקור JDBC.
|
|
connection_init_sql
|
list[str]
|
הגדרת הצהרות SQL לאתחול החיבור שמשמשות את ה-Driver. רק MySQL ו-MariaDB תומכים בזה.
|
|
connection_properties
|
str
|
הפרמטר הזה משמש להגדרת מאפייני חיבור שמועברים למנהל ההתקן של JDBC, שלא הוגדרו כבר כפרמטרים עצמאיים (לדוגמה, אפשר להגדיר שם משתמש וסיסמה באמצעות הפרמטרים שלמעלה). הפורמט של המחרוזת צריך להיות key1=value1;key2=value2;.
|
|
disable_auto_commit
|
boolean
|
האם להשבית את השמירה האוטומטית בקריאה. אם לא מציינים ערך, ברירת המחדל היא true. הצורך בהגדרה הזו משתנה בהתאם לפלטפורמת מסד הנתונים. ב-Informix צריך להגדיר את הערך false, וב-Postgres צריך להגדיר את הערך true.
|
|
fetch_size
|
int32
|
השיטה הזו משמשת לשינוי הגודל של הנתונים שאותם המערכת תאחזר ותטען בזיכרון לכל קריאה למסד הנתונים. צריך להשתמש בו רק אם ערך ברירת המחדל גורם לשגיאות זיכרון.
|
|
location
|
str
|
שם הטבלה שממנה ייקראו הנתונים.
|
|
num_partitions
|
int32
|
מספר המחיצות
|
|
output_parallelization
|
boolean
|
האם לשנות את הסדר של ה-PCollection שמתקבל כדי שהתוצאות יחולקו לכל העובדים.
|
|
partition_column
|
str
|
השם של עמודה מסוג מספרי שתשמש לחלוקה למחיצות.
|
|
סיסמה
|
str
|
הסיסמה למקור JDBC. אפשר לציין אותו כסיסמה רגילה, או כמפרט סוד בפורמט JSON אם משתמשים בו עם מנהל סודות.
|
|
read_query
|
str
|
שאילתת SQL שמשמשת לשאילתת מקור JDBC.
|
|
secret_manager
|
str
|
Secret Manager שמשמש לאחזור ערכים סודיים. האפשרויות הזמינות: GoogleCloudSecretManager, GoogleCloudHsmGeneratedSecretManager. אם לא מגדירים את המדיניות, לא נעשה שימוש במנהל סודות והסיסמה נחשבת לסיסמה רגילה.
|
|
שם משתמש
|
str
|
שם המשתמש למקור JDBC.
|
MYSQL כתיבה
| הגדרות אישיות |
סוג |
תיאור |
|
jdbc_url
|
str
|
כתובת ה-URL של החיבור ליעד JDBC.
|
|
חלוקת נתונים אוטומטית
|
boolean
|
אם הערך הוא True, אפשר להשתמש במספר דינמי של רסיסים לכתיבה.
|
|
batch_size
|
int64
|
לא רלוונטי
|
|
connection_init_sql
|
list[str]
|
הגדרת הצהרות SQL לאתחול החיבור שמשמשות את ה-Driver. רק MySQL ו-MariaDB תומכים בזה.
|
|
connection_properties
|
str
|
הפרמטר הזה משמש להגדרת מאפייני חיבור שמועברים למנהל ההתקן של JDBC, שלא הוגדרו כבר כפרמטרים עצמאיים (לדוגמה, אפשר להגדיר שם משתמש וסיסמה באמצעות הפרמטרים שלמעלה). הפורמט של המחרוזת צריך להיות key1=value1;key2=value2;.
|
|
location
|
str
|
שם הטבלה שאליה ייכתבו הנתונים.
|
|
סיסמה
|
str
|
הסיסמה למקור JDBC. אפשר לציין אותו כסיסמה רגילה, או כמפרט סוד בפורמט JSON אם משתמשים בו עם מנהל סודות.
|
|
secret_manager
|
str
|
Secret Manager שמשמש לאחזור ערכים סודיים. האפשרויות הזמינות: GoogleCloudSecretManager, GoogleCloudHsmGeneratedSecretManager. אם לא מגדירים את המדיניות, לא נעשה שימוש במנהל סודות והסיסמה נחשבת לסיסמה רגילה.
|
|
שם משתמש
|
str
|
שם המשתמש למקור JDBC.
|
|
write_statement
|
str
|
שאילתת SQL שמשמשת להוספת רשומות ליעד JDBC.
|
SQLSERVER קריאה
| הגדרות אישיות |
סוג |
תיאור |
|
jdbc_url
|
str
|
כתובת ה-URL של החיבור למקור JDBC.
|
|
connection_properties
|
str
|
הפרמטר הזה משמש להגדרת מאפייני חיבור שמועברים למנהל ההתקן של JDBC, שלא הוגדרו כבר כפרמטרים עצמאיים (לדוגמה, אפשר להגדיר שם משתמש וסיסמה באמצעות הפרמטרים שלמעלה). הפורמט של המחרוזת צריך להיות key1=value1;key2=value2;.
|
|
disable_auto_commit
|
boolean
|
האם להשבית את השמירה האוטומטית בקריאה. אם לא מציינים ערך, ברירת המחדל היא true. הצורך בהגדרה הזו משתנה בהתאם לפלטפורמת מסד הנתונים. ב-Informix צריך להגדיר את הערך false, וב-Postgres צריך להגדיר את הערך true.
|
|
fetch_size
|
int32
|
השיטה הזו משמשת לשינוי הגודל של הנתונים שאותם המערכת תאחזר ותטען בזיכרון לכל קריאה למסד הנתונים. צריך להשתמש בו רק אם ערך ברירת המחדל גורם לשגיאות זיכרון.
|
|
location
|
str
|
שם הטבלה שממנה ייקראו הנתונים.
|
|
num_partitions
|
int32
|
מספר המחיצות
|
|
output_parallelization
|
boolean
|
האם לשנות את הסדר של ה-PCollection שמתקבל כדי שהתוצאות יחולקו לכל העובדים.
|
|
partition_column
|
str
|
השם של עמודה מסוג מספרי שתשמש לחלוקה למחיצות.
|
|
סיסמה
|
str
|
הסיסמה למקור JDBC. אפשר לציין אותו כסיסמה רגילה, או כמפרט סוד בפורמט JSON אם משתמשים בו עם מנהל סודות.
|
|
read_query
|
str
|
שאילתת SQL שמשמשת לשאילתת מקור JDBC.
|
|
secret_manager
|
str
|
Secret Manager שמשמש לאחזור ערכים סודיים. האפשרויות הזמינות: GoogleCloudSecretManager, GoogleCloudHsmGeneratedSecretManager. אם לא מגדירים את המדיניות, לא נעשה שימוש במנהל סודות והסיסמה נחשבת לסיסמה רגילה.
|
|
שם משתמש
|
str
|
שם המשתמש למקור JDBC.
|
SQLSERVER כתיבה
| הגדרות אישיות |
סוג |
תיאור |
|
jdbc_url
|
str
|
כתובת ה-URL של החיבור ליעד JDBC.
|
|
חלוקת נתונים אוטומטית
|
boolean
|
אם הערך הוא True, אפשר להשתמש במספר דינמי של רסיסים לכתיבה.
|
|
batch_size
|
int64
|
לא רלוונטי
|
|
connection_properties
|
str
|
הפרמטר הזה משמש להגדרת מאפייני חיבור שמועברים למנהל ההתקן של JDBC, שלא הוגדרו כבר כפרמטרים עצמאיים (לדוגמה, אפשר להגדיר שם משתמש וסיסמה באמצעות הפרמטרים שלמעלה). הפורמט של המחרוזת צריך להיות key1=value1;key2=value2;.
|
|
location
|
str
|
שם הטבלה שאליה ייכתבו הנתונים.
|
|
סיסמה
|
str
|
הסיסמה למקור JDBC. אפשר לציין אותו כסיסמה רגילה, או כמפרט סוד בפורמט JSON אם משתמשים בו עם מנהל סודות.
|
|
secret_manager
|
str
|
Secret Manager שמשמש לאחזור ערכים סודיים. האפשרויות הזמינות: GoogleCloudSecretManager, GoogleCloudHsmGeneratedSecretManager. אם לא מגדירים את המדיניות, לא נעשה שימוש במנהל סודות והסיסמה נחשבת לסיסמה רגילה.
|
|
שם משתמש
|
str
|
שם המשתמש למקור JDBC.
|
|
write_statement
|
str
|
שאילתת SQL שמשמשת להוספת רשומות ליעד JDBC.
|
המאמרים הבאים
מידע נוסף ודוגמאות קוד זמינים במאמרים הבאים:
אלא אם צוין אחרת, התוכן של דף זה הוא ברישיון Creative Commons Attribution 4.0 ודוגמאות הקוד הן ברישיון Apache 2.0. לפרטים, ניתן לעיין במדיניות האתר Google Developers. Java הוא סימן מסחרי רשום של חברת Oracle ו/או של השותפים העצמאיים שלה.
עדכון אחרון: 2026-11-11 (שעון UTC).
[null,null,["עדכון אחרון: 2026-11-11 (שעון UTC)."],[],[]]