ייצוא נתונים ל-AlloyDB (תהליך ETL הפוך)
תהליך עבודה של חילוץ, טרנספורמציה וטעינה (ETL) הפוך מ-BigQuery ל-AlloyDB ל-PostgreSQL מאפשר להעביר נתונים מ-BigQuery למסד נתונים של AlloyDB. אתם יכולים להשתמש בהצהרה EXPORT DATA כדי לעבד או לסנן את הנתונים באמצעות שאילתה לפני הייצוא, או לסנכרן את הטבלה ב-BigQuery עם AlloyDB כדי להעתיק או לשקף את הטבלה המלאה.
לפני שמתחילים
יוצרים אשכול ומכונה של AlloyDB, שכוללים מסד נתונים, סכימה וטבלה, כדי לקבל את הנתונים שיוצאו. לפני שמריצים את משימת הייצוא, צריך ליצור את הסכימה ואת הטבלה של היעד. במצב
UPSERT, טבלת היעד חייבת לכלול אילוץPRIMARY KEYאו לפחות אילוץUNIQUEאחד.מכונת היעד של AlloyDB חייבת להיות מכונה מסוג
PRIMARYבמצבREADY.יוצרים חיבור ל-BigQuery כדי להתחבר למכונה של AlloyDB. החיבור חייב להשתמש באימות באמצעות שם משתמש וסיסמה. למשתמש במסד הנתונים נדרשות ההרשאות הבאות:
סוג טבלה הרשאות בטבלת היעד הרשאות לסכימת היעד הרשאות למסד הנתונים הערות טבלאות עם אילוץ PRIMARY KEYאוUNIQUEINSERT,UPDATE,SELECTUSAGECONNECT,TEMPORARYחובה גם במצב UPSERTוגם במצבAPPENDכדי לתמוך באפשרות של ניסיון חוזר אוטומטי.טבלאות ללא אילוצים INSERTUSAGECONNECTכדי להשתמש בתכונה הזו, צריך ליצור הזמנה של BigQuery Enterprise או Enterprise Plus. אפשר לייצא ל-AlloyDB רק הקצאות של
QUERY.להקצות תפקידים של ניהול זהויות והרשאות גישה (IAM) שנותנים למשתמשים את ההרשאות הנדרשות כדי לבצע כל משימה שמופיעה במסמך הזה.
התפקידים הנדרשים
כדי לקבל את ההרשאות שדרושות לייצוא נתונים מ-BigQuery ל-AlloyDB, בקשו מהאדמין להקצות לכם את תפקידי ה-IAM הבאים בפרויקט:
-
ייצוא נתונים מטבלה ב-BigQuery:
צפייה בנתוני BigQuery (
roles/bigquery.dataViewer) -
הפעלת משימת חילוץ:
משתמש BigQuery (
roles/bigquery.user) -
שימוש בחיבור ל-BigQuery:
BigQuery Connection User (
roles/bigquery.connectionUser) -
התחברות למכונה של AlloyDB:
לקוח AlloyDB (
roles/alloydb.client) – חשבון השירות של החיבור
להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.
יכול להיות שאפשר לקבל את ההרשאות הנדרשות גם באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש.
מגבלות
אפשר לייצא מ-AlloyDB רק בייצוא באצווה. אי אפשר להשתמש בשאילתות מתמשכות כדי לייצא ל-AlloyDB.
כדי להשתמש במצב
UPSERT, טבלת היעד ב-AlloyDB צריכה לכלולPRIMARY KEYאו לפחות אילוץUNIQUEאחד, והשאילתהSELECTצריכה להקרין את כל העמודות ששייכות לאילוץ הזה. אפשר לייצא טבלאות בלי מפתח ראשי או אילוץ ייחודי רק באמצעות מצבAPPEND.ייצוא נתונים במצב
UPSERTכולל תפוקת כתיבה נמוכה יותר ותקורה גבוהה יותר של מעבד וקלט/פלט במכונה של AlloyDB, בהשוואה למצבAPPEND. במצבAPPEND, השורות מועברות בסטרימינג ישירות באמצעות הפקודהCOPYשל PostgreSQL, ובמצבUPSERTמתבצעת פעולת הוספה או עדכון (INSERT ... ON CONFLICT DO UPDATE), שבה AlloyDB צריך לבדוק אינדקסים ייחודיים של מפתחות קיימים ולעדכן את השורות התואמות. כשמייצאים רק רשומות חדשות, כדאי להשתמש במצבAPPENDכדי לקבל ביצועים אופטימליים.אם לא הוגדרו אילוצים בטבלת היעד, הפעלת כמה פעולות ייצוא של
APPENDעם אותם נתונים תגרום לשורות כפולות.לא מומלץ להריץ כמה משימות
EXPORT DATAבו-זמנית לאותה טבלה ב-AlloyDB. פעולה כזו עלולה לגרום להתנהגות בלתי צפויה, כמו אובדן נתונים או כשלים במשימות. מומלץ לוודא שרק משימת ייצוא אחת כותבת לטבלה ספציפית בכל פעם.אפשר לבצע אימות רק באמצעות שם משתמש וסיסמה דרך חיבור ל-BigQuery.
אין תמיכה בסוגי הנתונים
ARRAY,BYTES,GEOGRAPHY,INTERVALו-STRUCTב-BigQuery.אם בהצהרת
SELECTב-BigQuery חסרות עמודות שקיימות בטבלת היעד ב-AlloyDB, העמודות האלה צריכות לאפשר ערכיNULLאו שצריכים להיות מוגדרים להן ערכי ברירת מחדל ב-AlloyDB. אם יש להם אילוץNOT NULLואין ערך ברירת מחדל, הייצוא ייכשל.אפשר לייצא ל-AlloyDB רק במהדורות BigQuery Enterprise או Enterprise Plus. אין תמיכה במהדורת BigQuery Standard ובמחשוב על פי דרישה. למידע נוסף, קראו את המאמר תכונות ניהול.
משימה ב-BigQuery, כמו משימת חילוץ ל-AlloyDB, נמשכת עד 6 שעות. אם אתם מייצאים קבצים גדולים מאוד, מומלץ לפצל את הייצוא לכמה משימות קטנות יותר.
שיקולים בקשר למיקום
כדי לייצא נתונים ל-AlloyDB, יש דרישות ספציפיות לגבי המיקום של מערך הנתונים ב-BigQuery והמיקום של המכונה ב-AlloyDB:
ייצוא לאותו אזור: מכונה היעד של AlloyDB צריכה להיות באותו אזור של מערך הנתונים ב-BigQuery. Google Cloud לדוגמה, אפשר לייצא מערך נתונים ב-
us-east1רק למכונה של AlloyDB ב-us-east1.ייצוא במספר אזורים:
- אפשר לייצא מערכי נתונים במספר אזורים ב-
USרק למכונה של AlloyDB שנמצאת באזורus-central1. - אפשר לייצא מערכי נתונים במספר אזורים ב-
EUרק למכונה של AlloyDB שנמצאת באזורeurope-west4.
- אפשר לייצא מערכי נתונים במספר אזורים ב-
אי אפשר לייצא בין אזורים, חוץ מהשילובים שצוינו למעלה.
הגדרת ייצוא באמצעות alloydb_options
אפשר להשתמש באפשרות alloydb_options בהצהרת EXPORT DATA כדי לציין את הסכימה, הטבלה, מצב הכתיבה ומספר החיבורים המקסימלי של AlloyDB. ההגדרה מבוטאת כמחרוזת JSON. רק הפרמטר table נדרש. כל שאר הפרמטרים הם אופציונליים.
כשמגדירים את הייצוא, העמודות בהצהרה SELECT צריכות להיות עם שמות סודיים שתואמים לשמות העמודות בטבלת היעד ב-AlloyDB.
EXPORT DATA WITH CONNECTION `PROJECT_ID.LOCATION.CONNECTION_ID` OPTIONS( format='ALLOYDB', uri="https://alloydb.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/clusters/CLUSTER_ID/instances/INSTANCE_ID", alloydb_options="""{ "schema": "SCHEMA_NAME", "table": "TABLE_NAME", "write_mode": "WRITE_MODE", "max_parallel_connections":MAX_CONNECTIONS}""" ) AS SELECT * FROM `mydataset.table1`;
מחליפים את מה שכתוב בשדות הבאים:
-
PROJECT_ID: שם הפרויקט ב- Google Cloud . -
LOCATION: המיקום של החיבור ומכונת היעד. -
CONNECTION_ID: השם של החיבור ל-BigQuery. -
CLUSTER_ID: השם של אשכול AlloyDB. -
INSTANCE_ID: השם של מכונת היעד ב-AlloyDB. -
SCHEMA_NAME(אופציונלי): השם של סכימת היעד ב-AlloyDB. אם לא מציינים סכימה, המערכת משתמשת בסכימה שמוגדרת כברירת מחדל למשתמש במסד הנתונים (בדרך כללpublic). -
TABLE_NAME: השם של טבלת יעדים קיימת ב-AlloyDB, בלי הקידומת של הסכימה. -
WRITE_MODE(אופציונלי): מצב הכתיבה שבו משתמשים כשמייצאים נתונים. ערכים נתמכים:-
APPEND: כברירת מחדל, הערך הזה מוסיף ישירות שורות שיוצאו כדי להגביר את קצב העיבוד כשמייצאים רשומות חדשות. אם בטבלת היעד יש אילוץPRIMARY KEYאוUNIQUEומתרחשת התנגשות של מפתחות כפולים, לדוגמה, כי מפתחות תואמים כבר קיימים בטבלה או כי ניסיון של משימה שנכשלה חוזר על עצמו אחרי כתיבת נתונים חלקיים, BigQuery מנסה באופן אוטומטי לייצא מחדש במצבUPSERT. אם אתם מצפים שהייצוא יעדכן שורות קיימות, ציינו אתUPSERTישירות כדי להימנע מהתקורה של ניסיון חוזר. -
UPSERT: מעדכן רשומות קיימות אם יש מפתח תואם, או מוסיף רשומות חדשות אם לא נמצא מפתח תואם. צריך אילוץPRIMARY KEYאוUNIQUEבטבלת היעד, כשכל עמודות המפתח נבחרות בשאילתה. BigQuery מתאים שורות באמצעותPRIMARY KEYשל הטבלה, או אילוץUNIQUEאם אין לטבלה מפתח ראשי. אם בטבלה יש אילוציUNIQUEנוספים, ובשורה שמיוצאת יש ערך כפול באחת מהעמודות האלה, הייצוא נכשל.
-
-
MAX_CONNECTIONS(אופציונלי): המספר המקסימלי של חיבורים מקבילים בו-זמנית בין ה-workers של BigQuery למכונה של AlloyDB. אם מציינים את הערך, הוא חייב להיות1או יותר. הגבלת החיבורים יכולה למנוע עומס יתר על מכונת היעד במהלך ייצוא של נתונים רבים.
דוגמאות להצהרות ייצוא
בקטע הזה מופיעות דוגמאות להצהרות EXPORT DATA לתרחישים שונים לדוגמה.
ייצוא במצב APPEND
בדוגמה הבאה, שדות נבחרים מהטבלה mydataset.table1 מצורפים לטבלה ב-AlloyDB בשם my_target_table:
EXPORT DATA WITH CONNECTION `myproject.us-central1.my-alloydb-conn` OPTIONS ( format='ALLOYDB', uri="https://alloydb.googleapis.com/v1/projects/myproject/locations/us-central1/clusters/my-cluster/instances/my-instance", alloydb_options="""{ "schema": "public", "table": "my_target_table", "write_mode": "APPEND" }""" ) AS SELECT col1 AS id, col2 AS name, col3 AS value FROM `mydataset.table1`;
ייצוא במצב UPSERT
בדוגמה הבאה מתבצע עדכון או הוספה (upsert) של רשומות מ-mydataset.customers לטבלה customer_profiles ב-AlloyDB, כולל עדכון של רשומות קיימות שתואמות למפתח הראשי customer_id והוספה של רשומות חדשות:
EXPORT DATA WITH CONNECTION `myproject.us-central1.my-alloydb-conn` OPTIONS ( format='ALLOYDB', uri="https://alloydb.googleapis.com/v1/projects/myproject/locations/us-central1/clusters/my-cluster/instances/my-instance", alloydb_options="""{ "schema": "public", "table": "customer_profiles", "write_mode": "UPSERT", "max_parallel_connections": 8 }""" ) AS SELECT customer_id, email, status, updated_at FROM `mydataset.customers`;
סנכרון טבלה לייצוא
כדי להעתיק טבלאות מלאות או לבצע שיקוף אוטומטי בלי צורך בטרנספורמציות מבוססות-SQL, אתם יכולים לסנכרן את הטבלה ב-BigQuery ישירות עם AlloyDB. ההצהרה EXPORT DATA מאפשרת להשתמש בשאילתת SELECT כדי לעבד נתונים, לתת להם כינוי או לסנן אותם לפני שהם מועברים, אבל אפשר להשתמש בסנכרון טבלאות כדי להעביר טבלה ב-BigQuery באופן ישיר.
אפשר לסנכרן טבלאות במצבים הבאים:
- ייבוא חד-פעמי: יוצר עותק עצמאי של טבלה ב-BigQuery שניתן לכתוב בו ב-AlloyDB.
- סנכרון תקופתי (שיקוף): יוצר טבלה מקומית לקריאה בלבד ב-AlloyDB, שמתרעננת באופן אוטומטי מ-BigQuery לפי לוח זמנים מוגדר.
מידע נוסף זמין במאמר סנכרון נתוני BigQuery עם AlloyDB.
תמחור
כשמייצאים נתונים ל-AlloyDB באמצעות ההצהרה EXPORT DATA, החיוב מתבצע לפי תמחור המחשוב של קיבולת BigQuery.
אחרי ייצוא הנתונים, תחויבו על אחסון הנתונים ב-AlloyDB. למידע נוסף, קראו את המאמר תמחור של AlloyDB ל-PostgreSQL.