ייצוא נתונים ל-AlloyDB (תהליך ETL הפוך)

תהליך עבודה של חילוץ, טרנספורמציה וטעינה (ETL) הפוך מ-BigQuery ל-AlloyDB ל-PostgreSQL מאפשר להעביר נתונים מ-BigQuery למסד נתונים של AlloyDB. אתם יכולים להשתמש בהצהרה EXPORT DATA כדי לעבד או לסנן את הנתונים באמצעות שאילתה לפני הייצוא, או לסנכרן את הטבלה ב-BigQuery עם AlloyDB כדי להעתיק או לשקף את הטבלה המלאה.

לפני שמתחילים

  • יוצרים אשכול ומכונה של AlloyDB, שכוללים מסד נתונים, סכימה וטבלה, כדי לקבל את הנתונים שיוצאו. לפני שמריצים את משימת הייצוא, צריך ליצור את הסכימה ואת הטבלה של היעד. במצב UPSERT, טבלת היעד חייבת לכלול אילוץ PRIMARY KEY או לפחות אילוץ UNIQUE אחד.

  • מכונת היעד של AlloyDB חייבת להיות מכונה מסוג PRIMARY במצב READY.

  • יוצרים חיבור ל-BigQuery כדי להתחבר למכונה של AlloyDB. החיבור חייב להשתמש באימות באמצעות שם משתמש וסיסמה. למשתמש במסד הנתונים נדרשות ההרשאות הבאות:

    סוג טבלה הרשאות בטבלת היעד הרשאות לסכימת היעד הרשאות למסד הנתונים הערות
    טבלאות עם אילוץ PRIMARY KEY או UNIQUE INSERT, UPDATE, SELECT USAGE CONNECT, TEMPORARY חובה גם במצב UPSERT וגם במצב APPEND כדי לתמוך באפשרות של ניסיון חוזר אוטומטי.
    טבלאות ללא אילוצים INSERT USAGE CONNECT
  • כדי להשתמש בתכונה הזו, צריך ליצור הזמנה של BigQuery Enterprise או Enterprise Plus. אפשר לייצא ל-AlloyDB רק הקצאות של QUERY.

  • להקצות תפקידים של ניהול זהויות והרשאות גישה (IAM) שנותנים למשתמשים את ההרשאות הנדרשות כדי לבצע כל משימה שמופיעה במסמך הזה.

התפקידים הנדרשים

כדי לקבל את ההרשאות שדרושות לייצוא נתונים מ-BigQuery ל-AlloyDB, בקשו מהאדמין להקצות לכם את תפקידי ה-IAM הבאים בפרויקט:

  • ייצוא נתונים מטבלה ב-BigQuery: צפייה בנתוני BigQuery (roles/bigquery.dataViewer)
  • הפעלת משימת חילוץ: משתמש BigQuery (roles/bigquery.user)
  • שימוש בחיבור ל-BigQuery: BigQuery Connection User (roles/bigquery.connectionUser)
  • התחברות למכונה של AlloyDB: לקוח AlloyDB ‏(roles/alloydb.client) – חשבון השירות של החיבור

להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

יכול להיות שאפשר לקבל את ההרשאות הנדרשות גם באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש.

מגבלות

  • אפשר לייצא מ-AlloyDB רק בייצוא באצווה. אי אפשר להשתמש בשאילתות מתמשכות כדי לייצא ל-AlloyDB.

  • כדי להשתמש במצב UPSERT, טבלת היעד ב-AlloyDB צריכה לכלול PRIMARY KEY או לפחות אילוץ UNIQUE אחד, והשאילתה SELECT צריכה להקרין את כל העמודות ששייכות לאילוץ הזה. אפשר לייצא טבלאות בלי מפתח ראשי או אילוץ ייחודי רק באמצעות מצב APPEND.

  • ייצוא נתונים במצב UPSERT כולל תפוקת כתיבה נמוכה יותר ותקורה גבוהה יותר של מעבד וקלט/פלט במכונה של AlloyDB, בהשוואה למצב APPEND. במצב APPEND, השורות מועברות בסטרימינג ישירות באמצעות הפקודה COPY של PostgreSQL, ובמצב UPSERT מתבצעת פעולת הוספה או עדכון (INSERT ... ON CONFLICT DO UPDATE), שבה AlloyDB צריך לבדוק אינדקסים ייחודיים של מפתחות קיימים ולעדכן את השורות התואמות. כשמייצאים רק רשומות חדשות, כדאי להשתמש במצב APPEND כדי לקבל ביצועים אופטימליים.

  • אם לא הוגדרו אילוצים בטבלת היעד, הפעלת כמה פעולות ייצוא של APPEND עם אותם נתונים תגרום לשורות כפולות.

  • לא מומלץ להריץ כמה משימות EXPORT DATA בו-זמנית לאותה טבלה ב-AlloyDB. פעולה כזו עלולה לגרום להתנהגות בלתי צפויה, כמו אובדן נתונים או כשלים במשימות. מומלץ לוודא שרק משימת ייצוא אחת כותבת לטבלה ספציפית בכל פעם.

  • אפשר לבצע אימות רק באמצעות שם משתמש וסיסמה דרך חיבור ל-BigQuery.

  • אין תמיכה בסוגי הנתונים ARRAY,‏ BYTES,‏ GEOGRAPHY,‏ INTERVAL ו-STRUCT ב-BigQuery.

  • אם בהצהרת SELECT ב-BigQuery חסרות עמודות שקיימות בטבלת היעד ב-AlloyDB, העמודות האלה צריכות לאפשר ערכי NULL או שצריכים להיות מוגדרים להן ערכי ברירת מחדל ב-AlloyDB. אם יש להם אילוץ NOT NULL ואין ערך ברירת מחדל, הייצוא ייכשל.

  • אפשר לייצא ל-AlloyDB רק במהדורות BigQuery Enterprise או Enterprise Plus. אין תמיכה במהדורת BigQuery Standard ובמחשוב על פי דרישה. למידע נוסף, קראו את המאמר תכונות ניהול.

  • משימה ב-BigQuery, כמו משימת חילוץ ל-AlloyDB, נמשכת עד 6 שעות. אם אתם מייצאים קבצים גדולים מאוד, מומלץ לפצל את הייצוא לכמה משימות קטנות יותר.

שיקולים בקשר למיקום

כדי לייצא נתונים ל-AlloyDB, יש דרישות ספציפיות לגבי המיקום של מערך הנתונים ב-BigQuery והמיקום של המכונה ב-AlloyDB:

  • ייצוא לאותו אזור: מכונה היעד של AlloyDB צריכה להיות באותו אזור של מערך הנתונים ב-BigQuery. Google Cloud לדוגמה, אפשר לייצא מערך נתונים ב-us-east1 רק למכונה של AlloyDB ב-us-east1.

  • ייצוא במספר אזורים:

    • אפשר לייצא מערכי נתונים במספר אזורים ב-US רק למכונה של AlloyDB שנמצאת באזור us-central1.
    • אפשר לייצא מערכי נתונים במספר אזורים ב-EU רק למכונה של AlloyDB שנמצאת באזור europe-west4.

אי אפשר לייצא בין אזורים, חוץ מהשילובים שצוינו למעלה.

הגדרת ייצוא באמצעות alloydb_options

אפשר להשתמש באפשרות alloydb_options בהצהרת EXPORT DATA כדי לציין את הסכימה, הטבלה, מצב הכתיבה ומספר החיבורים המקסימלי של AlloyDB. ההגדרה מבוטאת כמחרוזת JSON. רק הפרמטר table נדרש. כל שאר הפרמטרים הם אופציונליים.

כשמגדירים את הייצוא, העמודות בהצהרה SELECT צריכות להיות עם שמות סודיים שתואמים לשמות העמודות בטבלת היעד ב-AlloyDB.

EXPORT DATA
  WITH CONNECTION `PROJECT_ID.LOCATION.CONNECTION_ID`
  OPTIONS(
    format='ALLOYDB',
    uri="https://alloydb.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/clusters/CLUSTER_ID/instances/INSTANCE_ID",
    alloydb_options="""{
      "schema": "SCHEMA_NAME",
      "table": "TABLE_NAME",
      "write_mode": "WRITE_MODE",
      "max_parallel_connections": MAX_CONNECTIONS
    }"""
  )
AS SELECT * FROM `mydataset.table1`;

מחליפים את מה שכתוב בשדות הבאים:

  • ‫PROJECT_ID: שם הפרויקט ב- Google Cloud .
  • ‫LOCATION: המיקום של החיבור ומכונת היעד.
  • ‫CONNECTION_ID: השם של החיבור ל-BigQuery.
  • ‫CLUSTER_ID: השם של אשכול AlloyDB.
  • ‫INSTANCE_ID: השם של מכונת היעד ב-AlloyDB.
  • ‫SCHEMA_NAME (אופציונלי): השם של סכימת היעד ב-AlloyDB. אם לא מציינים סכימה, המערכת משתמשת בסכימה שמוגדרת כברירת מחדל למשתמש במסד הנתונים (בדרך כלל public).
  • ‫TABLE_NAME: השם של טבלת יעדים קיימת ב-AlloyDB, בלי הקידומת של הסכימה.
  • ‫WRITE_MODE (אופציונלי): מצב הכתיבה שבו משתמשים כשמייצאים נתונים. ערכים נתמכים:
    • ‫APPEND: כברירת מחדל, הערך הזה מוסיף ישירות שורות שיוצאו כדי להגביר את קצב העיבוד כשמייצאים רשומות חדשות. אם בטבלת היעד יש אילוץ PRIMARY KEY או UNIQUE ומתרחשת התנגשות של מפתחות כפולים, לדוגמה, כי מפתחות תואמים כבר קיימים בטבלה או כי ניסיון של משימה שנכשלה חוזר על עצמו אחרי כתיבת נתונים חלקיים, BigQuery מנסה באופן אוטומטי לייצא מחדש במצב UPSERT. אם אתם מצפים שהייצוא יעדכן שורות קיימות, ציינו את UPSERT ישירות כדי להימנע מהתקורה של ניסיון חוזר.
    • ‫UPSERT: מעדכן רשומות קיימות אם יש מפתח תואם, או מוסיף רשומות חדשות אם לא נמצא מפתח תואם. צריך אילוץ PRIMARY KEY או UNIQUE בטבלת היעד, כשכל עמודות המפתח נבחרות בשאילתה. ‫BigQuery מתאים שורות באמצעות PRIMARY KEY של הטבלה, או אילוץ UNIQUE אם אין לטבלה מפתח ראשי. אם בטבלה יש אילוצי UNIQUE נוספים, ובשורה שמיוצאת יש ערך כפול באחת מהעמודות האלה, הייצוא נכשל.
  • ‫MAX_CONNECTIONS (אופציונלי): המספר המקסימלי של חיבורים מקבילים בו-זמנית בין ה-workers של BigQuery למכונה של AlloyDB. אם מציינים את הערך, הוא חייב להיות 1 או יותר. הגבלת החיבורים יכולה למנוע עומס יתר על מכונת היעד במהלך ייצוא של נתונים רבים.

דוגמאות להצהרות ייצוא

בקטע הזה מופיעות דוגמאות להצהרות EXPORT DATA לתרחישים שונים לדוגמה.

ייצוא במצב APPEND

בדוגמה הבאה, שדות נבחרים מהטבלה mydataset.table1 מצורפים לטבלה ב-AlloyDB בשם my_target_table:

EXPORT DATA
  WITH CONNECTION `myproject.us-central1.my-alloydb-conn`
  OPTIONS (
    format='ALLOYDB',
    uri="https://alloydb.googleapis.com/v1/projects/myproject/locations/us-central1/clusters/my-cluster/instances/my-instance",
    alloydb_options="""{
      "schema": "public",
      "table": "my_target_table",
      "write_mode": "APPEND"
    }"""
  )
AS SELECT
  col1 AS id,
  col2 AS name,
  col3 AS value
FROM
  `mydataset.table1`;

ייצוא במצב UPSERT

בדוגמה הבאה מתבצע עדכון או הוספה (upsert) של רשומות מ-mydataset.customers לטבלה customer_profiles ב-AlloyDB, כולל עדכון של רשומות קיימות שתואמות למפתח הראשי customer_id והוספה של רשומות חדשות:

EXPORT DATA
  WITH CONNECTION `myproject.us-central1.my-alloydb-conn`
  OPTIONS (
    format='ALLOYDB',
    uri="https://alloydb.googleapis.com/v1/projects/myproject/locations/us-central1/clusters/my-cluster/instances/my-instance",
    alloydb_options="""{
      "schema": "public",
      "table": "customer_profiles",
      "write_mode": "UPSERT",
      "max_parallel_connections": 8
    }"""
  )
AS SELECT
  customer_id,
  email,
  status,
  updated_at
FROM
  `mydataset.customers`;

סנכרון טבלה לייצוא

כדי להעתיק טבלאות מלאות או לבצע שיקוף אוטומטי בלי צורך בטרנספורמציות מבוססות-SQL, אתם יכולים לסנכרן את הטבלה ב-BigQuery ישירות עם AlloyDB. ההצהרה EXPORT DATA מאפשרת להשתמש בשאילתת SELECT כדי לעבד נתונים, לתת להם כינוי או לסנן אותם לפני שהם מועברים, אבל אפשר להשתמש בסנכרון טבלאות כדי להעביר טבלה ב-BigQuery באופן ישיר.

אפשר לסנכרן טבלאות במצבים הבאים:

  • ייבוא חד-פעמי: יוצר עותק עצמאי של טבלה ב-BigQuery שניתן לכתוב בו ב-AlloyDB.
  • סנכרון תקופתי (שיקוף): יוצר טבלה מקומית לקריאה בלבד ב-AlloyDB, שמתרעננת באופן אוטומטי מ-BigQuery לפי לוח זמנים מוגדר.

מידע נוסף זמין במאמר סנכרון נתוני BigQuery עם AlloyDB.

תמחור

כשמייצאים נתונים ל-AlloyDB באמצעות ההצהרה EXPORT DATA, החיוב מתבצע לפי תמחור המחשוב של קיבולת BigQuery.

אחרי ייצוא הנתונים, תחויבו על אחסון הנתונים ב-AlloyDB. למידע נוסף, קראו את המאמר תמחור של AlloyDB ל-PostgreSQL.