מבוא לטעינה, טרנספורמציה וייצוא של נתונים

ב-BigQuery אפשר לטעון, לשנות ולייצא נתונים כדי לשלב את מקורות הנתונים ותהליכי העבודה של ניתוח הנתונים. אתם יכולים לטעון נתונים ולשנות אותם ב-BigQuery באמצעות התהליכים "חילוץ, טעינה וטרנספורמציה" (ELT) או "חילוץ, טרנספורמציה וטעינה" (ETL). אתם יכולים גם לייצא נתונים מ-BigQuery כדי ליישם תובנות במערכות אחרות – תהליך שנקרא ETL הפוך.

איך בוחרים בין ELT ל-ETL

בדרך כלל, הנתונים עוברים טרנספורמציה לפני או אחרי שהם נטענים ל-BigQuery. ההחלטה הבסיסית היא אם לשנות את הנתונים לפני שטוענים אותם ל-BigQuery (גישת חילוץ-טרנספורמציה-טעינה או ETL) או לטעון את הנתונים הגולמיים ל-BigQuery ולבצע טרנספורמציות באמצעות BigQuery (גישת חילוץ-טעינה-טרנספורמציה או ELT).

בתרשים הבא מוצגות האפשרויות השונות לשילוב נתונים ב-BigQuery, באמצעות ELT או ETL.

עץ החלטות של מוצרים שמשמשים בתהליכי עבודה של ELT או ETL לשילוב נתונים ב-BigQuery

באופן כללי, אנחנו ממליצים על גישת ה-ELT לרוב הלקוחות. תהליך העבודה של ELT מפצל את שילוב הנתונים המורכב לשני חלקים שקל לנהל – חילוץ וטעינה, ואז טרנספורמציה. המשתמשים יכולים לבחור מתוך מגוון שיטות לטעינת נתונים שמתאימות לצרכים שלהם. אחרי שהנתונים נטענים ב-BigQuery, משתמשים שמכירים את SQL יכולים לפתח צינורות עיבוד נתונים (pipelines) של טרנספורמציה באמצעות כלים כמו Dataform.

בקטעים הבאים מוסבר בהרחבה על כל תהליך עבודה.

טעינה וטרנספורמציה של נתונים

בדרך כלל, הנתונים עוברים טרנספורמציה לפני או אחרי שהם נטענים ל-BigQuery. בקטעים הבאים מתוארות שתי הגישות הנפוצות לשילוב נתונים, ETL ו-ELT.

גישת ELT לשילוב נתונים

בגישת החילוץ-טעינה-טרנספורמציה (ELT), מבצעים שילוב נתונים בשני שלבים נפרדים:

  • חילוץ וטעינה של נתונים
  • טרנספורמציה של נתונים

לדוגמה, אתם יכולים לחלץ נתונים מקובץ JSON ולטעון אותם לטבלה ב-BigQuery. לאחר מכן, תוכלו להשתמש בצינורות עיבוד נתונים כדי לחלץ שדות ולהמיר אותם לטבלאות יעד.

גישת ה-ELT יכולה לפשט את תהליך העבודה של שילוב הנתונים בדרכים הבאות:

  • אין צורך בכלים אחרים לעיבוד נתונים
  • מפצל את תהליך שילוב הנתונים, שלפעמים הוא מורכב, לשני חלקים שקל לנהל
  • שימוש מלא ביכולות של BigQuery כדי להכין, לשנות ולבצע אופטימיזציה של הנתונים בקנה מידה נרחב

חילוץ וטעינה של נתונים

בגישת שילוב הנתונים ELT, מחלצים נתונים ממקור נתונים וטוענים אותם ל-BigQuery באמצעות אחת מהשיטות הנתמכות לטעינה או לגישה לנתונים חיצוניים.

טרנספורמציה של נתונים ב-BigQuery

אחרי שטוענים את הנתונים ל-BigQuery, אפשר להכין ולשנות אותם באמצעות הכלים הבאים:

  • כדי ליצור, לבדוק, לתעד ולתזמן צינורות עיבוד נתונים מתקדמים של טרנספורמציית נתונים ב-SQL, אתם יכולים להשתמש ב-Dataform.
  • לתהליכי עבודה קטנים יותר של טרנספורמציית נתונים שמריצים קוד SQL, מסמכי Python Notebook או הכנות נתונים לפי לוח זמנים, השתמשו בצינורות עיבוד נתונים של BigQuery.
  • כדי לנקות את הנתונים לניתוח, השתמשו בהכנת נתונים בעזרת AI.

כל אחד מהכלים האלה מופעל על ידי Dataform API.

מידע נוסף זמין במאמר מבוא לטרנספורמציות.

גישת שילוב נתונים של ETL

בגישת החילוץ, ההמרה והטעינה (ETL), אתם מחלצים וממירים את הנתונים לפני שהם מגיעים ל-BigQuery. הגישה הזו מועילה אם יש לכם תהליך קיים לטרנספורמציה של נתונים, או אם אתם רוצים לצמצם את השימוש במשאבים ב-BigQuery.

‫Cloud Data Fusion יכול לעזור לכם בתהליך ה-ETL. ב-BigQuery אפשר גם לעבוד עם שותפי צד שלישי שמשנים נתונים וטוענים אותם ל-BigQuery.

ייצוא נתונים

אחרי שמעבדים ומנתחים את הנתונים ב-BigQuery, אפשר לייצא את התוצאות כדי להשתמש בהן במערכות אחרות. אפשר לייצא ל-BigQuery את הנתונים הבאים:

  • ייצוא תוצאות של שאילתות לקובץ מקומי, ל-Google Drive ול-Google Sheets
  • ייצוא טבלאות או תוצאות של שאילתות ל-Cloud Storage, ל-Bigtable, ל-Spanner, ל-AlloyDB ל-PostgreSQL ול-Pub/Sub

התהליך הזה נקרא ETL הפוך.

מידע נוסף זמין במאמר מבוא לייצוא נתונים ב-BigQuery.

המאמרים הבאים