מבוא לטעינה, טרנספורמציה וייצוא של נתונים
במסמך הזה מתוארות גישות לשילוב נתונים כדי לטעון נתונים ולשנות אותם ב-BigQuery, באמצעות תהליכי חילוץ, טעינה וטרנספורמציה (ELT) או תהליכי חילוץ, טרנספורמציה וטעינה (ETL). בנוסף, מוסבר איך לייצא נתונים מ-BigQuery כדי ליישם תובנות במערכות אחרות, תהליך שנקרא ETL הפוך.
איך בוחרים בין ELT ל-ETL
בדרך כלל, הנתונים עוברים טרנספורמציה לפני או אחרי שהם נטענים ל-BigQuery. ההחלטה הבסיסית היא אם לשנות את הנתונים לפני שטוענים אותם ל-BigQuery (גישת חילוץ-טרנספורמציה-טעינה או ETL) או לטעון את הנתונים הגולמיים ל-BigQuery ולבצע טרנספורמציות באמצעות BigQuery (גישת חילוץ-טעינה-טרנספורמציה או ELT).
בתרשים הבא מוצגות האפשרויות השונות לשילוב נתונים ב-BigQuery, באמצעות ELT או ETL.
באופן כללי, אנחנו ממליצים על גישת ELT לרוב הלקוחות. תהליך העבודה של ELT מפצל את שילוב הנתונים המורכב לשני חלקים שקל לנהל – חילוץ וטעינה, ואז טרנספורמציה. המשתמשים יכולים לבחור מתוך מגוון שיטות לטעינת נתונים שמתאימות לצרכים שלהם. אחרי שהנתונים נטענים ב-BigQuery, משתמשים שמכירים את SQL יכולים לפתח צינורות עיבוד נתונים (pipelines) של טרנספורמציה באמצעות כלים כמו Dataform.
בקטעים הבאים מוסבר בהרחבה על כל תהליך עבודה.
טעינה וטרנספורמציה של נתונים
בדרך כלל, הנתונים עוברים טרנספורמציה לפני או אחרי שהם נטענים ל-BigQuery. בקטעים הבאים מתוארות שתי הגישות הנפוצות לשילוב נתונים, ETL ו-ELT.
גישת ELT לשילוב נתונים
בגישת החילוץ-טעינה-טרנספורמציה (ELT), מבצעים שילוב נתונים בשני שלבים נפרדים:
- חילוץ וטעינה של נתונים
- טרנספורמציה של נתונים
לדוגמה, אתם יכולים לחלץ נתונים מקובץ JSON ולטעון אותם לטבלה ב-BigQuery. לאחר מכן, תוכלו להשתמש בצינורות עיבוד נתונים כדי לחלץ שדות ולהמיר אותם לטבלאות יעד.
גישת ה-ELT יכולה לפשט את תהליך העבודה של שילוב הנתונים בדרכים הבאות:
- מבטל את הצורך בכלים אחרים לעיבוד נתונים
- מפצל את תהליך שילוב הנתונים, שלעיתים קרובות הוא מורכב, לשני חלקים שקל יותר לנהל
- שימוש מלא ביכולות של BigQuery כדי להכין, לשנות ולבצע אופטימיזציה של הנתונים בקנה מידה נרחב
חילוץ וטעינה של נתונים
בגישת שילוב הנתונים ELT, מחלצים נתונים ממקור נתונים וטוענים אותם ל-BigQuery באמצעות אחת מהשיטות הנתמכות לטעינת נתונים חיצוניים או לגישה אליהם.
טרנספורמציה של נתונים ב-BigQuery
אחרי שטוענים את הנתונים ל-BigQuery, אפשר להכין ולשנות אותם באמצעות הכלים הבאים:
- כדי ליצור, לבדוק, לתעד ולתזמן צינורות עיבוד נתונים מתקדמים של טרנספורמציית נתונים ב-SQL, אתם יכולים להשתמש ב-Dataform.
- לתהליכי עבודה קטנים יותר של טרנספורמציית נתונים שמריצים קוד SQL, מסמכי Python Notebook או הכנות נתונים לפי לוח זמנים, השתמשו בצינורות עיבוד נתונים של BigQuery.
- כדי לנקות את הנתונים לניתוח, השתמשו בהכנת נתונים בעזרת AI.
כל אחד מהכלים האלה מופעל על ידי Dataform API.
מידע נוסף זמין במאמר מבוא לטרנספורמציות.
גישת שילוב נתונים של ETL
בגישת החילוץ, ההמרה והטעינה (ETL), אתם מחלצים וממירים את הנתונים לפני שהם מגיעים ל-BigQuery. הגישה הזו מועילה אם יש לכם תהליך קיים לטרנספורמציה של נתונים, או אם אתם רוצים לצמצם את השימוש במשאבים ב-BigQuery.
Cloud Data Fusion יכול לעזור לכם בתהליך ה-ETL. ב-BigQuery אפשר גם לעבוד עם שותפי צד שלישי שמשנים נתונים וטוענים אותם ל-BigQuery.
ייצוא נתונים
אחרי שמעבדים ומנתחים את הנתונים ב-BigQuery, אפשר לייצא את התוצאות כדי להשתמש בהן במערכות אחרות. אפשר לייצא ל-BigQuery את הנתונים הבאים:
- ייצוא תוצאות של שאילתות לקובץ מקומי, ל-Google Drive ול-Google Sheets
- ייצוא טבלאות או תוצאות של שאילתות אל Cloud Storage, Bigtable, Spanner, AlloyDB ל-PostgreSQL ו-Pub/Sub
התהליך הזה נקרא ETL הפוך.
מידע נוסף זמין במאמר מבוא לייצוא נתונים ב-BigQuery.