מבוא לטרנספורמציית נתונים

ב-BigQuery אתם יכולים לנקות, להעשיר ולצבור נתונים גולמיים ישירות במחסן הנתונים, כדי להכין מערכי נתונים לניתוח ולאפליקציות במורד הזרם. בהתאם לצרכים שלכם בנוגע לזמן האחזור ולתהליך העבודה, אתם יכולים להריץ עדכוני SQL אד-הוק, לשמור תצוגות מצטברות במטמון, לעבד סטרימינג בזמן אמת או לתזמן צינורות עיבוד נתונים אוטומטיים. לסקירה כללית מקצה לקצה של תהליכי עבודה של שילוב נתונים, קראו את המאמר מבוא לטעינה, טרנספורמציה וייצוא של נתונים.

שיטות לטרנספורמציה של נתונים

אפשר לשנות נתונים ב-BigQuery בדרכים הבאות:

  • משתמשים בשפת טיפול בנתונים (DML) כדי לשנות נתונים בטבלאות ב-BigQuery.
  • להשתמש בתצוגות מהותיות כדי לשמור באופן אוטומטי במטמון את תוצאות השאילתה, וכך לשפר את הביצועים והיעילות.
  • אתם יכולים להשתמש בשאילתות מתמשכות כדי לנתח נתונים נכנסים בזמן אמת, ולהוסיף באופן רציף את שורות הפלט לטבלה ב-BigQuery או לייצא אותן ל-Pub/Sub או ל-Bigtable.
  • משתמשים בצינורות עיבוד נתונים ב-BigQuery או ב-Dataform כדי לפתח, לבדוק, לתזמן ולנהל גרסאות של צינורות עיבוד נתונים ב-BigQuery.
  • להשתמש בהכנת נתונים עם המלצות לטרנספורמציה מבוססות-הקשר שנוצרו על ידי AI, כדי לנקות נתונים לניתוח. הכנת הנתונים מתבצעת באמצעות Dataform API.

בטבלה הבאה מוצגים המאפיינים השונים של כל שיטת טרנספורמציה.

שיטת הטרנספורמציה יעד הטרנספורמציה שיטת ההגדרה תדירות הטרנספורמציה
שפת טיפול בנתונים (DML) טבלה (במקום) SQL DML פעילויות שהמשתמשים יוזמים או פעילויות מתוזמנות
תצוגות מהותיות תצוגה מהותית שאילתת SQL רענון אוטומטי או ידני
שאילתות מתמשכות טבלה, נושא Pub/Sub, טבלת Bigtable שאילתת SQL עם EXPORT DATA הערכה מתמשכת
Dataform טבלה Dataform core (SQLX) מתוזמן (צינורות עיבוד נתונים)
צינורות עיבוד נתונים ב-BigQuery טבלה צינורות עיבוד נתונים ב-BigQuery מתוזמן (צינורות עיבוד נתונים)
הכנת הנתונים טבלה עורך חזותי מתוזמנת

אתם יכולים גם לבדוק את היסטוריית השינויים של טבלה ב-BigQuery כדי לבחון את השינויים שבוצעו בטבלה בטווח תאריכים מסוים.

טרנספורמציה של נתונים באמצעות DML

אתם יכולים להשתמש בשפת הטיפול בנתונים (DML) כדי לשנות נתונים בטבלאות BigQuery. הצהרות DML הן שאילתות GoogleSQL שמשנות נתונים קיימים בטבלה כדי להוסיף או למחוק שורות, לשנות נתונים בשורות קיימות או למזג נתונים עם ערכים מטבלה אחרת. טרנספורמציות DML נתמכות גם בטבלאות מחולקות למחיצות.

אתם יכולים להריץ כמה פקודות DML בו-זמנית, ו-BigQuery יכניס לתור כמה פקודות DML שמשנות את הנתונים בזו אחר זו. ב-BigQuery, האופן שבו פקודות DML בו-זמניות מופעלות מנוהל על סמך סוג הטרנספורמציה.

טרנספורמציה של נתונים באמצעות תצוגות מהותיות

תצוגות מהותיות הן תצוגות שמחושבות מראש ושומרות במטמון באופן תקופתי את התוצאות של שאילתת SQL, כדי לשפר את הביצועים והיעילות. ‫BigQuery משתמש בתוצאות שחושבו מראש מתצוגות מהותיות, ובכל פעם שאפשר, קורא רק את השינויים ממסדי הנתונים הטבלאיים כדי לחשב תוצאות עדכניות.

תצוגות מהותיות מחושבות מראש ברקע כשמסדי הנתונים הטבלאיים משתנים. כל שינוי מצטבר בנתונים ממסדי הנתונים הטבלאיים מתווסף באופן אוטומטי לתצוגות המהותיות, בלי שנדרשת פעולה מצד המשתמש.

טרנספורמציה של נתונים באמצעות שאילתות מתמשכות

שאילתות מתמשכות הן הצהרות SQL שפועלות באופן רציף. שאילתות מתמשכות מאפשרות לנתח נתונים נכנסים ב-BigQuery בזמן אמת. אתם יכולים להוסיף את שורות הפלט שנוצרו על ידי שאילתה מתמשכת לטבלה ב-BigQuery, או לייצא אותן ל-Pub/Sub או ל-Bigtable.

טרנספורמציה של נתונים באמצעות Dataform

בעזרת Dataform אתם יכולים לנהל את הטרנספורמציה של הנתונים בתהליך החילוץ, הטעינה והטרנספורמציה (ELT) לשילוב נתונים. אחרי ששולפים נתונים גולמיים ממערכות המקור וטוענים אותם ל-BigQuery, אפשר להשתמש ב-Dataform כדי להפוך אותם לחבילת טבלאות מאורגנת, מתועדת ונבדקת. ב-DML אתם משתמשים בגישה אימפרטיבית ואומרים ל-BigQuery איך בדיוק לשנות את הנתונים, אבל ב-Dataform אתם כותבים הצהרות דקלרטיביות, ואז Dataform קובע מה השינוי שצריך לבצע כדי להגיע למצב הזה.

ב-Dataform אתם יכולים לפתח, לבדוק ולנהל גרסאות של תהליכי עבודה ב-SQL לטרנספורמציה של נתונים, מהצהרות על מקורות נתונים ועד לטבלאות פלט, תצוגות או תצוגות מהותיות. אתם יכולים לפתח תהליכי עבודה ב-SQL באמצעות Dataform core או JavaScript טהור. Dataform core היא שפת מטא בקוד פתוח שמרחיבה את SQL באמצעות SQLX ו-JavaScript. אתם יכולים להשתמש ב-Dataform core כדי לנהל יחסי תלות, להגדיר בדיקות אוטומטיות של איכות הנתונים ולתעד תיאורים של טבלאות או עמודות בתוך הקוד.

‫Dataform שומר את הקוד של תהליך העבודה ב-SQL במאגרים ומשתמש ב-Git כדי לעקוב אחרי שינויים בקבצים. סביבות עבודה לפיתוח ב-Dataform מאפשרות לכם לעבוד על התוכן של המאגר בלי להשפיע על העבודה של אנשים אחרים שעובדים באותו מאגר. אתם יכולים לקשר מאגרים של Dataform לספקי Git של צד שלישי, כולל Azure DevOps Services,‏ Bitbucket,‏ GitHub ו-GitLab.

אתם יכולים להריץ או לתזמן תהליכי עבודה של SQL באמצעות הגדרות של גרסאות והגדרות של תהליכי עבודה ב-Dataform. אפשר גם לתזמן הפעלות באמצעות Managed Service for Apache Airflow, או באמצעות Workflows ו-Cloud Scheduler. במהלך ההפעלה, Dataform מריץ שאילתות SQL ב-BigQuery לפי סדר יחסי התלות של האובייקטים בתהליך העבודה ב-SQL. אחרי ההפעלה, אתם יכולים להשתמש בטבלאות ובתצוגות המפורטות שהגדרתם לניתוח ב-BigQuery.

מידע נוסף על יצירת תהליכי עבודה ב-SQL לטרנספורמציה של נתונים ב-Dataform זמין במאמרים סקירה כללית על Dataform והתכונות של Dataform.

טרנספורמציה של נתונים באמצעות צינורות עיבוד נתונים ב-BigQuery

צינורות עיבוד הנתונים ב-BigQuery מופעלים על ידי Dataform, ומאפשרים ליצור ולנהל טרנספורמציה של נתונים בתהליכי חילוץ, טעינה וטרנספורמציה (ELT) או חילוץ, טרנספורמציה וטעינה (ETL).

אתם יכולים ליצור ולנהל צינורות עיבוד נתונים ב-BigQuery באופן חזותי ב-BigQuery Studio.

איך יוצרים צינורות עיבוד נתונים ב-BigQuery

הכנת נתונים ב-BigQuery

כדי להקל על הכנת הנתונים, אתם יכולים לנקות את הנתונים ב-BigQuery באמצעות הצעות לטרנספורמציה שנוצרו על ידי Gemini. הכנת הנתונים ב-BigQuery כוללת את הסיוע הבא:

  • החלת טרנספורמציות וכללים לאיכות הנתונים
  • סטנדרטיזציה והעשרה של נתונים
  • אוטומציה של מיפוי סכימה

אתם יכולים לאמת את התוצאות בתצוגה מקדימה של הנתונים לפני שתבצעו את השינויים בכל הנתונים.

מידע נוסף זמין במאמר סקירה כללית על הכנת נתונים ב-BigQuery.

המאמרים הבאים