מבוא לייצוא נתונים
אתם יכולים לייצא נתונים מ-BigQuery כדי להשתמש בהם בכלים, במערכות אחסון ובאפליקציות אחרות. אתם יכולים לשמור את תוצאות השאילתה בקובץ, לייצא טבלאות ל-Cloud Storage או להגדיר תהליכי עבודה של ETL הפוך (RETL) לשירותים כמו Bigtable ו-Spanner.
מידע נוסף על שילובי נתונים זמין במאמר מבוא לטעינה, טרנספורמציה וייצוא של נתונים.
ייצוא תוצאות השאילתה
אפשר לייצא את תוצאות השאילתה לקובץ מקומי (כקובץ CSV או JSON), ל-Google Drive או ל-Google Sheets. מידע נוסף זמין במאמר ייצוא תוצאות של שאילתות לקובץ.
ייצוא טבלאות
אתם יכולים לייצא את הטבלאות ב-BigQuery בפורמטים הבאים של נתונים:
| פורמט נתונים | סוגי דחיסה נתמכים | שיטות ייצוא נתמכות |
|---|---|---|
| CSV | GZIP | ייצוא ל-Cloud Storage |
| JSON | GZIP | ייצוא ל-Cloud Storage
קריאה מ-BigQuery באמצעות Dataflow |
| Avro | DEFLATE, SNAPPY | ייצוא ל-Cloud Storage
קריאה מ-BigQuery באמצעות Dataflow |
| Parquet | GZIP, SNAPPY, ZSTD | ייצוא ל-Cloud Storage |
אתם יכולים גם לייצא את הטבלאות של BigQuery כעמודות Protobuf כשאתם עובדים עם מבני נתונים בתצוגת עץ שדורשים מניעת שגיאות הקלדה של אובייקטים, או אם אתם צריכים תמיכה רחבה יותר בשפות.
שיקולים לייצוא טבלאות גדולות
כשמייצאים כמות גדולה של נתונים מ-BigQuery, חשוב לשים לב לנקודות הבאות:
- נפח הנתונים והפורמט שלהם:
- מחשבים את נפח הנתונים שרוצים לייצא. הייצוא יכול להיות כרוך בעלויות משמעותיות, בהתאם לגודל הנתונים, לפורמט, לשיטה ולמיקום הגיאוגרפי. חלק מהמשאבים מחויבים לפי GiB, ואחרים לפי TiB.
- בוחרים פורמט שתואם לכלי הניתוח ולמבנה הנתונים. לדוגמה, קובצי CSV לא מטפלים בשדות חוזרים או בשדות בתצוגת עץ. בודקים את התאימות של סוג הנתונים.
- כדאי להשתמש בפורמטים של דחיסה כדי להקטין את הגודל והעלויות.
- עלות הייצוא:
- חלק משיטות הייצוא הן בחינם עד למגבלה מסוימת, ואחרות תמיד כרוכות בעלויות. מידע נוסף זמין במאמר תמחור של חילוץ נתונים.
- יכול להיות שתחויבו בעלויות אם הטבלה ב-BigQuery והיעד, כמו קטגוריה של Cloud Storage, נמצאים במיקומים שונים.
- מכסות: בחלק משיטות הייצוא יש מגבלות יומיות. מידע נוסף זמין במאמר משימות חילוץ.
- כמה קבצים: ייצוא של קבצים גדולים שמפוצלים לכמה קבצים. חשוב לחשוב איך תנהלו את הקבצים האלה בהמשך.
- אוטומציה: לייצוא חוזר, השתמשו בשאילתות מתוזמנות של BigQuery או ב-Dataflow.
- כללי מדיניות שמירה: קובעים את תקופות השמירה במערך הנתונים של היעד ומטמיעים כללי מחזור חיים כדי לייעל את עלויות האחסון.
- אבטחה ובקרת גישה: הטמעת הרשאות IAM והצפנה מתאימות.
כדי להביא בחשבון את הגורמים האלה, מומלץ לבצע ייצוא לבדיקה של קבוצת משנה של נתונים כדי להעריך את העלויות, גודלי הקבצים, הספירות והזמן. אפשר להשתמש בסעיף WHERE בהצהרת ה-SQL של EXPORT DATA כדי להגביל את הייצוא לבדיקה.
ייצוא נכסי קוד של BigQuery
אתם יכולים להוריד נכסי קוד של BigQuery Studio, כמו שאילתות שמורות או notebooks, כדי לשמור עותק מקומי של הנכסים. למידע נוסף על הורדת נכסי הקוד של BigQuery, קראו את המאמרים הבאים:
ייצוא באמצעות ETL הפוך
אתם יכולים להגדיר תהליכי עבודה של ETL הפוך (RETL) כדי להעביר נתונים מ-BigQuery למסדי הנתונים הבאים: