מבוא לשירות העברת הנתונים ל-BigQuery
שירות העברת הנתונים ל-BigQuery מאפשר לבצע אוטומציה של העברות נתונים מתוזמנות ומנוהלות ל-BigQuery. אחרי שמגדירים העברת נתונים, שירות העברת הנתונים ל-BigQuery טוען נתונים אוטומטית ב-BigQuery באופן קבוע. אתם יכולים גם להשלים חוסר בנתונים (data backfill) כדי לפצות על הפסקות זמניות בשירות או על פערים, לבצע העתקות של מערכי נתונים ולהריץ שאילתות מתוזמנות. אי אפשר להשתמש בשירות העברת הנתונים ל-BigQuery כדי להעביר נתונים מחוץ ל-BigQuery.
כדי להגדיר ולנהל העברות, אתם יכולים להשתמש במסוףGoogle Cloud , בכלי שורת הפקודה bq או ב-BigQuery Data Transfer Service API. בדף Pipelines & Connections יש גם תהליך עבודה יעיל (גרסת טרום-השקה (Preview)) ליצירת העברות. כדי לקבל עדכונים על השירות, אתם יכולים להירשם לקבוצת ההודעות של BigQuery DTS.
מקורות נתונים נתמכים
שירות העברת הנתונים ל-BigQuery תומך בטעינת נתונים ממקורות הנתונים הבאים:
| קטגוריה | מקור הנתונים |
|---|---|
| אחסון בענן | Amazon Simple Storage Service (Amazon S3) |
| אחסון בענן | Azure Blob Storage |
| אחסון בענן | Cloud Storage |
| מסדי נתונים ומחסני נתונים (data warehouses) | Amazon Redshift |
| מסדי נתונים ומחסני נתונים (data warehouses) | Apache Hive Metastore |
| מסדי נתונים ומחסני נתונים (data warehouses) | Microsoft SQL Server (גרסת טרום-השקה (Preview)) |
| מסדי נתונים ומחסני נתונים (data warehouses) | MySQL |
| מסדי נתונים ומחסני נתונים (data warehouses) | Oracle |
| מסדי נתונים ומחסני נתונים (data warehouses) | PostgreSQL |
| מסדי נתונים ומחסני נתונים (data warehouses) | Snowflake |
| מסדי נתונים ומחסני נתונים (data warehouses) | Teradata |
| שירותי Google | Campaign Manager |
| שירותי Google | CSS Center (שירות להשוואת מחירים) (גרסת טרום-השקה (Preview)) |
| שירותי Google | Display & Video 360 |
| שירותי Google | Google Ad Manager |
| שירותי Google | Google Ads |
| שירותי Google | Google Analytics 4 |
| שירותי Google | Google Merchant Center (גרסת טרום-השקה (Preview)) |
| שירותי Google | Google Play |
| שירותי Google | Search Ads 360 |
| שירותי Google | ערוץ YouTube |
| שירותי Google | בעלי התוכן ב-YouTube |
| פלטפורמות שיווק | Facebook Ads |
| פלטפורמות שיווק | HubSpot (גרסת טרום-השקה (Preview)) |
| פלטפורמות שיווק | Klaviyo (גרסת טרום-השקה (Preview)) |
| פלטפורמות שיווק | Mailchimp (גרסת טרום-השקה (Preview)) |
| פלטפורמות תשלומים | PayPal (גרסת טרום-השקה (Preview)) |
| פלטפורמות תשלומים | Shopify (גרסת טרום-השקה (Preview)) |
| פלטפורמות תשלומים | Stripe (גרסת טרום-השקה (Preview)) |
| פלטפורמות SaaS | Salesforce |
| פלטפורמות SaaS | Salesforce Marketing Cloud |
| פלטפורמות SaaS | ServiceNow |
שיקולים בנוגע ל-SLO של העברת נתונים
יעד ה-SLO של העברת נתונים חל על העברות נתונים שמתוזמנות באופן אוטומטי באמצעות שירות העברת הנתונים ל-BigQuery, ממקורות בתוך Google Cloud.
בהעברות נתונים שכוללות מקורות של צד שלישי או מקורות שהם לא שלGoogle Cloud , הפסקות בשירות של המקורות האלה יכולות להשפיע על הביצועים של שירות העברת הנתונים ל-BigQuery. לכן, יעדי ה-SLO של העברת הנתונים לא חלים על העברות נתונים של שירות העברת הנתונים ל-BigQuery ממקורות שאינם שלGoogle Cloud .
אזורים נתמכים
כמו BigQuery, שירות העברת הנתונים ל-BigQuery הוא משאב במספר אזורים, עם הרבה אזורים בודדים נוספים שזמינים.
המיקום של מערך הנתונים ב-BigQuery מצוין כשיוצרים מערך נתונים של יעד לאחסון הנתונים שמועברים על ידי שירות העברת הנתונים ל-BigQuery. כשמגדירים העברה, הגדרת ההעברה עצמה נקבעת לאותו מיקום כמו מערך הנתונים של היעד. שירות העברת הנתונים ל-BigQuery מעבד ומכין את הנתונים באותו מיקום של מערך הנתונים ביעד.
שירות העברת הנתונים ל-BigQuery תומך בהעברות נתונים מכל אזור שבו הנתונים מאוחסנים לכל מיקום שבו נמצא מערך הנתונים של היעד.
מידע מפורט על העברות ותאימות לאזורים של שירות העברת הנתונים ל-BigQuery זמין במאמר מיקומים והעברות של מערכי נתונים. במאמר מיקומים של מערכי נתונים מפורטים האזורים הנתמכים ב-BigQuery.
שימוש במשבצות להזמנה עם העברות נתונים
משימות שמופעלות על ידי שירות העברת הנתונים ל-BigQuery משתמשות במשבצות של הזמנה רק אם הפרויקט, התיקייה או הארגון מוקצים להזמנה עם אחד מסוגי העבודה הבאים:
- משימות של שאילתות באמצעות
QUERY - טעינת משימות באמצעות
PIPELINE
תמחור
למידע על התמחור של שירות העברת הנתונים ל-BigQuery, קראו את הדף תמחור.
אחרי שהנתונים מועברים ל-BigQuery, חלים התמחורים הרגילים של BigQuery לאחסון ולשאילתות.
מכסות
למידע על המכסות של שירות העברת הנתונים ל-BigQuery, קראו את הדף מכסות ומגבלות.
פתרון בעיות בהגדרות ההעברה
למידע על פתרון בעיות בשירות העברת הנתונים ל-BigQuery, קראו את המאמר פתרון בעיות בהגדרות ההעברה.
המאמרים הבאים
- כדי ללמוד איך ליצור העברה, עיינו במסמכי התיעוד של מקור הנתונים.