מהו שירות העברת נתונים ל-BigQuery?
באמצעות שירות העברת הנתונים ל-BigQuery אפשר לבצע אוטומציה של העברת נתונים ל-BigQuery באופן מתוזמן ומנוהל. צוות הניתוח שלכם יכול להניח את היסודות למחסן נתונים של BigQuery בלי לכתוב שורה אחת של קוד.
אפשר לגשת לשירות העברת הנתונים ל-BigQuery באמצעות:
אחרי הגדרה של העברת נתונים, שירות העברת הנתונים ל-BigQuery יטען נתונים אוטומטית ב-BigQuery באופן קבוע. קיימת גם אפשרות להשלמת חוסר בנתונים (data backfill) לפיצוי על הפסקות זמניות בשירות או על פערים. אי אפשר להשתמש בשירות העברת הנתונים ל-BigQuery כדי להעביר נתונים מ-BigQuery.
בנוסף לטעינת נתונים ב-BigQuery, שירות העברת הנתונים ל-BigQuery משמש לשתי פעולות ב-BigQuery: העתקות של מערכי נתונים ושאילתות מתוזמנות.
מקורות נתונים נתמכים
שירות העברת הנתונים ל-BigQuery תומך בטעינת נתונים ממקורות הנתונים הבאים:
- פלטפורמות SaaS:
- פלטפורמות שיווק:
- פלטפורמות תשלומים:
- PayPal (תצוגה מקדימה)
- Stripe (תצוגה מקדימה)
- Shopify (תצוגה מקדימה)
- מסדי נתונים ומחסני נתונים:
- Amazon Redshift
- Apache Hive Metastore
- Microsoft SQL Server (תצוגה מקדימה)
- MySQL
- Oracle
- PostgreSQL
- Snowflake (תצוגה מקדימה)
- Teradata
- אחסון בענן:
- שירותי Google:
- Campaign Manager
- Comparison Shopping Service (CSS) Center (גרסת Preview)
- Display & Video 360
- Google Ads
- Google Ad Manager
- Google Analytics 4
- Google Merchant Center (תצוגה מקדימה)
- Search Ads 360
- Google Play
- ערוץ YouTube
- בעלי התוכן ב-YouTube
- משימות של שאילתה באמצעות
QUERY - טעינת משרות באמצעות
PIPELINE - במסמכי התיעוד של מקור הנתונים שלכם מוסבר איך ליצור העברה.
שיקולים לגבי הסכם רמת שירות (SLO) למסירת נתונים
הסכם רמת השירות (SLO) בנושא מסירת נתונים חל על העברות נתונים מתוזמנות אוטומטית באמצעות שירות העברת הנתונים ל-BigQuery ממקורות בתוך Google Cloud.
בהעברות נתונים שכוללות מקורות צד שלישי או מקורות שאינם שלGoogle Cloud , הפסקות שירות במקורות האלה יכולות להשפיע על הביצועים של שירות העברת הנתונים ל-BigQuery. לכן, ה-SLO של העברת נתונים לא חל על העברות נתונים משירות העברת הנתונים ל-BigQuery ממקורות שאינםGoogle Cloud .
אזורים נתמכים
בדומה ל-BigQuery, שירות העברת הנתונים ל-BigQuery הוא משאב רב-אזורי, ויש עוד הרבה אזורים יחידים שזמינים בו.
כשיוצרים מערך נתונים ליעד כדי לאחסן את הנתונים שמועברים באמצעות שירות העברת הנתונים ל-BigQuery, מציינים את המיקום של מערך הנתונים ב-BigQuery. כשמגדירים העברה, הגדרת ההעברה עצמה מוגדרת לאותו מיקום כמו מערך הנתונים של היעד. שירות העברת הנתונים ל-BigQuery מעבד את הנתונים ומכין אותם להעברה באותו מיקום שבו נמצא מערך הנתונים של היעד.
שירות העברת הנתונים ל-BigQuery תומך בהעברת נתונים מכל אזור שבו הנתונים מאוחסנים לכל מיקום שבו נמצא מערך הנתונים של היעד.
למידע מפורט על העברות ותאימות אזורית בשירות העברת נתונים ל-BigQuery, אפשר לעיין במאמר בנושא מיקומי מערכי נתונים והעברות. אפשר לעיין במיקומים של מערכי נתונים כדי לראות אילו אזורים נתמכים ב-BigQuery.
שימוש במשבצות זמן להזמנה עם העברות נתונים
עבודות שמופעלות על ידי שירות העברת הנתונים ל-BigQuery משתמשות במשבצות הזמנה רק אם הפרויקט, התיקייה או הארגון משויכים להזמנה עם אחד מסוגי העבודות הבאים:
תמחור
מידע על התמחור של שירות העברת נתונים ל-BigQuery זמין בדף תמחור.
אחרי שהנתונים מועברים ל-BigQuery, חלים תעריפי האחסון והשאילתות הרגילים של BigQuery.
מכסות
מידע על המכסות של שירות העברת נתונים ל-BigQuery זמין בדף מכסות ומגבלות.
פתרון בעיות בהגדרות ההעברה
מידע על פתרון בעיות בשירות העברת נתונים ל-BigQuery זמין במאמר בנושא פתרון בעיות בהגדרות העברה.