מבוא למערכי נתונים

מערכי נתונים ב-BigQuery מאפשרים לארגן את הטבלאות והתצוגות ולשלוט בגישה אליהן. אתם יכולים גם להשתמש במערכי נתונים כדי לציין מיקומי אחסון, לנהל את מדיניות שמירת הנתונים, להגדיר שכפול בין אזורים והתאוששות מאסון, להגדיר מאפייני טבלה כברירת מחדל ולהתחבר למקורות נתונים חיצוניים.

מערכי נתונים

כל מערך נתונים נמצא בפרויקט ספציפי. מערכי נתונים הם קונטיינרים ברמה העליונה שמשמשים לארגון ולשליטה על הגישה לטבלאות ולתצוגות (Views). טבלה או תצוגה צריכות להשתייך למערך נתונים, לכן אתם צריכים ליצור לפחות מערך נתונים אחד לפני העלאת הנתונים ל-BigQuery. כשמשתמשים ב-GoogleSQL, צריך להשתמש בפורמט projectname.datasetname כדי להגדיר במלואו את שם מערך הנתונים. כשמשתמשים בכלי שורת הפקודה של bq, צריך להשתמש בפורמט projectname:datasetname כדי להגדיר במלואו את שם מערך הנתונים.

מיקום

כשיוצרים מערך נתונים, מציינים מיקום לאחסון הנתונים ב-BigQuery. כאן תוכלו למצוא רשימה של מיקומי מערכי נתונים ב-BigQuery. הנתונים נשמרים ב-BigQuery במיקום שנבחר. לדוגמה, אם בוחרים ב-EU או באזור באיחוד האירופי כמיקום של מערך הנתונים, נתוני הלקוחות ב-Core BigQuery נמצאים באיחוד האירופי.

אחרי שיוצרים את קבוצת הנתונים, אי אפשר לשנות את המיקום שלה באופן ישיר. עם זאת, אתם יכולים להשתמש בשכפול של מערכי נתונים באזורים שונים כדי לשכפל את מערך הנתונים למיקום אחר ולקדם את הרפליקה המשנית.

אם לא מציינים מיקום באופן מפורש, המיקום נקבע באחת מהדרכים הבאות:

• המיקום של מערכי הנתונים שאליהם מתייחסת הבקשה. לדוגמה, אם שאילתה מפנה לטבלה או לתצוגה בקבוצת נתונים שמאוחסנת באזור asia-northeast1, משימת השאילתה תרוץ ב-asia-northeast1.
• האזור שצוין לחיבור שאליו מתייחסת הבקשה.
• המיקום של טבלת היעד.

אם המיקום לא צוין במפורש, ואי אפשר לקבוע אותו מהמשאבים בבקשה, המערכת משתמשת במיקום ברירת המחדל. אם לא מוגדר מיקום ברירת מחדל, המשימה תפעל במספר האזורים US.

שכפול של מערכי נתונים באזורים שונים

באמצעות רפליקציה של מערכי נתונים בין אזורים ב-BigQuery, אתם יכולים להגדיר רפליקציה אסינכרונית אוטומטית של מערך נתונים בין שני אזורים שונים או בין מספר אזורים. רפליקציה של מערכי נתונים מספקת יתירות גיאוגרפית, מאפשרת להריץ שאילתות קריאה על הרפליקה המשנית באזור אחר, ומאפשרת להעביר מערכי נתונים בין אזורים. מידע נוסף מופיע במאמר שכפול של מערכי נתונים באזורים שונים.

תוכנית התאוששות מאסון (DR) מנוהלת

כדי לשמור על המשכיות עסקית בזמן הפסקות חשמל אזוריות, אתם יכולים להגדיר תוכנית התאוששות מאסון (DR) מנוהלת ב-BigQuery. בתוכנית מנוהלת להתאוששות מאסון (DR), רפליקציה של מערכי נתונים בין אזורים משולבת עם הזמנות של יתירות כשל במהדורת Enterprise Plus כדי לנהל את יתירות הכשל של האחסון ושל המחשוב. הוא מציע גם יתירות כשל קשיחה להפסקות חשמל אזוריות וגם יתירות כשל רכה לתחזוקה מסונכרנת. מידע נוסף זמין במאמרים תוכנית התאוששות מאסון (DR) מנוהלת ומעבר לתוכנית התאוששות מאסון (DR) מנוהלת.

שמירת נתונים

במערכי נתונים נעשה שימוש במסע בזמן בשילוב עם תקופת הגיבוי כדי לשמור נתונים שנמחקו או שונו. כברירת מחדל, חלון הזמן של Time Travel הוא 7 ימים, אבל אפשר להגדיר אותו ל-2 עד 7 ימים. התכונה "מסע בזמן" מאפשרת לשלוח שאילתות לגבי נתונים היסטוריים בנקודת זמן מסוימת, או לשחזר טבלאות וקבוצות נתונים שנמחקו או שתוקף הזמן שלהן פג. אחרי שחלון הזמן של המסע בזמן מסתיים, הנתונים נכנסים לתקופת גיבוי של 7 ימים שלא ניתנת להגדרה, לצורך שחזור במקרה חירום על ידי Cloud Customer Care. מידע נוסף זמין במאמר שמירת נתונים באמצעות Time Travel ו-Fail-safe.

מערכי נתונים חיצוניים

בנוסף למערכי נתונים ב-BigQuery, אתם יכולים ליצור מערכי נתונים חיצוניים, שהם קישורים למקורות נתונים חיצוניים:

• מערך נתונים חיצוני של Spanner
• מערך נתונים מאוחד של AWS Glue

מערכי נתונים חיצוניים נקראים גם מערכי נתונים מאוחדים. שני המונחים משמשים לסירוגין.

אחרי שיוצרים מערכי נתונים חיצוניים, הם מכילים טבלאות ממקור נתונים חיצוני שאליו הם מפנים. הנתונים מהטבלאות האלה לא מועתקים ל-BigQuery, אלא נשלחים בשאילתה בכל פעם שמשתמשים בהם. מידע נוסף זמין במאמר שאילתות מאוחדות של Spanner.

מגבלות

מערכי נתונים ב-BigQuery כפופים למגבלות הבאות:

• אפשר להגדיר את המיקום של קבוצת הנתונים רק כשיוצרים אותה. אי אפשר לשנות את המיקום של מערך הנתונים אחרי שיוצרים אותו.
• כל הטבלאות שמוזכרות בשאילתה צריכות להיות מאוחסנות במערכי נתונים באותו מיקום.

• מערכי נתונים חיצוניים לא תומכים בתפוגת תוקף של טבלאות, ברפליקות, ב-Time Travel, בברירת מחדל של איסוף נתונים, בברירת מחדל של מצב עיגול או באפשרות להפעיל או להשבית שמות של טבלאות ללא תלות ברישיות.

• כשמעתיקים טבלה, מערכי הנתונים שמכילים את טבלת המקור ואת טבלת היעד צריכים להיות באותו מיקום.

• שמות מערכי הנתונים צריכים להיות ייחודיים לכל פרויקט.

מכסות

מידע נוסף על מכסות ומגבלות של מערכי נתונים זמין במאמר מכסות ומגבלות.

אבטחה

במאמר שליטה בגישה למערכי נתונים מוסבר איך שולטים בגישה למערכי נתונים ב-BigQuery. מידע על הצפנת נתונים זמין במאמר הצפנה במנוחה.

המאמרים הבאים

• מידע נוסף על יצירת מערכי נתונים זמין במאמר יצירת מערכי נתונים.
• למידע נוסף על הצגת רשימה של מערכי נתונים ובדיקה שלהם, ראו הצגת רשימה של מערכי נתונים.
• למידע נוסף על הקצאת אמצעי בקרת גישה למערכי נתונים, ראו שליטה בגישה למערכי נתונים.
• מידע נוסף על שכפול של מערכי נתונים באזורים שונים זמין במאמר שכפול של מערכי נתונים באזורים שונים.
• מידע נוסף על הגדרת תוכנית התאוששות מאסון זמין במאמר תוכנית התאוששות מאסון מנוהלת.