תוכנית התאוששות מאסון (DR) מנוהלת
כדי להגן על הנתונים ולשמור על המשכיות עסקית במהלך הפסקות זמניות בשירות באזור, אתם יכולים להגדיר ולהשתמש בתוכנית התאוששות מאסון (DR) שמנוהלת על ידי BigQuery בשביל הנתונים ועומסי העבודה של BigQuery.
סקירה כללית
ב-BigQuery יש תמיכה בתרחישים של תוכנית התאוששות מאסון (DR) במקרה של הפסקה זמנית בשירות באזור כולו. תוכנית ההתאוששות מאסון של BigQuery מסתמכת על שכפול של מערכי נתונים בין אזורים כדי לנהל את יתירות הכשל של האחסון. אחרי שיוצרים רפליקה של קבוצת נתונים באזור משני, אפשר לשלוט בהתנהגות של יתירות כשל למשאבי מחשוב ולאחסון כדי לשמור על המשכיות עסקית במהלך הפסקה זמנית בשירות. אחרי מעבר למצב של יתירות כשל, אתם יכולים לגשת לקיבולת המחשוב (משבצות) ולקבוצות הנתונים המשוכפלות באזור שקודם. תוכנית התאוששות מאסון (DR) נתמכת רק במהדורת Enterprise Plus.
בתוכנית המנוהלת להתאוששות מאסון יש שתי אפשרויות ליתירות כשל: יתירות כשל קשיחה ויתירות כשל רכה. במעבר קשיח לגיבוי בעת כשל, הרפליקות של ההזמנה ושל מערך הנתונים באזור המשני הופכות מיד לראשיות. הפעולה הזו ממשיכה גם אם האזור הראשי הנוכחי נמצא במצב אופליין, והיא לא ממתינה לשכפול של נתונים שלא שוכפלו. לכן, יכול להיות שנתונים יאבדו במהלך מעבר קשיח לגיבוי במקרה של כשל.
יכול להיות שתצטרכו להריץ מחדש באזור היעד, אחרי מעבר קשיח למצב של יתירות כשל, את כל המשימות שביצעו commit לנתונים באזור המקור אחרי הערך של replication_time ברפליקה.
במהלך יתירות כשל קשיחה, יכול להיות שגם אמצעי הבקרה על הגישה לקבוצת הנתונים (רשימות ACL) – כולל תצוגות מורשות והרשאות גישה למשתמשים – שעדיין לא שוכפלו, יאבדו. כדי למנוע שיבושים בהמשך, כדאי לכלול שלבים ליצירה מחדש של רשימות ACL (לדוגמה, באמצעות terraform apply) בספר ההדרכה למעבר אוטומטי במקרה של כשל.
בניגוד ליתירות כשל קשיחה, ביתירות כשל רכה המערכת ממתינה עד שכל השינויים במקומות השמורים ובקבוצות הנתונים ששמורים באזור הראשי ישוכפלו לאזור המשני, ורק אז משלימה את תהליך יתירות הכשל. כדי לבצע מעבר חלקי, גם האזור הראשי וגם האזור המשני צריכים להיות זמינים.
כשמפעילים יתירות כשל גמישה, המערכת מגדירה את softFailoverStartTime של ההזמנה. השדה softFailoverStartTime נמחק בסיום יתירות הכשל הגמישה.
כדי להפעיל את תוכנית ההתאוששות מאסון, צריך ליצור הזמנה למהדורת Enterprise Plus באזור הראשי, שהוא האזור שבו נמצאת קבוצת הנתונים לפני יתירות הכשל. קיבולת המחשוב במצב המתנה באזור המותאם כלולה בהזמנה של Enterprise Plus. לאחר מכן, מקשרים קבוצת נתונים להזמנה הזו כדי להפעיל יתירות כשל בקבוצת הנתונים. אפשר לצרף קבוצת נתונים להזמנה רק אם קבוצת הנתונים מולאה מחדש ויש לה את אותם מיקומים ראשיים ומשניים כמו להזמנה. אחרי שמקשרים מערך נתונים להזמנה של יתירות כשל, רק הזמנות Enterprise Plus יכולות לכתוב למערכי הנתונים האלה, ואי אפשר לבצע קידום של רפליקציה חוצת-אזורים במערך הנתונים. אפשר לקרוא ממערכי נתונים שמצורפים למקום שמור ליתירות כשל בכל מודל קיבולת. מידע נוסף על הזמנות זמין במאמר מבוא לניהול עומסי עבודה.
קיבולת המחשוב של האזור הראשי זמינה באזור המשני מיד אחרי מעבר לגיבוי בעת כשל. הזמינות הזו חלה על ההזמנה הבסיסית, בין אם משתמשים בה ובין אם לא.
אתם צריכים לבחור באופן פעיל להעביר את הגיבוי כחלק מבדיקה או בתגובה לאסון אמיתי. לא מומלץ לבצע מעבר לגיבוי בעת כשל יותר מפעם אחת בחלון של 10 דקות. בתרחישים של שכפול נתונים, מילוי חוסרים מתייחס לתהליך של אכלוס רפליקה של מערך נתונים בנתונים היסטוריים שהיו קיימים לפני שהרפליקה נוצרה או הפכה לפעילה. כדי להעביר את הגיבוי למערך נתונים, צריך להשלים את המילוי החוזר של מערך הנתונים.
התרשים הבא מציג את הארכיטקטורה של תוכנית התאוששות מאסון (DR) מנוהלת:

מגבלות
המגבלות הבאות חלות על תוכנית התאוששות מאסון (DR) ב-BigQuery:
תוכנית ההתאוששות מאסון (DR) ב-BigQuery כפופה לאותן מגבלות כמו שכפול מערכי נתונים בין אזורים.
לכל הקצאת יתירות כשל אפשר לצרף עד 1,000 קבוצות נתונים.
אי אפשר להמיר הזמנה קיימת להזמנה לגיבוי אם יש להזמנה יותר מ-1,000 הקצאות.
אם השאילתות מפנות למערכי נתונים שמצורפים לכמה הזמנות לגיבוי באותו פרויקט ניהול, כל ההזמנות האלה צריכות להשתמש באותו מיקום משני.
אחרי שמקשרים קבוצת נתונים להזמנה לגיבוי, רק הזמנות Enterprise Plus יכולות לכתוב בקבוצת הנתונים הזו. אפשר לקרוא ממערכי נתונים מצורפים באמצעות כל מודל קיבולת.
במערכי נתונים שמשתמשים בתוכנית התאוששות מאסון (DR), אי אפשר להשתמש במאגר יחידות הקיבולת (Slots) המשותף בחינם למשימות טעינה וחילוץ. צריך ליצור הקצאת הזמנה מסוג
PIPELINEכי רק מהדורת Enterprise Plus תומכת בכתיבה לקבוצות נתונים שהוגדרו להתאוששות מאסון.אחרי מעבר לגיבוי בעת כשל, ההתאמה האוטומטית לעומס תלויה בזמינות של קיבולת המחשוב באזור המשני. באזור המשני זמין רק בסיס ההזמנה.
אם הרפליקציה נכשלת במהלך היצירה הראשונית של המשאבים, ההזמנה לא נוצרת באזור המשני, ואין אפשרות להשתמש ביתירות כשל קשיחה או רכה.
כדי להשתמש ביתירות כשל קלה, גם האזור הראשי וגם האזור המשני צריכים להיות זמינים.
אי אפשר להתחיל יתירות כשל קלה אם השינויים בהגדרות של ההזמנה לא שוכפלו לאזור המשני. אם יש שגיאות ברפליקציה, כמו מכסת משבצות לא מספיקה באזור המשני או בעיות זמניות, לא ניתן להתחיל את יתירות הכשל החלקה.
במהלך מעבר רך פעיל ליתירות כשל, אי אפשר לעדכן את המקום השמור או את מערכי הנתונים המצורפים, אבל עדיין אפשר לקרוא מהם.
יכול להיות שמשימות שפועלות במאגר חלופי במהלך מעבר חלופי פעיל לא ישתמשו במשבצות במאגר, בגלל שינויים זמניים בניתוב במהלך פעולת המעבר החלופי. המשימות האלה משתמשות ביחידות קיבולת (Slots) של מקום שמור לפני שהיתירות כשל החלקה מתחילה, וגם אחרי שהיא מסתיימת.
אחרי מעבר לגיבוי בעת כשל, שאילתות מתוזמנות לא מופנות אוטומטית למיקום הראשי החדש כי הן קשורות למיקום שצוין במהלך היצירה. כדי להמשיך להריץ שאילתות מתוזמנות, צריך ליצור אותן מחדש במיקום הראשי החדש.
התצוגה
INFORMATION_SCHEMA.RESERVATIONSלא כוללת פרטים על יתירות כשל. כדי להציג רשימה של אירועי יתירות כשל של הזמנות, שולחים שאילתה לתצוגהINFORMATION_SCHEMA.FAILOVER_HISTORY.התצוגה
INFORMATION_SCHEMA.JOBSמכילה את היסטוריית המשימות רק באזור שבו המשימות בוצעו. היסטוריית המשימות של האזור הראשי לא משוכפלת לאזור המשני. אחרי מעבר לגיבוי בעת כשל, היסטוריית המשימות מהאזור הראשי לא מוצגת באזור המשני.
מיקומים
האזורים הבאים זמינים כשיוצרים הזמנה ליתירות כשל:
| קוד מיקום | שם האזור | תיאור האזור |
|---|---|---|
AU |
||
AUSTRALIA-SOUTHEAST1 |
סידני | |
AUSTRALIA-SOUTHEAST2 |
מלבורן | |
CA |
||
NORTHAMERICA-NORTHEAST1 |
מונטריאול | |
NORTHAMERICA-NORTHEAST2 |
טורונטו | |
DE |
||
EUROPE-WEST3 |
פרנקפורט | |
EUROPE-WEST10 |
ברלין | |
EU |
||
EU |
במספר אזורים באיחוד האירופי | |
EUROPE-CENTRAL2 |
ורשה | |
EUROPE-NORTH1 |
פינלנד | |
EUROPE-SOUTHWEST1 |
מדריד | |
EUROPE-WEST1 |
בלגיה | |
EUROPE-WEST3 |
פרנקפורט | |
EUROPE-WEST4 |
הולנד | |
EUROPE-WEST8 |
מילאנו | |
EUROPE-WEST9 |
פריז | |
EUR5 |
||
EUROPE-WEST1 |
בלגיה | |
EUROPE-WEST2 |
לונדון | |
EUR7 |
||
EUROPE-WEST2 |
לונדון | |
EUROPE-WEST3 |
פרנקפורט | |
IN |
||
ASIA-SOUTH1 |
מומבאי | |
ASIA-SOUTH2 |
דלהי | |
US |
||
US |
מספר אזורים בארה"ב | |
US-CENTRAL1 |
איווה | |
US-EAST1 |
דרום קרוליינה | |
US-EAST4 |
צפון וירג'יניה | |
US-EAST5 |
קולומבוס | |
US-SOUTH1 |
דאלאס | |
US-WEST1 |
אורגון | |
US-WEST2 |
לוס-אנג׳לס | |
US-WEST3 |
סולט לייק סיטי | |
US-WEST4 |
לאס וגאס |
צריך לבחור זוגות של אזורים בתוך AU, CA, DE, EU, EUR5, EUR7, IN או US. לדוגמה, אי אפשר להתאים בין אזור ב-US לאזור ב-EU.
אם מערך הנתונים ב-BigQuery נמצא במיקום במספר אזורים, אי אפשר להשתמש בצמדי האזורים הבאים. המגבלה הזו נדרשת כדי לוודא שההזמנה לגיבוי במקרה של כשל והנתונים מופרדים גיאוגרפית אחרי הרפליקציה. מידע נוסף על אזורים שנכללים במספר אזורים זמין במאמר מספר אזורים.
-
us-central1–usבמספר אזורים -
us-west1–usבמספר אזורים -
eu-west1–euבמספר אזורים -
eu-west4–euבמספר אזורים
לפני שמתחילים
- מוודאים שיש לכם את ההרשאה
bigquery.reservations.updateלניהול זהויות והרשאות גישה (IAM) כדי לעדכן את ההזמנות. - מוודאים שיש לכם מערכי נתונים קיימים שמוגדרים לרפליקציה. מידע נוסף זמין במאמר שכפול של מערך נתונים.
רפליקציה בקצב טורבו
בתוכנית ההתאוששות מאסון (DR) משתמשים ברפליקציה בקצב טורבו כדי לשכפל נתונים מהר יותר בין אזורים, וכך להפחית את הסיכון לחשיפה לאובדן נתונים, לצמצם את זמן ההשבתה של השירות ולתמוך בשירות ללא הפסקות בעקבות הפסקה זמנית בשירות באזור.
רפליקציה בקצב טורבו לא חלה על פעולת המילוי החוזר הראשונית. אחרי שפעולת המילוי החוזר הראשונית מסתיימת, רפליקציה בקצב טורבו נועדה לבצע רפליקציה של מערכי נתונים לצמד אזורים יחיד של יתירות כשל עם רפליקה משנית תוך 15 דקות, כל עוד לא חורגים ממכסת רוחב הפס ואין שגיאות משתמש.
היעד למשך ההתאוששות (RTO)
היעד למשך ההתאוששות (RTO) הוא משך הזמן המקסימלי להתאוששות ב-BigQuery במקרה של אסון. למידע נוסף על RTO, קראו את היסודות של תכנון DR.ב-Managed disaster recovery, ה-RTO הוא חמש דקות אחרי שמתחילים את יתירות הכשל. בגלל ה-RTO, הקיבולת זמינה באזור המשני תוך חמש דקות מתחילת תהליך יתירות הכשל.
יעד להתאוששות מאסון (RPO)
יעד להתאוששות מאסון (RPO) הוא נקודת הזמן האחרונה שבה צריך להיות אפשרי לשחזר את הנתונים. למידע נוסף על RPO, קראו את המאמר יסודות התכנון של התאוששות מאסון. בתוכנית התאוששות מאסון (DR) מנוהלת, ה-RPO מוגדר לכל קבוצת נתונים. ה-RPO נועד לשמור על הרפליקה המשנית בטווח של 15 דקות מהרפליקה הראשית. כדי לעמוד ביעד ה-RPO הזה, אסור לחרוג ממכסת רוחב הפס ולא יכולות להיות שגיאות משתמש.
מכסה
לפני שמגדירים מקום שמור ליתירות כשל, צריך לוודא שיש לכם את משאבי המחשוב שבחרתם באזור המשני. אם אין מכסה זמינה באזור המשני, אי אפשר להגדיר או לעדכן את ההזמנה. מידע נוסף זמין במאמר מכסות ומגבלות.
שיקולים בנוגע למכסות של הקצאות לגיבוי במקרה כשל
כשמגדירים תוכנית התאוששות מאסון (DR) מנוהלת, יחידות ה-Baseline של ה-failover reservation מוקצות באזור המשני. יחידות קיבולת מיועדות אלה מופיעות כ "בשימוש" בדף Quotas & System Limits של האזור המשני, גם אם המקום השמור לא פעיל ולא הופעל יתירות כשל. חשוב לוודא שבפרויקט הניהול יש מספיק מכסת יחידות קיבולת (Slot) באזור המשני כדי להכיל את קיבולת הבסיס של המקום השמור ליתירות כשל. למידע נוסף על יחידות קיבולת מיועדות ועל השימוש במכסות, קראו את המאמר הסבר על מדדי ה-Slots.
לרוחב הפס של רפליקציה בקצב טורבו יש מכסה. מידע נוסף זמין במאמר מכסות ומגבלות.
תמחור
כדי להגדיר התאוששות מאסון (DR) מנוהלת, צריך את תוכניות התשלומים הבאות:
קיבולת המחשוב: צריך לרכוש את מהדורת Enterprise Plus.
רפליקציה בקצב טורבו: תוכנית ההתאוששות מאסון מסתמכת על רפליקציה בקצב טורבו במהלך הרפליקציה. החיוב מתבצע על סמך בייטים פיזיים ועל בסיס כל GiB פיזי ששוכפל. מידע נוסף מופיע במאמר תמחור של העברת נתונים ברפליקציית טורבו.
אחסון: בייטים של אחסון באזור המשני מחויבים באותו מחיר כמו בייטים של אחסון באזור הראשי. מידע נוסף זמין במאמר תמחור האחסון.
הלקוחות נדרשים לשלם רק על קיבולת המחשוב באזור הראשי. קיבולת המחשוב המשנית (על סמך הבסיס להשוואה של ההזמנה) זמינה באזור המשני ללא עלות נוספת. משבצות לא פעילות לא יכולות להשתמש בקיבולת המחשוב המשנית, אלא אם הופעל מעבר לגיבוי בעת כשל (failover) של ההזמנה.
אם אתם צריכים לבצע קריאות בעבר באזור המשני, אתם צריכים לרכוש קיבולת מחשוב נוספת.
התכונה "ניהול של התאוששות מאסון" תומכת בהתאמה גמישה לעומס ב-BigQuery. כדי לוודא שהחיוב יתבצע לפי שנייה ללא משך זמן מינימלי אחרי יתירות כשל, צריך להפעיל את ההתאמה הגמישה לעומס ב-BigQuery גם באזור הראשי וגם באזור המשני.
יצירה או שינוי של הקצאת מקום ב-Enterprise Plus
לפני שמקשרים מערך נתונים למקום שמור, צריך ליצור מקום שמור ב-Enterprise Plus או לשנות מקום שמור קיים ולהגדיר אותו לתוכנית התאוששות מאסון (DR).
יצירת בקשה לשמירת מקום
צריך לבחור אחת מהאפשרויות האלה:
המסוף
נכנסים לדף BigQuery במסוף Google Cloud .
בתפריט הניווט, לוחצים על Workload management.
לוחצים על Create reservation.
בשדה Reservation name, נותנים שם להזמנה.
ברשימה Location, בוחרים את המיקום.
ברשימה מהדורה, בוחרים במהדורת Enterprise Plus.
ברשימה Max reservation size selector, בוחרים את הגודל המקסימלי של ההזמנה.
אופציונלי: בשדה Baseline slots, מזינים את מספר ה-baseline slots להזמנה.
מספר ה-slots הזמינים להתאמה אוטומטית לעומס נקבע על ידי הפחתת הערך של Baseline slots מהערך של Max reservation size. לדוגמה, אם יוצרים הזמנה עם 100 משבצות בסיסיות וגודל הזמנה מקסימלי של 400, להזמנה יש 300 משבצות להתאמה אוטומטית לעומס. מידע נוסף על משבצות בסיסיות מופיע במאמר שימוש בהזמנות עם משבצות בסיסיות ומשבצות להתאמה אוטומטית לעומס (autoscaling).
ברשימה מיקום משני, בוחרים את המיקום המשני.
כדי להשבית את השיתוף של יחידות קיבולת לא פעילות ולהשתמש רק בקיבולת ה-slot שצוינה, לוחצים על המתג Ignore idle slots.
כדי להרחיב את הקטע Advanced settings, לוחצים על החץ .
אופציונלי: כדי להגדיר את מספר המשימות המקביל, מעבירים את המתג Override automatic target job concurrency למצב מופעל ומזינים ערך בשדה Target Job Concurrency.
פירוט המשבצות מוצג בטבלה Cost estimate. סיכום של שמירת המקום מוצג בטבלה Capacity summary.
לוחצים על Save.
ההזמנה החדשה מופיעה בכרטיסייה Slot reservations.
SQL
כדי ליצור הזמנה, משתמשים בהצהרה של שפת הגדרת נתונים (DDL) ב-CREATE RESERVATION.
נכנסים לדף BigQuery במסוף Google Cloud .
בעורך השאילתות, מזינים את ההצהרה הבאה:
CREATE RESERVATION `ADMIN_PROJECT_ID.region-LOCATION.RESERVATION_NAME` OPTIONS ( slot_capacity = NUMBER_OF_BASELINE_SLOTS, edition = ENTERPRISE_PLUS, secondary_location = SECONDARY_LOCATION);
מחליפים את מה שכתוב בשדות הבאים:
-
ADMIN_PROJECT_ID: מזהה הפרויקט של פרויקט הניהול שבבעלותו משאב ההזמנה. -
LOCATION: המיקום של ההזמנה. אם בוחרים מיקום ב-BigQuery Omni, אפשר לבחור רק במהדורת Enterprise. -
RESERVATION_NAME: השם של ההזמנה.השם חייב להתחיל ולהסתיים באות קטנה או במספר, ויכול להכיל רק אותיות קטנות, מספרים ומקפים.
-
NUMBER_OF_BASELINE_SLOTS: מספר יחידות הקיבולת הבסיסיות שיוקצו למקום השמור. אי אפשר להגדיר את האפשרותslot_capacityואת האפשרותeditionבאותה הזמנה. -
SECONDARY_LOCATION: המיקום המשני של ההזמנה. במקרה של הפסקה זמנית בשירות, כל מערכי הנתונים שמצורפים להזמנה הזו יועברו למיקום הזה.
-
לוחצים על הפעלה.
מידע נוסף על הרצת שאילתות זמין במאמר הרצת שאילתה אינטראקטיבית.
שינוי הזמנה קיימת
צריך לבחור אחת מהאפשרויות האלה:
המסוף
נכנסים לדף BigQuery במסוף Google Cloud .
בתפריט הניווט, לוחצים על Workload management.
לוחצים על הכרטיסייה Slot reservations.
מוצאים את ההזמנה שרוצים לעדכן.
לוחצים על Reservations actions ואז על Edit.
בשדה מיקום משני, מזינים את המיקום המשני.
לוחצים על Save.
SQL
כדי להוסיף או לשנות מיקום משני להזמנה, משתמשים בהצהרת ה-DDL ALTER RESERVATION SET OPTIONS.
נכנסים לדף BigQuery במסוף Google Cloud .
בעורך השאילתות, מזינים את ההצהרה הבאה:
ALTER RESERVATION `ADMIN_PROJECT_ID.region-LOCATION.RESERVATION_NAME` SET OPTIONS ( secondary_location = SECONDARY_LOCATION);
מחליפים את מה שכתוב בשדות הבאים:
-
ADMIN_PROJECT_ID: מזהה הפרויקט של פרויקט הניהול שבבעלותו משאב ההזמנה. -
LOCATION: המיקום של ההזמנה, לדוגמהeurope-west9. -
RESERVATION_NAME: השם של ההזמנה. השם צריך להתחיל ולהסתיים באות קטנה או במספר, ויכול להכיל רק אותיות קטנות, מספרים ומקפים. -
SECONDARY_LOCATION: המיקום המשני של ההזמנה. במקרה של הפסקה זמנית בשירות, כל מערכי הנתונים שמצורפים להזמנה הזו יועברו למיקום הזה.
-
לוחצים על הפעלה.
מידע נוסף על הרצת שאילתות זמין במאמר הרצת שאילתה אינטראקטיבית.
צירוף של מערך נתונים להזמנה
כדי להפעיל את התוכנית להתאוששות מאסון (DR) בהזמנה שיצרתם, מבצעים את הפעולות הבאות: מערך הנתונים כבר צריך להיות מוגדר לרפליקציה באותם אזורים ראשיים ומשניים כמו ההזמנה. מידע נוסף מופיע במאמר שכפול של מערכי נתונים באזורים שונים.
המסוף
נכנסים לדף BigQuery במסוף Google Cloud .
בתפריט הניווט, לוחצים על Workload management.
לוחצים על הכרטיסייה Slot reservations.
לוחצים על ההזמנה שרוצים לצרף אליה מערך נתונים.
לוחצים על הכרטיסייה קבוצות נתונים מקושרות של יתירות כשל.
לוחצים על קישור של קבוצת נתונים לגיבוי.
מזינים את שם מערך הנתונים שרוצים לשייך להזמנה.
לוחצים על הוספה.
SQL
כדי לצרף מערך נתונים להזמנה, משתמשים בהצהרת DDL של ALTER SCHEMA SET OPTIONS.
נכנסים לדף BigQuery במסוף Google Cloud .
בעורך השאילתות, מזינים את ההצהרה הבאה:
ALTER SCHEMA `DATASET_NAME` SET OPTIONS ( failover_reservation = ADMIN_PROJECT_ID.RESERVATION_NAME);
מחליפים את מה שכתוב בשדות הבאים:
-
DATASET_NAME: שם מערך הנתונים. -
ADMIN_PROJECT_ID.RESERVATION_NAME: שם המקום השמור שרוצים לשייך אליו את קבוצת הנתונים.
-
לוחצים על הפעלה.
מידע נוסף על הרצת שאילתות זמין במאמר הרצת שאילתה אינטראקטיבית.
ניתוק של מערך נתונים מהזמנה
כדי להפסיק לנהל את התנהגות יתירות הכשל של מערך נתונים באמצעות הזמנה, צריך לנתק את מערך הנתונים מההזמנה. הפעולה הזו לא משנה את הרפליקה הראשית הנוכחית של מערך הנתונים, ולא מסירה רפליקות קיימות של מערך הנתונים. למידע נוסף על הסרת עותקים של מערכי נתונים אחרי ניתוק מערך הנתונים, ראו הסרת עותק של מערך נתונים.
המסוף
נכנסים לדף BigQuery במסוף Google Cloud .
בתפריט הניווט, לוחצים על Workload management ואז על הכרטיסייה Slot reservations.
לוחצים על ההזמנה שממנה רוצים לנתק את מערך הנתונים.
לוחצים על הכרטיסייה קבוצות נתונים מקושרות של יתירות כשל.
בשורה של הרפליקה הראשית של מערך הנתונים, לוחצים על Disconnect.
בתיבת הדו-שיח Remove failover dataset association?, לוחצים על Confirm.
SQL
כדי לנתק קבוצת נתונים ממקום שמור, משתמשים בהצהרת DDL של ALTER SCHEMA SET OPTIONS.
נכנסים לדף BigQuery במסוף Google Cloud .
בעורך השאילתות, מזינים את ההצהרה הבאה:
ALTER SCHEMA `DATASET_NAME` SET OPTIONS ( failover_reservation = NULL);
מחליפים את מה שכתוב בשדות הבאים:
-
DATASET_NAME: שם מערך הנתונים.
-
לוחצים על הפעלה.
מידע נוסף על הרצת שאילתות זמין במאמר הרצת שאילתה אינטראקטיבית.
הפעלת יתירות כשל
במקרה של הפסקה זמנית בשירות באזור, עליך לבצע יתירות כשל ידנית של המקום השמור למיקום שבו נמצאת הרפליקה. העברת ההזמנה למצב של מעבר לגיבוי בעת כשל כוללת גם את כל מערכי הנתונים המשויכים. כדי להעביר באופן ידני את הגיבוי של ההזמנה:
המסוף
נכנסים לדף BigQuery במסוף Google Cloud .
בתפריט הניווט, לוחצים על תוכנית התאוששות מאסון (DR).
לוחצים על שם ההזמנה שרוצים להעביר אליה את הגיבוי.
לוחצים על Failover.
בתיבת הדו-שיח Failover reservation?, בוחרים באפשרות Soft failover mode (default) או באפשרות Hard failover mode, מזינים
confirmולוחצים על Confirm.
SQL
כדי להוסיף או לשנות מיקום משני בהזמנה, משתמשים בהצהרת ה-DDL ALTER RESERVATION SET OPTIONS ומגדירים את is_primary כ-TRUE.
נכנסים לדף BigQuery במסוף Google Cloud .
בעורך השאילתות, מזינים את ההצהרה הבאה:
ALTER RESERVATION `ADMIN_PROJECT_ID.region-LOCATION.RESERVATION_NAME` SET OPTIONS ( is_primary = TRUE, failover_mode=FAILOVER_MODE);
מחליפים את מה שכתוב בשדות הבאים:
-
ADMIN_PROJECT_ID: מזהה הפרויקט של פרויקט הניהול שבבעלותו משאב ההזמנה. -
LOCATION: המיקום הראשי החדש של ההזמנה, כלומר המיקום המשני הנוכחי לפני יתירות הכשל. לדוגמה,europe-west9. -
RESERVATION_NAME: השם של ההזמנה. השם צריך להתחיל ולהסתיים באות קטנה או במספר, ויכול להכיל רק אותיות קטנות, מספרים ומקפים. -
PRIMARY_STATUS: סטטוס בוליאני שמציין אם ההזמנה היא הרפליקה הראשית. -
FAILOVER_MODE: פרמטר אופציונלי שמשמש לתיאור מצב יתירות הכשל. אפשר להגדיר את המאפיין הזה לערךHARDאוSOFT. אם הפרמטר הזה לא צוין, המערכת תשתמש ב-HARDכברירת מחדל.
-
לוחצים על הפעלה.
מידע נוסף על הרצת שאילתות זמין במאמר הרצת שאילתה אינטראקטיבית.
מעקב אחרי הרפליקציה
אתם יכולים לעקוב אחרי הסטטוס של הרפליקות של מערכי הנתונים באמצעות BigQuery, Cloud Monitoring או תצוגות של INFORMATION_SCHEMA.
למידע על יצירת התראות לגבי המדדים האלה, ראו יצירת לוחות בקרה, תרשימים והתראות.
הצגת סטטוס הרפליקציה באמצעות BigQuery
כדי לראות את סטטוס הרפליקציה ואת זמן האחזור של מערך נתונים במסוףGoogle Cloud :
נכנסים לדף BigQuery במסוף Google Cloud .
בחלונית Explorer, מרחיבים את הפרויקט.
לוחצים על Datasets.
לוחצים על מערך הנתונים שרוצים לעקוב אחריו. אפשר גם להשתמש באפשרויות החיפוש והסינון כדי למצוא את מערך הנתונים.
בדף של מערך הנתונים, לוחצים על הכרטיסייה Details.
בקטע Replicas, בודקים את הערכים של Replication latency ו-Status. כדי לראות פרטים נוספים, כולל תרשים של זמן האחזור של הרפליקציה, לוחצים על View details.
צפייה בסטטוס הרפליקציה באמצעות Cloud Monitoring
כדי לעזור לכם לעקוב אחרי סטטוס הרפליקציה, BigQuery מספק את המדדים הבאים ב-Monitoring:
- זמן אחזור של רפליקציה: מידת העדכניות של הנתונים באזור המשני שנוצרה להם רפליקה כחלק מרפליקציה בין אזורים או מתוכנית התאוששות מאסון (DR) מנוהלת. המדד הזה משמש כ-proxy ליעד להתאוששות מאסון (RPO).
- בייטים של תעבורת נתונים יוצאת (egress) ברשת: נפח הנתונים (בבייטים) שחויב, ששוכפל מהאזור הראשי לאזור המשני. המדד הזה עוזר לכם לעקוב אחרי ניצול מכסת רוחב הפס.
כדי לראות את המדדים האלה ב-Monitoring:
נכנסים לדף Monitoring במסוף Google Cloud .
לוחצים על Metrics explorer.
בשדה בחירת מדד, מחפשים את האפשרות מערך נתונים ב-BigQuery ובוחרים בה.
בוחרים באפשרות Replication latency (
bigquery.googleapis.com/storage/replication/dataset_staleness) או Network egress bytes (bigquery.googleapis.com/storage/replication/network_egress_bytes_count).לוחצים על אישור.
בקטע Aggregation, בוחרים שיטת צבירה. למדד זמן האחזור של הרפליקציה, מומלץ לבחור באפשרות 99th percentile. הצבירה הזו מציגה בצורה טובה יותר את הביצועים במקרה הגרוע ביותר בהשוואה לממוצע או לצבירות אחרות.
אופציונלי: כדי להציג מדדים של קבוצת נתונים ספציפית או של אזור משני, לוחצים על Add filter, בוחרים באפשרות dataset_id או location ומזינים ערך. אם אתם משכפלים נתונים לכמה אזורים משניים, אתם יכולים לקבץ לפי מיקום כדי לראות את המדדים של כל אזור.
הצגת סטטוס הרפליקציה באמצעות INFORMATION_SCHEMA
כדי לבדוק את מצב הרפליקות, שולחים שאילתה לתצוגה INFORMATION_SCHEMA.SCHEMATA_REPLICAS.
לדוגמה:
SELECT schema_name, replica_name, creation_complete, replica_primary_assigned, replica_primary_assignment_complete FROM `region-LOCATION`.INFORMATION_SCHEMA.SCHEMATA_REPLICAS WHERE schema_name="my_dataset"
השאילתה הבאה מחזירה את המשימות משבעת הימים האחרונים שהיו נכשלות אם מערכי הנתונים שלהן היו מערכי נתונים של יתירות כשל. כדי לשלוח שאילתה על משימות בארגון, מחליפים את INFORMATION_SCHEMA.JOBS ב-INFORMATION_SCHEMA.JOBS_BY_ORGANIZATION ומשמיטים את jobs.query כי התצוגה INFORMATION_SCHEMA.JOBS_BY_ORGANIZATION לא כוללת טקסט של שאילתה:
SELECT jobs.project_id AS job_project_id, jobs.job_id, jobs.job_type, jobs.statement_type, jobs.reservation_id, jobs.edition, jobs.destination_table.project_id AS dataset_project_id, jobs.destination_table.dataset_id, jobs.destination_table.table_id, jobs.query FROM `PROJECT_ID.region-LOCATION`.INFORMATION_SCHEMA.JOBS AS jobs WHERE jobs.creation_time BETWEEN TIMESTAMP_SUB(CURRENT_TIMESTAMP(), INTERVAL 7 DAY) AND CURRENT_TIMESTAMP() AND jobs.destination_table.project_id = 'DATASET_PROJECT_ID' AND jobs.destination_table.dataset_id = 'DATASET_ID' AND (jobs.edition IS NULL OR jobs.edition != 'ENTERPRISE_PLUS');
מחליפים את מה שכתוב בשדות הבאים:
-
PROJECT_ID: מזהה הפרויקט שבו בוצעו המשימות. -
LOCATION: המיקום. -
DATASET_PROJECT_ID: מזהה הפרויקט שבו נמצא מערך הנתונים של היעד. -
DATASET_ID: מזהה מערך הנתונים שרוצים לצרף להזמנה לגיבוי במקרה של כשל.
המאמרים הבאים
מריצים שאילתה ב-
INFORMATION_SCHEMA.FAILOVER_HISTORYכדי לראות אירועי יתירות כשל בהזמנות.