מעבר לתוכנית התאוששות מאסון (DR) מנוהלת
בדף הזה מוסבר איך לעבור מרפליקציה חוצת-אזורים ב-BigQuery לתוכנית התאוששות מאסון (DR) שמנוהלת על ידי BigQuery.
סקירה כללית
רפליקציה חוצת-אזורים (CRR) ותוכנית התאוששות מאסון (DR) מנוהלת ב-BigQuery הן תכונות שנועדו לשפר את זמינות הנתונים ואת היכולות של תוכנית ההתאוששות מאסון. עם זאת, הם מטפלים בהפסקות זמניות בשירות באזורים שונים בדרכים שונות. ב-CRR אי אפשר לקדם את הרפליקה המשנית אם האזור הראשי לא זמין. לעומת זאת, התאוששות מאסון מספקת הגנה מקיפה יותר, כי היא מאפשרת יתירות כשל לרפליקה המשנית גם אם האזור הראשי לא זמין. ב-CRR רק האחסון משוכפל, ואילו ב-DR גם האחסון וגם קיבולת המחשוב משוכפלים.
בטבלה הבאה מתוארות היכולות של התכונות CRR ו-DR:
| תכונה | CRR | DR |
|---|---|---|
| תהליך השכפול הראשוני | משתמש ב-CRR כדי לשכפל את מערך הנתונים בהתחלה. | הטעינה הראשונית שוכפלה בעבר באמצעות CRR לפני העברת מערך נתונים של CRR למערך נתונים של DR. |
| שכפול מבצעים | משתמש ברפליקציה רגילה. | שימוש ברפליקציה בקצב טורבו. |
| תהליך הקידום | הקידום מתבצע ברמת מערך הנתונים. | קידום ברמת ההזמנה (יתירות כשל בהזמנה וקידום של קבוצת נתונים). אפשר לצרף הרבה קבוצות נתונים להזמנה אחת של יתירות כשל. אי אפשר לקדם ברמת מערך הנתונים עם DR. |
| מימוש המבצע | דרך ממשק המשתמש או פקודת DDL שמבוססת על SQL לכל מערך נתונים. אין תמיכה ב-CLI, בספריות לקוח, ב-API או ב-Terraform. | באמצעות פקודת DDL שמבוססת על ממשק משתמש או על SQL לכל הזמנת EPE. אין תמיכה ב-CLI, בספריות לקוח, ב-API או ב-Terraform. |
| מצב יתירות כשל | יתירות כשל רכה. | יתירות כשל קשיחה. |
| דרישות לגבי המהדורה | כל מודל קיבולת. | מהדורת Enterprise Plus. |
| מגבלות | מגבלות של CRR. | כולל גם מגבלות של CRR וגם מגבלות של DR. |
| גישת כתיבה | משימות שפועלות בכל מודל קיבולת יכולות לכתוב למערכי נתונים משוכפלים באזור הראשי. המשני הוא תמיד לקריאה בלבד. | רק המשימות שפועלות במסגרת הזמנות של Enterprise Plus יכולות לכתוב לקבוצות נתונים משוכפלות באזור הראשי. רפליקות של קבוצות נתונים ושל הזמנות משניות הן תמיד לקריאה בלבד. |
| הרשאת קריאה | משימות שפועלות בכל מודל קיבולת יכולות לקרוא ממערכי נתונים משוכפלים. | משימות שפועלות בכל מודל קיבולת יכולות לקרוא ממערכי נתונים משוכפלים. |
השלכות ההעברה
בקטעים הבאים מפורטים השינויים בעלויות וביכולות שמתרחשים כשעוברים ל-DR.
השלכות על העלות
כשעוברים מ-CRR ל-DR, חשוב להביא בחשבון את ההשלכות הבאות על העלויות:
התאוששות מאסון תומכת רק בגישת כתיבה ממהדורת Enterprise Plus, שעלויות המחשוב שלה גבוהות יותר. אפשר לקרוא מכל מודל קיבולת, כך שעלויות הקריאה של משימות קיימות לא משתנות.
DR משתמש ברפליקציה בקצב טורבו, שגורמת לעלויות נוספות בהתאם לצמד האזורים.
מחירי האחסון זהים גם ל-CRR וגם ל-DR.
למידע נוסף על תמחור, ראו תמחור.
ההשלכות על היכולות
כשעוברים מ-CRR ל-DR, חשוב להביא בחשבון את ההשלכות הבאות על היכולות:
DR תומכת ביתירות כשל רק ברמת ההזמנה. כל המשימות הקיימות שמסתמכות על יתירות כשל ברמת מערך הנתונים נכשלות.
רק שאילתות במהדורת Enterprise Plus יכולות לכתוב למערך הנתונים אחרי שהוא מצורף להזמנת ה-DR. כל משימות הכתיבה הקיימות שלא משתמשות במהדורת Enterprise Plus לקיבולת המחשוב שלהן נכשלות.
לפני שמתחילים
לפני שמתחילים את ההעברה, כדאי להכיר את המושגים רפליקציה בין אזורים ותוכנית התאוששות מאסון (DR) מנוהלת.
כדי לעבור ל-DR, אתם צריכים:
יש לכם פרויקט פעיל ב- Google Cloud שמופעל בו BigQuery.
יצרתם ושכפלתם מערכי נתונים באמצעות CRR.
קבוצות הנתונים כוללות את אותם מיקומים ראשיים ומשניים שבהם אתם רוצים להשתמש להתאוששות מאסון.
יש לכם את ההרשאות הנדרשות כדי לעבוד עם DR. למידע נוסף על הרשאות, קראו את הקטע לפני שמתחילים.
מעבר מ-CRR ל-DR
בקטעים הבאים מוסבר איך להעביר את מערכי הנתונים מ-CRR ל-DR. ההנחה היא שכבר הגדרתם את מערכי הנתונים ל-CRR.
יצירת מקום שמור ליתירות כשל
כדי להפעיל תוכנית התאוששות מאסון, צריך ליצור מקום שמור ליתירות כשל באזור הראשי. מגדירים את ההזמנה עם האזור הראשי והאזור המשני המתאימים. האזורים הראשיים והמשניים צריכים להתאים לאזורים של כל מערכי הנתונים של ה-CRR שאתם מתכוונים להעביר ל-DR. כדי ליצור הזמנה ליתירות כשל, בחרו אחת מהאפשרויות הבאות:
המסוף
נכנסים לדף BigQuery במסוף Google Cloud .
בתפריט הניווט, לוחצים על Workload management ואז על Create reservation.
בשדה Reservation name, נותנים שם להזמנה.
ברשימה Location, בוחרים את המיקום.
ברשימה מהדורה, בוחרים במהדורת Enterprise Plus.
ברשימה Max reservation size selector, בוחרים את הגודל המקסימלי של ההזמנה.
אופציונלי: בשדה Baseline slots, מזינים את מספר ה-baseline slots להזמנה.
מספר ה-slots הזמינים להתאמה אוטומטית לעומס נקבע על ידי הפחתת הערך של Baseline slots מהערך של Max reservation size. לדוגמה, אם יוצרים הזמנה עם 100 משבצות בסיסיות וגודל הזמנה מקסימלי של 400, להזמנה יש 300 משבצות להתאמה אוטומטית לעומס. מידע נוסף על משבצות בסיסיות מופיע במאמר שימוש בהזמנות עם משבצות בסיסיות ומשבצות להתאמה אוטומטית לעומס (autoscaling).
ברשימה מיקום משני, בוחרים את המיקום המשני.
כדי להשבית את השיתוף של יחידות קיבולת לא פעילות ולהשתמש רק בקיבולת ה-slot שצוינה, לוחצים על המתג Ignore idle slots.
כדי להרחיב את הקטע Advanced settings, לוחצים על החץ .
אופציונלי: כדי להגדיר את מספר המשימות המקביל, מעבירים את המתג Override automatic target job concurrency למצב מופעל ומזינים ערך בשדה Target Job Concurrency. פירוט המשבצות מוצג בטבלה Cost estimate. סיכום של שמירת המקום מוצג בטבלה Capacity summary.
לוחצים על Save.
ההזמנה החדשה מופיעה בכרטיסייה Slot reservations.
SQL
כדי ליצור הזמנה, משתמשים בהצהרה של שפת הגדרת נתונים (DDL) ב-CREATE RESERVATION.
נכנסים לדף BigQuery במסוף Google Cloud .
בעורך השאילתות, מזינים את ההצהרה הבאה:
CREATE RESERVATION `ADMIN_PROJECT_ID.region-LOCATION.RESERVATION_NAME` OPTIONS ( slot_capacity = NUMBER_OF_BASELINE_SLOTS, edition = ENTERPRISE_PLUS, secondary_location = SECONDARY_LOCATION);
מחליפים את מה שכתוב בשדות הבאים:
-
ADMIN_PROJECT_ID: מזהה הפרויקט של פרויקט הניהול שבבעלותו משאב ההזמנה. -
LOCATION: המיקום של ההזמנה. אם בוחרים מיקום של BigQuery Omni, אפשר לבחור רק את מהדורת Enterprise.
RESERVATION_NAME: השם של ההזמנה.השם חייב להתחיל ולהסתיים באות קטנה או במספר, ויכול להכיל רק אותיות קטנות, מספרים ומקפים.
-
NUMBER_OF_BASELINE_SLOTS: מספר יחידות הקיבולת הבסיסיות שיוקצו למקום השמור. אי אפשר להגדיר את האפשרותslot_capacityואת האפשרותeditionבאותה הזמנה. -
SECONDARY_LOCATION: המיקום המשני של ההזמנה. במקרה של הפסקה זמנית בשירות, כל מערכי הנתונים שמצורפים להזמנה הזו יועברו למיקום הזה.
-
לוחצים על הפעלה.
מידע נוסף על הרצת שאילתות זמין במאמר הרצת שאילתה אינטראקטיבית.
צירוף מערך הנתונים להזמנה
אחרי שיוצרים את ההזמנה ליתירות כשל, מקשרים אליה את מערך הנתונים או מערכי הנתונים חוצי-האזורים. הפעולה הזו מפעילה יתירות כשל לכל מערכי הנתונים המצורפים. כדי לצרף את מערך הנתונים להזמנה, בוחרים באחת מהאפשרויות הבאות:
המסוף
נכנסים לדף BigQuery במסוף Google Cloud .
בתפריט הניווט, לוחצים על Workload management.
לוחצים על הכרטיסייה Slot reservations.
לוחצים על ההזמנה שרוצים לצרף אליה מערך נתונים.
לוחצים על הכרטיסייה קבוצות נתונים מקושרות של יתירות כשל.
לוחצים על קישור של קבוצת נתונים לגיבוי.
מזינים את שם מערך הנתונים שרוצים לשייך להזמנה.
לוחצים על הוספה.
SQL
כדי לצרף מערך נתונים להזמנה, משתמשים בהצהרת DDL של ALTER SCHEMA SET OPTIONS.
נכנסים לדף BigQuery במסוף Google Cloud .
בעורך השאילתות, מזינים את ההצהרה הבאה:
ALTER SCHEMA `DATASET_NAME` SET OPTIONS ( failover_reservation = ADMIN_PROJECT_ID.RESERVATION_NAME);
מחליפים את מה שכתוב בשדות הבאים:
-
DATASET_NAME: שם מערך הנתונים. -
ADMIN_PROJECT_ID.RESERVATION_NAME: שם המקום השמור שאליו רוצים לשייך את קבוצת הנתונים.
-
לוחצים על הפעלה.
מידע נוסף על הרצת שאילתות זמין במאמר הרצת שאילתה אינטראקטיבית.
אימות ההגדרות האישיות
כדי לאמת את סטטוס ההגדרה, שולחים שאילתה לתצוגה INFORMATION_SCHEMA.SCHEMATA_REPLICAS.
PROJECT_ID.`region-REGION`.INFORMATION_SCHEMA.SCHEMATA_REPLICAS[_BY_PROJECT]
מוודאים שקבוצות הנתונים מצורפות להזמנה הנכונה באזורים הנכונים.
מחליפים את הערכים בשדות הבאים:-
PROJECT_ID: אופציונלי, מזהה הפרויקט ב- Google Cloud . אם לא מציינים פרויקט, המערכת משתמשת בפרויקט שמוגדר כברירת מחדל. -
REGION: כל שם של אזור של מערך נתונים. לדוגמה,`region-us`.
דוגמאות
בדוגמה הבאה מוסבר איך לעבור מ-CRR ל-DR, עם דוגמאות מעשיות באמצעות GoogleSQL. בדוגמה הזו, נניח את הפרטים הבאים:
אתם עובדים בפרויקט בשם
myproject.כבר יצרתם מערך נתונים בשם
mydatasetוהגדרתם אותו עם CRR.האזור הראשי של
mydatasetהואus-central1והאזור המשני הואus-west1.
כדי להתחיל להעביר את מערך הנתונים ל-DR, קודם צריך ליצור הזמנה עם מהדורת Enterprise Plus. בדוגמה הזו, שם ההזמנה הוא myreservation.
CREATE RESERVATION `myproject.region-us-central1.myreservation`
OPTIONS (
slot_capacity = 0,
edition = ENTERPRISE_PLUS,
autoscale_max_slots = 50,
secondary_location = 'us-west-1');
אחרי שיוצרים את ההזמנה, אפשר לצרף אליה את מערך הנתונים. בדוגמה הבאה, קבוצת הנתונים מצורפת למקום השמור:
ALTER SCHEMA
`myproject.mydataset`
SET OPTIONS (
failover_reservation = 'myproject.myreservation');
לאחר מכן, מוודאים שמערך הנתונים צורף בהצלחה.
SELECT
failover_reservation_project_id,failover_reservation_name,
FROM
`myproject`.`region-us-west1`.INFORMATION_SCHEMA.SCHEMATA_REPLICAS
WHERE
schema_name='mydataset';
התוצאות של השאילתה הזו אמורות להיראות כך:
+---------------------------------+---------------------------+ | failover_reservation_project_id | failover_reservation_name | +---------------------------------+---------------------------+ | myproject | myreservation | | myproject | myreservation | +---------------------------------+---------------------------+
מה השלב הבא?
מידע נוסף על שכפול של מערכי נתונים באזורים שונים זמין במאמר שכפול של מערכי נתונים באזורים שונים.
למידע נוסף על תוכנית התאוששות מנוהלת מאסון, קראו את המאמר תוכנית התאוששות מנוהלת מאסון.