העברה של קטגוריות

במאמר הזה מוסבר איך העברה של קטגוריות Cloud Storage עוזרת להעביר קטגוריות בין מיקומים גיאוגרפיים ללא שרתים. באמצעות העברה של קטגוריות, אתם יכולים להעביר קטגוריה קיימת ממיקום אחד למיקום אחר בלי לשנות את השם של הקטגוריה או להעביר את הנתונים בתוך הקטגוריה באופן ידני.

לפני שמתחילים בתהליך ההעברה, חשוב לתכנן את העברת המאגר כדי לצמצם את ההפרעות. הוראות להעברת קטגוריות מפורטות במאמר העברת קטגוריות.

יתרונות

היתרונות של העברת קטגוריות למיקום גיאוגרפי אחר הם:

  • העברה פשוטה: אפשר להעביר קטגוריות עם תקורה תפעולית מינימלית. לא נדרשים תסריטי סקריפט מורכבים או תהליכים מרובי שלבים.

  • פעולה רציפה: האפליקציות שלכם נשארות נגישות לאורך תהליך ההעברה, ללא זמן השבתה לפעולות קריאה ועם זמן השבתה מינימלי לפעולות כתיבה.

  • שיפור הביצועים: אחסון משאבים של Compute Engine ו-Cloud Storage במיקום משותף באותו אזור יכול לצמצם את זמן האחזור ולשפר את הביצועים.

  • שמירה של מטא-נתונים: תהליך העברת קטגוריות למיקום גיאוגרפי אחר שומר את המטא-נתונים של האובייקט. שמירת המטא-נתונים של האובייקט שומרת על תאימות לאפליקציות ולתהליכי עבודה קיימים אחרי העברת הקטגוריה.

  • הגדרות של סוגי אחסון: אתם יכולים לשמור על ההגדרות הקיימות של סוגי אחסון ב-Cloud Storage, כולל סיווג אוטומטי. שמירה על סוג האחסון עוזרת לשמור על מבנה העלויות עקבי אחרי ההעברה.

תרחישים לדוגמה

אלה תרחישי שימוש שאפשר להשיג באמצעות העברה של דליים:

  • הפחתת עלויות העברת נתונים: כדי להימנע מעלויות העברת נתונים, כדאי להעביר את הקטגוריה למיקום שקרוב יותר לעומסי העבודה שנדרשת להם גישה לנתונים בקטגוריה. לדוגמה, אם הנתונים שלכם מאוחסנים בארצות הברית והגישה אליהם היא בעיקר מאירופה, אתם יכולים להעביר את הדלי למיקום באירופה כדי להפחית את עלויות העברת הנתונים.

  • שיפור הביצועים: שיפור המהירות והתגובה של האפליקציה על ידי העברת הנתונים קרוב יותר לעומסי העבודה של Compute Engine. לדוגמה, אם האפליקציה שלכם פועלת ב-us-central1 אבל הנתונים נמצאים ב-asia-east1, אתם יכולים להעביר את הדלי ל-us-central1 כדי לצמצם את זמן האחזור.

  • שיפור העמידות: הגנה על הנתונים הקריטיים מפני הפסקות חשמל אזוריות. לדוגמה, אם הנתונים שלכם מאוחסנים באזור אחד, אתם יכולים להעביר אותם לשני אזורים או למספר אזורים כדי לשפר את הזמינות שלהם ולשחזר אותם במקרה של אסון.

סוגי רילוקיישן

יש שני סוגים של העברות של מאגרי מידע:

  • העברת קטגוריות למיקום גיאוגרפי אחר עם זמן השבתה לכתיבה: בהעברת קטגוריות למיקום גיאוגרפי אחר עם זמן השבתה לכתיבה, יש תקופה שבה אי אפשר לבצע פעולות כתיבה של אובייקטים במהלך תהליך העברת הקטגוריות למיקום גיאוגרפי אחר.

  • העברת קטגוריות למיקום גיאוגרפי אחר ללא זמן השבתה של פעולות כתיבה: בהעברת קטגוריות למיקום גיאוגרפי אחר ללא זמן השבתה של פעולות כתיבה, אתם יכולים להמשיך לבצע פעולות כתיבה של אובייקטים ללא הפרעה בזמן שהעברת הקטגוריות למיקום גיאוגרפי אחר מתבצעת ברקע.

מיקומי המקור והיעד של הקטגוריה קובעים אם העברת קטגוריה כוללת זמן השבתה של כתיבה. בטבלה הבאה מוצגות השפעות המיקום של קטגוריה על זמן ההשבתה של פעולות כתיבה במהלך העברה, כולל ההבדלים בין העברות עם זמן השבתה לבין העברות ללא זמן השבתה.

מפרט העברת קטגוריות למיקום גיאוגרפי אחר עם זמן השבתה של פעולות כתיבה העברת קטגוריות למיקום גיאוגרפי אחר ללא השבתה של הרשאות הכתיבה
מיקום הקטגוריה

העברה של קטגוריה בין המיקומים הבאים גורמת להשבתה:

  • אזורים
  • בשני אזורים
  • במספר אזורים
  • מספר אזורים וצמד מוגדר מראש של שני אזורים
  • מספר אזורים ושני אזורים שאפשר להגדיר אם לשני המיקומים יש קודים שונים של מספר אזורים

אם מעבירים קטגוריה בין שני מיקומים שחולקים את אותו קוד של אזור רב-אזורי, לא תהיה השבתה. המיקומים האלה הם:

  • צמד אזורים שניתן להגדרה
  • מספר אזורים וצמד אזורים שאפשר להגדיר
כתיבת זמינות אי אפשר לבצע פעולות כתיבה במהלך שלב הסנכרון הסופי.

פעולות הכתיבה ימשיכו לפעול כרגיל במהלך ההעברה.

הערה: העברות ללא השבתה של פעולות כתיבה נמשכות לפחות שבעה ימים, בלי קשר לגודל של הקטגוריה או למספר האובייקטים. משך הזמן המינימלי הזה נדרש כדי לאפשר להעלאות שניתן להמשיך אותן במהלך הטיסה להסתיים. תהליך ההעברה לא לינארי ואי אפשר לחזות אותו, לכן לא מומלץ להשתמש בנתוני ההתקדמות הראשוניים כדי להעריך את משך הזמן הכולל של העברות גדולות יותר.

מעורבות המשתמשים צריך להפעיל את השלב האחרון של השבתת הכתיבה. לא נדרש שלב סיום מפורש.
השפעה על הביצועים במהלך שלב הסנכרון הסופי, אי אפשר לכתוב או לעדכן אובייקטים בדלי.‫Object זמן האחזור של קריאה וכתיבה עשוי להתארך במהלך ההעברה.
ביטול העברת קטגוריות למיקום גיאוגרפי אחר מהיר יותר מהעברות בלי השבתה של הרשאות כתיבה. הביטול לא מתבצע באופן מיידי, ויכול להיות שייקח יותר זמן בגלל הצורך למלא מחדש אובייקטים.
תמיכה בתכונותהוא מספק תמיכה בפחות תכונות מאשר העברות ללא השבתה של פעולות כתיבה. מידע נוסף על התכונות שלא נתמכות זמין במאמר תכונות שלא נתמכות.יש מגבלות על תכונות כמו העלאות מרובות חלקים, מדיניות שמירת נתונים, Firebase ו-appspot. מידע נוסף על ההגבלות האלה
משך הזמן המינימלי למעבר ללא שבעה ימים. המינימום הזה חל ללא קשר לגודל הכולל של הקטגוריה או למספר האובייקטים שהיא מכילה.

הסבר על תהליך ההעברה של דלי

העברת קטגוריות למיקום גיאוגרפי אחר מאפשרת להעביר נתונים מקטגוריית מקור לקטגוריית יעד. קטגוריית המקור מכילה את הנתונים שרוצים להעביר, וקטגוריית היעד היא המקום שאליו רוצים להעביר את הנתונים.

בתרשים הבא מוצג תהליך העברת קטגוריות למיקום גיאוגרפי אחר:

תרשים זרימה של תהליך העברת קטגוריות.
איור 1. תרשים זרימת תהליך העברת קטגוריות (אפשר ללחוץ כדי להגדיל).

* סנכרון סופי נדרש רק להעברות עם זמן השבתה לכתיבה.

בטבלה הבאה מפורטים שלושת השלבים העיקריים ותיאור של כל שלב:

שלב תיאור

מבצעים הרצה יבשה
(אופציונלי)

הסימולציה מדמה את תהליך ההעברה של הדלי כדי לזהות בעיות פוטנציאליות לפני שמתחילים בהעברת הנתונים בפועל.

התחלת שלב ההעברה

העתקת נתונים מקטגוריית המקור לקטגוריית היעד. המטא-נתונים של הקטגוריה נעולים לכתיבה כדי למנוע שינויים בקטגוריה שיכולים להשפיע על תהליך ההעברה. אבל אתם יכולים לכתוב, לשנות ולמחוק אובייקטים בקטגוריה. הגורמים שמשפיעים על משך הזמן הם:

  • התדירות של עדכונים, מחיקות או הוספות של אובייקטים בקטגוריה משפיעה ישירות על משך ההעתקה. שיעור שינוי גבוה יותר דורש יותר זמן. יש קצב מקסימלי של תנועת אובייקטים `Rm, objects/second`. עם `N` אובייקטים בסך הכול וקצב עדכון של `R objects/second`, אפשר להעריך את משך שלב ההעתקה כ-`N / (Rm - R)` שניות.
  • העברה של דליים גדולים דורשת יותר זמן בגלל רוחב פס מוגבל.
  • הגודל של כל אובייקט משפיע על זמן ההעתקה. העברה של אובייקטים שגדולים מ-10GB אורכת יותר זמן מאשר העברה של אובייקטים שקטנים מ-10GB, בגלל מגבלות רוחב הפס. לדוגמה, העתקה של אובייקט בגודל 1 TB נמשכת יום אחד.

מתחילים את שלב הסנכרון הסופי
(נדרש רק במעברים עם זמן השבתה של כתיבה)

אחרי שתתחילו את הסנכרון הסופי, הגישה ל-bucket תהיה מוגבלת לכתיבה בלבד. כתוצאה מכך, אי אפשר לכתוב או לעדכן אובייקטים בקטגוריה במהלך הזמן הזה, וכך נמנעת חוסר עקביות בנתונים. עם זאת, אפשר להמשיך לקרוא מהמאגר.

אחרי שכל הנתונים יועברו ויאומתו, והבאקט יפעל במיקום החדש, נעילת הכתיבה תוסר אוטומטית. אחרי זה תוכלו להמשיך לכתוב ולעדכן אובייקטים בקטגוריה.

מגבלות

כדי להעביר את הקטגוריה, צריך לוודא שההגדרות שלה תומכות בהעברה של קטגוריות. לשם כך, מעיינים ברשימה של התכונות שלא נתמכות ובדרישות התאימות.

העברת קטגוריות למיקום גיאוגרפי אחר לא נתמכת אם קטגוריות המקור והיעד נמצאות במיקומים הבאים:

סוג מיקום מיקומים לא נתמכים
אזורים
  • ME-CENTRAL1
  • ME-WEST1

תמחור

פרטים על התמחור שקשור להעברת קטגוריות למיקום גיאוגרפי אחר זמינים במאמר תמחור של Cloud Storage.

המאמרים הבאים