מגבלות ידועות

בדף הזה מתוארות המגבלות הידועות של Cloud Storage ושל Storage Transfer Service.

מגבלות נפוצות

מגבלת הגודל של אובייקט ב-Cloud Storage היא ‎5TiB

ב-Cloud Storage אפשר לאחסן אובייקט יחיד בגודל של עד ‎5 tebibytes. אם יש לכם אובייקטים שגדולים מ-5TiB, העברת האובייקטים האלה תיכשל ב-Cloud Storage או ב-Storage Transfer Service.

דרישות למתן שמות לאובייקטים ב-Cloud Storage

ב-Cloud Storage יש דרישות לגבי שמות של אובייקטים שחלות על כל ההעברות של Storage Transfer Service.

אובייקטים שהשתנו לא מועברים

השירות Storage Transfer Service לא נועל את קובצי המקור במהלך ההעברה.

אם הנתונים של אובייקט מתעדכנים במהלך העברה, כך שירות Storage Transfer Service מגיב:

  • העברות מעננים שאינם של Google אל Google Cloud: אם הנתונים של אובייקט מתעדכנים במהלך העברה, השירות Storage Transfer Service נכשל בהעברה של האובייקט הספציפי הזה והאובייקט לא מועבר.

  • העברות ממערכות קבצים אל Google Cloud: אם הנתונים של אובייקט מתעדכנים במהלך העברה, שירות Storage Transfer Service מנסה להעלות אותם שוב. אם ההעלאה נכשלת כמה פעמים, שירות Storage Transfer Service מתעד את השגיאה FILE_MODIFIED_FAILURE. מידע נוסף זמין בקטע פתרון בעיות.

  • העברות מ- Google Cloud למערכת קבצים: אם הנתונים של אובייקט מתעדכנים במהלך העברה, Storage Transfer Service מנסה להוריד אותם שוב. אם ההורדה נכשלת כמה פעמים, Storage Transfer Service מתעד PRECONDITION_FAILURE. מידע נוסף זמין בקטע פתרון בעיות.

כדי לפתור את הבעיה:

  1. מנסים שוב לבצע את ההעברה.
  2. אם העברת האובייקט ממשיכה להיכשל, ודאו שלא ניתן לעדכן את הנתונים שלו במהלך ההעברה:

  3. אחרי שההעברה מסתיימת, אפשר להפעיל מחדש את העדכונים לאובייקט.

תיקיות ב-Cloud Storage

בקטגוריות שלא מופעל בהן מרחב שמות היררכי, האובייקטים של Cloud Storage נמצאים במרחב שמות שטוח. למידע נוסף, ראו מרחב השמות של האובייקט. בקטגוריות האלה, Storage Transfer Service לא יוצר תיקיות. מבנה הספרייה מיוצג רק על ידי תחיליות של שמות אובייקטים. לדוגמה, אם אתם מעבירים נתונים מ-Azure Data Lake Storage (ADLS) Gen 2 לקטגוריה עם מרחב שמות שטוח, Storage Transfer Service לא יוצר מחדש את מרחבי השמות של ADLS Gen 2 ב-Cloud Storage. בקטגוריות שבהן מופעל מרחב שמות היררכי, ראו העברת קטגוריות עם מרחב שמות היררכי ב-Cloud Storage.

מחיקת אובייקטים בקטגוריות של Amazon S3 שהושעה בהן ניהול הגרסאות

כשמשתמשים בתכונה "מחיקת אובייקטים מהמקור אחרי ההעברה" של Storage Transfer Service בקטגוריה של Amazon S3 שהגרסאות שלה מושעות, Storage Transfer Service מסיר את האובייקט עם מזהה גרסה ריק, ולא את הגרסה הנוכחית.

המיקום של משימות Storage Transfer Service

המיקום של Storage Transfer Service נקבע לפי האזור של קטגוריית המקור ב-Cloud Storage. נכון להיום, אנחנו יוצרים משימות של Storage Transfer Service במיקומים הבאים. הרשימה הזו עשויה להשתנות ככל שנוסיף תמיכה באזורים חדשים ב-Storage Transfer Service.

אם קטגוריה של Cloud Storage המקורית נמצאת באזור שלא מופיע ברשימה, נבחר את אזור ברירת המחדל בתוך האזור החיצוני של המקור.

מיקומים נתמכים
africa-south1 europe-north1 nam4
asia-east1 europe-north2 northamerica-northeast1
asia-east2 europe-southwest1 northamerica-northeast2
asia-northeast1 europe-west1 northamerica-south1
asia-northeast2 europe-west2 southamerica-east1
asia-northeast3 europe-west3 southamerica-west1
asia-south1 europe-west4 us-central1
asia-south2 europe-west6 us-central2
asia-southeast1 europe-west8 us-east1
asia-southeast2 europe-west9 us-east4
asia-southeast3 europe-west10 us-east5
asia1 europe-west12 us-east7
australia-southeast1 me-central1 us-west1
australia-southeast2 me-central2 us-west2
me-west1 us-west3
us-west4

מגבלות ידועות של העברות ממערכת קבצים

אין תמיכה בזמן אמת

השירות Storage Transfer Service לא תומך בזיהוי שינויים בתדירות של פחות משעה. ‫Storage Transfer Service הוא שירות להעברת נתונים באצווה, שיכול לסרוק את המקור בתדירות של עד פעם בשעה.

הגדרות נתמכות של מערכת ההפעלה

סוכני ההעברה פועלים בקונטיינרים של Docker או Podman בשרתי Linux או במכונות וירטואליות (VM). כדי להעתיק נתונים במערכת קבצים מסוג CIFS או SMB, אפשר לטעון את אמצעי האחסון בשרת Linux או במכונה וירטואלית, ואז להריץ את הסוכן משרת Linux או מהמכונה הווירטואלית.

דרישות הזיכרון

אלה דרישות הזיכרון של סוכני ההעברה:
  • זיכרון מינימלי: 1GiB
  • זיכרון מינימלי לתמיכה בהעלאות בביצועים גבוהים: 6GiB

מגבלות על שינוי קנה מידה

‫Storage Transfer Service תומך בהעברות נפרדות:

  • בגודל של מאות טרה-בייט
  • עד מיליארד קבצים
  • מהירות העברה של כמה עשרות Gbps

העברות של קבצים בודדים שגדולים מהגדלים האלה הן אמינות, אבל לא נבדקו מבחינת הביצועים.

אם קבוצת הנתונים שלכם גדולה מהמגבלות האלה, מומלץ לפצל את הנתונים לכמה משימות העברה.

כרגע אנחנו תומכים בספריות גדולות, כל עוד לכל סוכן יש לפחות 1GB של זיכרון זמין לכל מיליון קבצים בספרייה הגדולה ביותר, כדי שנוכל לחזור על תוכן הספרייה בלי לחרוג מהזיכרון.

מגבלות על סוכנים ומאגרי סוכנים

אנחנו תומכים בעד 100 סוכנים במאגר סוכנים אחד. בסביבות טיפוסיות, לא סביר שתצטרכו יותר סוכנים כדי להשיג ביצועים טובים יותר.

בכל פרויקט אפשר להגדיר עד 800 מאגרי נציגים.

ספרייה אחת לכל משימה

כל משימת העברה מעבירה את התוכן של ספרייה אחת במערכת הקבצים (באופן רקורסיבי). כדי להעביר רק קבצים ספציפיים מהספרייה הזו, משתמשים במניפסט. כדי להעביר כמה ספריות, צריך ליצור משימה אחת לכל ספרייה. אי אפשר להשתמש בתווים כלליים לחיפוש קבצים בהעברות של מערכת קבצים.

שמות קבצים נתמכים

הכללים הבאים חלים על כל שמות הקבצים שכלולים בהעברה:

  • שמות הקבצים צריכים להיות בקידוד UTF8.
  • שמות הקבצים צריכים להיות תואמים ל-Unicode.
  • הם לא יכולים להכיל שורות חדשות (\n) או חזרה לתחילת השורה (\r).

אם ספריית קובצי המקור מכילה שמות קבצים לא נתמכים, המשימה של רישום הקבצים בספרייה הזו תיכשל.

במקרה כזה, צריך לעדכן את שמות הקבצים שלא נתמכים ולהפעיל מחדש את המשימה.

סוגי קבצים נתמכים

אפשר להשתמש ב-Storage Transfer Service כדי להעביר קבצים רגילים וקבצים מוסתרים דמויי Unix. קבצים מוסתרים בסגנון Unix הם קבצים שמתחילים בתו .. כאשר Storage Transfer Service נתקל בקובץ שאינו קובץ רגיל, כמו התקן, צינור בעל שם או שקע, הוא מעלה שגיאת UNSUPPORTED_FILE_MODE.

ספריות ריקות לא נוצרות ב-Cloud Storage, כי אובייקטים לא נמצאים בספריות משנה בקטגוריה. למידע נוסף, ראו מרחב השמות של האובייקט.

אורך נתיב מקסימלי

ב-Storage Transfer Service, אורך הנתיב המקסימלי הוא 1,024 בייטים, כמו ב-Cloud Storage. הקידומת של אובייקט היעד נכללת במגבלת האורך, כי הקידומת משולבת בשם האובייקט ב-Cloud Storage.

מטא-נתונים נתמכים של קבצים

במאמר שמירת מטא-נתונים מפורט אילו מטא-נתונים נשמרים כברירת מחדל או כאפשרות.

השהיות ממושכות של משימות

משימות שמושהות למשך יותר מ-30 ימים נחשבות לא פעילות. כשהמשימה לא פעילה, המשימה המושהית מבוטלת והתזמון של הגדרת המשימה מושבת. לא יתחילו הרצות חדשות של המשימה, אלא אם תפעילו אותה שוב באופן מפורש.

אבטחת המקור של מערכת הקבצים

גישה של סוכן

משתמשים שיכולים ליצור משימות העברה יכולים לאחזר נתונים מכל ספרייה במערכת הקבצים שהסוכן יכול לגשת אליה, ולהוריד נתונים לכל ספרייה כזו. אם הסוכנים פועלים כ-root ויש להם גישה לכל מערכת הקבצים, גורם זדוני יכול להשתלט על המארח. מומלץ מאוד להגביל את הגישה של הסוכן רק לספריות שצריך.