בדף הזה מתוארות המגבלות הידועות של Cloud Storage ושל Storage Transfer Service.
מגבלות נפוצות
מגבלת הגודל של אובייקט ב-Cloud Storage היא 5TiB
ב-Cloud Storage אפשר לאחסן אובייקט יחיד בגודל של עד 5 tebibytes. אם יש לכם אובייקטים שגדולים מ-5TiB, העברת האובייקטים האלה תיכשל ב-Cloud Storage או ב-Storage Transfer Service.
דרישות למתן שמות לאובייקטים ב-Cloud Storage
ב-Cloud Storage יש דרישות לגבי שמות של אובייקטים שחלות על כל ההעברות של Storage Transfer Service.
אובייקטים שהשתנו לא מועברים
השירות Storage Transfer Service לא נועל את קובצי המקור במהלך ההעברה.
אם הנתונים של אובייקט מתעדכנים במהלך העברה, כך שירות Storage Transfer Service מגיב:
העברות מעננים שאינם של Google אל Google Cloud: אם הנתונים של אובייקט מתעדכנים במהלך העברה, השירות Storage Transfer Service נכשל בהעברה של האובייקט הספציפי הזה והאובייקט לא מועבר.
העברות ממערכות קבצים אל Google Cloud: אם הנתונים של אובייקט מתעדכנים במהלך העברה, שירות Storage Transfer Service מנסה להעלות אותם שוב. אם ההעלאה נכשלת כמה פעמים, שירות Storage Transfer Service מתעד את השגיאה
FILE_MODIFIED_FAILURE. מידע נוסף זמין בקטע פתרון בעיות.העברות מ- Google Cloud למערכת קבצים: אם הנתונים של אובייקט מתעדכנים במהלך העברה, Storage Transfer Service מנסה להוריד אותם שוב. אם ההורדה נכשלת כמה פעמים, Storage Transfer Service מתעד
PRECONDITION_FAILURE. מידע נוסף זמין בקטע פתרון בעיות.
כדי לפתור את הבעיה:
- מנסים שוב לבצע את ההעברה.
אם העברת האובייקט ממשיכה להיכשל, ודאו שלא ניתן לעדכן את הנתונים שלו במהלך ההעברה:
- מקור Cloud Storage – הצבת השהיה על אובייקט.
- מקור Amazon S3 – הגדרת נעילת אובייקט S3.
- מקור Microsoft Azure Storage – הגדרת מדיניות אי-השתנות לאחסון Blob.
- מקור מערכת הקבצים – מגדירים את הקבצים במצב קריאה בלבד או מגבילים בדרך אחרת את הכתיבה לקבצים שמועברים.
אחרי שההעברה מסתיימת, אפשר להפעיל מחדש את העדכונים לאובייקט.
תיקיות ב-Cloud Storage
בקטגוריות שלא מופעל בהן מרחב שמות היררכי, האובייקטים של Cloud Storage נמצאים במרחב שמות שטוח. למידע נוסף, ראו מרחב השמות של האובייקט. בקטגוריות האלה, Storage Transfer Service לא יוצר תיקיות. מבנה הספרייה מיוצג רק על ידי תחיליות של שמות אובייקטים. לדוגמה, אם אתם מעבירים נתונים מ-Azure Data Lake Storage (ADLS) Gen 2 לקטגוריה עם מרחב שמות שטוח, Storage Transfer Service לא יוצר מחדש את מרחבי השמות של ADLS Gen 2 ב-Cloud Storage. בקטגוריות שבהן מופעל מרחב שמות היררכי, ראו העברת קטגוריות עם מרחב שמות היררכי ב-Cloud Storage.
מחיקת אובייקטים בקטגוריות של Amazon S3 שהושעה בהן ניהול הגרסאות
כשמשתמשים בתכונה "מחיקת אובייקטים מהמקור אחרי ההעברה" של Storage Transfer Service בקטגוריה של Amazon S3 שהגרסאות שלה מושעות, Storage Transfer Service מסיר את האובייקט עם מזהה גרסה ריק, ולא את הגרסה הנוכחית.
המיקום של משימות Storage Transfer Service
המיקום של Storage Transfer Service נקבע לפי האזור של קטגוריית המקור ב-Cloud Storage. נכון להיום, אנחנו יוצרים משימות של Storage Transfer Service במיקומים הבאים. הרשימה הזו עשויה להשתנות ככל שנוסיף תמיכה באזורים חדשים ב-Storage Transfer Service.
אם קטגוריה של Cloud Storage המקורית נמצאת באזור שלא מופיע ברשימה, נבחר את אזור ברירת המחדל בתוך האזור החיצוני של המקור.
| מיקומים נתמכים | ||
|---|---|---|
| africa-south1 | europe-north1 | nam4 |
| asia-east1 | europe-north2 | northamerica-northeast1 |
| asia-east2 | europe-southwest1 | northamerica-northeast2 |
| asia-northeast1 | europe-west1 | northamerica-south1 |
| asia-northeast2 | europe-west2 | southamerica-east1 |
| asia-northeast3 | europe-west3 | southamerica-west1 |
| asia-south1 | europe-west4 | us-central1 |
| asia-south2 | europe-west6 | us-central2 |
| asia-southeast1 | europe-west8 | us-east1 |
| asia-southeast2 | europe-west9 | us-east4 |
| asia-southeast3 | europe-west10 | us-east5 |
| asia1 | europe-west12 | us-east7 |
| australia-southeast1 | me-central1 | us-west1 |
| australia-southeast2 | me-central2 | us-west2 |
| me-west1 | us-west3 | |
| us-west4 |
מגבלות ידועות של העברות ממערכת קבצים
אין תמיכה בזמן אמת
השירות Storage Transfer Service לא תומך בזיהוי שינויים בתדירות של פחות משעה. Storage Transfer Service הוא שירות להעברת נתונים באצווה, שיכול לסרוק את המקור בתדירות של עד פעם בשעה.
הגדרות נתמכות של מערכת ההפעלה
סוכני ההעברה פועלים בקונטיינרים של Docker או Podman בשרתי Linux או במכונות וירטואליות (VM). כדי להעתיק נתונים במערכת קבצים מסוג CIFS או SMB, אפשר לטעון את אמצעי האחסון בשרת Linux או במכונה וירטואלית, ואז להריץ את הסוכן משרת Linux או מהמכונה הווירטואלית.
דרישות הזיכרון
אלה דרישות הזיכרון של סוכני ההעברה:- זיכרון מינימלי: 1GiB
- זיכרון מינימלי לתמיכה בהעלאות בביצועים גבוהים: 6GiB
מגבלות על שינוי קנה מידה
Storage Transfer Service תומך בהעברות נפרדות:
- בגודל של מאות טרה-בייט
- עד מיליארד קבצים
- מהירות העברה של כמה עשרות Gbps
העברות של קבצים בודדים שגדולים מהגדלים האלה הן אמינות, אבל לא נבדקו מבחינת הביצועים.
אם קבוצת הנתונים שלכם גדולה מהמגבלות האלה, מומלץ לפצל את הנתונים לכמה משימות העברה.
כרגע אנחנו תומכים בספריות גדולות, כל עוד לכל סוכן יש לפחות 1GB של זיכרון זמין לכל מיליון קבצים בספרייה הגדולה ביותר, כדי שנוכל לחזור על תוכן הספרייה בלי לחרוג מהזיכרון.
מגבלות על סוכנים ומאגרי סוכנים
אנחנו תומכים בעד 100 סוכנים במאגר סוכנים אחד. בסביבות טיפוסיות, לא סביר שתצטרכו יותר סוכנים כדי להשיג ביצועים טובים יותר.
בכל פרויקט אפשר להגדיר עד 800 מאגרי נציגים.
ספרייה אחת לכל משימה
כל משימת העברה מעבירה את התוכן של ספרייה אחת במערכת הקבצים (באופן רקורסיבי). כדי להעביר רק קבצים ספציפיים מהספרייה הזו, משתמשים במניפסט. כדי להעביר כמה ספריות, צריך ליצור משימה אחת לכל ספרייה. אי אפשר להשתמש בתווים כלליים לחיפוש קבצים בהעברות של מערכת קבצים.
שמות קבצים נתמכים
הכללים הבאים חלים על כל שמות הקבצים שכלולים בהעברה:
- שמות הקבצים צריכים להיות בקידוד UTF8.
- שמות הקבצים צריכים להיות תואמים ל-Unicode.
- הם לא יכולים להכיל שורות חדשות (
\n) או חזרה לתחילת השורה (\r).
אם ספריית קובצי המקור מכילה שמות קבצים לא נתמכים, המשימה של רישום הקבצים בספרייה הזו תיכשל.
במקרה כזה, צריך לעדכן את שמות הקבצים שלא נתמכים ולהפעיל מחדש את המשימה.
סוגי קבצים נתמכים
אפשר להשתמש ב-Storage Transfer Service כדי להעביר קבצים רגילים וקבצים מוסתרים דמויי Unix.
קבצים מוסתרים בסגנון Unix הם קבצים שמתחילים בתו .. כאשר Storage Transfer Service נתקל בקובץ שאינו קובץ רגיל, כמו התקן, צינור בעל שם או שקע, הוא מעלה שגיאת UNSUPPORTED_FILE_MODE.
ספריות ריקות לא נוצרות ב-Cloud Storage, כי אובייקטים לא נמצאים בספריות משנה בקטגוריה. למידע נוסף, ראו מרחב השמות של האובייקט.
אורך נתיב מקסימלי
ב-Storage Transfer Service, אורך הנתיב המקסימלי הוא 1,024 בייטים, כמו ב-Cloud Storage. הקידומת של אובייקט היעד נכללת במגבלת האורך, כי הקידומת משולבת בשם האובייקט ב-Cloud Storage.
מטא-נתונים נתמכים של קבצים
במאמר שמירת מטא-נתונים מפורט אילו מטא-נתונים נשמרים כברירת מחדל או כאפשרות.
השהיות ממושכות של משימות
משימות שמושהות למשך יותר מ-30 ימים נחשבות לא פעילות. כשהמשימה לא פעילה, המשימה המושהית מבוטלת והתזמון של הגדרת המשימה מושבת. לא יתחילו הרצות חדשות של המשימה, אלא אם תפעילו אותה שוב באופן מפורש.
אבטחת המקור של מערכת הקבצים
גישה של סוכן
משתמשים שיכולים ליצור משימות העברה יכולים לאחזר נתונים מכל ספרייה במערכת הקבצים שהסוכן יכול לגשת אליה, ולהוריד נתונים לכל ספרייה כזו. אם הסוכנים פועלים כ-root ויש להם גישה לכל מערכת הקבצים, גורם זדוני יכול להשתלט על המארח. מומלץ מאוד להגביל את הגישה של הסוכן רק לספריות שצריך.