במאמר הזה מתוארים המטא-נתונים שנשמרים כשמשתמשים ב-Storage Transfer Service כדי להעביר נתונים בין מקורות ויעדים שונים.
סקירה כללית
שירות Storage Transfer Service שומר את המטא-נתונים הבאים:
המטא-נתונים בהתאמה אישית שנוצרו על ידי המשתמשים נשמרים בהעברות שמקורן ב-Cloud Storage, ב-Amazon S3, באחסון תואם S3 או ב-Microsoft Azure Blob Storage.
בהעברות בין קטגוריות של Cloud Storage, אפשר לשמור את רשימות ה-ACL של האובייקטים, את מפתחות ההצפנה בניהול הלקוח, את סוג האחסון, את זמן היצירה של האובייקט (כערך של שדה
customTime) ואת ההשהיות הזמניות.בהעברות לקטגוריה של Cloud Storage מכל מקור שהוא לא מערכת קבצים, אפשר להגדיר את סוג האחסון של האובייקט בקטגוריית היעד לכל סוג נתמך כחלק מההעברה. בהעברות ממערכות קבצים תמיד נעשה שימוש בסוג האחסון שמוגדר כברירת מחדל בקטגוריית היעד.
גודל הקובץ וזמן השינוי האחרון (
mtime) נשמרים בהעברות שמקורן במערכות קבצים של POSIX. המאפייןmtimeלא נשמר בתיקיות.אפשר גם לשמור קישורים סימבוליים, מזהה UID מספרי, מזהה GID מספרי ו-MODE מספרי בהעברות אל מערכות קבצים של POSIX וממערכות כאלה.
בהעברות בין מערכות קבצים בלבד, אם המטא-נתונים UID, GID או MODE נשמרים, הם נשמרים גם בתיקיות. השירות Storage Transfer Service יוצר מחדש תיקיות במערכת הקבצים של היעד ומשחזר את ה-UID, ה-GID ו/או ה-MODE. זה כולל תיקיות ריקות.
mtimeלא נשמר.המטא-נתונים ברמת התיקייה לא נשמרים אם ההעברה מתבצעת באמצעות מניפסט.
שדות של מטא-נתונים שלא מוזכרים במפורש במסמך הזה לא נשמרים.
ההתנהגות של שמירת מטא-נתונים
בקטעים הבאים מפורטות דוגמאות למטא-נתונים ממערכות אחסון שונות במקור, ואיך Storage Transfer Service שומר את המטא-נתונים מכל אחת מהן. רשימה מלאה של המטא-נתונים מופיעה במסמכי התיעוד של מערכת האחסון במקור.
מ-Amazon S3 או מאחסון תואם ל-S3 אל Cloud Storage
| דוגמה למטא-נתונים | התנהגות השמירה |
|---|---|
שדות של מטא-נתונים עם מַפְתח קבוע ב-Amazon S3, כמו:
Cache-Control,
Content-Disposition ו-
Content-Type.
|
נשמרים כמטא-נתונים עם מפתח קבוע. |
| מטא-נתונים שמוגדרים על ידי המשתמש ב-Amazon S3, בפורמט של צמדי מפתח:ערך. מידע נוסף מופיע בקטע מטא-נתונים של אובייקטים שמוגדרים על ידי המשתמש במאמר מפתח ומטא-נתונים של אובייקטים. |
נשמרים כשדה מטא-נתונים בהתאמה אישית באובייקטים של Cloud Storage ביעד, ואפשר לערוך או להסיר אותם מאוחר יותר. |
ETag |
נשמר כשדה מטא-נתונים בהתאמה אישית עם המפתח x-goog-source-etag, שאפשר לערוך או להסיר מאוחר יותר.
|
| גודל האובייקט. |
השם של הקובץ השמור הוא size.
|
| רשימות של בקרת גישה (ACL) ב-Amazon S3. לרשימה המלאה, עיינו בקטע Condition Keys במאמר סקירה כללית של רשימה של בקרת גישה (ACL). | לא נשמר. |
| תגי אובייקטים של Amazon S3, שאתם מגדירים כצמדי מפתח/ערך. מידע נוסף זמין במאמר תגי אובייקטים. | לא נשמר. |
מטא-נתונים שמוגדרים על ידי המערכת של Amazon S3, חוץ מ-ETag וגודל האובייקט. רשימה מלאה מופיעה בקטע מטא-נתונים של אובייקטים שמוגדרים על ידי המערכת במאמר מפתחות ומטא-נתונים של אובייקטים. |
לא נשמר כברירת מחדל.
כברירת מחדל, המטא-נתונים של חותמת הזמן מהמקור לא נשמרים. זמן היצירה, |
| סוג האחסון (storage class) |
יש כמה אפשרויות להגדרת סוג האחסון במהלך העברה.
פרטים נוספים זמינים במאמרי העזרה של metadataOptions. |
Microsoft Azure Storage ל-Cloud Storage
| דוגמה למטא-נתונים | התנהגות השמירה |
|---|---|
שדות של מטא-נתונים עם מַפְתח קבוע ב-Microsoft Azure Storage, כמו:
Cache-Control,
Content-Disposition ו-
Content-Type.
|
נשמרים כמטא-נתונים עם מפתח קבוע. |
| מטא-נתונים שמוגדרים על ידי המשתמש ב-Microsoft Azure Storage, בפורמט של צמדי מפתח:ערך. מידע נוסף זמין במאמר הגדרות ואחזור מאפיינים ומטא-נתונים של משאבי שירות Blob. |
נשמרים כשדה מטא-נתונים בהתאמה אישית באובייקטים של Cloud Storage ביעד, ואפשר לערוך או להסיר אותם מאוחר יותר. |
ETag
|
נשמר כשדה מטא-נתונים בהתאמה אישית עם המפתח x-goog-source-etag, שאפשר לערוך או להסיר מאוחר יותר.
|
| גודל האובייקט. |
נשמר בתור size.
|
| הרשאות למערכת קבצים של POSIX שנתמכות על ידי Azure Data Lake Storage (ADLS) Gen 2. | לא נשמר. |
בקרת גישה ל-Microsoft Azure Storage, ובמיוחד x-ms-blob-public-access. מידע נוסף זמין בקטע כותרות תגובה במאמר קבלת רשימת ACL של מאגר.
|
לא נשמר. |
| תגי אינדקס של Microsoft Azure Storage. מידע נוסף זמין במאמר ניהול ואיתור של נתוני Azure Blob באמצעות תגי אינדקס של blob. | לא נשמר. |
מטא-נתונים של חותמות זמן ב-Microsoft Azure Storage, כמו:
Last-Modified,
x-ms-creation-time,
x-ms-version,
x-ms-request-server-encrypted ו-
x-ms-encryption-scope.
מידע נוסף זמין במאמר הגדרת מטא-נתונים של Blob.
|
לא נשמר.
המטא-נתונים של חותמת הזמן מהמקור לא נשמרים. זמן היצירה, |
| סוג האחסון (storage class) |
יש כמה אפשרויות להגדרת סוג האחסון במהלך העברה.
פרטים נוספים זמינים במאמרי העזרה של metadataOptions. |
העברות בין קטגוריות של Cloud Storage
| דוגמה למטא-נתונים | התנהגות השמירה |
|---|---|
|
שדות של מטא-נתונים עם מַפְתח קבוע ב-Cloud Storage, כמו: למידע נוסף, ראו מטא-נתונים של אובייקטים. |
נשמרים כמטא-נתונים עם מפתח קבוע. |
| מטא-נתונים שמוגדרים על ידי המשתמש ב-Cloud Storage, בפורמט של זוגות מפתח:ערך. מידע נוסף זמין במאמר מטא-נתונים בהתאמה אישית. |
נשמרים כשדה מטא-נתונים בהתאמה אישית באובייקטים של Cloud Storage ביעד, ואפשר לערוך או להסיר אותם מאוחר יותר. |
| גודל האובייקט |
נשמר בתור size.
|
| יצירת אובייקטים |
נשמר כשדה מטא-נתונים בהתאמה אישית עם המפתח x-goog-reserved-source-generation, שאפשר לערוך או להסיר מאוחר יותר.
|
| החזקות אובייקטים |
החזקות מבוססות-אירועים לא נשמרות. אם בקטגוריית היעד מופעל מאפיין ברירת המחדל של השהיה מבוססת-אירועים, השהיה מבוססת-אירועים חלה על האובייקטים שהועברו. כברירת מחדל, החזקות זמניות נשמרות. כדי לבטל החזקות זמניות במהלך ההעברה, מגדירים את השדה |
| רשימות של בקרת גישה (ACL) |
אפשר גם לשמור את רשימות ה-ACL. פרטים נוספים זמינים במאמרי העזרה של metadataOptions. כששומרים רשימות ACL, חשוב להימנע מיצירת אובייקטים שאי אפשר לגשת אליהם. מידע נוסף זמין במאמרי העזרה של Cloud Storage בנושא רשימות בקרת גישה. |
| סוג האחסון (storage class) |
יש כמה אפשרויות להגדרת סוג האחסון במהלך העברה.
פרטים נוספים זמינים במאמרי העזרה של metadataOptions. |
| מפתח הצפנה בניהול הלקוח |
אם באובייקט נעשה שימוש במפתח הצפנה בניהול הלקוח (CMEK), האובייקט יכול להשתמש באותו מפתח כשהוא נכתב בקטגוריית היעד. כברירת מחדל, האובייקט נכתב בקטגוריית היעד באמצעות שיטת ההצפנה של הקטגוריה. כששומרים את ה-CMEK המקורי, חשוב לשים לב למגבלות הבאות:
פרטים נוספים זמינים במאמרי העזרה של metadataOptions. |
| מטא-נתונים של חותמת זמן |
אפשר לשמור את
המטא-נתונים של |
מטא-נתונים אחרים של Cloud Storage שלא ניתנים לעריכה, כמו etag ו-componentCount.
|
לא נשמר. |
לרשימה של מטא-נתונים ב-Cloud Storage, ראו אובייקטים.
העברת רשימת כתובות URL אל Cloud Storage
| דוגמה למטא-נתונים | התנהגות השמירה |
|---|---|
שדות של מטא-נתונים עם מפתח קבוע, כמו:
Cache-Control,
Content-Disposition ו-Content-Type.
|
נשמרים כמטא-נתונים שניתנים לעריכה. |
Content-Length ו-MD5
|
הם נשמרים כמטא-נתונים שאי אפשר לערוך.
אם המקור לא מספק ערך גיבוב (hash) של
ההתנהגות הזו של השמירה ספציפית ל- |
| מטא-נתונים של חותמות זמן, כמו: זמן היצירה, זמן השינוי ומטא-נתונים אחרים שספציפיים למקור. |
לא נשמר.
המטא-נתונים של חותמת הזמן מהמקור לא נשמרים. זמן היצירה, |
| סוג האחסון (storage class) |
יש כמה אפשרויות להגדרת סוג האחסון במהלך העברה.
פרטים נוספים זמינים במאמרי העזרה של metadataOptions. |
העברות של מערכות קבצים ב-POSIX
כשמעבירים קבצים ממערכות קבצים של POSIX, אפשר להשתמש ב-Storage Transfer Service כדי לשמור מאפיינים מסוימים כמטא-נתונים בהתאמה אישית. אם הקבצים האלה ייכתבו בהמשך בחזרה למערכת קבצים, Storage Transfer Service יוכל להמיר את המטא-נתונים שנשמרו בחזרה למאפייני POSIX.
| דוגמה למטא-נתונים | התנהגות השמירה |
|---|---|
זמן השינוי (mtime)
|
נשמר. |
| גודל קובץ |
נשמר. גודל הקובץ נשמר בתור |
| מזהה משתמש מספרי מזהה קבוצה מספרי מצב מספרי קישורים סמליים |
זה שינוי אופציונלי. התנהגות השמירה מצוינת באמצעות האובייקט פעולת ברירת המחדל היא לא לשמור מטא-נתונים. |
| המטא-נתונים של התיקיות | המטא-נתונים ברמת התיקייה נשמרים רק בהעברות בין מערכות קבצים. הגדרות השמירה של UID, GID ו-MODE של ההעברה חלות על קבצים ותיקיות בהעברות האלה.
המאפיין המטא-נתונים של התיקיות לא נשמרים בהעברות של מניפסטים. |
| סוג האחסון (storage class) |
האובייקטים נכתבים עם סוג האחסון שמוגדר כברירת מחדל בקטגוריית היעד. אי אפשר להגדיר סוג אחסון ספציפי להעברות שכוללות מערכת קבצים. |
שמירת מטא-נתונים אופציונליים של POSIX
כדי לשמור על אחד או יותר מהמאפיינים הבאים: מזהה UID מספרי, מזהה GID מספרי, MODE מספרי וקישורים סמליים, צריך לציין אובייקט metadataOptions בגוף של משימת ההעברה.
האפשרויות האלה רלוונטיות גם להעברות מ-POSIX ל-Cloud Storage וגם להעברות מ-Cloud Storage ל-POSIX. במקרה השני, המטא-נתונים צריכים להישמר כשהקבצים מועברים לראשונה ל-Cloud Storage.
{
"description": "metadata-example",
"projectId": "example-project-id",
"transferSpec": {
...
"transferOptions": {
"metadataOptions": {
"gid": "GID_NUMBER",
"uid": "UID_NUMBER",
"mode": "MODE_PRESERVE",
"symlink": "SYMLINK_PRESERVE"
}
}
}
}
כברירת מחדל, הערך של gid הוא GID_SKIP, הערך של uid הוא UID_SKIP, הערך של mode הוא MODE_SKIP והערך של symlink הוא SYMLINK_SKIP.
POSIX ל-Cloud Storage
המטא-נתונים שנשמרו מאוחסנים ב-Cloud Storage כצמדי מפתח:ערך של מטא-נתונים בהתאמה אישית.
- ה-GID המספרי מאוחסן בתור
goog-reserved-posix-gid. - מזהה המשתמש המספרי נשמר בתור
goog-reserved-posix-uid. - הפונקציה MODE עם ערכים מספריים נשמרת בתור
goog-reserved-posix-mode.
בקישורים סימבוליים, Storage Transfer Service שומר את קישור היעד כאובייקט ב-Cloud Storage עם המאפיינים הבאים:
- מפתח האובייקט מורכב מהקידומת של היעד ומהנתיב לקישור הסימבולי, ביחס ל-
root_directory. - מטא-נתונים של אובייקט:
- כל המטא-נתונים של הקישור הסימבולי נשמרים כמטא-נתונים של אובייקט ב-Cloud Storage.
- נוצרת רשומת מטא-נתונים בהתאמה אישית:
goog-reserved-file-is-symlink:true.
- תוכן האובייקט הוא היעד של הקישור הסימבולי. לדוגמה, בקישור הסימבולי
sym-> dir1/target, תוכן האובייקט הוא "dir1/target".
השירות Storage Transfer Service לא מאמת את הקישור ולא מעתיק את קובץ היעד.
Cloud Storage ל-POSIX
אם המטא-נתונים נשמרים כשמעבירים קבצים ל-Cloud Storage, אפשר לכתוב אותם בחזרה לקבצים כשמעבירים אותם בחזרה למערכת קבצים של POSIX.
אם אפשרות של מטא-נתונים מוגדרת לשמירה, Storage Transfer Service מבצע את הפעולות הבאות:
- קישורים סימבוליים: Storage Transfer Service יוצר קובץ קישור סימבולי שמפנה לקישור היעד. אם קובץ היעד לא קיים, הקישור הסימבולי לא יעבוד.
- GID, UID ו-MODE: הערכים שמאוחסנים במטא-נתונים של Cloud Storage נכתבים בחזרה בקובץ.
מ-POSIX ל-POSIX
בהעברות בין מערכות קבצים, אפשר לשמור את GID, UID ו-MODE של קבצים ותיקיות.
מועד השינוי האחרון נשמר בקבצים, אבל לא בתיקיות. mtime מוגדר לזמן היצירה של התיקייה במערכת הקבצים של היעד.
השירות Storage Transfer Service שומר את המטא-נתונים של התיקייה על ידי יצירת אובייקטים של תיקיות בגודל 0 בייטים בקטגוריית הביניים, ואז מעתיק את המטא-נתונים האלה בחזרה לתיקייה במערכת הקבצים של היעד. לכן, יכול להיות שמספר האובייקטים שנוצרו בקטגוריית הביניים יהיה גדול ממספר הקבצים שמועברים.