יומני העברה של מערכת קבצים

במאמר הזה מתואר הפורמט הנוכחי של יומן ההעברות של מערכת הקבצים.

צפייה ביומני ההעברות

בהעברות של מערכת קבצים נוצרים יומני העברה מפורטים, שבהם אפשר להשתמש כדי לאמת את התוצאות של משימת ההעברה. כל משימה יוצרת אוסף של יומני העברה שמאוחסנים בקטגוריה של Cloud Storage של ההעברה: קטגוריית המקור, קטגוריית היעד או קטגוריית הביניים, בהתאם לכיוון ההעברה. כל מי שיש לו גישה לקטגוריה של Cloud Storage יכול לגשת ליומני ההעברות.

היומנים נוצרים בזמן שפעולת ההעברה פועלת. היומנים המלאים זמינים בדרך כלל תוך 15 דקות מסיום המשימה.

צפייה ביומנים בקטגוריה של Cloud Storage

יומני ההעברות מאוחסנים בקטגוריה של Cloud Storage בנתיב הבא:

bucket-name/storage-transfer/logs/transferJobs/job-name/transferOperations/operation-name

כאשר רכיבי הנתיב הם:

  • ‫bucket-name הוא השם של הקטגוריה ב-Cloud Storage שמעורבת בהעברה הזו.
  • ‫job-name הוא שם המשימה, כמו שמופיע בפרטי המשימה.
  • ‫operation-name הוא השם של פעולת ההעברה הספציפית, שמורכב מחותמת הזמן בפורמט ISO 8601 וממזהה שנוצר.

היומנים נצברים ונשמרים כאובייקטים. השם של כל קבוצת יומנים משקף את הזמן שבו היא נוצרה. לדוגמה:

my-bucket/storage-transfer/logs/transferJobs/1234/transferOperations/transferJobs-1234-8765/2019-10-19T17:52:56.519081644Z-UUID.log

הרצת שאילתות ב-BigQuery על יומני העברות

כדי להריץ שאילתות ב-BigQuery על יומני ההעברות:

  1. טוענים את נתוני היומן ל-BigQuery כקובץ CSV, עם תו טאב כמפריד שדות ושורת כותרת אחת שצריך לדלג עליה.

  2. מריצים את השאילתה ב-BigQuery.

שאילתות לדוגמה

הצגת מספר הקבצים שניסו להעביר, והאם ההעברה נכשלה או הצליחה

select ActionStatus, count(*) as num_files
from big-query-table
where Action="TRANSFER"
group by 1;

‫big-query-table הוא השם של הטבלה ב-BigQuery שמכילה את יומן ההעברות.

הצגת כל הקבצים שההעברה שלהם נכשלה

select Src_File_Path
from big-query-table
where Action="TRANSFER" and ActionStatus="FAILED";

‫big-query-table הוא השם של הטבלה ב-BigQuery שמכילה את יומן ההעברות.

הצגת סיכום ביקורת (checksum) וחותמת זמן לכל קובץ שהועבר בהצלחה

select Timestamp, Action, ActionStatus, Src_File_Path, Src_File_Size,
Src_File_Crc32C, Dst_Gcs_BucketName, Dst_Gcs_ObjectName, Dst_Gcs_Size,
Dst_Gcs_Crc32C, Dst_Gcs_Md5
from big-query-table
where Action="TRANSFER" and ActionStatus="SUCCEEDED";

‫big-query-table הוא השם של הטבלה ב-BigQuery שמכילה את יומן ההעברות.

הצגת כל פרטי השגיאות של ספריות שההעברה שלהן נכשלה

select FailureDetails_ErrorType, FailureDetails_GrpcCode, FailureDetails_Message
from big-query-table
where Action="FIND" and ActionStatus="FAILED";

‫big-query-table הוא השם של הטבלה ב-BigQuery שמכילה את יומן ההעברות.

תיאור הפורמט

יומני ההעברות של מערכת הקבצים נשמרים בפורמט של ערכים מופרדים בטאבים (TSV), והם מכילים שורת כותרת עם שמות השדות. הסדר שבו השדות מוצגים בדרך כלל יציב, אבל לא מובטח, וצריך להסיק אותו משורת הכותרת.

כל שורה מייצגת רשומת יומן אחת, שהיא עדכון סטטוס של חלק מפעולת ההעברה הכוללת.

בטבלה הבאה מתוארים השדות בקובץ היומן:

שדה ביומן תיאור
חותמת זמן חותמת זמן תואמת לתקן ISO 8601 שנוצרה כשתעדנו את האירוע.
OperationName שם הפעולה המלא.
פעולה

מתאר את הפעולה של המשימה הספציפית הזו. אחת מהאפשרויות הבאות:

  • FIND: חיפוש עבודה לביצוע, כמו הצגת רשימת קבצים מקומיים
  • ‫TRANSFER: העברת קבצים
  • ‫DELETE: מחיקת קבצים ביעד
  • ‫CLEANUP: מחיקת קבצים מקטגוריית הביניים בהעברה בין מערכות קבצים
ActionStatus

הסטטוס הכללי של הפעולה. אחת מהאפשרויות הבאות:

  • SUCCEEDED: הפעולה הושלמה בהצלחה.
  • ‫FAILED: הפעולה נכשלה. פרטים נוספים על הכישלון מופיעים בשדות FailureDetails.
FailureDetails.ErrorType מחרוזת שמייצגת את סוג השגיאה שזוהתה. לדוגמה, FILE_NOT_FOUND. השדה הזה מאוכלס רק אם הייתה שגיאה.
FailureDetails.GrpcCode ערך מחרוזת של קוד Google RPC. לדוגמה, FAILED_PRECONDITION. השדה הזה מאוכלס רק אם הייתה שגיאה.
FailureDetails.Message הודעת שגיאה קריאה לאנשים על הכישלון. השדה הזה מאוכלס רק אם הייתה שגיאה.
Src.Type מחרוזת שמתארת את סוג מערכת האחסון של המקור. ‫ON_PREM_FILE (מקור מערכת הקבצים) או GCS_OBJECT (מקור Cloud Storage).
Src.File.Path הנתיב של הקובץ המקומי שהועבר.
Src.File.LastModified זמן השינוי (mtime) של קובץ ה-POSIX המקומי.
Src.File.Size גודל הקובץ בבייטים.
Src.File.Crc32C סיכום הביקורת (checksum)‏ CRC32C של תוכן הקובץ.
Dst.Type מחרוזת שמתארת את סוג מערכת האחסון של היעד. ‫GCS_OBJECT (יעד ב-Cloud Storage) או ON_PREM_FILE (יעד במערכת הקבצים).
Dst.Gcs.BucketName שם קטגוריית היעד של Cloud Storage.
Dst.Gcs.ObjectName קידומת האובייקט של אובייקט היעד.
Dst.Gcs.LastModified זמן השינוי (mtime) של אובייקט היעד ב-POSIX.
Dst.Gcs.Size גודל האובייקט בבייטים.
Dst.Gcs.Crc32C סיכום הביקורת (checksum)‏ CRC32C של תוכן האובייקט.
Dst.Gcs.Md5 סיכום הביקורת (checksum) ב-MD5 של האובייקט הסופי ב-Cloud Storage.
Dst.Gcs.PreviousOperation.LastModified מועד השינוי האחרון של אובייקט היעד ב-Cloud Storage לפני שהוא הוחלף על ידי הפעולה הזו, אם הוא כבר היה קיים.
Dst.Gcs.PreviousOperation.Size הגודל בבייטים של אובייקט היעד ב-Cloud Storage לפני שהפעולה הזו החליפה אותו, אם הוא כבר היה קיים.

דוגמה לרשומה ביומן

הדוגמה הבאה היא של שתי שורות של פלט ביומן, הכותרת ושורת נתונים:

Timestamp       OperationName   Action  ActionStatus    FailureDetails.ErrorType        FailureDetails.GrpcCode FailureDetails.Message     Src.Type        Src.File.Path   Src.File.LastModified   Src.File.Size   Src.File.Crc32C Dst.Type   Dst.Gcs.BucketName      Dst.Gcs.ObjectName      Dst.Gcs.LastModified    Dst.Gcs.Size    Dst.Gcs.Crc32C  Dst.Gcs.Md5     Dst.Gcs.PreviousOperation.LastModified  Dst.Gcs.PreviousOperation.Size
2019-10-18T21:06:17Z    transferOperations/agent-manual_transferJobs/OPI1494275376193533620_0000000001571432448     TRANSFER        SUCCEEDED                               ON_PREM_FILE    /mnt/disks/disk-1/directory1/file.txt      1561409931      406     3089075447      GCS_OBJECT      destination-gcs-bucket    file.txt  1571432776      406     3089075447      FDjya7dWbd0OrgnZ7g9ZJw==