במאמר הזה מתואר הפורמט הנוכחי של יומן ההעברות של מערכת הקבצים.
צפייה ביומני ההעברות
בהעברות של מערכת קבצים נוצרים יומני העברה מפורטים, שבהם אפשר להשתמש כדי לאמת את התוצאות של משימת ההעברה. כל משימה יוצרת אוסף של יומני העברה שמאוחסנים בקטגוריה של Cloud Storage של ההעברה: קטגוריית המקור, קטגוריית היעד או קטגוריית הביניים, בהתאם לכיוון ההעברה. כל מי שיש לו גישה לקטגוריה של Cloud Storage יכול לגשת ליומני ההעברות.
היומנים נוצרים בזמן שפעולת ההעברה פועלת. היומנים המלאים זמינים בדרך כלל תוך 15 דקות מסיום המשימה.
צפייה ביומנים בקטגוריה של Cloud Storage
יומני ההעברות מאוחסנים בקטגוריה של Cloud Storage בנתיב הבא:
bucket-name/storage-transfer/logs/transferJobs/job-name/transferOperations/operation-name
כאשר רכיבי הנתיב הם:
-
bucket-nameהוא השם של הקטגוריה ב-Cloud Storage שמעורבת בהעברה הזו. -
job-nameהוא שם המשימה, כמו שמופיע בפרטי המשימה. -
operation-nameהוא השם של פעולת ההעברה הספציפית, שמורכב מחותמת הזמן בפורמט ISO 8601 וממזהה שנוצר.
היומנים נצברים ונשמרים כאובייקטים. השם של כל קבוצת יומנים משקף את הזמן שבו היא נוצרה. לדוגמה:
my-bucket/storage-transfer/logs/transferJobs/1234/transferOperations/transferJobs-1234-8765/2019-10-19T17:52:56.519081644Z-UUID.log
הרצת שאילתות ב-BigQuery על יומני העברות
כדי להריץ שאילתות ב-BigQuery על יומני ההעברות:
טוענים את נתוני היומן ל-BigQuery כקובץ CSV, עם תו טאב כמפריד שדות ושורת כותרת אחת שצריך לדלג עליה.
מריצים את השאילתה ב-BigQuery.
שאילתות לדוגמה
הצגת מספר הקבצים שניסו להעביר, והאם ההעברה נכשלה או הצליחה
select ActionStatus, count(*) as num_files from big-query-table where Action="TRANSFER" group by 1;
big-query-table הוא השם של הטבלה ב-BigQuery שמכילה את יומן ההעברות.
הצגת כל הקבצים שההעברה שלהם נכשלה
select Src_File_Path from big-query-table where Action="TRANSFER" and ActionStatus="FAILED";
big-query-table הוא השם של הטבלה ב-BigQuery שמכילה את יומן ההעברות.
הצגת סיכום ביקורת (checksum) וחותמת זמן לכל קובץ שהועבר בהצלחה
select Timestamp, Action, ActionStatus, Src_File_Path, Src_File_Size, Src_File_Crc32C, Dst_Gcs_BucketName, Dst_Gcs_ObjectName, Dst_Gcs_Size, Dst_Gcs_Crc32C, Dst_Gcs_Md5 from big-query-table where Action="TRANSFER" and ActionStatus="SUCCEEDED";
big-query-table הוא השם של הטבלה ב-BigQuery שמכילה את יומן ההעברות.
הצגת כל פרטי השגיאות של ספריות שההעברה שלהן נכשלה
select FailureDetails_ErrorType, FailureDetails_GrpcCode, FailureDetails_Message from big-query-table where Action="FIND" and ActionStatus="FAILED";
big-query-table הוא השם של הטבלה ב-BigQuery שמכילה את יומן ההעברות.
תיאור הפורמט
יומני ההעברות של מערכת הקבצים נשמרים בפורמט של ערכים מופרדים בטאבים (TSV), והם מכילים שורת כותרת עם שמות השדות. הסדר שבו השדות מוצגים בדרך כלל יציב, אבל לא מובטח, וצריך להסיק אותו משורת הכותרת.
כל שורה מייצגת רשומת יומן אחת, שהיא עדכון סטטוס של חלק מפעולת ההעברה הכוללת.
בטבלה הבאה מתוארים השדות בקובץ היומן:
| שדה ביומן | תיאור |
|---|---|
| חותמת זמן | חותמת זמן תואמת לתקן ISO 8601 שנוצרה כשתעדנו את האירוע. |
| OperationName | שם הפעולה המלא. |
| פעולה | מתאר את הפעולה של המשימה הספציפית הזו. אחת מהאפשרויות הבאות:
|
| ActionStatus | הסטטוס הכללי של הפעולה. אחת מהאפשרויות הבאות:
|
| FailureDetails.ErrorType | מחרוזת שמייצגת את סוג השגיאה שזוהתה. לדוגמה, FILE_NOT_FOUND. השדה הזה מאוכלס רק אם הייתה שגיאה. |
| FailureDetails.GrpcCode | ערך מחרוזת של קוד Google RPC. לדוגמה, FAILED_PRECONDITION. השדה הזה מאוכלס רק אם הייתה שגיאה. |
| FailureDetails.Message | הודעת שגיאה קריאה לאנשים על הכישלון. השדה הזה מאוכלס רק אם הייתה שגיאה. |
| Src.Type | מחרוזת שמתארת את סוג מערכת האחסון של המקור. ON_PREM_FILE (מקור מערכת הקבצים) או GCS_OBJECT (מקור Cloud Storage). |
| Src.File.Path | הנתיב של הקובץ המקומי שהועבר. |
| Src.File.LastModified | זמן השינוי (mtime) של קובץ ה-POSIX המקומי. |
| Src.File.Size | גודל הקובץ בבייטים. |
| Src.File.Crc32C | סיכום הביקורת (checksum) CRC32C של תוכן הקובץ. |
| Dst.Type | מחרוזת שמתארת את סוג מערכת האחסון של היעד. GCS_OBJECT (יעד ב-Cloud Storage) או ON_PREM_FILE (יעד במערכת הקבצים). |
| Dst.Gcs.BucketName | שם קטגוריית היעד של Cloud Storage. |
| Dst.Gcs.ObjectName | קידומת האובייקט של אובייקט היעד. |
| Dst.Gcs.LastModified | זמן השינוי (mtime) של אובייקט היעד ב-POSIX. |
| Dst.Gcs.Size | גודל האובייקט בבייטים. |
| Dst.Gcs.Crc32C | סיכום הביקורת (checksum) CRC32C של תוכן האובייקט. |
| Dst.Gcs.Md5 | סיכום הביקורת (checksum) ב-MD5 של האובייקט הסופי ב-Cloud Storage. |
| Dst.Gcs.PreviousOperation.LastModified | מועד השינוי האחרון של אובייקט היעד ב-Cloud Storage לפני שהוא הוחלף על ידי הפעולה הזו, אם הוא כבר היה קיים. |
| Dst.Gcs.PreviousOperation.Size | הגודל בבייטים של אובייקט היעד ב-Cloud Storage לפני שהפעולה הזו החליפה אותו, אם הוא כבר היה קיים. |
דוגמה לרשומה ביומן
הדוגמה הבאה היא של שתי שורות של פלט ביומן, הכותרת ושורת נתונים:
Timestamp OperationName Action ActionStatus FailureDetails.ErrorType FailureDetails.GrpcCode FailureDetails.Message Src.Type Src.File.Path Src.File.LastModified Src.File.Size Src.File.Crc32C Dst.Type Dst.Gcs.BucketName Dst.Gcs.ObjectName Dst.Gcs.LastModified Dst.Gcs.Size Dst.Gcs.Crc32C Dst.Gcs.Md5 Dst.Gcs.PreviousOperation.LastModified Dst.Gcs.PreviousOperation.Size 2019-10-18T21:06:17Z transferOperations/agent-manual_transferJobs/OPI1494275376193533620_0000000001571432448 TRANSFER SUCCEEDED ON_PREM_FILE /mnt/disks/disk-1/directory1/file.txt 1561409931 406 3089075447 GCS_OBJECT destination-gcs-bucket file.txt 1571432776 406 3089075447 FDjya7dWbd0OrgnZ7g9ZJw==