תבנית של דחיסת קבצים ב-Cloud Storage בכמות גדולה

התבנית Bulk Compress Cloud Storage Files היא צינור עיבוד נתונים באצווה, שדוחס קבצים ב-Cloud Storage למיקום מסוים. התבנית הזו יכולה להיות שימושית כשצריך לדחוס קבוצות גדולות של קבצים כחלק מתהליך תקופתי של העברה לארכיון. מצבי הדחיסה הנתמכים הם: BZIP2,‏ DEFLATE,‏ GZIP. הקבצים שיוצאים למיקום היעד יפעלו לפי סכימת שמות של שם הקובץ המקורי, בתוספת הסיומת של מצב הדחיסה. הסיומות שיתווספו יהיו אחת מהבאות: .bzip2, .deflate, .gz.

כל שגיאה שמתרחשת במהלך תהליך הדחיסה תופיע בקובץ השגיאות בפורמט CSV, עם שם הקובץ והודעת השגיאה. אם לא מתרחשות שגיאות בזמן הרצת צינור עיבוד הנתונים, קובץ השגיאות עדיין ייווצר אבל לא יכיל רשומות של שגיאות.

דרישות לגבי צינור עיבוד הנתונים

  • הדחיסה צריכה להיות באחד מהפורמטים הבאים: BZIP2, DEFLATE, GZIP.
  • ספריית הפלט צריכה להיות קיימת לפני שמריצים את צינור עיבוד הנתונים.

פרמטרים של תבניות

פרמטרים נדרשים

  • ‫inputFilePattern: המיקום ב-Cloud Storage של הקבצים שרוצים לעבד. לדוגמה, gs://your-bucket/your-files/*.txt.
  • ‫outputDirectory: הנתיב והקידומת של שם הקובץ לכתיבת קובצי פלט. חייב להסתיים בלוכסן. הפורמט DateTime משמש לניתוח של נתיב הספרייה עבור מעצבי תאריך ושעה. לדוגמה, gs://your-bucket/your-path/.
  • ‫outputFailureFile: קובץ הפלט של יומן השגיאות שמשמש לשגיאות כתיבה שמתרחשות במהלך הדחיסה. התוכן יכלול שורה אחת לכל קובץ שהדחיסה שלו נכשלה. שימו לב שהפרמטר הזה יאפשר לצינור עיבוד הנתונים להמשיך לפעול במקרה של כשל. לדוגמה, gs://your-bucket/compressed/failed.csv.
  • ‫compression: האלגוריתם לדחיסת נתונים שמשמש לדחיסת הקבצים התואמים. אלגוריתמים תקינים: BZIP2, ‏ DEFLATE, ‏ GZIP.

פרמטרים אופציונליים

  • ‫outputFilenameSuffix: הסיומת של שם קובץ הפלט של הקבצים לכתיבה. ברירת המחדל היא ‎ .bzip2,‏ ‎.deflate או ‎ .gz, בהתאם לאלגוריתם הדחיסה.

הפעלת התבנית

המסוף

  1. נכנסים לדף Create job from template ב-Dataflow.
  2. כניסה לדף Create job from template
  3. בשדה Job name, מזינים שם ייחודי למשימה.
  4. אופציונלי: בשדה Regional endpoint, בוחרים ערך מהתפריט הנפתח. אזור ברירת המחדל הוא us-central1.

    רשימה של אזורים שבהם אפשר להריץ משימת Dataflow מופיעה במאמר מיקומי Dataflow.

  5. בתפריט הנפתח Dataflow template, בוחרים את התבנית Bulk Compress Files on Cloud Storage.
  6. בשדות הפרמטרים שמופיעים, מזינים את ערכי הפרמטרים.
  7. לוחצים על הפעלת המשימה.

gcloud

במעטפת או בטרמינל, מריצים את התבנית:

gcloud dataflow jobs run JOB_NAME \
    --gcs-location gs://dataflow-templates/VERSION/Bulk_Compress_GCS_Files \
    --region REGION_NAME \
    --parameters \
inputFilePattern=gs://BUCKET_NAME/uncompressed/*.txt,\
outputDirectory=gs://BUCKET_NAME/compressed,\
outputFailureFile=gs://BUCKET_NAME/failed/failure.csv,\
compression=COMPRESSION

מחליפים את מה שכתוב בשדות הבאים:

  • ‫JOB_NAME: שם ייחודי למשימה, לפי בחירתכם
  • ‫REGION_NAME: האזור שבו רוצים לפרוס את משימת Dataflow, לדוגמה us-central1
  • ‫VERSION: גרסת התבנית שבה רוצים להשתמש

    אפשר להשתמש בערכים הבאים:

    • ‫latest כדי להשתמש בגרסה העדכנית של התבנית, שזמינה בתיקיית ההורה ללא תאריך בקטגוריה – gs://dataflow-templates/latest/
    • שם הגרסה, כמו 2023-09-12-00_RC00, כדי להשתמש בגרסה ספציפית של התבנית, שנמצאת בתיקיית הנתונים מתאריך ספציפי בקטגוריה – gs://dataflow-templates/
  • ‫BUCKET_NAME: השם של הקטגוריה ב-Cloud Storage
  • ‫COMPRESSION: האלגוריתם לדחיסת נתונים שבחרתם

API

כדי להריץ את התבנית באמצעות ה-API ל-REST, שולחים בקשת HTTP POST. מידע נוסף על ה-API ועל היקפי ההרשאות שלו זמין במאמר projects.templates.launch.

POST https://dataflow.googleapis.com/v1b3/projects/PROJECT_ID/locations/LOCATION/templates:launch?gcsPath=gs://dataflow-templates/VERSION/Bulk_Compress_GCS_Files
{
   "jobName": "JOB_NAME",
   "parameters": {
       "inputFilePattern": "gs://BUCKET_NAME/uncompressed/*.txt",
       "outputDirectory": "gs://BUCKET_NAME/compressed",
       "outputFailureFile": "gs://BUCKET_NAME/failed/failure.csv",
       "compression": "COMPRESSION"
   },
   "environment": { "zone": "us-central1-f" }
}

מחליפים את מה שכתוב בשדות הבאים:

  • ‫PROJECT_ID: Google Cloud מזהה הפרויקט שבו רוצים להריץ את משימת Dataflow
  • ‫JOB_NAME: שם ייחודי למשימה, לפי בחירתכם
  • ‫LOCATION: האזור שבו רוצים לפרוס את משימת Dataflow, לדוגמה us-central1
  • ‫VERSION: גרסת התבנית שבה רוצים להשתמש

    אפשר להשתמש בערכים הבאים:

    • ‫latest כדי להשתמש בגרסה העדכנית של התבנית, שזמינה בתיקיית ההורה ללא תאריך בקטגוריה – gs://dataflow-templates/latest/
    • שם הגרסה, כמו 2023-09-12-00_RC00, כדי להשתמש בגרסה ספציפית של התבנית, שנמצאת בתיקיית הנתונים המתאימה מתאריך ספציפי בקטגוריה – gs://dataflow-templates/
  • ‫BUCKET_NAME: השם של הקטגוריה ב-Cloud Storage
  • ‫COMPRESSION: האלגוריתם לדחיסת נתונים שבחרתם

המאמרים הבאים