העברה בין קטגוריות של Cloud Storage

אפשר להשתמש ב-Storage Transfer Service כדי להעביר כמויות גדולות של נתונים בין קטגוריות של Cloud Storage, באותו פרויקט ב- Google Cloud או בין פרויקטים שונים.

העברת קטגוריות יכולה להיות שימושית בכמה תרחישים. אפשר להשתמש בהם כדי לאחד נתונים מפרויקטים נפרדים, להעביר נתונים למיקום גיבוי או לשנות את המיקום של הנתונים.

מתי כדאי להשתמש ב-Storage Transfer Service

‫Google Cloud מציע כמה אפשרויות להעברת נתונים בין קטגוריות של Cloud Storage. אנחנו ממליצים לפעול לפי ההנחיות הבאות:

  • העברה של פחות מ-1TB: משתמשים ב-gcloud. הוראות מפורטות זמינות במאמר העברה ושינוי שם של קטגוריות.

  • העברה של יותר מ-1TB: משתמשים ב-Storage Transfer Service. ‫Storage Transfer Service הוא אפשרות להעברה מנוהלת, שמספקת אבטחה, אמינות וביצועים מוכנים לשימוש. הוא מייתר את הצורך לבצע אופטימיזציה לסקריפטים, לתחזק אותם ולטפל בניסיונות חוזרים.

במדריך הזה נסביר על השיטות המומלצות להעברת נתונים בין קטגוריות של Cloud Storage באמצעות Storage Transfer Service.

הגדרת אסטרטגיית העברה

אסטרטגיית ההעברה תלויה במורכבות של המצב שלכם. חשוב לכלול בתוכנית את השיקולים הבאים.

בחירת שם לקטגוריה

כדי להעביר את הנתונים לקטגוריית אחסון אחרת, בוחרים באחת מהשיטות הבאות:

  • שם חדש לקטגוריה. לעדכן את האפליקציות כך שיפנו לקטגוריית אחסון עם שם אחר.
  • שמירה על שם הקטגוריה. להחליף את קטגוריית האחסון כדי לשמור על השם הנוכחי, כך שלא תצטרכו לעדכן את האפליקציות.

בשני המקרים, צריך לתכנן את זמן ההשבתה ולהודיע למשתמשים על כך מראש. כדי להבין איזו אפשרות הכי מתאימה לכם, כדאי לקרוא את ההסברים הבאים.

שם הקטגוריה החדשה

אם משנים את שם הקטגוריה, צריך לעדכן את כל הקוד והשירותים שמשתמשים בקטגוריה הנוכחית. האופן שבו עושים את זה תלוי באופן שבו האפליקציות נבנות ונפרסות.

במערכים מסוימים, הגישה הזו עשויה להפחית את זמן ההשבתה, אבל נדרשת יותר עבודה כדי להבטיח מעבר חלק. התהליך כולל את השלבים הבאים:

  1. העתקת הנתונים לקטגוריית אחסון חדשה.
  2. השעות השקטות מתחילות.
  3. מעדכנים את האפליקציות כך שיפנו לקטגוריה החדשה.
  4. מוודאים שהכול פועל כמו שצריך, ושלכל המערכות והחשבונות הרלוונטיים יש גישה לקטגוריה.
  5. מחיקת הקטגוריה המקורית.
  6. סיום זמן ההשבתה.

שם הקטגוריה של Keep

הגישה הזו מתאימה אם אתם מעדיפים לא לשנות את הקוד כך שיפנה לשם קטגוריה חדש. התהליך כולל את השלבים הבאים:

  1. העתקת הנתונים לקטגוריית אחסון זמנית.
  2. השעות השקטות מתחילות.
  3. מחיקת הקטגוריה המקורית.
  4. יוצרים קטגוריה חדשה עם אותו שם כמו של הקטגוריה המקורית.
  5. העתקת הנתונים לקטגוריה החדשה מהקטגוריה הזמנית.
  6. מחיקת הקטגוריה הזמנית.
  7. מוודאים שהכול פועל כמו שצריך, ושלכל המערכות והחשבונות הרלוונטיים יש גישה לקטגוריה.
  8. סיום זמן ההשבתה.

צמצום זמן ההשבתה

במהלך ההעברה, Storage Transfer Service לא נועל את פעולות הקריאה או הכתיבה בקטגוריות המקור או היעד.

אם אתם בוחרים לנעול באופן ידני את פעולות הקריאה והכתיבה בקטגוריה, תוכלו לצמצם את זמן ההשבתה על ידי העברת הנתונים בשני שלבים: seed וסנכרון.

  1. העברת נתונים ראשונית: מבצעים העברה בכמות גדולה בלי לנעול את פעולות הקריאה והכתיבה במקור.

  2. סנכרון ההעברה: אחרי שההרצה הראשונה מסתיימת, נועלים את פעולות הקריאה והכתיבה בקטגוריית המקור ומבצעים העברה נוספת. ההעברות של Storage Transfer Service הן מצטברות כברירת מחדל, כך שההעברה השנייה מעבירה רק נתונים שהשתנו במהלך ההעברה הראשונית.

אופטימיזציה של מהירות ההעברה

כשמעריכים כמה זמן תימשך משימת העברה, צריך להביא בחשבון את צווארי הבקבוק האפשריים. לדוגמה, אם במקור יש מיליארדי קבצים קטנים, מהירות ההעברה תהיה מוגבלת על ידי ה-QPS. אם האובייקטים גדולים, יכול להיות שרוחב הפס הוא צוואר הבקבוק.

מגבלות רוחב הפס מוגדרות ברמת האזור, והן מוקצות באופן שווה לכל הפרויקטים. אם יש מספיק רוחב פס, Storage Transfer Service יכול להשלים כ-1,000 משימות בשנייה לכל משימת העברה. במקרה כזה, כדי להאיץ את ההעברה אפשר לפצל את המשימה לכמה משימות העברה קטנות, למשל באמצעות הכללה והחרגה של קידומות להעברת קבצים מסוימים.

אם המיקום, סוג האחסון ומפתח ההצפנה זהים, Storage Transfer Service לא יוצר עותק חדש של הבייטים, אלא רשומת מטא-נתונים חדשה שמפנה ל-blob המקור. כתוצאה מכך, העתקות של קורפוס גדול באותו מיקום ובאותה מחלקה מסתיימות מהר מאוד, והן מוגבלות רק על ידי מספר השאילתות לשנייה.

גם פעולות מחיקה הן פעולות של מטא-נתונים בלבד. בהעברות כאלה, אפשר להאיץ את ההעברה על ידי פיצול שלה לכמה משימות קטנות.

שמירת המטא-נתונים

כשמעבירים נתונים בין קטגוריות של Cloud Storage באמצעות Storage Transfer Service, המטא-נתונים הבאים של האובייקטים נשמרים:

  • מטא-נתונים בהתאמה אישית שנוצרו על ידי המשתמש.
  • שדות של מטא-נתונים עם מפתח קבוע ב-Cloud Storage, כמו Cache-Control,‏ Content-Disposition,‏ Content-Type ו-Custom-Time.
  • גודל האובייקט.
  • מספר הגנרציה נשמר כשדה מטא-נתונים בהתאמה אישית עם המפתח x-goog-reserved-source-generation, ואפשר לערוך או להסיר אותו מאוחר יותר.

כשמעבירים באמצעות ה-API, אפשר לשמור את שדות המטא-נתונים הבאים:

  • רשימות ACL‏ (acl)
  • סוג האחסון (storageClass)
  • ‫CMEK ‏(kmsKey)
  • חיוב זמני (temporaryHold)
  • זמן יצירת האובייקט (timeCreated)

למידע נוסף, קראו את מאמרי העזרה של ה-API של TransferOptions.

שדות המטא-נתונים הבאים לא נשמרים:

  • שעת העדכון האחרון (updated)
  • etag
  • componentCount

אם שומרים את זמן יצירת האובייקט, הוא מאוחסן כשדה בהתאמה אישית, customTime. הזמן של האובייקט ב-updated מתאפס בזמן ההעברה, ולכן גם הזמן של האובייקט בסוג האחסון שלו מתאפס.

אפשר להחיל את כללי המדיניות של מחזור החיים שמבוססים על createTime באמצעות customTime. ערכי customTime קיימים יוחלפו.

לפרטים נוספים על מה שנשמר ומה שלא נשמר, קראו את המאמר שמירת מטא-נתונים.

טיפול באובייקטים עם גרסאות

אם רוצים להעביר את כל הגרסאות של אובייקטי האחסון ולא רק את הגרסה האחרונה, אפשר להשתמש בתכונת המניפסט של Storage Transfer Service.

כדי להעביר את כל גרסאות האובייקטים:

  1. מציגים את רשימת האובייקטים בקטגוריה ומעתיקים אותם לקובץ JSON:

    gcloud storage ls --all-versions --recursive --json gs://SOURCE_BUCKET > object-listing.json
    

    בדרך כלל, הפקודה הזו מציגה כ-1,000 אובייקטים בשנייה.

  2. מעתיקים את האובייקטים הלא-עדכניים לקובץ CSV:

    jq -r '.[] | select( .type=="cloud_object" and (.metadata | has("timeDeleted"))) | [.metadata.name, .metadata.generation] | @csv' object-listing.json > non-current-object-manifest.csv
    
  3. הפעלת ניהול גרסאות של אובייקטים בקטגוריית היעד.

  4. מעבירים את הגרסאות הלא עדכניות באמצעות אפשרויות ההעברה הבאות:

    • מציינים את קובץ המניפסט.
    • בוחרים באפשרות להחלפה תמידית של אובייקטים בכיור (--overwrite-when=always, או transferOptions.overwriteWhen: ALWAYS ב-API). שימו לב שבמקרים נדירים, הפעולה הזו יכולה ליצור גרסאות כפולות של קובץ.
    • שמרו על המטא-נתונים של timeCreated (metadataOptions.timeCreated: TIME_CREATED_PRESERVE_AS_CUSTOM_TIME).
  5. כדי להעביר את הגרסאות החיות, צריך להשתמש במשימת העברה רגילה.

הגדרת אפשרויות ההעברה

אלה חלק מהאפשרויות שזמינות לכם כשאתם מגדירים את ההעברה:

  • רישום ביומן: ב-Cloud Logging יש יומנים מפורטים של אובייקטים ספציפיים, שמאפשרים לאמת את סטטוס ההעברה ולבצע בדיקות נוספות של תקינות הנתונים.

  • סינון: אתם יכולים להשתמש בקידומות של הכללה והחרגה כדי להגביל את האובייקטים ש-Storage Transfer Service פועל עליהם. אפשר להשתמש באפשרות הזו כדי לפצל העברה לכמה משימות העברה, כך שהן יוכלו לפעול במקביל. למידע נוסף, קראו את המאמר אופטימיזציה של מהירות ההעברה.

  • אפשרויות העברה: אתם יכולים להגדיר את ההעברה כך שתחליף פריטים קיימים בקטגוריית היעד, תמחק אובייקטים ביעד שלא קיימים בקבוצת ההעברה או תמחק אובייקטים שהועברו מהמקור.

העברת הנתונים

אחרי שמגדירים את אסטרטגיית ההעברה, אפשר לבצע את ההעברה עצמה.

יצירת קטגוריה חדשה

לפני שמתחילים את ההעברה, יוצרים קטגוריית אחסון.

בקטע שיקולים בקשר למיקום מוסבר איך לבחור מיקום מתאים לקטגוריה.

כשיוצרים את הקטגוריה החדשה, יכול להיות שתרצו להעתיק חלק מהמטא-נתונים של הקטגוריה. במאמר קבלת מטא-נתונים של קטגוריה מוסבר איך להציג את המטא-נתונים של קטגוריית המקור, כדי שתוכלו להחיל את אותן הגדרות על הקטגוריה החדשה.

העתקת אובייקטים לקטגוריה החדשה

אפשר להעתיק אובייקטים מקטגוריית המקור לקטגוריה חדשה באמצעות מסוףGoogle Cloud , ה-CLI של gcloud, ‏API בארכיטקטורת REST או ספריות לקוח. הגישה שתבחרו תלויה באסטרטגיית ההעברה שלכם.

ההוראות הבאות מיועדות לתרחיש לדוגמה הבסיסי של העברת אובייקטים מקטגוריה אחת לאחרת, וצריך לשנות אותן בהתאם לצרכים שלכם.

מסוף Google Cloud

שימוש ב-Storage Transfer Service מתוך מסוףGoogle Cloud :

  1. פותחים את הדף Transfer במסוף Google Cloud .

    פותחים את הדף Transfer

  2. לוחצים על Transfer.
  3. פועלים לפי ההוראות המפורטות בלחיצה על Next Step בכל שלב:

    • מתחילים: משתמשים ב-Cloud Storage גם בתור סוג המקור וגם בתור סוג היעד.

    • בחירת מקור: מזינים ישירות את השם של הקטגוריה הרצויה או לוחצים על Browse כדי לחפש את הקטגוריה הרצויה ולבחור אותה.

    • בחירת יעד: מזינים ישירות את השם של הקטגוריה הרצויה או לוחצים על Browse כדי לחפש את הקטגוריה הרצויה ולבחור אותה.

    • בחירת הגדרות: בוחרים באפשרות Delete files from source after they're transferred.

    • אפשרויות תזמון: אפשר להתעלם מהסעיף הזה.

  4. אחרי שמסיימים את ההדרכה המפורטת לוחצים על Create.

    כך תתחיל העתקת האובייקטים מהקטגוריה הישנה אל הקטגוריה החדשה. התהליך עשוי להימשך לא מעט זמן. אבל אחרי שלוחצים על Create, אפשר לצאת ממסוף Google Cloud .

    כדי להציג את התקדמות ההעברה:

    פותחים את הדף Transfer במסוף Google Cloud .

    פותחים את הדף Transfer

    במאמר פתרון בעיות מוסבר איך מקבלים מידע מפורט על שגיאות בנושא פעולות ב-Storage Transfer Service שנכשלו במסוף Google Cloud .

  5. אם סימנתם את תיבת הסימון Delete files from source after they're transferred במהלך ההגדרה, בסיום ההעברה לא תצטרכו לעשות שום דבר כדי למחוק את האובייקטים מהקטגוריה הישנה. עם זאת, אפשר גם לבצע מחיקה של הקטגוריה הישנה, בנפרד.

‫CLI של gcloud

התקנת Google Cloud CLI

אם עדיין לא עשיתם זאת, התקינו את Google Cloud CLI.

אחרי ההתקנה, מפעילים את gcloud init כדי לאתחל את הכלי ולציין את מזהה הפרויקט ואת חשבון המשתמש. פרטים נוספים מופיעים במאמר אתחול ה-CLI של gcloud.

gcloud init

איך נותנים לסוכן השירות גישה לקטגוריות

לפני שיוצרים העברה, צריך להקצות לסוכן השירות של Storage Transfer Service את התפקידים הנדרשים בקטגוריית המקור ובקטגוריית היעד. למידע נוסף, קראו את המאמרים הגדרת גישה למקור: Cloud Storage והגדרת גישה ל-sink: Cloud Storage. לדוגמה, כדי להקצות תפקיד בקטגוריית היעד, משתמשים ב-gcloud storage buckets add-iam-policy-binding:

gcloud storage buckets add-iam-policy-binding gs://bucket_name \
--member=serviceAccount:project-12345678@storage-transfer-service. \
--role=roles/storage.admin

במסמכי התיעוד של Cloud Storage מוסבר איך משתמשים בהרשאות IAM באמצעות מסוף Google Cloud או API, במאמר שימוש בהרשאות IAM.

יצירת משימת ההעברה

כדי ליצור משימת העברה חדשה, משתמשים בפקודה gcloud transfer jobs create. יצירת משימה חדשה מפעילה את ההעברה שצוינה, אלא אם צוין לוח זמנים או --do-not-run.

gcloud transfer jobs create SOURCE DESTINATION

מחליפים את מה שכתוב בשדות הבאים:

  • ‫SOURCE הוא מקור הנתונים של ההעברה הזו, בפורמט gs://BUCKET_NAME.

  • ‫DESTINATION היא הקטגוריה החדשה, בפורמט gs://BUCKET_NAME.

האפשרויות הנוספות כוללות:

  • פרטי המשרה: אפשר לציין את --name ו---description.

  • ‫Schedule: מציינים את הערכים --schedule-starts,‏ --schedule-repeats-every ו---schedule-repeats-until, או --do-not-run.

  • תנאי אובייקטים: שימוש בתנאים כדי לקבוע אילו אובייקטים יועברו. התנאים האלה כוללים את --include-prefixes ו---exclude-prefixes, ואת התנאים מבוססי הזמן ב---include-modified-[before | after]-[absolute | relative].

  • אפשרויות העברה: מציינים אם להחליף קובצי יעד (--overwrite-when=different או always) ואם למחוק קבצים מסוימים במהלך ההעברה או אחריה (--delete-from=destination-if-unique או source-after-transfer). מציינים אילו ערכי מטא-נתונים לשמור (--preserve-metadata) ואפשר גם להגדיר סוג אחסון לאובייקטים שהועברו (--custom-storage-class).

  • התראות: הגדרת התראות Pub/Sub להעברות באמצעות --notification-pubsub-topic,‏ --notification-event-types ו---notification-payload-format.

כדי לראות את כל האפשרויות, מריצים את הפקודה gcloud transfer jobs create --help.

לדוגמה, כדי להעביר את כל האובייקטים עם הקידומת folder1:

gcloud transfer jobs create gs://old-bucket gs://new-bucket \
  --include-prefixes="folder1/"

REST

בדוגמה הזו תלמדו איך להעביר קבצים מקטגוריה אחת של Cloud Storage לקטגוריה אחרת.

לדוגמה, אתם יכולים להעביר נתונים לקטגוריה במיקום אחר.

בקשה באמצעות transferJobs create:

POST https://storagetransfer./v1/transferJobs
{
  "description": "YOUR_DESCRIPTION",
  "status": "ENABLED",
  "projectId": "PROJECT_ID",
  "schedule": {
      "scheduleStartDate": {
          "day": DAY,
          "month": MONTH,
          "year": YEAR
      },
      "startTimeOfDay": {
          "hours": 1,
          "minutes": 1
      },
      "scheduleEndDate": {
          "day": DAY,
          "month": MONTH,
          "year": YEAR
      }
  },
  "transferSpec": {
      "gcsDataSource": {
          "bucketName": "GCS_SOURCE_NAME"
      },
      "gcsDataSink": {
          "bucketName": "GCS_SINK_NAME"
      },
      "transferOptions": {
          "deleteObjectsFromSourceAfterTransfer": true
      }
  }
}

תשובה:

200 OK
{
  "name": "transferJobs/JOB_ID",
  "description": "YOUR_DESCRIPTION",
  "projectId": "PROJECT_ID",
  "transferSpec": {
      "gcsDataSource": {
          "bucketName": "GCS_SOURCE_NAME"
      },
      "gcsDataSink": {
          "bucketName": "GCS_SINK_NAME"
      },
      "transferOptions": {
          "deleteObjectsFromSourceAfterTransfer": true
      }
  },
  "schedule": {
      "scheduleStartDate": {
          "day": DAY,
          "month": MONTH,
          "year": YEAR
      },
      "scheduleEndDate": {
          "day": DAY,
          "month": MONTH,
          "year": YEAR
      },
      "startTimeOfDay": {
          "hours": 1,
          "minutes": 1
      }
  },
  "status": "ENABLED",
  "creationTime": "2026-01-01T01:01:00.000000000Z",
  "lastModificationTime": "2026-01-01T01:01:00.000000000Z"
}

ספריות לקוח

בדוגמאות הבאות נוצרת משימת העברה יומית שמעבירה אובייקטים שלא השתנו במשך 30 יום מקטגוריה של Cloud Storage לקטגוריית Nearline של Cloud Storage.

אפשר גם להשתמש בספריות לקוח כדי לשכפל נתונים לקטגוריה במיקום אחר.

מידע נוסף על ספריות הלקוח של Storage Transfer Service זמין במאמר תחילת העבודה עם ספריות הלקוח של Storage Transfer Service.

Java

מחפשים דוגמאות ישנות יותר? המדריך להעברת נתונים (מיגרציה) של Storage Transfer Service

import com.google.protobuf.Duration;
import com.google.storagetransfer.v1.proto.StorageTransferServiceClient;
import com.google.storagetransfer.v1.proto.TransferProto.CreateTransferJobRequest;
import com.google.storagetransfer.v1.proto.TransferTypes.GcsData;
import com.google.storagetransfer.v1.proto.TransferTypes.ObjectConditions;
import com.google.storagetransfer.v1.proto.TransferTypes.Schedule;
import com.google.storagetransfer.v1.proto.TransferTypes.TransferJob;
import com.google.storagetransfer.v1.proto.TransferTypes.TransferJob.Status;
import com.google.storagetransfer.v1.proto.TransferTypes.TransferOptions;
import com.google.storagetransfer.v1.proto.TransferTypes.TransferSpec;
import com.google.type.Date;
import com.google.type.TimeOfDay;
import java.io.IOException;
import java.util.Calendar;

public class TransferToNearline {
  /**
   * Creates a one-off transfer job that transfers objects in a standard GCS bucket that are more
   * than 30 days old to a Nearline GCS bucket.
   */
  public static void transferToNearline(
      String projectId,
      String jobDescription,
      String gcsSourceBucket,
      String gcsNearlineSinkBucket,
      long startDateTime)
      throws IOException {

    // Your Google Cloud Project ID
    // String projectId = "your-project-id";

    // A short description of this job
    // String jobDescription = "Sample transfer job of old objects to a Nearline GCS bucket.";

    // The name of the source GCS bucket to transfer data from
    // String gcsSourceBucket = "your-gcs-source-bucket";

    // The name of the Nearline GCS bucket to transfer old objects to
    // String gcsSinkBucket = "your-nearline-gcs-bucket";

    // What day and time in UTC to start the transfer, expressed as an epoch date timestamp.
    // If this is in the past relative to when the job is created, it will run the next day.
    // long startDateTime =
    //     new SimpleDateFormat("yyyy-MM-dd HH:mm:ss").parse("2000-01-01 00:00:00").getTime();

    // Parse epoch timestamp into the model classes
    Calendar startCalendar = Calendar.getInstance();
    startCalendar.setTimeInMillis(startDateTime);
    // Note that this is a Date from the model class package, not a java.util.Date
    Date date =
        Date.newBuilder()
            .setYear(startCalendar.get(Calendar.YEAR))
            .setMonth(startCalendar.get(Calendar.MONTH) + 1)
            .setDay(startCalendar.get(Calendar.DAY_OF_MONTH))
            .build();
    TimeOfDay time =
        TimeOfDay.newBuilder()
            .setHours(startCalendar.get(Calendar.HOUR_OF_DAY))
            .setMinutes(startCalendar.get(Calendar.MINUTE))
            .setSeconds(startCalendar.get(Calendar.SECOND))
            .build();

    TransferJob transferJob =
        TransferJob.newBuilder()
            .setDescription(jobDescription)
            .setProjectId(projectId)
            .setTransferSpec(
                TransferSpec.newBuilder()
                    .setGcsDataSource(GcsData.newBuilder().setBucketName(gcsSourceBucket))
                    .setGcsDataSink(GcsData.newBuilder().setBucketName(gcsNearlineSinkBucket))
                    .setObjectConditions(
                        ObjectConditions.newBuilder()
                            .setMinTimeElapsedSinceLastModification(
                                Duration.newBuilder().setSeconds(2592000 /* 30 days */)))
                    .setTransferOptions(
                        TransferOptions.newBuilder().setDeleteObjectsFromSourceAfterTransfer(true)))
            .setSchedule(Schedule.newBuilder().setScheduleStartDate(date).setStartTimeOfDay(time))
            .setStatus(Status.ENABLED)
            .build();

    // Create a Transfer Service client
    StorageTransferServiceClient storageTransfer = StorageTransferServiceClient.create();

    // Create the transfer job
    TransferJob response =
        storageTransfer.createTransferJob(
            CreateTransferJobRequest.newBuilder().setTransferJob(transferJob).build());

    System.out.println("Created transfer job from standard bucket to Nearline bucket:");
    System.out.println(response.toString());
  }
}

Python

מחפשים דוגמאות ישנות יותר? המדריך להעברת נתונים (מיגרציה) של Storage Transfer Service

from datetime import datetime

from google.cloud import storage_transfer
from google.protobuf.duration_pb2 import Duration


def create_daily_nearline_30_day_migration(
    project_id: str,
    description: str,
    source_bucket: str,
    sink_bucket: str,
    start_date: datetime,
):
    """Create a daily migration from a GCS bucket to a Nearline GCS bucket
    for objects untouched for 30 days."""

    client = storage_transfer.StorageTransferServiceClient()

    # The ID of the Google Cloud Platform Project that owns the job
    # project_id = 'my-project-id'

    # A useful description for your transfer job
    # description = 'My transfer job'

    # Google Cloud Storage source bucket name
    # source_bucket = 'my-gcs-source-bucket'

    # Google Cloud Storage destination bucket name
    # sink_bucket = 'my-gcs-destination-bucket'

    transfer_job_request = storage_transfer.CreateTransferJobRequest(
        {
            "transfer_job": {
                "project_id": project_id,
                "description": description,
                "status": storage_transfer.TransferJob.Status.ENABLED,
                "schedule": {
                    "schedule_start_date": {
                        "day": start_date.day,
                        "month": start_date.month,
                        "year": start_date.year,
                    }
                },
                "transfer_spec": {
                    "gcs_data_source": {
                        "bucket_name": source_bucket,
                    },
                    "gcs_data_sink": {
                        "bucket_name": sink_bucket,
                    },
                    "object_conditions": {
                        "min_time_elapsed_since_last_modification": Duration(
                            seconds=2592000  # 30 days
                        )
                    },
                    "transfer_options": {
                        "delete_objects_from_source_after_transfer": True
                    },
                },
            }
        }
    )

    result = client.create_transfer_job(transfer_job_request)
    print(f"Created transferJob: {result.name}")

אימות האובייקטים שהועתקו

בסיום ההעברה, מומלץ לבצע בדיקות נוספות לתקינות הנתונים.

  • מוודאים שהאובייקטים הועתקו בצורה נכונה, על ידי אימות המטא-נתונים של האובייקטים, כמו סיכומי ביקורת (checksum) וגודל.

  • מוודאים שהגרסה הנכונה של האובייקטים הועתקה. ב-Storage Transfer Service יש אפשרות מובנית לאמת שהאובייקטים הם עותקים. אם הפעלתם רישום ביומן, תוכלו לצפות ביומנים כדי לוודא שכל האובייקטים הועתקו בהצלחה, כולל שדות המטא-נתונים התואמים שלהם.

מתחילים להשתמש בקטגוריית היעד

אחרי שההעברה מסתיימת ומאומתת, מעדכנים את כל האפליקציות או עומסי העבודה הקיימים כך שישתמשו בשם של קטגוריית היעד. בודקים את יומני הגישה לנתונים ב-יומני ביקורת של Cloud כדי לוודא שהפעולות משנות וקוראות אובייקטים בצורה נכונה.

מחיקת הקטגוריה המקורית

אחרי שמוודאים שהכול עובד כמו שצריך, מוחקים את הקטגוריה המקורית.

ב-Storage Transfer Service אפשר למחוק אובייקטים אחרי שהם הועברו. כדי לעשות את זה, מציינים את deleteObjectsFromSourceAfterTransfer: true בהגדרת המשימה או בוחרים באפשרות הזו במסוף Google Cloud .

תזמון מחיקת אובייקטים

כדי לתזמן את מחיקת האובייקטים במועד מאוחר יותר, צריך להשתמש בשילוב של משימת העברה מתוזמנת והאפשרות deleteObjectsUniqueInSink = true.

צריך להגדיר את משימת ההעברה כך שתעביר קטגוריה ריקה לקטגוריה שמכילה את האובייקטים. כתוצאה מכך, שירות Storage Transfer Service יציג את האובייקטים ויתחיל למחוק אותם. מחיקות הן פעולות של מטא-נתונים בלבד, ולכן משימת ההעברה מוגבלת רק על ידי מספר השאילתות לשנייה. כדי לזרז את התהליך, אפשר לפצל את ההעברה לכמה משימות, כשכל אחת מהן פועלת על קבוצה נפרדת של קידומות.

לחלופין, ב- Google Cloud יש מתזמן משימות cron מנוהל. מידע נוסף זמין במאמר תזמון משימת העברה של Google Cloud STS באמצעות Cloud Scheduler.