אפשר להשתמש ב-Storage Transfer Service כדי להעביר כמויות גדולות של נתונים בין קטגוריות של Cloud Storage, באותו פרויקט ב- Google Cloud או בין פרויקטים שונים.
העברת קטגוריות יכולה להיות שימושית בכמה תרחישים. אפשר להשתמש בהם כדי לאחד נתונים מפרויקטים נפרדים, להעביר נתונים למיקום גיבוי או לשנות את המיקום של הנתונים.
מתי כדאי להשתמש ב-Storage Transfer Service
Google Cloud מציע כמה אפשרויות להעברת נתונים בין קטגוריות של Cloud Storage. אנחנו ממליצים לפעול לפי ההנחיות הבאות:
העברה של פחות מ-1TB: משתמשים ב-
gcloud. הוראות מפורטות זמינות במאמר העברה ושינוי שם של קטגוריות.העברה של יותר מ-1TB: משתמשים ב-Storage Transfer Service. Storage Transfer Service הוא אפשרות להעברה מנוהלת, שמספקת אבטחה, אמינות וביצועים מוכנים לשימוש. הוא מייתר את הצורך לבצע אופטימיזציה לסקריפטים, לתחזק אותם ולטפל בניסיונות חוזרים.
במדריך הזה נסביר על השיטות המומלצות להעברת נתונים בין קטגוריות של Cloud Storage באמצעות Storage Transfer Service.
הגדרת אסטרטגיית העברה
אסטרטגיית ההעברה תלויה במורכבות של המצב שלכם. חשוב לכלול בתוכנית את השיקולים הבאים.
בחירת שם לקטגוריה
כדי להעביר את הנתונים לקטגוריית אחסון אחרת, בוחרים באחת מהשיטות הבאות:
- שם חדש לקטגוריה. לעדכן את האפליקציות כך שיפנו לקטגוריית אחסון עם שם אחר.
- שמירה על שם הקטגוריה. להחליף את קטגוריית האחסון כדי לשמור על השם הנוכחי, כך שלא תצטרכו לעדכן את האפליקציות.
בשני המקרים, צריך לתכנן את זמן ההשבתה ולהודיע למשתמשים על כך מראש. כדי להבין איזו אפשרות הכי מתאימה לכם, כדאי לקרוא את ההסברים הבאים.
שם הקטגוריה החדשה
אם משנים את שם הקטגוריה, צריך לעדכן את כל הקוד והשירותים שמשתמשים בקטגוריה הנוכחית. האופן שבו עושים את זה תלוי באופן שבו האפליקציות נבנות ונפרסות.
במערכים מסוימים, הגישה הזו עשויה להפחית את זמן ההשבתה, אבל נדרשת יותר עבודה כדי להבטיח מעבר חלק. התהליך כולל את השלבים הבאים:
- העתקת הנתונים לקטגוריית אחסון חדשה.
- השעות השקטות מתחילות.
- מעדכנים את האפליקציות כך שיפנו לקטגוריה החדשה.
- מוודאים שהכול פועל כמו שצריך, ושלכל המערכות והחשבונות הרלוונטיים יש גישה לקטגוריה.
- מחיקת הקטגוריה המקורית.
- סיום זמן ההשבתה.
שם הקטגוריה של Keep
הגישה הזו מתאימה אם אתם מעדיפים לא לשנות את הקוד כך שיפנה לשם קטגוריה חדש. התהליך כולל את השלבים הבאים:
- העתקת הנתונים לקטגוריית אחסון זמנית.
- השעות השקטות מתחילות.
- מחיקת הקטגוריה המקורית.
- יוצרים קטגוריה חדשה עם אותו שם כמו של הקטגוריה המקורית.
- העתקת הנתונים לקטגוריה החדשה מהקטגוריה הזמנית.
- מחיקת הקטגוריה הזמנית.
- מוודאים שהכול פועל כמו שצריך, ושלכל המערכות והחשבונות הרלוונטיים יש גישה לקטגוריה.
- סיום זמן ההשבתה.
צמצום זמן ההשבתה
במהלך ההעברה, Storage Transfer Service לא נועל את פעולות הקריאה או הכתיבה בקטגוריות המקור או היעד.
אם אתם בוחרים לנעול באופן ידני את פעולות הקריאה והכתיבה בקטגוריה, תוכלו לצמצם את זמן ההשבתה על ידי העברת הנתונים בשני שלבים: seed וסנכרון.
העברת נתונים ראשונית: מבצעים העברה בכמות גדולה בלי לנעול את פעולות הקריאה והכתיבה במקור.
סנכרון ההעברה: אחרי שההרצה הראשונה מסתיימת, נועלים את פעולות הקריאה והכתיבה בקטגוריית המקור ומבצעים העברה נוספת. ההעברות של Storage Transfer Service הן מצטברות כברירת מחדל, כך שההעברה השנייה מעבירה רק נתונים שהשתנו במהלך ההעברה הראשונית.
אופטימיזציה של מהירות ההעברה
כשמעריכים כמה זמן תימשך משימת העברה, צריך להביא בחשבון את צווארי הבקבוק האפשריים. לדוגמה, אם במקור יש מיליארדי קבצים קטנים, מהירות ההעברה תהיה מוגבלת על ידי ה-QPS. אם האובייקטים גדולים, יכול להיות שרוחב הפס הוא צוואר הבקבוק.
מגבלות רוחב הפס מוגדרות ברמת האזור, והן מוקצות באופן שווה לכל הפרויקטים. אם יש מספיק רוחב פס, Storage Transfer Service יכול להשלים כ-1,000 משימות בשנייה לכל משימת העברה. במקרה כזה, כדי להאיץ את ההעברה אפשר לפצל את המשימה לכמה משימות העברה קטנות, למשל באמצעות הכללה והחרגה של קידומות להעברת קבצים מסוימים.
אם המיקום, סוג האחסון ומפתח ההצפנה זהים, Storage Transfer Service לא יוצר עותק חדש של הבייטים, אלא רשומת מטא-נתונים חדשה שמפנה ל-blob המקור. כתוצאה מכך, העתקות של קורפוס גדול באותו מיקום ובאותה מחלקה מסתיימות מהר מאוד, והן מוגבלות רק על ידי מספר השאילתות לשנייה.
גם פעולות מחיקה הן פעולות של מטא-נתונים בלבד. בהעברות כאלה, אפשר להאיץ את ההעברה על ידי פיצול שלה לכמה משימות קטנות.
שמירת המטא-נתונים
כשמעבירים נתונים בין קטגוריות של Cloud Storage באמצעות Storage Transfer Service, המטא-נתונים הבאים של האובייקטים נשמרים:
- מטא-נתונים בהתאמה אישית שנוצרו על ידי המשתמש.
- שדות של מטא-נתונים עם מפתח קבוע ב-Cloud Storage, כמו Cache-Control, Content-Disposition, Content-Type ו-Custom-Time.
- גודל האובייקט.
- מספר הגנרציה נשמר כשדה מטא-נתונים בהתאמה אישית עם המפתח
x-goog-reserved-source-generation, ואפשר לערוך או להסיר אותו מאוחר יותר.
כשמעבירים באמצעות ה-API, אפשר לשמור את שדות המטא-נתונים הבאים:
- רשימות ACL (
acl) - סוג האחסון (
storageClass) - CMEK (
kmsKey) - חיוב זמני (
temporaryHold) - זמן יצירת האובייקט (
timeCreated)
למידע נוסף, קראו את מאמרי העזרה של ה-API של TransferOptions.
שדות המטא-נתונים הבאים לא נשמרים:
- שעת העדכון האחרון (
updated) etagcomponentCount
אם שומרים את זמן יצירת האובייקט, הוא מאוחסן כשדה בהתאמה אישית, customTime. הזמן של האובייקט ב-updated מתאפס בזמן ההעברה, ולכן גם הזמן של האובייקט בסוג האחסון שלו מתאפס.
אפשר להחיל את כללי המדיניות של מחזור החיים שמבוססים על createTime באמצעות customTime. ערכי customTime קיימים יוחלפו.
לפרטים נוספים על מה שנשמר ומה שלא נשמר, קראו את המאמר שמירת מטא-נתונים.
טיפול באובייקטים עם גרסאות
אם רוצים להעביר את כל הגרסאות של אובייקטי האחסון ולא רק את הגרסה האחרונה, אפשר להשתמש בתכונת המניפסט של Storage Transfer Service.
כדי להעביר את כל גרסאות האובייקטים:
מציגים את רשימת האובייקטים בקטגוריה ומעתיקים אותם לקובץ JSON:
gcloud storage ls --all-versions --recursive --json gs://SOURCE_BUCKET > object-listing.jsonבדרך כלל, הפקודה הזו מציגה כ-1,000 אובייקטים בשנייה.
מעתיקים את האובייקטים הלא-עדכניים לקובץ CSV:
jq -r '.[] | select( .type=="cloud_object" and (.metadata | has("timeDeleted"))) | [.metadata.name, .metadata.generation] | @csv' object-listing.json > non-current-object-manifest.csvהפעלת ניהול גרסאות של אובייקטים בקטגוריית היעד.
מעבירים את הגרסאות הלא עדכניות באמצעות אפשרויות ההעברה הבאות:
- מציינים את קובץ המניפסט.
- בוחרים באפשרות להחלפה תמידית של אובייקטים בכיור (
--overwrite-when=always, אוtransferOptions.overwriteWhen: ALWAYSב-API). שימו לב שבמקרים נדירים, הפעולה הזו יכולה ליצור גרסאות כפולות של קובץ. - שמרו על המטא-נתונים של
timeCreated(metadataOptions.timeCreated: TIME_CREATED_PRESERVE_AS_CUSTOM_TIME).
כדי להעביר את הגרסאות החיות, צריך להשתמש במשימת העברה רגילה.
הגדרת אפשרויות ההעברה
אלה חלק מהאפשרויות שזמינות לכם כשאתם מגדירים את ההעברה:
רישום ביומן: ב-Cloud Logging יש יומנים מפורטים של אובייקטים ספציפיים, שמאפשרים לאמת את סטטוס ההעברה ולבצע בדיקות נוספות של תקינות הנתונים.
סינון: אתם יכולים להשתמש בקידומות של הכללה והחרגה כדי להגביל את האובייקטים ש-Storage Transfer Service פועל עליהם. אפשר להשתמש באפשרות הזו כדי לפצל העברה לכמה משימות העברה, כך שהן יוכלו לפעול במקביל. למידע נוסף, קראו את המאמר אופטימיזציה של מהירות ההעברה.
אפשרויות העברה: אתם יכולים להגדיר את ההעברה כך שתחליף פריטים קיימים בקטגוריית היעד, תמחק אובייקטים ביעד שלא קיימים בקבוצת ההעברה או תמחק אובייקטים שהועברו מהמקור.
העברת הנתונים
אחרי שמגדירים את אסטרטגיית ההעברה, אפשר לבצע את ההעברה עצמה.
יצירת קטגוריה חדשה
לפני שמתחילים את ההעברה, יוצרים קטגוריית אחסון.
בקטע שיקולים בקשר למיקום מוסבר איך לבחור מיקום מתאים לקטגוריה.
כשיוצרים את הקטגוריה החדשה, יכול להיות שתרצו להעתיק חלק מהמטא-נתונים של הקטגוריה. במאמר קבלת מטא-נתונים של קטגוריה מוסבר איך להציג את המטא-נתונים של קטגוריית המקור, כדי שתוכלו להחיל את אותן הגדרות על הקטגוריה החדשה.
העתקת אובייקטים לקטגוריה החדשה
אפשר להעתיק אובייקטים מקטגוריית המקור לקטגוריה חדשה באמצעות מסוףGoogle Cloud , ה-CLI של gcloud, API בארכיטקטורת REST או ספריות לקוח.
הגישה שתבחרו תלויה באסטרטגיית ההעברה שלכם.
ההוראות הבאות מיועדות לתרחיש לדוגמה הבסיסי של העברת אובייקטים מקטגוריה אחת לאחרת, וצריך לשנות אותן בהתאם לצרכים שלכם.
מסוף Google Cloud
שימוש ב-Storage Transfer Service מתוך מסוףGoogle Cloud :
פותחים את הדף Transfer במסוף Google Cloud .
- לוחצים על Transfer.
פועלים לפי ההוראות המפורטות בלחיצה על Next Step בכל שלב:
מתחילים: משתמשים ב-Cloud Storage גם בתור סוג המקור וגם בתור סוג היעד.
בחירת מקור: מזינים ישירות את השם של הקטגוריה הרצויה או לוחצים על Browse כדי לחפש את הקטגוריה הרצויה ולבחור אותה.
בחירת יעד: מזינים ישירות את השם של הקטגוריה הרצויה או לוחצים על Browse כדי לחפש את הקטגוריה הרצויה ולבחור אותה.
בחירת הגדרות: בוחרים באפשרות Delete files from source after they're transferred.
אפשרויות תזמון: אפשר להתעלם מהסעיף הזה.
אחרי שמסיימים את ההדרכה המפורטת לוחצים על Create.
כך תתחיל העתקת האובייקטים מהקטגוריה הישנה אל הקטגוריה החדשה. התהליך עשוי להימשך לא מעט זמן. אבל אחרי שלוחצים על Create, אפשר לצאת ממסוף Google Cloud .
כדי להציג את התקדמות ההעברה:
פותחים את הדף Transfer במסוף Google Cloud .
במאמר פתרון בעיות מוסבר איך מקבלים מידע מפורט על שגיאות בנושא פעולות ב-Storage Transfer Service שנכשלו במסוף Google Cloud .
אם סימנתם את תיבת הסימון Delete files from source after they're transferred במהלך ההגדרה, בסיום ההעברה לא תצטרכו לעשות שום דבר כדי למחוק את האובייקטים מהקטגוריה הישנה. עם זאת, אפשר גם לבצע מחיקה של הקטגוריה הישנה, בנפרד.
CLI של gcloud
התקנת Google Cloud CLI
אם עדיין לא עשיתם זאת, התקינו את Google Cloud CLI.
אחרי ההתקנה, מפעילים את gcloud init כדי לאתחל את הכלי ולציין את מזהה הפרויקט ואת חשבון המשתמש. פרטים נוספים מופיעים במאמר אתחול ה-CLI של gcloud.
gcloud init
איך נותנים לסוכן השירות גישה לקטגוריות
לפני שיוצרים העברה, צריך להקצות לסוכן השירות של Storage Transfer Service את התפקידים הנדרשים בקטגוריית המקור ובקטגוריית היעד. למידע נוסף, קראו את המאמרים הגדרת גישה למקור: Cloud Storage והגדרת גישה ל-sink: Cloud Storage.
לדוגמה, כדי להקצות תפקיד בקטגוריית היעד, משתמשים ב-gcloud storage buckets add-iam-policy-binding:
gcloud storage buckets add-iam-policy-binding gs://bucket_name \ --member=serviceAccount:project-12345678@storage-transfer-service. \ --role=roles/storage.admin
במסמכי התיעוד של Cloud Storage מוסבר איך משתמשים בהרשאות IAM באמצעות מסוף Google Cloud או API, במאמר שימוש בהרשאות IAM.
יצירת משימת ההעברה
כדי ליצור משימת העברה חדשה, משתמשים בפקודה gcloud transfer jobs create.
יצירת משימה חדשה מפעילה את ההעברה שצוינה, אלא אם צוין לוח זמנים או --do-not-run.
gcloud transfer jobs create SOURCE DESTINATION
מחליפים את מה שכתוב בשדות הבאים:
SOURCE הוא מקור הנתונים של ההעברה הזו, בפורמט
gs://BUCKET_NAME.DESTINATION היא הקטגוריה החדשה, בפורמט
gs://BUCKET_NAME.
האפשרויות הנוספות כוללות:
פרטי המשרה: אפשר לציין את
--nameו---description.Schedule: מציינים את הערכים
--schedule-starts,--schedule-repeats-everyו---schedule-repeats-until, או--do-not-run.תנאי אובייקטים: שימוש בתנאים כדי לקבוע אילו אובייקטים יועברו. התנאים האלה כוללים את
--include-prefixesו---exclude-prefixes, ואת התנאים מבוססי הזמן ב---include-modified-[before | after]-[absolute | relative].אפשרויות העברה: מציינים אם להחליף קובצי יעד (
--overwrite-when=differentאוalways) ואם למחוק קבצים מסוימים במהלך ההעברה או אחריה (--delete-from=destination-if-uniqueאוsource-after-transfer). מציינים אילו ערכי מטא-נתונים לשמור (--preserve-metadata) ואפשר גם להגדיר סוג אחסון לאובייקטים שהועברו (--custom-storage-class).התראות: הגדרת התראות Pub/Sub להעברות באמצעות
--notification-pubsub-topic,--notification-event-typesו---notification-payload-format.
כדי לראות את כל האפשרויות, מריצים את הפקודה gcloud transfer jobs create --help.
לדוגמה, כדי להעביר את כל האובייקטים עם הקידומת folder1:
gcloud transfer jobs create gs://old-bucket gs://new-bucket \
--include-prefixes="folder1/"
REST
בדוגמה הזו תלמדו איך להעביר קבצים מקטגוריה אחת של Cloud Storage לקטגוריה אחרת.
לדוגמה, אתם יכולים להעביר נתונים לקטגוריה במיקום אחר.
בקשה באמצעות transferJobs create:
POST https://storagetransfer./v1/transferJobs { "description": "YOUR_DESCRIPTION", "status": "ENABLED", "projectId": "PROJECT_ID", "schedule": { "scheduleStartDate": { "day": DAY, "month": MONTH, "year": YEAR }, "startTimeOfDay": { "hours": 1, "minutes": 1 }, "scheduleEndDate": { "day": DAY, "month": MONTH, "year": YEAR } }, "transferSpec": { "gcsDataSource": { "bucketName": "GCS_SOURCE_NAME" }, "gcsDataSink": { "bucketName": "GCS_SINK_NAME" }, "transferOptions": { "deleteObjectsFromSourceAfterTransfer": true } } }
תשובה:
200 OK { "name": "transferJobs/JOB_ID", "description": "YOUR_DESCRIPTION", "projectId": "PROJECT_ID", "transferSpec": { "gcsDataSource": { "bucketName": "GCS_SOURCE_NAME" }, "gcsDataSink": { "bucketName": "GCS_SINK_NAME" }, "transferOptions": { "deleteObjectsFromSourceAfterTransfer": true } }, "schedule": { "scheduleStartDate": { "day": DAY, "month": MONTH, "year": YEAR }, "scheduleEndDate": { "day": DAY, "month": MONTH, "year": YEAR }, "startTimeOfDay": { "hours": 1, "minutes": 1 } }, "status": "ENABLED", "creationTime": "2026-01-01T01:01:00.000000000Z", "lastModificationTime": "2026-01-01T01:01:00.000000000Z" }
ספריות לקוח
בדוגמאות הבאות נוצרת משימת העברה יומית שמעבירה אובייקטים שלא השתנו במשך 30 יום מקטגוריה של Cloud Storage לקטגוריית Nearline של Cloud Storage.
אפשר גם להשתמש בספריות לקוח כדי לשכפל נתונים לקטגוריה במיקום אחר.
מידע נוסף על ספריות הלקוח של Storage Transfer Service זמין במאמר תחילת העבודה עם ספריות הלקוח של Storage Transfer Service.
Java
מחפשים דוגמאות ישנות יותר? המדריך להעברת נתונים (מיגרציה) של Storage Transfer Service
Python
מחפשים דוגמאות ישנות יותר? המדריך להעברת נתונים (מיגרציה) של Storage Transfer Service
אימות האובייקטים שהועתקו
בסיום ההעברה, מומלץ לבצע בדיקות נוספות לתקינות הנתונים.
מוודאים שהאובייקטים הועתקו בצורה נכונה, על ידי אימות המטא-נתונים של האובייקטים, כמו סיכומי ביקורת (checksum) וגודל.
מוודאים שהגרסה הנכונה של האובייקטים הועתקה. ב-Storage Transfer Service יש אפשרות מובנית לאמת שהאובייקטים הם עותקים. אם הפעלתם רישום ביומן, תוכלו לצפות ביומנים כדי לוודא שכל האובייקטים הועתקו בהצלחה, כולל שדות המטא-נתונים התואמים שלהם.
מתחילים להשתמש בקטגוריית היעד
אחרי שההעברה מסתיימת ומאומתת, מעדכנים את כל האפליקציות או עומסי העבודה הקיימים כך שישתמשו בשם של קטגוריית היעד. בודקים את יומני הגישה לנתונים ב-יומני ביקורת של Cloud כדי לוודא שהפעולות משנות וקוראות אובייקטים בצורה נכונה.
מחיקת הקטגוריה המקורית
אחרי שמוודאים שהכול עובד כמו שצריך, מוחקים את הקטגוריה המקורית.
ב-Storage Transfer Service אפשר למחוק אובייקטים אחרי שהם הועברו. כדי לעשות את זה, מציינים את deleteObjectsFromSourceAfterTransfer: true בהגדרת המשימה או בוחרים באפשרות הזו במסוף Google Cloud .
תזמון מחיקת אובייקטים
כדי לתזמן את מחיקת האובייקטים במועד מאוחר יותר, צריך להשתמש בשילוב של משימת העברה מתוזמנת והאפשרות deleteObjectsUniqueInSink = true.
צריך להגדיר את משימת ההעברה כך שתעביר קטגוריה ריקה לקטגוריה שמכילה את האובייקטים. כתוצאה מכך, שירות Storage Transfer Service יציג את האובייקטים ויתחיל למחוק אותם. מחיקות הן פעולות של מטא-נתונים בלבד, ולכן משימת ההעברה מוגבלת רק על ידי מספר השאילתות לשנייה. כדי לזרז את התהליך, אפשר לפצל את ההעברה לכמה משימות, כשכל אחת מהן פועלת על קבוצה נפרדת של קידומות.
לחלופין, ב- Google Cloud יש מתזמן משימות cron מנוהל. מידע נוסף זמין במאמר תזמון משימת העברה של Google Cloud STS באמצעות Cloud Scheduler.