‫Google משתמשת בטכנולוגיית AI כדי לתרגם תוכן לשפה המועדפת עליך. בתרגומים כאלו עשויות להיות שגיאות.

יצירת העברות

בדף הזה מוסבר איך ליצור ולהפעיל משימות העברה.

כדי לבדוק אם המקור והיעד נתמכים על ידי Storage Transfer Service, קראו את המאמר מקורות ויעדים נתמכים.

סוכנים ומאגרי סוכנים

בהתאם למקור וליעד, יכול להיות שתצטרכו ליצור ולהגדיר מאגר סוכנים ולהתקין סוכנים במכונה עם גישה למקור או ליעד.

בהעברות מ-Amazon S3, מ-Microsoft Azure, מרשימות של כתובות URL או מ-Cloud Storage ל-Cloud Storage אין צורך בסוכנים ובמאגרי סוכנים.
בהעברות שהמקור ו/או היעד שלהן הם מערכת קבצים, או מאחסון תואם S3, נדרשים סוכנים ומאגרי סוכנים. הוראות לביצוע הפעולה מופיעות במאמר ניהול מאגרי נציגים.

לפני שמתחילים

לפני שאתם מגדירים את ההעברות, ודאו שהגדרתם את הגישה:

למשתמשים ולחשבונות שירות:
- הרשאות משתמש נדרשות
- הרשאות ברמת הפרויקט שמבוססות על סוכנים
לנתוני המקור וליעד.

אם אתם משתמשים בפקודות של gcloud, התקינו את ה-CLI של gcloud.

יצירת העברה

אל תכללו בשם של משימת ההעברה מידע רגיש כמו פרטים אישיים מזהים (PII) או נתוני אבטחה. יכול להיות ששמות המשאבים יופצו לשמות של משאבים אחרים ב-Google Cloud, וייחשפו למערכות פנימיות של Google מחוץ לפרויקט שלכם.

מסוף Google Cloud

נכנסים לדף Storage Transfer Service במסוף Google Cloud .

כניסה ל-Storage Transfer Service
לוחצים על Transfer. נפתח הדף Create a transfer job.
בוחרים מקור:
Cloud Storage
כדי לבחור קטגוריות מקור ויעד, לחשבון המשתמש צריכה להיות ההרשאה storage.buckets.get. אפשר גם להקליד ישירות את שם הקטגוריה. פתרון בעיות שקשורות לגישה
1. בקטע סוג מקור, בוחרים באפשרות Cloud Storage.
2. בוחרים את סוג היעד.
3. אם היעד הוא Cloud Storage, בוחרים את Scheduling mode. העברות באצווה מתבצעות באופן חד-פעמי או מתוזמן. העברות מבוססות-אירועים עוקבות באופן רציף אחרי המקור ומעבירות נתונים כשהם מתווספים או משתנים.
  
  כדי להגדיר העברה מבוססת-אירועים, פועלים לפי ההוראות במאמר העברות מבוססות-אירועים.
4. לוחצים על השלב הבא.
5. בוחרים קטגוריה ו(אופציונלי) תיקייה בקטגוריה הזו באחת מהדרכים הבאות:
  
  בשדה Bucket or folder, מזינים שם ונתיב של קטגוריה קיימת ב-Cloud Storage, בלי הקידומת gs://. לדוגמה, my-test-bucket/path/to/files. כדי לציין קטגוריה של Cloud Storage מפרויקט אחר, מקלידים את השם המדויק בשדה Bucket name.
  
  כדי לבחור רשימה של קטגוריות קיימות בפרויקטים, לוחצים על Browse ובוחרים קטגוריה.
  
  כשלוחצים על Browse, אפשר לבחור קטגוריות בפרויקטים אחרים על ידי לחיצה על Project ID, ואז לבחור את מזהה הפרויקט והקטגוריה החדשים.
  
  כדי ליצור קטגוריה חדשה, לוחצים על Create new bucket.
  
  אם אתם מציינים נתיב בתוך התיקייה, קראו את הפרטים החשובים בקטע ציון נתיבי מקור ויעד.
6. אם מדובר בהעברה מבוססת-אירועים, מזינים את שם המינוי ל-Pub/Sub בפורמט הבא:
  
  projects/PROJECT_NAME/subscriptions/SUBSCRIPTION_ID
7. אפשר גם לסנן אובייקטים לפי קידומת, לפי תאריך השינוי האחרון או לפי סוג האחסון. אם ציינתם תיקייה כמיקום המקור, מסנני הקידומת הם ביחס לתיקייה הזו. לדוגמה, אם המקור הוא my-test-bucket/path/, מסנן הכללה של file כולל את כל הקבצים שמתחילים ב-my-test-bucket/path/file.
8. לוחצים על השלב הבא.
Amazon S3
העברה מ-Amazon S3 ל-Cloud Storage

אחסון תואם ל-S3
העברה מאחסון תואם-S3 ל-Cloud Storage
אחסון בלובים של מיקרוסופט Azure
אפשר להשתמש ב-Storage Transfer Service כדי להעביר נתונים מהאזורים הבאים של Microsoft Azure Storage:
אמריקה: מזרח ארה"ב, מזרח ארה"ב 2, מערב ארה"ב, מערב ארה"ב 2, מערב ארה"ב 3, מרכז ארה"ב, צפון מרכז ארה"ב, דרום מרכז ארה"ב, מערב מרכז ארה"ב, מרכז קנדה, מזרח קנדה, דרום ברזיל

אסיה והאוקיינוס השקט: מרכז אוסטרליה, מזרח אוסטרליה, דרום-מזרח אוסטרליה, מרכז הודו, דרום הודו, מערב הודו, דרום-מזרח אסיה, מזרח אסיה, מזרח יפן, מערב יפן, דרום קוריאה, מרכז קוריאה

אירופה, המזרח התיכון ואפריקה (EMEA): מרכז צרפת, מערב-מרכז גרמניה, מזרח נורווגיה, מרכז שוודיה, צפון שווייץ, צפון אירופה, מערב אירופה, דרום בריטניה, מערב בריטניה, מרכז קטאר, צפון איחוד האמירויות הערביות, צפון דרום אפריקה
1. בקטע סוג המקור, בוחרים באפשרות Azure Blob Storage או Data Lake Storage Gen2.
2. לוחצים על השלב הבא.
3. מציינים את הפרטים הבאים:
  
  ‫Storage account name – שם חשבון המקור ב-Microsoft Azure Storage.
  
  שם החשבון לאחסון מוצג בפורטל Microsoft Azure Storage בקטע All services > Storage > Storage accounts.
  
  שם מאגר – שם המאגר ב-Microsoft Azure Storage.
  
  שם המאגר מופיע בפורטל Microsoft Azure Storage בקטע Storage explorer > Blob containers. כדי להעביר את כל הקונטיינרים בחשבון אחסון, מזינים את הערך *. מידע נוסף זמין במאמר העברת כל הקונטיינרים בחשבון Azure Storage.
  
  ‫Shared access signature (SAS) – טוקן ה-SAS של Microsoft Azure Storage שנוצר ממדיניות גישה מאוחסנת. מידע נוסף זמין במאמר Grant limited access to Azure Storage resources using shared access signatures (SAS)‎.
  זמן התפוגה שמוגדר כברירת מחדל לאסימוני SAS הוא 8 שעות. כשיוצרים את אסימון ה-SAS, חשוב להגדיר זמן תפוגה סביר שיאפשר להשלים את ההעברה.
  זהירות: אי אפשר לבטל אסימוני SAS בסיסיים, והדרך היחידה לבטל את התוקף של אסימון SAS בסיסי היא להסיר את מפתח הגישה לאחסון של החשבון. מומלץ מאוד ליצור אסימוני SAS ממדיניות גישה שמורה, כדי שתוכלו לבטל מדיניות כדי לפסול אסימון SAS. מידע נוסף זמין במאמר שיטות מומלצות לשימוש ב-SAS.
  
  הערה: כשיוצרים מפתח SAS, חשוב להימנע מהכללת הגבלת IP. השירות Storage Transfer Service משתמש בכתובות IP שונות ולא תומך בהגבלת כתובות IP.
4. אפשר גם לסנן אובייקטים לפי קידומת, לפי תאריך השינוי האחרון או לפי סוג האחסון. אם ציינתם תיקייה כמיקום המקור, מסנני הקידומת הם ביחס לתיקייה הזו. לדוגמה, אם המקור הוא my-test-bucket/path/, מסנן הכללה של file כולל את כל הקבצים שמתחילים ב-my-test-bucket/path/file.
5. לוחצים על השלב הבא.
מערכת קבצים
1. בקטע Source type, בוחרים באפשרות מערכת קבצים POSIX.
2. בוחרים את סוג היעד ולוחצים על השלב הבא.
3. בוחרים מאגר סוכנים קיים, או לוחצים על Create agent pool ופועלים לפי ההוראות כדי ליצור מאגר חדש.
4. צריך לציין את הנתיב המלא של ספריית מערכת הקבצים. אם מציינים נתיב שאינו הבסיס, עיינו בפרטים החשובים במאמר ציון נתיבי מקור ויעד.
5. לוחצים על השלב הבא.
HDFS
העברה מ-HDFS ל-Cloud Storage.
רשימת כתובות URL
1. בקטע סוג המקור, בוחרים באפשרות רשימת כתובות URL ולוחצים על השלב הבא.
2. בשדה URL of TSV file, מזינים את כתובת ה-URL של קובץ ערכים מופרדים בטאבים (TSV). במאמר יצירת רשימת כתובות URL מוסבר איך ליצור את קובץ ה-TSV.
3. אפשר גם לסנן אובייקטים לפי קידומת, לפי תאריך השינוי האחרון או לפי סוג האחסון. אם ציינתם תיקייה כמיקום המקור, מסנני הקידומת הם ביחס לתיקייה הזו. לדוגמה, אם המקור הוא my-test-bucket/path/, מסנן הכללה של file כולל את כל הקבצים שמתחילים ב-my-test-bucket/path/file.
4. לוחצים על השלב הבא.
בוחרים יעד:
Cloud Storage
1. בשדה Bucket or folder, מזינים את שם קטגוריית היעד ואת שם התיקייה (אופציונלי), או לוחצים על Browse כדי לבחור קטגוריה מרשימת הקטגוריות הקיימות בפרויקט הנוכחי. כדי ליצור קטגוריה חדשה, לוחצים על Create new bucket.
  
  אם אתם מציינים נתיב בתוך הקטגוריה, קראו את הפרטים החשובים בקטע ציון נתיבי מקור ויעד.
2. לוחצים על השלב הבא.
3. בוחרים את אפשרויות התזמון:
  
  הערה: השירות Storage Transfer Service מציג את לוחות הזמנים של משימות ההעברה באזור הזמן המקומי שלכם, אבל מאחסן את הזמנים האלה בזמן אוניברסלי מתואם (UTC). אם אתם מושפעים משעון הקיץ (DST), יכול להיות שתחוו שינוי בלוח הזמנים של משימת ההעברה כששעון הקיץ מתחיל או מסתיים.
  
  ברשימה הנפתחת הפעלה חד-פעמית, בוחרים אחת מהאפשרויות הבאות:
  
  ‫Run once: הפעלה של העברה אחת, החל מהשעה שבחרתם.
  
  ‫Run every day: הפעלת העברה מדי יום, החל מהשעה שבחרתם.
  
  אפשר להזין תאריך סיום אופציונלי, או להשאיר את השדה End date ריק כדי שההעברה תפעל באופן רציף.
  
  ‫Run every week: הפעלת העברה מדי שבוע, החל מהשעה שבחרתם.
  
  ‫Run with custom frequency: הפעלת העברה בתדירות שאתם בוחרים. אפשר לבחור לחזור על ההעברה במרווחי זמן קבועים של שעות, ימים או שבועות.
  
  אפשר להזין תאריך סיום אופציונלי, או להשאיר את השדה End date ריק כדי להפעיל את ההעברה באופן רציף.
  
  בתפריט הנפתח החל מעכשיו, בוחרים אחת מהאפשרויות הבאות:
  
  התחלה עכשיו: ההעברה תתחיל אחרי שתלחצו על יצירה.
  
  ‫Starting on: ההעברה תתחיל בתאריך ובשעה שתבחרו. לוחצים על Calendar כדי להציג לוח שנה ולבחור את תאריך ההתחלה.
4. לוחצים על השלב הבא.
5. בוחרים את ההגדרות של משימת ההעברה. חלק מהאפשרויות זמינות רק לשילובים מסוימים של מקור/כיור.
  
  בשדה Description, מזינים תיאור של ההעברה. מומלץ להזין תיאור משמעותי וייחודי כדי שתוכלו להבדיל בין המשימות.
  
  בקטע Metadata options, בוחרים אם להשתמש באפשרויות ברירת המחדל או לוחצים על View and select options כדי לציין ערכים לכל המטא-נתונים הנתמכים. פרטים נוספים זמינים במאמר שמירת מטא-נתונים.
  
  בקטע מתי להחליף, בוחרים אחת מהאפשרויות הבאות:
  
  אם שונה: החלפת קובצי היעד אם לקובץ המקור עם אותו שם יש ערכי Etag או סיכום ביקורת (checksum) שונים.
  
  תמיד: תמיד מחליף את קובצי היעד כשלמקור יש את אותו שם, גם אם הם זהים.
  
  בקטע מתי למחוק, בוחרים אחת מהאפשרויות הבאות:
  
  אף פעם: אף פעם לא למחוק קבצים מהמקור או מהיעד.
  
  ‫Delete file from source after they're transferred: מחיקת קבצים מהמקור אחרי שהם מועברים ליעד. אם קובץ מקור לא מועבר, למשל כי הוא כבר קיים ביעד, קובץ המקור לא נמחק.
  
  חשוב: אם אין לכם גיבוי מקומי, אי אפשר לבטל את הפעולה הזו.
  
  Delete files from destination if they're not also at source: אם הקבצים בקטגוריית היעד של Cloud Storage לא נמצאים גם במקור, הקבצים נמחקים מקטגוריית Cloud Storage.
  
  האפשרות הזו מבטיחה שקטגוריית היעד של Cloud Storage תהיה זהה למקור.
  
  בהעברות בין קטגוריות של Cloud Storage, בוחרים אם להעביר תיקיות מנוהלות.
  
  הפעלה או השבתה של רישום ביומן של Storage Transfer Service.
  
  בקטע Notification options, בוחרים את נושא Pub/Sub ואת האירועים שעליהם רוצים לקבל התראות. לפרטים נוספים, ראו התראות Pub/Sub.
6. אם אתם מקצים הרשאות של סוכן שירות לחשבון שירות בניהול המשתמש, בחרו באפשרות הזו והזינו את כתובת האימייל של חשבון השירות בפורמט SERVICE_ACCOUNT_NAME@PROJECT_ID..
7. לוחצים על יצירה.
מערכת קבצים
1. בוחרים מאגר סוכנים קיים או לוחצים על Create agent pool ופועלים לפי ההוראות כדי ליצור מאגר חדש.
2. מציינים את הנתיב המלא של ספריית היעד. אם מציינים נתיב שאינו הבסיס, עיינו בפרטים החשובים במאמר ציון נתיבי מקור ויעד. אם הנתיב שציינתם לא קיים, נציג ההעברה ינסה ליצור את מבנה הספרייה במערכת הקבצים של היעד במהלך תהליך ההעברה. לסוכן צריכות להיות הרשאות הכתיבה הנדרשות בספריית האם.
3. לוחצים על השלב הבא.
4. בוחרים את אפשרויות התזמון:
  
  הערה: השירות Storage Transfer Service מציג את לוחות הזמנים של משימות ההעברה באזור הזמן המקומי שלכם, אבל מאחסן את הזמנים האלה בזמן אוניברסלי מתואם (UTC). אם אתם מושפעים משעון הקיץ (DST), יכול להיות שתחוו שינוי בלוח הזמנים של משימת ההעברה כששעון הקיץ מתחיל או מסתיים.
  
  ברשימה הנפתחת הפעלה חד-פעמית, בוחרים אחת מהאפשרויות הבאות:
  
  ‫Run once: הפעלה של העברה אחת, החל מהשעה שבחרתם.
  
  ‫Run every day: הפעלת העברה מדי יום, החל מהשעה שבחרתם.
  
  אפשר להזין תאריך סיום אופציונלי, או להשאיר את השדה End date ריק כדי שההעברה תפעל באופן רציף.
  
  ‫Run every week: הפעלת העברה מדי שבוע, החל מהשעה שבחרתם.
  
  ‫Run with custom frequency: הפעלת העברה בתדירות שאתם בוחרים. אפשר לבחור לחזור על ההעברה במרווחי זמן קבועים של שעות, ימים או שבועות.
  
  אפשר להזין תאריך סיום אופציונלי, או להשאיר את השדה End date ריק כדי להפעיל את ההעברה באופן רציף.
  
  בתפריט הנפתח החל מעכשיו, בוחרים אחת מהאפשרויות הבאות:
  
  התחלה עכשיו: ההעברה תתחיל אחרי שתלחצו על יצירה.
  
  ‫Starting on: ההעברה תתחיל בתאריך ובשעה שתבחרו. לוחצים על Calendar כדי להציג לוח שנה ולבחור את תאריך ההתחלה.
5. לוחצים על השלב הבא.
6. מציינים אם להשתמש בקובץ מניפסט.
7. בוחרים אם לשמור את המטא-נתונים, מתי להחליף את הקבצים ומתי למחוק קבצים במקור או ביעד.
8. בוחרים את אפשרויות הרישום ביומן.
9. בקטע Notification options, בוחרים את נושא Pub/Sub ואת האירועים שעליהם רוצים לקבל התראות. לפרטים נוספים, ראו התראות Pub/Sub.
10. אם אתם מקצים הרשאות של סוכן שירות לחשבון שירות בניהול המשתמש, בחרו באפשרות הזו והזינו את כתובת האימייל של חשבון השירות בפורמט SERVICE_ACCOUNT_NAME@PROJECT_ID..
11. כדי ליצור את משימת ההעברה, לוחצים על Create.

‫CLI של gcloud

כדי ליצור משימת העברה חדשה, משתמשים בפקודה gcloud transfer jobs create. יצירת משימה חדשה מפעילה את ההעברה שצוינה, אלא אם צוין לוח זמנים או --do-not-run.

gcloud transfer jobs create \
  SOURCE DESTINATION

מחליפים את מה שכתוב בשדות הבאים:

‫SOURCE הוא מקור הנתונים של ההעברה הזו. הפורמט של כל מקור הוא:
- ‫Cloud Storage: gs://BUCKET_NAME. כדי להעביר מתיקייה ספציפית, מציינים את gs://BUCKET_NAME/FOLDER_PATH/, כולל הלוכסן בסוף.
- ‫Amazon S3:‏ s3://BUCKET_NAME/FOLDER_PATH
- אחסון תואם ל-S3: ‏s3://BUCKET_NAME. שם הקטגוריה הוא יחסי לנקודת הקצה. לדוגמה, אם הנתונים נמצאים ב-https://us-east-1.example.com/folder1/bucket_a, מזינים s3://folder1/bucket_a.
- Microsoft Azure Storage: https://myaccount.blob.core.windows.net/CONTAINER_NAME
- רשימת כתובות URL: ‏https://PATH_TO_URL_LIST או http://PATH_TO_URL_LIST
- מערכת קבצים של POSIX:‏ posix:///PATH. הנתיב חייב להיות נתיב מוחלט מהרמה הבסיסית (root) של המכונה המארחת של הנציג.
- HDFS: hdfs:///PATH
אם אתם מציינים ערך של נתיב או תיקייה, קראו את הפרטים החשובים במאמר ציון נתיבי מקור ויעד.
‫DESTINATION הוא אחד מהבאים:
- ‫Cloud Storage: gs://BUCKET_NAME. כדי להעביר לספרייה ספציפית, צריך לציין את gs://BUCKET_NAME/FOLDER_PATH/, כולל הלוכסן בסוף.
- מערכת קבצים של POSIX:‏ posix:///PATH. הנתיב חייב להיות נתיב מוחלט מהרמה הבסיסית (root) של המכונה המארחת של הנציג. אם הנתיב שציינתם לא קיים, נציג ההעברה ינסה ליצור את מבנה הספרייה במערכת הקבצים של היעד במהלך תהליך ההעברה. לנציג צריכות להיות הרשאות הכתיבה הנדרשות בספריית האם.
אם אתם מציינים ערך של נתיב או תיקייה, קראו את הפרטים החשובים במאמר ציון נתיבי מקור ויעד.

אם ההעברה דורשת סוכני העברה, האפשרויות הבאות זמינות:

השדה --source-agent-pool מציין את מאגר הסוכנים במקור שבו צריך להשתמש בהעברה הזו. נדרש להעברות שמקורן במערכת קבצים.
‫--destination-agent-pool מציין את מאגר הנציגים ביעד שבו יש להשתמש בהעברה הזו. נדרש להעברות למערכת קבצים.
‫--intermediate-storage-path הוא הנתיב לקטגוריה של Cloud Storage, בפורמט gs://my-intermediary-bucket. נדרש להעברות בין שתי מערכות קבצים. במאמר יצירת קטגוריה של Cloud Storage כמתווכת מוסבר איך יוצרים את הקטגוריה המתווכת.

האפשרויות הנוספות כוללות:

‫--source-creds-file מציין את הנתיב היחסי לקובץ מקומי במחשב שלכם, שכולל את פרטי הכניסה ל-AWS או ל-Azure של מקור ההעברה. למידע על הפורמט של קובץ פרטי הכניסה, עיינו במאמר העזר בנושא TransferSpec.
הדגל --do-not-run מונע מ-Storage Transfer Service להריץ את המשימה אחרי שליחת הפקודה. כדי להריץ את המשימה, עדכנו אותה כדי להוסיף לוח זמנים, או השתמשו ב-jobs run כדי להפעיל אותה ידנית.
--manifest-file מציין את הנתיב לקובץ CSV ב-Cloud Storage שמכיל רשימה של קבצים להעברה מהמקור. במאמר העברת קבצים או אובייקטים ספציפיים באמצעות מניפסט מוסבר איך מעצבים קובץ מניפסט.
פרטי המשימה: אפשר לציין את --name, --description ו---source-creds-file. שימו לב שאין תמיכה ב---name למשימות רפליקציה בין קטגוריות.
‫Schedule: מציינים את הערכים --schedule-starts,‏ --schedule-repeats-every ו---schedule-repeats-until, או --do-not-run.
תנאי אובייקטים: משתמשים בתנאים כדי לקבוע אילו אובייקטים יועברו. התנאים האלה כוללים את --include-prefixes ו---exclude-prefixes, ואת התנאים שמבוססים על זמן ב---include-modified-[before | after]-[absolute | relative]. אם ציינתם תיקייה במקור, מסנני הקידומת יהיו יחסיים לתיקייה הזו. מידע נוסף מופיע במאמר סינון אובייקטים של מקור לפי קידומת.

תנאי אובייקטים לא נתמכים בהעברות שכוללות מערכות קבצים.
אפשרויות העברה: מציינים אם להחליף את קובצי היעד (--overwrite-when=different או always) ואם למחוק קבצים מסוימים במהלך ההעברה או אחריה (--delete-from=destination-if-unique או source-after-transfer). מציינים אילו ערכי מטא-נתונים לשמור (--preserve-metadata), ואפשר גם להגדיר סוג אחסון לאובייקטים שמועברים (--custom-storage-class).
התראות: הגדרת התראות Pub/Sub להעברות באמצעות --notification-pubsub-topic,‏ --notification-event-types ו---notification-payload-format.
‫Cloud Logging: הפעלת Cloud Logging להעברות ללא סוכן, או להעברות ממקורות תואמי S3, באמצעות --log-actions ו---log-action-states. לפרטים, ראו Cloud Logging לשירות Storage Transfer Service.

בהעברות ממקורות תואמי S3 משתמשים גם באפשרויות הבאות:

‫--source-endpoint (חובה) מציין את נקודת הקצה של מערכת האחסון. לדוגמה, s3.example.com. כדי לדעת מהו הפורמט הנכון, צריך לפנות לספק. אל תציינו את הפרוטוקול (http:// או https://).
‫--source-signing-region מציין אזור לבקשות חתומות. אם ספק האחסון לא דורש אזור חתימה, אפשר להשמיט את הדגל הזה.
‫--source-auth-method מציין את שיטת האימות שבה צריך להשתמש. הערכים התקינים הם AWS_SIGNATURE_V2 או AWS_SIGNATURE_V4. מידע נוסף זמין במסמכי התיעוד של אמזון בנושא SigV4 ו-SigV2.
--source-request-model מציין את סגנון הפנייה שבו צריך להשתמש. הערכים המותרים הם PATH_STYLE או VIRTUAL_HOSTED_STYLE. סגנון הנתיב משתמש בפורמט https://s3.example.com/BUCKET_NAME/KEY_NAME. בסגנון אירוח וירטואלי משתמשים בפורמט `https://BUCKET_NAME.s3.example.com/KEY_NAME.
‫--source-network-protocol מציין את פרוטוקול הרשת שבו הסוכנים צריכים להשתמש במשימה הזו. הערכים התקינים הם HTTP או HTTPS.
‫--source-list-api מציין את הגרסה של S3 listing API להחזרת אובייקטים מהקטגוריה. הערכים התקינים הם LIST_OBJECTS או LIST_OBJECTS_V2. מידע נוסף זמין במסמכי התיעוד של אמזון בנושא ListObjectsV2 ו-ListObjects.

כדי לראות את כל האפשרויות, מריצים את gcloud transfer jobs create --help או מעיינים במאמרי העזרה של gcloud.

דוגמאות

מ-Cloud Storage למערכת קבצים

כדי להעביר מקטגוריה של Cloud Storage למערכת קבצים, צריך לציין את הפרטים הבאים.

gcloud transfer jobs create \
  gs://my-storage-bucket posix:///tmp/destination \
  --destination-agent-pool=my-destination-agent-pool

ממערכת קבצים למערכת קבצים

כדי להעביר נתונים בין שתי מערכות קבצים, צריך לציין מאגר סוכנים של מקור, מאגר סוכנים של יעד וקטגוריה של Cloud Storage שדרכה הנתונים עוברים.

פרטים נוספים על קטגוריית הביניים זמינים במאמר יצירת קטגוריה של Cloud Storage כגורם מתווך.

לאחר מכן, מציינים את 3 המשאבים האלה כשקוראים ל-transfer jobs create:

gcloud transfer jobs create \
  posix:///tmp/source/on/systemA posix:///tmp/destination/on/systemB \
  --source-agent-pool=source_agent_pool \
  --destination-agent-pool=destination_agent_pool \
  --intermediate-storage-path=gs://my-intermediary-bucket

REST

הדוגמאות הבאות מראות איך להשתמש ב-Storage Transfer Service באמצעות ה-API בארכיטקטורת REST.

כשמגדירים או עורכים משימות העברה באמצעות Storage Transfer Service API, צריך להזין את השעה ב-UTC. למידע נוסף על הגדרת לוח הזמנים של משימת העברה, ראו לוח זמנים.

העברה בין קטגוריות של Cloud Storage

בדוגמה הזו תלמדו איך להעביר קבצים מקטגוריה אחת של Cloud Storage לקטגוריה אחרת. לדוגמה, אתם יכולים להעביר נתונים לקטגוריה במיקום אחר.

בקשה באמצעות transferJobs create:

POST https://storagetransfer.googleapis.com/v1/transferJobs
{
  "description": "YOUR DESCRIPTION",
  "status": "ENABLED",
  "projectId": "PROJECT_ID",
  "schedule": {
      "scheduleStartDate": {
          "day": 1,
          "month": 1,
          "year": 2015
      },
      "startTimeOfDay": {
          "hours": 1,
          "minutes": 1
      }
  },
  "transferSpec": {
      "gcsDataSource": {
          "bucketName": "GCS_SOURCE_NAME"
      },
      "gcsDataSink": {
          "bucketName": "GCS_SINK_NAME"
      },
      "transferOptions": {
          "deleteObjectsFromSourceAfterTransfer": true
      }
  }
}

תשובה:

200 OK
{
  "transferJob": [
      {
          "creationTime": "2015-01-01T01:01:00.000000000Z",
          "description": "YOUR DESCRIPTION",
          "name": "transferJobs/JOB_ID",
          "status": "ENABLED",
          "lastModificationTime": "2015-01-01T01:01:00.000000000Z",
          "projectId": "PROJECT_ID",
          "schedule": {
              "scheduleStartDate": {
                  "day": 1,
                  "month": 1,
                  "year": 2015
              },
              "startTimeOfDay": {
                  "hours": 1,
                  "minutes": 1
              }
          },
          "transferSpec": {
              "gcsDataSource": {
                  "bucketName": "GCS_SOURCE_NAME",
              },
              "gcsDataSink": {
                  "bucketName": "GCS_NEARLINE_SINK_NAME"
              },
              "objectConditions": {
                  "minTimeElapsedSinceLastModification": "2592000.000s"
              },
              "transferOptions": {
                  "deleteObjectsFromSourceAfterTransfer": true
              }
          }
      }
  ]
}

העברה מ-Amazon S3 ל-Cloud Storage

העברה בין Microsoft Azure Blob Storage לבין Cloud Storage

בדוגמה הזו תלמדו איך להעביר קבצים מ-Microsoft Azure Storage לקטגוריה של Cloud Storage, באמצעות אסימון חתימת גישה משותפת (SAS) של Microsoft Azure Storage.

מידע נוסף על Microsoft Azure Storage SAS זמין במאמר Grant limited access to Azure Storage resources using shared access signatures (SAS)‎.

לפני שמתחילים, כדאי לקרוא את המאמרים הגדרת הגישה ל-Microsoft Azure Storage ותמחור כדי להבין את ההשלכות של העברת נתונים מ-Microsoft Azure Storage ל-Cloud Storage.

אפשר להשתמש ב-Storage Transfer Service כדי להעביר נתונים מהאזורים הבאים של Microsoft Azure Storage:

אמריקה: מזרח ארה"ב, מזרח ארה"ב 2, מערב ארה"ב, מערב ארה"ב 2, מערב ארה"ב 3, מרכז ארה"ב, צפון מרכז ארה"ב, דרום מרכז ארה"ב, מערב מרכז ארה"ב, מרכז קנדה, מזרח קנדה, דרום ברזיל
אסיה והאוקיינוס השקט: מרכז אוסטרליה, מזרח אוסטרליה, דרום-מזרח אוסטרליה, מרכז הודו, דרום הודו, מערב הודו, דרום-מזרח אסיה, מזרח אסיה, מזרח יפן, מערב יפן, דרום קוריאה, מרכז קוריאה
אירופה, המזרח התיכון ואפריקה (EMEA): מרכז צרפת, מערב-מרכז גרמניה, מזרח נורווגיה, מרכז שוודיה, צפון שווייץ, צפון אירופה, מערב אירופה, דרום בריטניה, מערב בריטניה, מרכז קטאר, צפון איחוד האמירויות הערביות, צפון דרום אפריקה

בקשה באמצעות transferJobs create:

POST https://storagetransfer.googleapis.com/v1/transferJobs
{
  "description": "YOUR DESCRIPTION",
  "status": "ENABLED",
  "projectId": "PROJECT_ID",
  "schedule": {
      "scheduleStartDate": {
          "day": 14,
          "month": 2,
          "year": 2020
      },
      "scheduleEndDate": {
          "day": 14
          "month": 2,
          "year": 2020
      },
      "startTimeOfDay": {
          "hours": 1,
          "minutes": 1
      }
  },
  "transferSpec": {
      "azureBlobStorageDataSource": {
          "storageAccount": "AZURE_SOURCE_NAME",
          "azureCredentials": {
              "sasToken": "AZURE_SAS_TOKEN",
          },
          "container": "AZURE_CONTAINER",
      },
      "gcsDataSink": {
          "bucketName": "GCS_SINK_NAME"
      }
  }
}

תשובה:

200 OK
{
  "transferJob": [
      {
          "creationTime": "2020-02-14T01:01:00.000000000Z",
          "description": "YOUR DESCRIPTION",
          "name": "transferJobs/JOB_ID",
          "status": "ENABLED",
          "lastModificationTime": "2020-02-14T01:01:00.000000000Z",
          "projectId": "PROJECT_ID",
          "schedule": {
              "scheduleStartDate": {
                  "day": 14
                  "month": 2,
                  "year": 2020
              },
              "scheduleEndDate": {
                  "day": 14,
                  "month": 2,
                  "year": 2020
              },
              "startTimeOfDay": {
                  "hours": 1,
                  "minutes": 1
              }
          },
          "transferSpec": {
              "azureBlobStorageDataSource": {
                  "storageAccount": "AZURE_SOURCE_NAME",
                  "azureCredentials": {
                      "sasToken": "AZURE_SAS_TOKEN",
                  },
                  "container": "AZURE_CONTAINER",
              },
              "objectConditions": {},
              "transferOptions": {}
          }
      }
  ]
}

העברה ממערכת קבצים

העברה ממערכת קבצים ל-Cloud Storage

ספריות לקוח

הדוגמאות הבאות ממחישות איך להשתמש ב-Storage Transfer Service באופן פרוגרמטי באמצעות Go,‏ Java,‏ Node.js ו-Python.

כשמגדירים או עורכים משימות העברה באופן פרוגרמטי, צריך להגדיר את השעה לפי אזור הזמן UTC. למידע נוסף על הגדרת לוח הזמנים של משימת העברה, ראו לוח זמנים.

מידע נוסף על ספריות הלקוח של Storage Transfer Service זמין במאמר תחילת השימוש בספריות הלקוח של Storage Transfer Service.

העברה בין קטגוריות של Cloud Storage

המשך

import (
	"context"
	"fmt"
	"io"
	"time"

	"google.golang.org/genproto/googleapis/type/date"
	"google.golang.org/genproto/googleapis/type/timeofday"
	"google.golang.org/protobuf/types/known/durationpb"

	storagetransfer "cloud.google.com/go/storagetransfer/apiv1"
	"cloud.google.com/go/storagetransfer/apiv1/storagetransferpb"
)

func transferToNearline(w io.Writer, projectID string, gcsSourceBucket string, gcsNearlineSinkBucket string) (*storagetransferpb.TransferJob, error) {
	// Your Google Cloud Project ID
	// projectID := "my-project-id"

	// The name of the GCS bucket to transfer objects from
	// gcsSourceBucket := "my-source-bucket"

	// The name of the Nearline GCS bucket to transfer objects to
	// gcsNearlineSinkBucket := "my-sink-bucket"

	ctx := context.Background()
	client, err := storagetransfer.NewClient(ctx)
	if err != nil {
		return nil, fmt.Errorf("storagetransfer.NewClient: %w", err)
	}
	defer client.Close()

	// A description of this job
	jobDescription := "Transfers objects that haven't been modified in 30 days to a Nearline bucket"

	// The time to start the transfer
	startTime := time.Now().UTC()

	req := &storagetransferpb.CreateTransferJobRequest{
		TransferJob: &storagetransferpb.TransferJob{
			ProjectId:   projectID,
			Description: jobDescription,
			TransferSpec: &storagetransferpb.TransferSpec{
				DataSink: &storagetransferpb.TransferSpec_GcsDataSink{
					GcsDataSink: &storagetransferpb.GcsData{BucketName: gcsNearlineSinkBucket}},
				DataSource: &storagetransferpb.TransferSpec_GcsDataSource{
					GcsDataSource: &storagetransferpb.GcsData{BucketName: gcsSourceBucket},
				},
				ObjectConditions: &storagetransferpb.ObjectConditions{
					MinTimeElapsedSinceLastModification: &durationpb.Duration{Seconds: 2592000 /*30 days */},
				},
				TransferOptions: &storagetransferpb.TransferOptions{DeleteObjectsFromSourceAfterTransfer: true},
			},
			Schedule: &storagetransferpb.Schedule{
				ScheduleStartDate: &date.Date{
					Year:  int32(startTime.Year()),
					Month: int32(startTime.Month()),
					Day:   int32(startTime.Day()),
				},
				ScheduleEndDate: &date.Date{
					Year:  int32(startTime.Year()),
					Month: int32(startTime.Month()),
					Day:   int32(startTime.Day()),
				},
				StartTimeOfDay: &timeofday.TimeOfDay{
					Hours:   int32(startTime.Hour()),
					Minutes: int32(startTime.Minute()),
					Seconds: int32(startTime.Second()),
				},
			},
			Status: storagetransferpb.TransferJob_ENABLED,
		},
	}
	resp, err := client.CreateTransferJob(ctx, req)
	if err != nil {
		return nil, fmt.Errorf("failed to create transfer job: %w", err)
	}
	if _, err = client.RunTransferJob(ctx, &storagetransferpb.RunTransferJobRequest{
		ProjectId: projectID,
		JobName:   resp.Name,
	}); err != nil {
		return nil, fmt.Errorf("failed to run transfer job: %w", err)
	}
	fmt.Fprintf(w, "Created and ran transfer job from %v to %v with name %v", gcsSourceBucket, gcsNearlineSinkBucket, resp.Name)
	return resp, nil
}

Java

מחפשים דוגמאות ישנות יותר? המדריך להעברת נתונים (מיגרציה) של Storage Transfer Service

import com.google.protobuf.Duration;
import com.google.storagetransfer.v1.proto.StorageTransferServiceClient;
import com.google.storagetransfer.v1.proto.TransferProto.CreateTransferJobRequest;
import com.google.storagetransfer.v1.proto.TransferTypes.GcsData;
import com.google.storagetransfer.v1.proto.TransferTypes.ObjectConditions;
import com.google.storagetransfer.v1.proto.TransferTypes.Schedule;
import com.google.storagetransfer.v1.proto.TransferTypes.TransferJob;
import com.google.storagetransfer.v1.proto.TransferTypes.TransferJob.Status;
import com.google.storagetransfer.v1.proto.TransferTypes.TransferOptions;
import com.google.storagetransfer.v1.proto.TransferTypes.TransferSpec;
import com.google.type.Date;
import com.google.type.TimeOfDay;
import java.io.IOException;
import java.util.Calendar;

public class TransferToNearline {
  /**
   * Creates a one-off transfer job that transfers objects in a standard GCS bucket that are more
   * than 30 days old to a Nearline GCS bucket.
   */
  public static void transferToNearline(
      String projectId,
      String jobDescription,
      String gcsSourceBucket,
      String gcsNearlineSinkBucket,
      long startDateTime)
      throws IOException {

    // Your Google Cloud Project ID
    // String projectId = "your-project-id";

    // A short description of this job
    // String jobDescription = "Sample transfer job of old objects to a Nearline GCS bucket.";

    // The name of the source GCS bucket to transfer data from
    // String gcsSourceBucket = "your-gcs-source-bucket";

    // The name of the Nearline GCS bucket to transfer old objects to
    // String gcsSinkBucket = "your-nearline-gcs-bucket";

    // What day and time in UTC to start the transfer, expressed as an epoch date timestamp.
    // If this is in the past relative to when the job is created, it will run the next day.
    // long startDateTime =
    //     new SimpleDateFormat("yyyy-MM-dd HH:mm:ss").parse("2000-01-01 00:00:00").getTime();

    // Parse epoch timestamp into the model classes
    Calendar startCalendar = Calendar.getInstance();
    startCalendar.setTimeInMillis(startDateTime);
    // Note that this is a Date from the model class package, not a java.util.Date
    Date date =
        Date.newBuilder()
            .setYear(startCalendar.get(Calendar.YEAR))
            .setMonth(startCalendar.get(Calendar.MONTH) + 1)
            .setDay(startCalendar.get(Calendar.DAY_OF_MONTH))
            .build();
    TimeOfDay time =
        TimeOfDay.newBuilder()
            .setHours(startCalendar.get(Calendar.HOUR_OF_DAY))
            .setMinutes(startCalendar.get(Calendar.MINUTE))
            .setSeconds(startCalendar.get(Calendar.SECOND))
            .build();

    TransferJob transferJob =
        TransferJob.newBuilder()
            .setDescription(jobDescription)
            .setProjectId(projectId)
            .setTransferSpec(
                TransferSpec.newBuilder()
                    .setGcsDataSource(GcsData.newBuilder().setBucketName(gcsSourceBucket))
                    .setGcsDataSink(GcsData.newBuilder().setBucketName(gcsNearlineSinkBucket))
                    .setObjectConditions(
                        ObjectConditions.newBuilder()
                            .setMinTimeElapsedSinceLastModification(
                                Duration.newBuilder().setSeconds(2592000 /* 30 days */)))
                    .setTransferOptions(
                        TransferOptions.newBuilder().setDeleteObjectsFromSourceAfterTransfer(true)))
            .setSchedule(Schedule.newBuilder().setScheduleStartDate(date).setStartTimeOfDay(time))
            .setStatus(Status.ENABLED)
            .build();

    // Create a Transfer Service client
    StorageTransferServiceClient storageTransfer = StorageTransferServiceClient.create();

    // Create the transfer job
    TransferJob response =
        storageTransfer.createTransferJob(
            CreateTransferJobRequest.newBuilder().setTransferJob(transferJob).build());

    System.out.println("Created transfer job from standard bucket to Nearline bucket:");
    System.out.println(response.toString());
  }
}

Node.js


// Imports the Google Cloud client library
const {
  StorageTransferServiceClient,
} = require('@google-cloud/storage-transfer');

/**
 * TODO(developer): Uncomment the following lines before running the sample.
 */
// The ID of the Google Cloud Platform Project that owns the job
// projectId = 'my-project-id'

// A useful description for your transfer job
// description = 'My transfer job'

// Google Cloud Storage source bucket name
// gcsSourceBucket = 'my-gcs-source-bucket'

// Google Cloud Storage destination bucket name
// gcsSinkBucket = 'my-gcs-destination-bucket'

// Date to start daily migration
// startDate = new Date()

// Creates a client
const client = new StorageTransferServiceClient();

/**
 * Create a daily migration from a GCS bucket to another GCS bucket for
 * objects untouched for 30+ days.
 */
async function createDailyNearline30DayMigration() {
  // Runs the request and creates the job
  const [transferJob] = await client.createTransferJob({
    transferJob: {
      projectId,
      description,
      status: 'ENABLED',
      schedule: {
        scheduleStartDate: {
          day: startDate.getDate(),
          month: startDate.getMonth() + 1,
          year: startDate.getFullYear(),
        },
      },
      transferSpec: {
        gcsDataSource: {
          bucketName: gcsSourceBucket,
        },
        gcsDataSink: {
          bucketName: gcsSinkBucket,
        },
        objectConditions: {
          minTimeElapsedSinceLastModification: {
            seconds: 2592000, // 30 days
          },
        },
        transferOptions: {
          deleteObjectsFromSourceAfterTransfer: true,
        },
      },
    },
  });

  console.log(`Created transferJob: ${transferJob.name}`);
}

createDailyNearline30DayMigration();

Python

מחפשים דוגמאות ישנות יותר? המדריך להעברת נתונים (מיגרציה) של Storage Transfer Service

from datetime import datetime

from google.cloud import storage_transfer
from google.protobuf.duration_pb2 import Duration


def create_daily_nearline_30_day_migration(
    project_id: str,
    description: str,
    source_bucket: str,
    sink_bucket: str,
    start_date: datetime,
):
    """Create a daily migration from a GCS bucket to a Nearline GCS bucket
    for objects untouched for 30 days."""

    client = storage_transfer.StorageTransferServiceClient()

    # The ID of the Google Cloud Platform Project that owns the job
    # project_id = 'my-project-id'

    # A useful description for your transfer job
    # description = 'My transfer job'

    # Google Cloud Storage source bucket name
    # source_bucket = 'my-gcs-source-bucket'

    # Google Cloud Storage destination bucket name
    # sink_bucket = 'my-gcs-destination-bucket'

    transfer_job_request = storage_transfer.CreateTransferJobRequest(
        {
            "transfer_job": {
                "project_id": project_id,
                "description": description,
                "status": storage_transfer.TransferJob.Status.ENABLED,
                "schedule": {
                    "schedule_start_date": {
                        "day": start_date.day,
                        "month": start_date.month,
                        "year": start_date.year,
                    }
                },
                "transfer_spec": {
                    "gcs_data_source": {
                        "bucket_name": source_bucket,
                    },
                    "gcs_data_sink": {
                        "bucket_name": sink_bucket,
                    },
                    "object_conditions": {
                        "min_time_elapsed_since_last_modification": Duration(
                            seconds=2592000  # 30 days
                        )
                    },
                    "transfer_options": {
                        "delete_objects_from_source_after_transfer": True
                    },
                },
            }
        }
    )

    result = client.create_transfer_job(transfer_job_request)
    print(f"Created transferJob: {result.name}")

העברה מ-Amazon S3 ל-Cloud Storage

העברה בין Microsoft Azure Blob Storage לבין Cloud Storage

מידע נוסף על Microsoft Azure Storage SAS זמין במאמר Grant limited access to Azure Storage resources using shared access signatures (SAS)‎.

אפשר להשתמש ב-Storage Transfer Service כדי להעביר נתונים מהאזורים הבאים של Microsoft Azure Storage:

אמריקה: מזרח ארה"ב, מזרח ארה"ב 2, מערב ארה"ב, מערב ארה"ב 2, מערב ארה"ב 3, מרכז ארה"ב, צפון מרכז ארה"ב, דרום מרכז ארה"ב, מערב מרכז ארה"ב, מרכז קנדה, מזרח קנדה, דרום ברזיל
אסיה והאוקיינוס השקט: מרכז אוסטרליה, מזרח אוסטרליה, דרום-מזרח אוסטרליה, מרכז הודו, דרום הודו, מערב הודו, דרום-מזרח אסיה, מזרח אסיה, מזרח יפן, מערב יפן, דרום קוריאה, מרכז קוריאה
אירופה, המזרח התיכון ואפריקה (EMEA): מרכז צרפת, מערב-מרכז גרמניה, מזרח נורווגיה, מרכז שוודיה, צפון שווייץ, צפון אירופה, מערב אירופה, דרום בריטניה, מערב בריטניה, מרכז קטאר, צפון איחוד האמירויות הערביות, צפון דרום אפריקה

Go

במאמר ספריות הלקוח של Storage Transfer Service מוסבר איך להתקין את ספריית הלקוח ולהשתמש בה ב-Storage Transfer Service. למידע נוסף, קראו את מאמרי העזרה של Storage Transfer Service Go API.

כדי לבצע אימות ב-Storage Transfer Service, אתם צריכים להגדיר את Application Default Credentials. למידע נוסף, ראו הגדרת אימות לסביבת פיתוח מקומית.

import (
	"context"
	"fmt"
	"io"
	"os"

	storagetransfer "cloud.google.com/go/storagetransfer/apiv1"
	"cloud.google.com/go/storagetransfer/apiv1/storagetransferpb"
)

func transferFromAzure(w io.Writer, projectID string, azureStorageAccountName string, azureSourceContainer string, gcsSinkBucket string) (*storagetransferpb.TransferJob, error) {
	// Your Google Cloud Project ID.
	// projectID := "my-project-id"

	// The name of your Azure Storage account.
	// azureStorageAccountName := "my-azure-storage-acc"

	// The name of the Azure container to transfer objects from.
	// azureSourceContainer := "my-source-container"

	// The name of the GCS bucket to transfer objects to.
	// gcsSinkBucket := "my-sink-bucket"

	ctx := context.Background()
	client, err := storagetransfer.NewClient(ctx)
	if err != nil {
		return nil, fmt.Errorf("storagetransfer.NewClient: %w", err)
	}
	defer client.Close()

	// The Azure SAS token, should be accessed via environment variable for security
	azureSasToken := os.Getenv("AZURE_SAS_TOKEN")

	req := &storagetransferpb.CreateTransferJobRequest{
		TransferJob: &storagetransferpb.TransferJob{
			ProjectId: projectID,
			TransferSpec: &storagetransferpb.TransferSpec{
				DataSource: &storagetransferpb.TransferSpec_AzureBlobStorageDataSource{
					AzureBlobStorageDataSource: &storagetransferpb.AzureBlobStorageData{
						StorageAccount: azureStorageAccountName,
						AzureCredentials: &storagetransferpb.AzureCredentials{
							SasToken: azureSasToken,
						},
						Container: azureSourceContainer,
					},
				},
				DataSink: &storagetransferpb.TransferSpec_GcsDataSink{
					GcsDataSink: &storagetransferpb.GcsData{BucketName: gcsSinkBucket}},
			},
			Status: storagetransferpb.TransferJob_ENABLED,
		},
	}
	resp, err := client.CreateTransferJob(ctx, req)
	if err != nil {
		return nil, fmt.Errorf("failed to create transfer job: %w", err)
	}
	if _, err = client.RunTransferJob(ctx, &storagetransferpb.RunTransferJobRequest{
		ProjectId: projectID,
		JobName:   resp.Name,
	}); err != nil {
		return nil, fmt.Errorf("failed to run transfer job: %w", err)
	}
	fmt.Fprintf(w, "Created and ran transfer job from %v to %v with name %v", azureSourceContainer, gcsSinkBucket, resp.Name)
	return resp, nil
}

Java

כדי לבצע אימות ב-Storage Transfer Service, עליכם להגדיר את Application Default Credentials. למידע נוסף, ראו הגדרת אימות לסביבת פיתוח מקומית.

import com.google.storagetransfer.v1.proto.StorageTransferServiceClient;
import com.google.storagetransfer.v1.proto.TransferProto;
import com.google.storagetransfer.v1.proto.TransferProto.RunTransferJobRequest;
import com.google.storagetransfer.v1.proto.TransferTypes.AzureBlobStorageData;
import com.google.storagetransfer.v1.proto.TransferTypes.AzureCredentials;
import com.google.storagetransfer.v1.proto.TransferTypes.GcsData;
import com.google.storagetransfer.v1.proto.TransferTypes.TransferJob;
import com.google.storagetransfer.v1.proto.TransferTypes.TransferJob.Status;
import com.google.storagetransfer.v1.proto.TransferTypes.TransferSpec;
import java.io.IOException;
import java.util.concurrent.ExecutionException;

public class TransferFromAzure {
  public static void main(String[] args)
      throws IOException, ExecutionException, InterruptedException {
    // TODO(developer): Replace these variables before running the sample.
    // Your Google Cloud Project ID
    String projectId = "my-project-id";

    // Your Azure Storage Account name
    String azureStorageAccount = "my-azure-account";

    // The Azure source container to transfer data from
    String azureSourceContainer = "my-source-container";

    // The GCS bucket to transfer data to
    String gcsSinkBucket = "my-sink-bucket";

    transferFromAzureBlobStorage(
        projectId, azureStorageAccount, azureSourceContainer, gcsSinkBucket);
  }

  /**
   * Creates and runs a transfer job to transfer all data from an Azure container to a GCS bucket.
   */
  public static void transferFromAzureBlobStorage(
      String projectId,
      String azureStorageAccount,
      String azureSourceContainer,
      String gcsSinkBucket)
      throws IOException, ExecutionException, InterruptedException {

    // Your Azure SAS token, should be accessed via environment variable
    String azureSasToken = System.getenv("AZURE_SAS_TOKEN");

    TransferSpec transferSpec =
        TransferSpec.newBuilder()
            .setAzureBlobStorageDataSource(
                AzureBlobStorageData.newBuilder()
                    .setAzureCredentials(
                        AzureCredentials.newBuilder().setSasToken(azureSasToken).build())
                    .setContainer(azureSourceContainer)
                    .setStorageAccount(azureStorageAccount))
            .setGcsDataSink(GcsData.newBuilder().setBucketName(gcsSinkBucket).build())
            .build();

    TransferJob transferJob =
        TransferJob.newBuilder()
            .setProjectId(projectId)
            .setStatus(Status.ENABLED)
            .setTransferSpec(transferSpec)
            .build();

    // Initialize client that will be used to send requests. This client only needs to be created
    // once, and can be reused for multiple requests. After completing all of your requests, call
    // the "close" method on the client to safely clean up any remaining background resources,
    // or use "try-with-close" statement to do this automatically.
    try (StorageTransferServiceClient storageTransfer = StorageTransferServiceClient.create()) {
      // Create the transfer job
      TransferJob response =
          storageTransfer.createTransferJob(
              TransferProto.CreateTransferJobRequest.newBuilder()
                  .setTransferJob(transferJob)
                  .build());

      // Run the created job
      storageTransfer
          .runTransferJobAsync(
              RunTransferJobRequest.newBuilder()
                  .setProjectId(projectId)
                  .setJobName(response.getName())
                  .build())
          .get();

      System.out.println(
          "Created and ran a transfer job from "
              + azureSourceContainer
              + " to "
              + gcsSinkBucket
              + " with "
              + "name "
              + response.getName());
    }
  }
}

Node.js


// Imports the Google Cloud client library
const {
  StorageTransferServiceClient,
} = require('@google-cloud/storage-transfer');

/**
 * TODO(developer): Uncomment the following lines before running the sample.
 */
// The ID of the Google Cloud Platform Project that owns the job
// projectId = 'my-project-id'

// A useful description for your transfer job
// description = 'My transfer job'

// Azure Storage Account name
// azureStorageAccount = 'accountname'

// Azure Storage Account name
// azureSourceContainer = 'my-azure-source-bucket'

// Azure Shared Access Signature token
// azureSASToken = '?sv=...'

// Google Cloud Storage destination bucket name
// gcsSinkBucket = 'my-gcs-destination-bucket'

// Creates a client
const client = new StorageTransferServiceClient();

/**
 * Creates a one-time transfer job from Azure Blob Storage to Google Cloud Storage.
 */
async function transferFromBlobStorage() {
  // Setting the start date and the end date as the same time creates a
  // one-time transfer
  const now = new Date();
  const oneTimeSchedule = {
    day: now.getDate(),
    month: now.getMonth() + 1,
    year: now.getFullYear(),
  };

  // Runs the request and creates the job
  const [transferJob] = await client.createTransferJob({
    transferJob: {
      projectId,
      description,
      status: 'ENABLED',
      schedule: {
        scheduleStartDate: oneTimeSchedule,
        scheduleEndDate: oneTimeSchedule,
      },
      transferSpec: {
        azureBlobStorageDataSource: {
          azureCredentials: {
            sasToken: azureSASToken,
          },
          container: azureSourceContainer,
          storageAccount: azureStorageAccount,
        },
        gcsDataSink: {
          bucketName: gcsSinkBucket,
        },
      },
    },
  });

  console.log(
    `Created and ran a transfer job from '${azureSourceContainer}' to '${gcsSinkBucket}' with name ${transferJob.name}`
  );
}

transferFromBlobStorage();

Python

from datetime import datetime

from google.cloud import storage_transfer


def create_one_time_azure_transfer(
    project_id: str,
    description: str,
    azure_storage_account: str,
    azure_sas_token: str,
    source_container: str,
    sink_bucket: str,
):
    """Creates a one-time transfer job from Azure Blob Storage to Google Cloud
    Storage."""

    # Initialize client that will be used to create storage transfer requests.
    # This client only needs to be created once, and can be reused for
    # multiple requests.
    client = storage_transfer.StorageTransferServiceClient()

    # The ID of the Google Cloud Platform Project that owns the job
    # project_id = 'my-project-id'

    # A useful description for your transfer job
    # description = 'My transfer job'

    # Azure Storage Account name
    # azure_storage_account = 'accountname'

    # Azure Shared Access Signature token
    # azure_sas_token = '?sv=...'

    # Azure Blob source container name
    # source_container = 'my-azure-source-bucket'

    # Google Cloud Storage destination bucket name
    # sink_bucket = 'my-gcs-destination-bucket'

    now = datetime.utcnow()
    # Setting the start date and the end date as
    # the same time creates a one-time transfer
    one_time_schedule = {"day": now.day, "month": now.month, "year": now.year}

    transfer_job_request = storage_transfer.CreateTransferJobRequest(
        {
            "transfer_job": {
                "project_id": project_id,
                "description": description,
                "status": storage_transfer.TransferJob.Status.ENABLED,
                "schedule": {
                    "schedule_start_date": one_time_schedule,
                    "schedule_end_date": one_time_schedule,
                },
                "transfer_spec": {
                    "azure_blob_storage_data_source": {
                        "storage_account": azure_storage_account,
                        "azure_credentials": {"sas_token": azure_sas_token},
                        "container": source_container,
                    },
                    "gcs_data_sink": {
                        "bucket_name": sink_bucket,
                    },
                },
            }
        }
    )

    result = client.create_transfer_job(transfer_job_request)
    print(f"Created transferJob: {result.name}")

העברה ממערכת קבצים

העברה ממערכת קבצים ל-Cloud Storage

הגדרת נתיבי מקור ויעד

נתיבי מקור ויעד מאפשרים להעביר נתונים שנמצאים תחת קידומת ספציפית, ולשלוט במיקום של הנתונים האלה ביעד.

נתיב המקור: משמש כתיקיית השורש של ההעברה. רק אובייקטים בנתיב הזה מועברים, ונתיב המקור מוסר מתחילת שמות האובייקטים לפני שהם מועתקים ליעד.
נתיב היעד: משמש כקידומת שמתווספת לכל שמות האובייקטים ביעד. בהעברות של מערכת קבצים, מציין את התיקייה שאליה מועברים האובייקטים.

אפשר לציין נתיבי מקור לכל מקורות הנתונים.

דוגמאות

ציון נתיב יעד בלבד

נניח שיש לכם את object.txt ברמה הבסיסית (root) של קטגוריה של Cloud Storage בשם bucketA.

אם מעבירים אל bucketB ומגדירים נתיב יעד בשם alpha/, הקובץ מועתק אל bucketB/alpha/object.txt.

ציון נתיבי המקור והיעד

נניח שאתם רוצים להעביר נתונים בין שתי קטגוריות של Cloud Storage:

קטגוריית המקור: bucketA עם הנתיב alpha/
קטגוריית היעד: bucketB עם הנתיב bravo/

אובייקט ב-gs://bucketA/alpha/object מועבר אל gs://bucketB/bravo/object.

נתיב המקור alpha/ מוסר משם האובייקט, כך שנשאר רק object, ונתיב היעד bravo/ מתווסף לפניו.

צריך לציין נתיב מקור

כדי לציין נתיב מקור כשיוצרים משימת העברה:

במסוף Google Cloud , מזינים את הנתיב בשדה Bucket or folder.
כשמשתמשים ב-CLI של gcloud, מציינים את הנתיב כחלק מה-URI של המקור. לדוגמה, gs://SOURCE_BUCKET/SOURCE_PATH/.
באמצעות ה-API בארכיטקטורת REST או ספריות הלקוח, מוסיפים את השדה path למפרט של מקור הנתונים. לדוגמה, השדה gcsDataSource במפרט של TransferSpec. העברות של מערכת קבצים משתמשות ב-rootDirectory במקום ב-path.

ציון נתיב יעד

כדי לציין נתיב יעד כשיוצרים משימת העברה:

במסוף Google Cloud , מזינים את הנתיב בשדה Bucket or folder.
כשמשתמשים ב-CLI של gcloud, מציינים את הנתיב כחלק מה-URI של היעד. לדוגמה, gs://DESTINATION_BUCKET/DESTINATION_PATH/.
באמצעות ה-API בארכיטקטורת REST או ספריות הלקוח, מוסיפים שדה path למפרט של מקור הנתונים. לדוגמה, השדה gcsDataSource או gcsDataSink במפרט של TransferSpec. העברות של מערכת קבצים משתמשות ב-rootDirectory במקום ב-path.

יצירת העברות קל לארגן דפים בעזרת אוספים אפשר לשמור ולסווג תוכן על סמך ההעדפות שלך.

סוכנים ומאגרי סוכנים

לפני שמתחילים

יצירת העברה

מסוף Google Cloud

Cloud Storage

Amazon S3

אחסון תואם ל-S3

אחסון בלובים של מיקרוסופט Azure

מערכת קבצים

HDFS

רשימת כתובות URL

Cloud Storage​

מערכת קבצים​

‫CLI של gcloud

דוגמאות

מ-Amazon S3 ל-Cloud Storage

אחסון תואם ל-S3 ב-Cloud Storage

ממערכת קבצים ל-Cloud Storage

מ-Cloud Storage למערכת קבצים

ממערכת קבצים למערכת קבצים

REST

העברה בין קטגוריות של Cloud Storage

העברה מ-Amazon S3 ל-Cloud Storage

העברה בין Microsoft Azure Blob Storage לבין Cloud Storage

העברה ממערכת קבצים

ספריות לקוח

העברה בין קטגוריות של Cloud Storage

המשך

Java

Node.js

Python

העברה מ-Amazon S3 ל-Cloud Storage

העברה בין Microsoft Azure Blob Storage לבין Cloud Storage

Go

Java

Node.js

Python

העברה ממערכת קבצים

הגדרת נתיבי מקור ויעד

דוגמאות

צריך לציין נתיב מקור

ציון נתיב יעד

יצירת העברות

Cloud Storage

מערכת קבצים