העברה מ-Amazon S3 ל-Cloud Storage

בדף הזה מוסבר איך ליצור ולהפעיל משימות העברה מ-Amazon S3 ל-Cloud Storage.

דרישות מוקדמות

לפני שמגדירים את ההעברה, צריך לוודא שהגדרתם את הדברים הבאים:

• הרשאות משתמש: ודאו שלחשבון המשתמש או לחשבון השירות בניהול המשתמש יש הרשאה להגדיר משימות העברה. הרשאות המשתמש הנדרשות
• הרשאות S3 במקור: מגדירים את הגישה לנתונים ב-Amazon S3 באמצעות פרטי כניסה או זהות מאוחדת. הגדרת הגישה למקור: Amazon S3.
• הרשאות לקטגוריית היעד: נותנים את ההרשאות הנדרשות בקטגוריית היעד של Cloud Storage. הגדרת גישה ל-sink: Cloud Storage

אפשרויות של תעבורת נתונים יוצאת (egress)

ב-Storage Transfer Service יש כמה אפשרויות להעברת נתונים מ-S3 ל-Cloud Storage.

אפשרות לתעבורת נתונים יוצאת (egress)	תיאור
‫agentless כברירת מחדל	באפשרות הזו משתמשים בהעברה מנוהלת ללא סוכן מ-S3. אמזון מחייבת אתכם על תעבורת נתונים יוצאת. כדי להשתמש באפשרות הזו, צריך לפעול לפי ההוראות שבדף הזה.
הפצה של CloudFront	שימוש בהפצה של Amazon CloudFront כנתיב יציאה. העברת נתונים דרך CloudFront עשויה להוזיל את עלויות תעבורת הנתונים היוצאת ב-AWS, בהשוואה להעברה ישירה מ-S3. לפרטים, ראו התמחור של CloudFront וחיובי תעבורת נתונים יוצאת ב-S3. כדי להגדיר את ההפצה וליצור העברה, פועלים לפי ההוראות במאמר העברה מ-S3 באמצעות CloudFront.
רשת פרטית בניהול Google	העברת הנתונים ברשת שמנוהלת על ידי Google. אתם לא משלמים על תעבורת נתונים יוצאת ב-S3, אלא משלמים ל-Google Cloud לפי GiB, מה שעשוי להפחית את עלויות ההעברה. פרטים נוספים זמינים בדף תמחור. יכול להיות שעדיין תחויבו על פעולות ב-AWS (למשל, קריאות ל-LIST או ל-GET). לפרטים נוספים, עיינו בתמחור שלהם. כל ההעברות של הפרויקטים ברשת הפרטית המנוהלת חולקות את אותו רוחב פס. בזמנים של שימוש רב, יכול להיות שההעברה תהיה איטית יותר. העברות של קבצים גדולים מושפעות יותר מהעברות של קבצים קטנים. האפשרות הזו זמינה רק באזורים נבחרים של AWS, ולא נתמכת באזורים של AWS GovCloud. פרטים נוספים זמינים במאמר העברה דרך רשת פרטית בניהול Google.
רשת פרטית בניהול הלקוח	העברת הנתונים ברשת פרטית בניהול הלקוח. אתם יכולים להשתמש בחיבור קיים של Cross-Cloud Interconnect או Partner Interconnect, או לרכוש חיבור חדש ולהשתמש בו. חיבורי Interconnect מספקים חיבור פיזי ייעודי בין Google Cloud לבין Amazon S3 או Azure. למידע נוסף, קראו את המאמר העברה מ-AWS או מ-Azure דרך רשת פרטית בניהול הלקוח.
מבוסס-סוכן	תקף לכל האחסון שתואם ל-S3, כולל Amazon S3. אם תתקינו תוכנת סוכן במכונות שיש להן גישה לקטגוריות S3, תוכלו לשלוט בנתיב הרשת וברוחב הפס. כדי להשתמש באפשרות הזו צריך סוכנים ומאגרי סוכנים. כדי להשתמש באפשרות הזו, פועלים לפי ההוראות במאמר העברה ממקורות תואמי S3.

אזורים נתמכים

‫Storage Transfer Service תומך באזורים הבאים של Amazon S3:

af-south-1 ap-east-1 ap-east-2 ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ap-southeast-2

ap-southeast-3 ap-southeast-4 ap-southeast-5 ca-central-1 ca-west-1 eu-central-1 eu-central-2 eu-north-1 eu-south-1 eu-south-2

eu-west-1 eu-west-2 eu-west-3 il-central-1 me-central-1 me-south-1 sa-east-1

us-east-1 us-east-2 us-west-1 us-west-2 us-gov-east-1 us-gov-west-1

העברות באמצעות הרשת הפרטית בניהול Google תומכות באזורי AWS הבאים:

ap-east-1 ap-northeast-1 ap-northeast-2 ap-northeast-3 ap-south-1 ap-south-2 ap-southeast-1 ca-central-1 ca-west-1 eu-central-1 eu-central-2

eu-north-1 eu-south-1 eu-south-2 eu-west-1 eu-west-2 eu-west-3 us-east-1 us-east-2 us-west-1 us-west-2

אפשרויות העברה

התכונות הבאות של Storage Transfer Service זמינות להעברות מ-S3 ל-Cloud Storage:

העברת קבצים ספציפיים באמצעות מניפסט

אפשר להעביר רשימה של קבצים כדי ש-Storage Transfer Service יפעל לגביהם. פרטים נוספים זמינים במאמר העברת קבצים או אובייקטים ספציפיים באמצעות מניפסט.

סינון אובייקטים של מקור לפי קידומת, זמן השינוי האחרון או סוג האחסון (storage class)

אתם יכולים לבחור אם לכלול אובייקטים בהעברה או להחריג אותם ממנה, על סמך שם הקובץ והנתיב, לפי מועד השינוי האחרון או לפי סוג האחסון (storage class).

כברירת מחדל, אובייקטים בסוגי אחסון רגילים ולא באחסון בארכיון, כולל Glacier Instant Retrieval (GLACIER_IR), מועברים, ואובייקטים ב-Glacier Deep Archive (DEEP_ARCHIVE) מועברים אם הם משוחזרים. כברירת מחדל, המערכת מדלגת על אובייקטים מסוג Glacier Flexible Retrieval‏ (GLACIER).

מידע נוסף על קידומות מופיע במאמר סינון אובייקטים של מקור לפי קידומת. מידע נוסף על סוגי אחסון מופיע במאמר סינון אובייקטים של מקור לפי סוג אחסון.

המסננים מבוססי הזמן כוללים:

• הזמן המינימלי והמקסימלי שעבר מאז השינוי האחרון. שניהם מקבלים ערך בשניות כדי לסנן אובייקטים ששונו או לא שונו בפרק זמן מסוים.
• "השינוי האחרון בוצע מאז" ו"השינוי האחרון בוצע לפני", שניהם מקבלים ערך של dateTime.

חשוב לדעת: מסננים מבוססי-זמן להעברות מ-S3 מסתמכים על ההגדרה של AWS ל"זמן השינוי האחרון", שהוא הזמן שבו מתחילה ההעלאה של האובייקט. אובייקט לא זמין עד שההעלאה מסתיימת, ולכן יכול להיות שתמצאו אובייקטים שזמן השינוי האחרון שלהם עומד בקריטריונים של המסנן, אבל הם עדיין בתהליך העלאה. האובייקטים האלה לא ייכללו במשימת ההעברה. כדי למנוע בעיות, מומלץ:

• במקום מסננים שמבוססים על זמן, השתמשו בהעברות מבוססות-אירועים כדי להעביר אובייקטים כשהם הופכים לזמינים.
• כדי למנוע אובייקטים חסרים בהעברות חוזרות, חלון המבט לאחור "זמן השינוי האחרון" צריך להיות גדול יותר מהתזמון החוזר. לדוגמה, אם המשימה פועלת כל שעה, חלון מבט לאחור של שעתיים מספק מאגר נתונים זמני.

ציון סוג האחסון (storage class)

אתם יכולים לציין את סוג האחסון ב-Cloud Storage שבו אתם רוצים להשתמש בשביל הנתונים בקטגוריית היעד. אפשר לעיין באפשרויות של StorageClass כדי לקבל פרטים על REST, או להשתמש בדגל --custom-storage-class עם Google Cloud CLI.

שימו לב שהמערכת מתעלמת מההגדרות של סוגי האחסון אם בקטגוריית היעד מופעלת התכונה סיווג אוטומטי. אם התכונה "סיווג אוטומטי" מופעלת, האובייקטים שמועברים לקטגוריה מוגדרים בהתחלה כ-Standard Storage.

שימור מטא-נתונים

כשמעבירים קבצים מ-S3, אפשר להשתמש ב-Storage Transfer Service כדי לשמור מאפיינים מסוימים כמטא-נתונים בהתאמה אישית.

בקטע Amazon S3 to Cloud Storage במאמר Metadata preservation מוסבר אילו מטא-נתונים אפשר לשמור ואיך להגדיר את ההעברה.

העברות מבוססות-אירועים

Storage Transfer Service יכול להאזין להתראות לגבי אירועים של Amazon S3 שנשלחות אל Amazon SQS, כדי להעביר באופן אוטומטי נתונים שנוספו או עודכנו במיקום המקור. מידע נוסף זמין במאמר העברות מבוססות-אירועים.

רישום ביומן ומעקב

אפשר לראות את ההעברות מ-S3 ב-Cloud Logging וב-Cloud Monitoring. למידע נוסף, קראו את המאמרים Cloud Logging לשירות Storage Transfer Service ומעקב אחרי משימות העברה. אפשר גם להגדיר התראות Pub/Sub.

יצירת העברה

ב-Storage Transfer Service יש כמה ממשקים שדרכם אפשר ליצור העברה.

אל תכללו בשם של משימת ההעברה מידע רגיש כמו פרטים אישיים מזהים (PII) או נתוני אבטחה. יכול להיות ששמות המשאבים יופצו לשמות של משאבים אחרים ב-Google Cloud, וייחשפו למערכות פנימיות של Google מחוץ לפרויקט שלכם.

מסוף Google Cloud

1. נכנסים לדף Storage Transfer Service במסוף Google Cloud .

   כניסה ל-Storage Transfer Service

2. לוחצים על Transfer. מוצג הדף Create a transfer job.

3. בקטע סוג המקור, בוחרים באפשרות Amazon S3.

4. בקטע Destination type, בוחרים באפשרות Google Cloud Storage.

5. בוחרים את מצב התזמון. העברות באצווה מתבצעות באופן חד-פעמי או לפי לוח זמנים. העברות מבוססות-אירועים עוקבות באופן רציף אחרי המקור ומעבירות נתונים כשהם מתווספים או משתנים.

   כדי להגדיר העברה מבוססת-אירועים, פועלים לפי ההוראות במאמר העברות מבוססות-אירועים.

6. לוחצים על השלב הבא.

7. בשדה Bucket or folder name, מזינים את שם קטגוריית המקור.

   שם הקטגוריה הוא השם שמופיע ב-AWS Management Console.

8. אם אתם משתמשים בהפצה של CloudFront כדי להעביר מ-S3, הזינו את שם הדומיין של ההפצה בשדה CloudFront domain. לדוגמה, https://dy1h2n3l4ob56.cloudfront.net. כדי להגדיר הפצה של CloudFront, קראו את המאמר העברה מ-S3 באמצעות CloudFront.

9. בוחרים את שיטת האימות של Amazon Web Services ‏(AWS). פרטים נוספים זמינים במאמר הגדרת גישה למקור: Amazon S3.

   • ‫Secret resource: בוחרים באפשרות הזו כדי להשתמש בפרטי כניסה של אמזון שנשמרו ב-Secret Manager. בוחרים סוד מהרשימה או מזינים אותו ידנית בפורמט projects/PROJECT_NUMBER/secrets/SECRET_NAME.

   • ‫Access key: מזינים את מפתח הגישה בשדה Access key ID ואת הסוד שמשויך למפתח הגישה בשדה Secret access key.

   • ‫AWS IAM role for identity federation: מזינים את ה-ARN בשדה AWS IAM role ARN, בתחביר הבא:

     • אזורים רגילים של AWS:

       arn:aws:iam::AWS_ACCOUNT:role/AWS_ROLE_NAME

     • אזורי AWS GovCloud:

       arn:aws-us-gov:iam::AWS_ACCOUNT:role/AWS_ROLE_NAME

     מחליפים את מה שכתוב בשדות הבאים:

     • ‫AWS_ACCOUNT: מזהה החשבון ב-AWS, בלי מקפים.
     • ‫AWS_ROLE_NAME: שם התפקיד ב-AWS. אם בארגון שלכם משתמשים בנתיבים כדי לארגן תפקידים, צריך לכלול את הנתיב עם שם התפקיד. לדוגמה, developers/transfer_user.

     מידע נוסף על ARNs זמין במאמר IAM ARNs.

10. אם זו העברה מבוססת-אירועים, מזינים את ה-ARN של תור Amazon SQS, בפורמט הבא:

    • אזורים רגילים של AWS:

      arn:aws:sqs:us-east-1:1234567890:event-queue

    • אזורי AWS GovCloud:

      arn:aws-us-gov:sqs:us-gov-east-1:1234567890:event-queue

11. אפשר גם לסנן אובייקטים לפי קידומת, לפי תאריך השינוי האחרון או לפי סוג האחסון. אם ציינתם תיקייה כמיקום המקור, מסנני הקידומת הם ביחס לתיקייה הזו. לדוגמה, אם המקור הוא my-test-bucket/path/, מסנן הכללה של file כולל את כל הקבצים שמתחילים ב-my-test-bucket/path/file.

12. לוחצים על השלב הבא.

13. בשדה Bucket or folder, מזינים את שם הקטגוריה ושם התיקייה (אופציונלי) של היעד, או לוחצים על Browse כדי לבחור קטגוריה מרשימת הקטגוריות הקיימות בפרויקט הנוכחי. כדי ליצור קטגוריה חדשה, לוחצים על Create new bucket.

14. לוחצים על השלב הבא.

15. בוחרים את אפשרויות התזמון:

    הערה: השירות להעברת אחסון מציג את לוחות הזמנים של משימות ההעברה באזור הזמן המקומי, אבל מאחסן את השעות האלה לפי אזור זמן אוניברסלי מתואם (UTC). אם אתם מושפעים משעון הקיץ (DST), יכול להיות שתחוו שינוי בלוח הזמנים של משימת ההעברה כששעון הקיץ מתחיל או מסתיים.

    1. ברשימה הנפתחת Run once, בוחרים אחת מהאפשרויות הבאות:

       • ‫Run once: הפעלה של העברה אחת, החל מהשעה שבחרתם.

       • ‫Run every day: הפעלת העברה מדי יום, החל מהשעה שתבחרו.

         אפשר להזין תאריך סיום אופציונלי, או להשאיר את השדה End date ריק כדי להפעיל את ההעברה באופן רציף.

       • ‫Run every week: הפעלת העברה מדי שבוע, החל מהשעה שבחרתם.

       • ‫Run with custom frequency: הפעלת העברה בתדירות שאתם בוחרים. אפשר לבחור לחזור על ההעברה במרווחי זמן קבועים של שעות, ימים או שבועות.

         אפשר להזין תאריך סיום אופציונלי, או להשאיר את השדה End date ריק כדי להפעיל את ההעברה באופן רציף.

       • ‫Run on demand: לא תופעל הרצה כשמשימת ההעברה הזו נוצרת. תצטרכו להפעיל את המשימה באופן ידני.

    2. ברשימה הנפתחת Starting now, בוחרים אחת מהאפשרויות הבאות:

       • ‫Starting now: ההעברה תתחיל אחרי שתלחצו על Create.
       • ‫Starting on: ההעברה תתחיל בתאריך ובשעה שתבחרו. לוחצים על Calendar כדי להציג לוח שנה ולבחור את תאריך ההתחלה.

16. לוחצים על השלב הבא.

17. בוחרים את ההגדרות של משימת ההעברה.

    1. בשדה Description, מזינים תיאור של ההעברה. מומלץ להזין תיאור משמעותי וייחודי כדי שתוכלו להבדיל בין המשימות.

    2. אפשר גם לספק מניפסט כדי לציין את האובייקטים המדויקים שרוצים להעביר.

    3. בקטע Metadata options, בוחרים את סוג האחסון הרצוי ואת ההתנהגות של זמן היצירה. לפרטים נוספים, ראו שמירת מטא-נתונים.

    4. בקטע When to overwrite, בוחרים אחת מהאפשרויות הבאות:

       • ‫Never: לא מחליף קובץ יעד אם לקובץ המקור יש שם זהה. המערכת מדלגת על קובץ המקור.
       • אם שונה: החלפת קובצי היעד אם לקובץ המקור עם אותו שם יש ערכי Etag או סיכום ביקורת (checksum) שונים.
       • ‫Always: תמיד מחליף את קובצי היעד כשלמקור יש את אותו שם, גם אם הם זהים.

    5. בקטע When to delete, בוחרים אחת מהאפשרויות הבאות:

       • אף פעם: אף פעם לא למחוק קבצים מהמקור או מהיעד.

       • ‫Delete files from source after they're transferred: מחיקת הקבצים מהמקור אחרי שהם מועברים ליעד. אם קובץ מקור לא מועבר, למשל כי הוא כבר קיים ביעד, קובץ המקור לא נמחק.

         חשוב: אם אין לך גיבוי מקומי, אי אפשר לבטל את הפעולה הזו.

       • ‫Delete files from destination if they're not also at source: אם קבצים בקטגוריית היעד של Cloud Storage לא נמצאים גם במקור, מוחקים את הקבצים מקטגוריית Cloud Storage.

         האפשרות הזו מבטיחה שקטגוריית היעד של Cloud Storage תהיה זהה למקור.

    6. בחירת אפשרויות לניתוב ברשת:

       • ‫Use public network: הנתונים מועברים דרך נתיבי קישור ציבוריים רגילים באינטרנט בין Amazon S3 ל-Google Cloud. כל פקודות ה-API, כותרות האימות וזרמי הנתונים של האובייקטים מוצפנים מקצה לקצה בזמן ההעברה באמצעות HTTPS עם Transport Layer Security ‏(TLS 1.3).
       • שימוש ברשת פרטית מנוהלת: הנתונים זורמים דרך ניתוב פרטי מאובטח שמוקצה באופן אוטומטי על ידי Google, וכך מפחית את חיובי תעבורת הנתונים לאינטרנט של AWS ועוקף את נקודות הקצה הציבוריות באינטרנט בלי צורך בהגדרה פיזית של חיבורים הדדיים. האפשרות הזו זמינה רק באזורים נבחרים של AWS, ואין תמיכה באזורים של AWS GovCloud. העברה דרך רשת פרטית בניהול Google
       • שימוש ברשת פרטית משלכם: הנתונים עוברים בתשתית הקישוריות ההיברידית שהגדרתם מראש (כמו Cloud Interconnect,‏ Cloud VPN או AWS Direct Connect) דרך כתובות IP פרטיות. העברה דרך רשת פרטית בניהול הלקוח

    7. בקטע Logging options, בוחרים באפשרות Enable logging in Cloud Logging אם רוצים ליצור רשומה מפורטת של הפעולות שבוצעו בכל קובץ שהועבר. יכול להיות שתחויבו על השימוש ב-Cloud Logging. פרטים נוספים זמינים במאמר פעולות של העברת יומנים.

    8. אם רוצים, בוחרים באפשרות קבלת עדכוני סטטוס פעילות של העברה באמצעות התראות Cloud Pub/Sub, בוחרים את נושא Pub/Sub ובוחרים אילו אירועים יפעילו התראות. פרטים נוספים זמינים במאמר התראות Pub/Sub.

    9. בקטע Choose service account type, בוחרים את הזהות שבה רוצים להשתמש:

       • סוכן השירות של Storage Transfer Service: סוכן השירות שמוגדר כברירת מחדל ומנוהל על ידי Google מקבל באופן אוטומטי גישה לקטגוריות המקור והיעד.
       • סוכן שירות בניהול המשתמש: שימוש בחשבון שירות בהתאמה אישית שיצרתם. לפני שבוחרים באפשרות הזו, צריך לוודא שלחשבון השירות ניתנה גישה לקטגוריית המקור, לקטגוריית היעד ול-Pub/Sub. איך משתמשים בסוכן שירות שמנוהל על ידי המשתמש

18. לוחצים על Create כדי ליצור את משימת ההעברה.

‫CLI של gcloud

כדי ליצור משימת העברה חדשה, משתמשים בפקודה gcloud transfer jobs create. יצירת משימה חדשה מפעילה את ההעברה שצוינה, אלא אם צוין לוח זמנים או --do-not-run.

ב-CLI של gcloud אין תמיכה בהעברות דרך CloudFront או רשת פרטית מנוהלת.

gcloud transfer jobs create \
  s3://S3_BUCKET_NAME gs://STORAGE_BUCKET_NAME \
  --source-creds-file="relative_path/to/creds.json"

מחליפים את מה שכתוב בשדות הבאים:

• ‫S3_BUCKET_NAME הוא מקור הנתונים של ההעברה הזו. אפשר גם לכלול נתיב: s3://S3_BUCKET_NAME/S3_FOLDER_PATH

• ‫STORAGE_BUCKET_NAME היא הקטגוריה של Cloud Storage שאליה רוצים להעביר את הנתונים. כדי להעביר לספרייה ספציפית, צריך לציין את gs://STORAGE_BUCKET_NAME/STORAGE_FOLDER_PATH/, כולל הלוכסן בסוף.

• ‫--source-creds-file מציין את הנתיב היחסי לקובץ מקומי במחשב שלכם, שכולל את פרטי הכניסה ל-AWS של מקור ההעברה.

  בהתאם לשיטת האימות, צריך להגדיר את הפורמט של קובץ ה-JSON באופן הבא:

  • מפתחות גישה ל-AWS:

  {
      "accessKeyId": "AWS_ACCESS_KEY_ID",
      "secretAccessKey": "AWS_SECRET_ACCESS_KEY"
  }

  • זהות מאוחדת (AWS IAM role ARN):

  {
      "roleArn": "arn:aws:iam::AWS_ACCOUNT_ID:role/AWS_ROLE_NAME"
  }

האפשרויות הנוספות כוללות:

• הדגל --do-not-run מונע מ-Storage Transfer Service להריץ את המשימה אחרי שליחת הפקודה. כדי להריץ את המשימה, עדכנו אותה כדי להוסיף לוח זמנים, או השתמשו ב-jobs run כדי להפעיל אותה ידנית.

• --manifest-file מציין את הנתיב לקובץ CSV ב-Cloud Storage שמכיל רשימה של קבצים להעברה מהמקור. במאמר העברת קבצים או אובייקטים ספציפיים באמצעות מניפסט מוסבר איך מעצבים קובץ מניפסט.

• פרטי המשרה: אתם יכולים לציין את --name ו---description.

• ‫Schedule: מציינים את הערכים --schedule-starts,‏ --schedule-repeats-every ו---schedule-repeats-until, או --do-not-run.

• תנאי אובייקטים: משתמשים בתנאים כדי לקבוע אילו אובייקטים יועברו. התנאים האלה כוללים את --include-prefixes, --exclude-prefixes, --match-glob, התנאים שמבוססים על זמן ב---include-modified-[before | after]-[absolute | relative], ו---include-storage-classes. אם ציינתם תיקייה במקור, מסנני הקידומת יהיו יחסיים לתיקייה הזו. מידע נוסף מופיע במאמרים סינון אובייקטים של מקור לפי קידומת וסינון אובייקטים של מקור לפי סוג אחסון.

• אפשרויות העברה: מציינים אם להחליף את קובצי היעד (--overwrite-when=different או always) ואם למחוק קבצים מסוימים במהלך ההעברה או אחריה (--delete-from=destination-if-unique או source-after-transfer). מציינים אילו ערכי מטא-נתונים לשמור (--preserve-metadata), ואפשר גם להגדיר סוג אחסון לאובייקטים שמועברים (--custom-storage-class).

• התראות: הגדרת התראות Pub/Sub להעברות באמצעות --notification-pubsub-topic,‏ --notification-event-types ו---notification-payload-format.

• ‫Cloud Logging: הפעלה של Cloud Logging באמצעות --log-actions ו---log-action-states. לפרטים, ראו Cloud Logging לשירות Storage Transfer Service.

כדי לראות את כל האפשרויות, מריצים את gcloud transfer jobs create --help או מעיינים במאמרי העזרה של gcloud.

REST

הדוגמאות הבאות מראות איך להשתמש ב-Storage Transfer Service באמצעות ה-API בארכיטקטורת REST.

כשמגדירים או עורכים משימות העברה באמצעות Storage Transfer Service API, צריך להזין את השעה ב-UTC. למידע נוסף על הגדרת לוח הזמנים של משימת העברה, ראו לוח זמנים.

כשיוצרים משימות העברה, לא כוללים את הקידומת s3:// של bucketName בשמות של קטגוריות המקור ב-Amazon S3.

כדי לאמת באמצעות זהות מאוחדת במקום מפתחות גישה, מציינים:

"roleArn": "arn:aws:iam::AWS_ACCOUNT_ID:role/AWS_ROLE_NAME"

במקום האובייקט awsAccessKey. אימות באמצעות זהות מאוחדת

העברה ללא סוכן

בדוגמה הבאה נוצרת משימת העברה באמצעות ההגדרה הרגילה ללא סוכן. לפרטים נוספים, ראו את חומר העזר בנושא transferJobs.create.

POST https://storagetransfer.googleapis.com/v1/transferJobs
{
  "description": "DESCRIPTION",
  "status": "ENABLED",
  "projectId": "PROJECT_ID",
  "transferSpec": {
      "awsS3DataSource": {
          "bucketName": "AWS_SOURCE_NAME",
          "awsAccessKey": {
            "accessKeyId": "AWS_ACCESS_KEY_ID",
            "secretAccessKey": "AWS_SECRET_ACCESS_KEY"
          }
      },
      "gcsDataSink": {
          "bucketName": "GCS_SINK_NAME"
      }
  }
}

הפצה של CloudFront

אם אתם מעבירים מ-S3 דרך הפצה של CloudFront, ציינו את שם הדומיין של ההפצה בתור הערך של השדה transferSpec.awsS3DataSource.cloudfrontDomain:

POST https://storagetransfer.googleapis.com/v1/transferJobs
{
  "description": "DESCRIPTION",
  "status": "ENABLED",
  "projectId": "PROJECT_ID",
  "transferSpec": {
      "awsS3DataSource": {
          "bucketName": "AWS_SOURCE_NAME",
          "cloudfrontDomain": "https://dy1h2n3l4ob56.cloudfront.net",
          "awsAccessKey": {
            "accessKeyId": "AWS_ACCESS_KEY_ID",
            "secretAccessKey": "AWS_SECRET_ACCESS_KEY"
          }
      },
      "gcsDataSink": {
          "bucketName": "GCS_SINK_NAME"
      }
  }
}

פרטים נוספים זמינים במאמר העברה מ-S3 באמצעות CloudFront.

רשת פרטית מנוהלת

כדי להעביר מ-S3 באמצעות רשת פרטית בניהול Google, צריך לציין את השדה transferSpec.awsS3DataSource.managedPrivateNetwork:

POST https://storagetransfer.googleapis.com/v1/transferJobs
{
  "description": "DESCRIPTION",
  "status": "ENABLED",
  "projectId": "PROJECT_ID",
  "transferSpec": {
      "awsS3DataSource": {
          "bucketName": "AWS_SOURCE_NAME",
          "managedPrivateNetwork": true,
          "awsAccessKey": {
            "accessKeyId": "AWS_ACCESS_KEY_ID",
            "secretAccessKey": "AWS_SECRET_ACCESS_KEY"
          }
      },
      "gcsDataSink": {
          "bucketName": "GCS_SINK_NAME"
      }
  }
}

למידע נוסף, קראו את המאמר העברה דרך רשת פרטית בניהול Google.

ספריות לקוח

הדוגמאות הבאות ממחישות איך להשתמש ב-Storage Transfer Service באופן פרוגרמטי באמצעות Go,‏ Java,‏ Node.js ו-Python.

כשמגדירים או עורכים משימות העברה באופן פרוגרמטי, צריך להגדיר את השעה לפי אזור הזמן UTC. למידע נוסף על הגדרת לוח הזמנים של משימת העברה, ראו לוח זמנים.

מידע נוסף על ספריות הלקוח של Storage Transfer Service זמין במאמר תחילת השימוש בספריות הלקוח של Storage Transfer Service.

העברה מ-Amazon S3 ל-Cloud Storage

בדוגמה הזו תלמדו איך להעביר קבצים מ-Amazon S3 לקטגוריה של Cloud Storage.

כשיוצרים משימות העברה, לא כוללים את הקידומת s3:// של bucketName בשמות של קטגוריות המקור ב-Amazon S3.

ספריות הלקוח של Storage Transfer Service לא תומכות בהעברות דרך CloudFront או רשת פרטית מנוהלת.

המשך

import (
	"context"
	"fmt"
	"io"
	"os"
	"time"

	storagetransfer "cloud.google.com/go/storagetransfer/apiv1"
	"cloud.google.com/go/storagetransfer/apiv1/storagetransferpb"
	"google.golang.org/genproto/googleapis/type/date"
	"google.golang.org/genproto/googleapis/type/timeofday"
)

func transferFromAws(w io.Writer, projectID string, awsSourceBucket string, gcsSinkBucket string) (*storagetransferpb.TransferJob, error) {
	// Your Google Cloud Project ID
	// projectID := "my-project-id"

	// The name of the Aws bucket to transfer objects from
	// awsSourceBucket := "my-source-bucket"

	// The name of the GCS bucket to transfer objects to
	// gcsSinkBucket := "my-sink-bucket"

	ctx := context.Background()
	client, err := storagetransfer.NewClient(ctx)
	if err != nil {
		return nil, fmt.Errorf("storagetransfer.NewClient: %w", err)
	}
	defer client.Close()

	// A description of this job
	jobDescription := "Transfers objects from an AWS bucket to a GCS bucket"

	// The time to start the transfer
	startTime := time.Now().UTC()

	// The AWS access key credential, should be accessed via environment variable for security
	awsAccessKeyID := os.Getenv("AWS_ACCESS_KEY_ID")

	// The AWS secret key credential, should be accessed via environment variable for security
	awsSecretKey := os.Getenv("AWS_SECRET_ACCESS_KEY")

	req := &storagetransferpb.CreateTransferJobRequest{
		TransferJob: &storagetransferpb.TransferJob{
			ProjectId:   projectID,
			Description: jobDescription,
			TransferSpec: &storagetransferpb.TransferSpec{
				DataSource: &storagetransferpb.TransferSpec_AwsS3DataSource{
					AwsS3DataSource: &storagetransferpb.AwsS3Data{
						BucketName: awsSourceBucket,
						AwsAccessKey: &storagetransferpb.AwsAccessKey{
							AccessKeyId:     awsAccessKeyID,
							SecretAccessKey: awsSecretKey,
						}},
				},
				DataSink: &storagetransferpb.TransferSpec_GcsDataSink{
					GcsDataSink: &storagetransferpb.GcsData{BucketName: gcsSinkBucket}},
			},
			Schedule: &storagetransferpb.Schedule{
				ScheduleStartDate: &date.Date{
					Year:  int32(startTime.Year()),
					Month: int32(startTime.Month()),
					Day:   int32(startTime.Day()),
				},
				ScheduleEndDate: &date.Date{
					Year:  int32(startTime.Year()),
					Month: int32(startTime.Month()),
					Day:   int32(startTime.Day()),
				},
				StartTimeOfDay: &timeofday.TimeOfDay{
					Hours:   int32(startTime.Hour()),
					Minutes: int32(startTime.Minute()),
					Seconds: int32(startTime.Second()),
				},
			},
			Status: storagetransferpb.TransferJob_ENABLED,
		},
	}
	resp, err := client.CreateTransferJob(ctx, req)
	if err != nil {
		return nil, fmt.Errorf("failed to create transfer job: %w", err)
	}
	if _, err = client.RunTransferJob(ctx, &storagetransferpb.RunTransferJobRequest{
		ProjectId: projectID,
		JobName:   resp.Name,
	}); err != nil {
		return nil, fmt.Errorf("failed to run transfer job: %w", err)
	}
	fmt.Fprintf(w, "Created and ran transfer job from %v to %v with name %v", awsSourceBucket, gcsSinkBucket, resp.Name)
	return resp, nil
}

Java

מחפשים דוגמאות ישנות יותר? המדריך להעברת נתונים (מיגרציה) של Storage Transfer Service

import com.google.storagetransfer.v1.proto.StorageTransferServiceClient;
import com.google.storagetransfer.v1.proto.TransferProto.CreateTransferJobRequest;
import com.google.storagetransfer.v1.proto.TransferTypes.AwsAccessKey;
import com.google.storagetransfer.v1.proto.TransferTypes.AwsS3Data;
import com.google.storagetransfer.v1.proto.TransferTypes.GcsData;
import com.google.storagetransfer.v1.proto.TransferTypes.Schedule;
import com.google.storagetransfer.v1.proto.TransferTypes.TransferJob;
import com.google.storagetransfer.v1.proto.TransferTypes.TransferJob.Status;
import com.google.storagetransfer.v1.proto.TransferTypes.TransferSpec;
import com.google.type.Date;
import com.google.type.TimeOfDay;
import java.io.IOException;
import java.util.Calendar;

public class TransferFromAws {

  // Creates a one-off transfer job from Amazon S3 to Google Cloud Storage.
  public static void transferFromAws(
      String projectId,
      String jobDescription,
      String awsSourceBucket,
      String gcsSinkBucket,
      long startDateTime)
      throws IOException {

    // Your Google Cloud Project ID
    // String projectId = "your-project-id";

    // A short description of this job
    // String jobDescription = "Sample transfer job from S3 to GCS.";

    // The name of the source AWS bucket to transfer data from
    // String awsSourceBucket = "yourAwsSourceBucket";

    // The name of the GCS bucket to transfer data to
    // String gcsSinkBucket = "your-gcs-bucket";

    // What day and time in UTC to start the transfer, expressed as an epoch date timestamp.
    // If this is in the past relative to when the job is created, it will run the next day.
    // long startDateTime =
    //     new SimpleDateFormat("yyyy-MM-dd HH:mm:ss").parse("2000-01-01 00:00:00").getTime();

    // The ID used to access your AWS account. Should be accessed via environment variable.
    String awsAccessKeyId = System.getenv("AWS_ACCESS_KEY_ID");

    // The Secret Key used to access your AWS account. Should be accessed via environment variable.
    String awsSecretAccessKey = System.getenv("AWS_SECRET_ACCESS_KEY");

    // Set up source and sink
    TransferSpec transferSpec =
        TransferSpec.newBuilder()
            .setAwsS3DataSource(
                AwsS3Data.newBuilder()
                    .setBucketName(awsSourceBucket)
                    .setAwsAccessKey(
                        AwsAccessKey.newBuilder()
                            .setAccessKeyId(awsAccessKeyId)
                            .setSecretAccessKey(awsSecretAccessKey)))
            .setGcsDataSink(GcsData.newBuilder().setBucketName(gcsSinkBucket))
            .build();

    // Parse epoch timestamp into the model classes
    Calendar startCalendar = Calendar.getInstance();
    startCalendar.setTimeInMillis(startDateTime);
    // Note that this is a Date from the model class package, not a java.util.Date
    Date startDate =
        Date.newBuilder()
            .setYear(startCalendar.get(Calendar.YEAR))
            .setMonth(startCalendar.get(Calendar.MONTH) + 1)
            .setDay(startCalendar.get(Calendar.DAY_OF_MONTH))
            .build();
    TimeOfDay startTime =
        TimeOfDay.newBuilder()
            .setHours(startCalendar.get(Calendar.HOUR_OF_DAY))
            .setMinutes(startCalendar.get(Calendar.MINUTE))
            .setSeconds(startCalendar.get(Calendar.SECOND))
            .build();
    Schedule schedule =
        Schedule.newBuilder()
            .setScheduleStartDate(startDate)
            .setScheduleEndDate(startDate)
            .setStartTimeOfDay(startTime)
            .build();

    // Set up the transfer job
    TransferJob transferJob =
        TransferJob.newBuilder()
            .setDescription(jobDescription)
            .setProjectId(projectId)
            .setTransferSpec(transferSpec)
            .setSchedule(schedule)
            .setStatus(Status.ENABLED)
            .build();

    // Create a Transfer Service client
    StorageTransferServiceClient storageTransfer = StorageTransferServiceClient.create();

    // Create the transfer job
    TransferJob response =
        storageTransfer.createTransferJob(
            CreateTransferJobRequest.newBuilder().setTransferJob(transferJob).build());

    System.out.println("Created transfer job from AWS to GCS:");
    System.out.println(response.toString());
  }
}

Node.js

// Imports the Google Cloud client library
const {
  StorageTransferServiceClient,
} = require('@google-cloud/storage-transfer');

/**
 * TODO(developer): Uncomment the following lines before running the sample.
 */
// The ID of the Google Cloud Platform Project that owns the job
// projectId = 'my-project-id'

// A useful description for your transfer job
// description = 'My transfer job'

// AWS S3 source bucket name
// awsSourceBucket = 'my-s3-source-bucket'

// AWS Access Key ID
// awsAccessKeyId = 'AKIA...'

// AWS Secret Access Key
// awsSecretAccessKey = 'HEAoMK2.../...ku8'

// Google Cloud Storage destination bucket name
// gcsSinkBucket = 'my-gcs-destination-bucket'

// Creates a client
const client = new StorageTransferServiceClient();

/**
 * Creates a one-time transfer job from Amazon S3 to Google Cloud Storage.
 */
async function transferFromS3() {
  // Setting the start date and the end date as the same time creates a
  // one-time transfer
  const now = new Date();
  const oneTimeSchedule = {
    day: now.getDate(),
    month: now.getMonth() + 1,
    year: now.getFullYear(),
  };

  // Runs the request and creates the job
  const [transferJob] = await client.createTransferJob({
    transferJob: {
      projectId,
      description,
      status: 'ENABLED',
      schedule: {
        scheduleStartDate: oneTimeSchedule,
        scheduleEndDate: oneTimeSchedule,
      },
      transferSpec: {
        awsS3DataSource: {
          bucketName: awsSourceBucket,
          awsAccessKey: {
            accessKeyId: awsAccessKeyId,
            secretAccessKey: awsSecretAccessKey,
          },
        },
        gcsDataSink: {
          bucketName: gcsSinkBucket,
        },
      },
    },
  });

  console.log(
    `Created and ran a transfer job from '${awsSourceBucket}' to '${gcsSinkBucket}' with name ${transferJob.name}`
  );
}

transferFromS3();

Python

מחפשים דוגמאות ישנות יותר? המדריך להעברת נתונים (מיגרציה) של Storage Transfer Service

from datetime import datetime

from google.cloud import storage_transfer


def create_one_time_aws_transfer(
    project_id: str,
    description: str,
    source_bucket: str,
    aws_access_key_id: str,
    aws_secret_access_key: str,
    sink_bucket: str,
):
    """Creates a one-time transfer job from Amazon S3 to Google Cloud
    Storage."""

    client = storage_transfer.StorageTransferServiceClient()

    # The ID of the Google Cloud Platform Project that owns the job
    # project_id = 'my-project-id'

    # A useful description for your transfer job
    # description = 'My transfer job'

    # AWS S3 source bucket name
    # source_bucket = 'my-s3-source-bucket'

    # AWS Access Key ID
    # aws_access_key_id = 'AKIA...'

    # AWS Secret Access Key
    # aws_secret_access_key = 'HEAoMK2.../...ku8'

    # Google Cloud Storage destination bucket name
    # sink_bucket = 'my-gcs-destination-bucket'

    now = datetime.utcnow()
    # Setting the start date and the end date as
    # the same time creates a one-time transfer
    one_time_schedule = {"day": now.day, "month": now.month, "year": now.year}

    transfer_job_request = storage_transfer.CreateTransferJobRequest(
        {
            "transfer_job": {
                "project_id": project_id,
                "description": description,
                "status": storage_transfer.TransferJob.Status.ENABLED,
                "schedule": {
                    "schedule_start_date": one_time_schedule,
                    "schedule_end_date": one_time_schedule,
                },
                "transfer_spec": {
                    "aws_s3_data_source": {
                        "bucket_name": source_bucket,
                        "aws_access_key": {
                            "access_key_id": aws_access_key_id,
                            "secret_access_key": aws_secret_access_key,
                        },
                    },
                    "gcs_data_sink": {
                        "bucket_name": sink_bucket,
                    },
                },
            }
        }
    )

    result = client.create_transfer_job(transfer_job_request)
    print(f"Created transferJob: {result.name}")