בדף הזה מוסבר איך ליצור ולהפעיל משימות העברה מ-Amazon S3 ל-Cloud Storage.
דרישות מוקדמות
לפני שמגדירים את ההעברה, צריך לוודא שהגדרתם את הדברים הבאים:
- הרשאות משתמש: ודאו שלחשבון המשתמש או לחשבון השירות שמנוהל על ידי המשתמש יש הרשאה להגדיר משימות העברה. הרשאות המשתמש הנדרשות
- הרשאות S3 במקור: מגדירים גישה לנתונים ב-Amazon S3 באמצעות פרטי כניסה או זהות מאוחדת. הגדרת הגישה למקור: Amazon S3.
- הרשאות לקטגוריה של Cloud Storage ביעד: נותנים את ההרשאות הנדרשות בקטגוריה של Cloud Storage ביעד. הגדרת גישה ל-sink: Cloud Storage
אפשרויות של תעבורת נתונים יוצאת (egress)
ב-Storage Transfer Service יש כמה אפשרויות להעברת נתוני S3 ל-Cloud Storage.
| אפשרות לתעבורת נתונים יוצאת (egress) | תיאור |
|---|---|
| Default agentless | באפשרות הזו משתמשים בהעברה מנוהלת ללא סוכן מ-S3. Amazon מחייבת אתכם על תעבורת נתונים יוצאת.
כדי להשתמש באפשרות הזו, צריך לפעול לפי ההוראות שבדף הזה. |
| הפצה של CloudFront | שימוש בהפצה של Amazon CloudFront כנתיב יציאה. העברת נתונים דרך CloudFront עשויה להוזיל את עלויות תעבורת הנתונים היוצאת של AWS בהשוואה להעברה ישירה מ-S3. לפרטים, ראו התמחור של CloudFront וחיובי תעבורת נתונים יוצאת ב-S3.
כדי להגדיר את ההפצה וליצור העברה, פועלים לפי ההוראות במאמר העברה מ-S3 באמצעות CloudFront. |
| רשת פרטית בניהול Google | העברת הנתונים ברשת שמנוהלת על ידי Google. אתם לא משלמים על תעבורת נתונים יוצאת ב-S3, אלא משלמים ל-Google Cloudלפי שיעור ל-GiB, מה שעשוי להפחית את עלויות ההעברה. פרטים נוספים זמינים בדף תמחור. יכול להיות שעדיין תחויבו על פעולות ב-AWS (למשל, קריאות ל-LIST או ל-GET). לפרטים נוספים, עיינו בתמחור שלהם.
כל ההעברות של הפרויקטים ברשת הפרטית המנוהלת חולקות את אותו רוחב פס. בזמנים של שימוש רב, יכול להיות שההעברה תהיה איטית יותר. העברות של קבצים גדולים מושפעות יותר מהעברות של קבצים קטנים. האפשרות הזו זמינה רק באזורים נבחרים של AWS, ואין תמיכה באזורים של AWS GovCloud. פרטים נוספים זמינים במאמר העברה דרך רשת פרטית בניהול Google. |
| רשת פרטית בניהול הלקוח | העברת הנתונים ברשת פרטית בניהול הלקוח. אתם יכולים להשתמש בחיבור קיים של Cross-Cloud Interconnect או Partner Interconnect, או לרכוש חיבור חדש ולהשתמש בו. חיבורי Interconnect מספקים חיבור פיזי ייעודי בין Google Cloud לבין Amazon S3 או Azure.
למידע נוסף, קראו את המאמר העברה מ-AWS או מ-Azure דרך רשת פרטית בניהול הלקוח. |
| מבוסס-סוכן | תקף לכל אחסון שתואם ל-S3, כולל Amazon S3. אם תתקינו תוכנת סוכן במכונות שיש להן גישה לקטגוריות S3, תוכלו לשלוט בנתיב הרשת וברוחב הפס. כדי להשתמש באפשרות הזו צריך סוכנים ומאגרי סוכנים.
כדי להשתמש באפשרות הזו, פועלים לפי ההוראות במאמר העברה ממקורות תואמי S3. |
אזורים נתמכים
Storage Transfer Service תומך באזורים הבאים של Amazon S3:
af-south-1ap-east-1ap-east-2ap-northeast-1ap-northeast-2ap-northeast-3ap-south-1ap-south-2ap-southeast-1ap-southeast-2
|
ap-southeast-3ap-southeast-4ap-southeast-5ca-central-1ca-west-1eu-central-1eu-central-2eu-north-1eu-south-1eu-south-2
|
eu-west-1eu-west-2eu-west-3il-central-1me-central-1me-south-1sa-east-1
|
us-east-1us-east-2us-west-1us-west-2us-gov-east-1us-gov-west-1
|
ap-east-1ap-northeast-1ap-northeast-2ap-northeast-3ap-south-1ap-south-2ap-southeast-1ca-central-1ca-west-1eu-central-1eu-central-2 |
eu-north-1eu-south-1eu-south-2eu-west-1eu-west-2eu-west-3us-east-1us-east-2us-west-1us-west-2
|
אפשרויות העברה
התכונות הבאות של Storage Transfer Service זמינות להעברות מ-S3 ל-Cloud Storage:
- העברת קבצים ספציפיים באמצעות מניפסט
- אפשר להעביר רשימה של קבצים כדי ש-Storage Transfer Service יפעל בהם. פרטים נוספים זמינים במאמר העברת קבצים או אובייקטים ספציפיים באמצעות מניפסט.
- סינון אובייקטים של מקור לפי קידומת, זמן השינוי האחרון או סוג האחסון (storage class)
-
אתם יכולים לבחור אם לכלול אובייקטים בהעברה או להחריג אותם ממנה, על סמך שם הקובץ והנתיב, לפי מועד השינוי האחרון או לפי סוג האחסון (storage class).
כברירת מחדל, אובייקטים בסוגי אחסון רגילים ולא מסוג ארכיון, כולל Glacier Instant Retrieval (
GLACIER_IR), מועברים, ואובייקטים מסוג Glacier Deep Archive (DEEP_ARCHIVE) מועברים אם הם משוחזרים. כברירת מחדל, המערכת מדלגת על אובייקטים מסוג Glacier Flexible Retrieval (GLACIER).מידע נוסף על קידומות מופיע במאמר סינון אובייקטים של מקור לפי קידומת. מידע נוסף על סוגי אחסון מופיע במאמר סינון אובייקטים של מקור לפי סוג אחסון.
המסננים מבוססי הזמן כוללים:
- הזמן המינימלי והמקסימלי שחלף מאז השינוי האחרון. בשני המקרים, הערך הוא בשניות, והוא משמש לסינון אובייקטים ששונו או לא שונו בפרק זמן מסוים.
- "השינוי האחרון בוצע מאז" ו"השינוי האחרון בוצע לפני", שניהם מקבלים ערך dateTime.
חשוב לדעת שהמסננים מבוססי הזמן להעברות מ-S3 מסתמכים על ההגדרה של AWS ל"זמן השינוי האחרון", שהוא הזמן שבו מתחילה ההעלאה של האובייקט. אובייקט לא זמין עד שההעלאה מסתיימת, ולכן יכול להיות שיהיו אובייקטים שזמן השינוי האחרון שלהם עומד בקריטריונים של המסנן, אבל הם עדיין בתהליך העלאה. האובייקטים האלה לא ייכללו במשימת ההעברה. כדי למנוע בעיות, מומלץ:
- במקום מסננים שמבוססים על זמן, השתמשו בהעברות מבוססות-אירועים כדי להעביר אובייקטים כשהם הופכים לזמינים.
- כדי למנוע אובייקטים חסרים בהעברות חוזרות, חלון המבט לאחור "זמן השינוי האחרון" צריך להיות גדול יותר מהתזמון החוזר. לדוגמה, למשימה שפועלת כל שעה, חלון מבט לאחור של שעתיים מספק מאגר נתונים זמני.
- ציון סוג האחסון (storage class)
- אתם יכולים לציין את סוג האחסון ב-Cloud Storage שבו אתם רוצים להשתמש בשביל הנתונים בקטגוריית היעד. אפשר לעיין באפשרויות של
StorageClassכדי לקבל פרטים על REST, או להשתמש בדגל--custom-storage-classעם Google Cloud CLI.חשוב לדעת: המערכת מתעלמת מההגדרות של סוגי האחסון אם בקטגוריית היעד מופעלת התכונה סיווג אוטומטי. אם התכונה "סיווג אוטומטי" מופעלת, האובייקטים שמועברים לקטגוריה מוגדרים בהתחלה כ-Standard Storage.
- שמירת מטא-נתונים
-
כשמעבירים קבצים מ-S3, אפשר להגדיר ש-Storage Transfer Service ישמור מאפיינים מסוימים כמטא-נתונים בהתאמה אישית.
בקטע Amazon S3 ל-Cloud Storage במאמר שמירת מטא-נתונים מוסבר אילו מטא-נתונים אפשר לשמור ואיך להגדיר את ההעברה.
- העברות מבוססות-אירועים
- שירות Storage Transfer Service יכול להאזין להתראות לגבי אירועים ב-Amazon S3 שנשלחות ל-Amazon SQS, כדי להעביר באופן אוטומטי נתונים שנוספו או עודכנו במיקום המקור. מידע נוסף זמין במאמר העברות מבוססות-אירועים.
- רישום ביומן ומעקב
- אפשר לראות את ההעברות מ-S3 ב-Cloud Logging וב-Cloud Monitoring. פרטים נוספים זמינים במאמרים Cloud Logging בשביל Storage Transfer Service ומעקב אחרי משימות העברה. אפשר גם להגדיר התראות Pub/Sub.
יצירת העברה
ב-Storage Transfer Service יש כמה ממשקים שדרכם אפשר ליצור העברה.
מסוף Google Cloud
-
נכנסים לדף Storage Transfer Service במסוף Google Cloud .
-
לוחצים על Transfer. מופיע הדף Create a transfer job.
-
בקטע סוג המקור, בוחרים באפשרות Amazon S3.
-
בקטע Destination type, בוחרים באפשרות Google Cloud Storage.
-
בוחרים את מצב התזמון. העברות באצווה מתבצעות באופן חד-פעמי או לפי לוח זמנים. העברות מבוססות-אירועים עוקבות באופן רציף אחרי המקור ומעבירות נתונים כשהם מתווספים או משתנים.
כדי להגדיר העברה מבוססת-אירועים, פועלים לפי ההוראות במאמר העברות מבוססות-אירועים.
-
לוחצים על השלב הבא.
-
בשדה Bucket or folder name, מזינים את שם קטגוריית המקור.
שם הקטגוריה הוא השם שמופיע ב-AWS Management Console.
-
אם אתם משתמשים בהפצה של CloudFront כדי להעביר מ-S3, הזינו את שם הדומיין של ההפצה בשדה CloudFront domain. לדוגמה,
https://dy1h2n3l4ob56.cloudfront.net. כדי להגדיר הפצה של CloudFront, קראו את המאמר העברה מ-S3 באמצעות CloudFront. -
בוחרים את שיטת האימות של Amazon Web Services (AWS). פרטים נוספים זמינים במאמר הגדרת גישה למקור: Amazon S3.
-
Secret resource: בוחרים באפשרות הזו כדי להשתמש בפרטי כניסה של אמזון שנשמרו ב-Secret Manager. בוחרים סוד מהרשימה או מזינים אותו ידנית בפורמט
projects/PROJECT_NUMBER/secrets/SECRET_NAME. -
Access key: מזינים את מפתח הגישה בשדה Access key ID ואת הסוד שמשויך למפתח הגישה בשדה Secret access key.
-
AWS IAM role for identity federation: מזינים את ה-ARN בשדה AWS IAM role ARN, בתחביר הבא:
-
אזורים רגילים של AWS:
arn:aws:iam::AWS_ACCOUNT:role/AWS_ROLE_NAME
-
אזורי AWS GovCloud:
arn:aws-us-gov:iam::AWS_ACCOUNT:role/AWS_ROLE_NAME
מחליפים את מה שכתוב בשדות הבאים:
-
AWS_ACCOUNT: מזהה החשבון ב-AWS, בלי מקפים. -
AWS_ROLE_NAME: שם התפקיד ב-AWS. אם בארגון שלכם משתמשים בנתיבים כדי לארגן תפקידים, צריך לכלול את הנתיב עם שם התפקיד. לדוגמה,developers/transfer_user.
למידע נוסף על מספרי ARN, קראו את המאמר IAM ARNs.
-
-
-
אם זו העברה מבוססת-אירועים, מזינים את ה-ARN של תור Amazon SQS בפורמט הבא:
-
אזורים רגילים של AWS:
arn:aws:sqs:us-east-1:1234567890:event-queue
-
אזורי AWS GovCloud:
arn:aws-us-gov:sqs:us-gov-east-1:1234567890:event-queue
-
-
אפשר גם לבחור לסנן אובייקטים לפי קידומת, לפי תאריך השינוי האחרון או לפי סוג האחסון. אם ציינתם תיקייה כמיקום המקור, מסנני הקידומת הם ביחס לתיקייה הזו. לדוגמה, אם המקור הוא
my-test-bucket/path/, מסנן הכללה שלfileכולל את כל הקבצים שמתחילים ב-my-test-bucket/path/file. -
לוחצים על השלב הבא.
-
בשדה Bucket or folder, מזינים את שם קטגוריית היעד ואת שם התיקייה (אופציונלי), או לוחצים על Browse כדי לבחור קטגוריה מרשימת הקטגוריות הקיימות בפרויקט הנוכחי. כדי ליצור קטגוריה חדשה, לוחצים על
Create new bucket. -
לוחצים על השלב הבא.
-
בוחרים את אפשרויות התזמון:
הערה: השירות Storage Transfer Service מציג את לוחות הזמנים של משימות ההעברה באזור הזמן המקומי שלכם, אבל מאחסן את הזמנים האלה לפי אזור זמן אוניברסלי מתואם (UTC). אם אתם מושפעים משעון קיץ, יכול להיות שתחוו שינוי בלוח הזמנים של משימת ההעברה כשהשעון משתנה.
-
ברשימה הנפתחת Run once, בוחרים אחת מהאפשרויות הבאות:
- Run once: הפעלה של העברה אחת, החל מהשעה שבחרתם.
-
Run every day: הפעלת העברה מדי יום, החל מהשעה שתבחרו.
אפשר להזין תאריך סיום אופציונלי, או להשאיר את השדה תאריך סיום ריק כדי להפעיל את ההעברה באופן רציף.
- Run every week: הפעלת העברה מדי שבוע, החל מהשעה שבחרתם.
-
Run with custom frequency: הפעלת העברה בתדירות שאתם בוחרים. אפשר לבחור לחזור על ההעברה במרווחי זמן קבועים של שעות, ימים או שבועות.
אפשר להזין תאריך סיום אופציונלי, או להשאיר את השדה תאריך סיום ריק כדי להפעיל את ההעברה באופן רציף.
- Run on demand: לא תופעל הרצה כשמשימת ההעברה הזו נוצרת. תצטרכו להפעיל את המשימה באופן ידני.
-
ברשימה הנפתחת Starting now, בוחרים אחת מהאפשרויות הבאות:
- Starting now: ההעברה תתחיל אחרי שתלחצו על Create.
- Starting on: ההעברה תתחיל בתאריך ובשעה שתבחרו. לוחצים על Calendar כדי להציג לוח שנה ולבחור את תאריך ההתחלה.
-
-
לוחצים על השלב הבא.
-
בוחרים את ההגדרות של משימת ההעברה.
-
בשדה Description מזינים תיאור של ההעברה. מומלץ להזין תיאור משמעותי וייחודי כדי שתוכלו להבדיל בין המשימות.
-
אפשר גם לספק מניפסט כדי לציין את האובייקטים המדויקים שרוצים להעביר.
-
בקטע Metadata options, בוחרים את סוג האחסון הרצוי ואת ההתנהגות של זמן היצירה. פרטים נוספים זמינים במאמר שמירת מטא-נתונים.
-
בקטע When to overwrite, בוחרים אחת מהאפשרויות הבאות:
- Never: לא מחליף קובץ יעד אם לקובץ המקור יש שם זהה. המערכת מדלגת על קובץ המקור.
- אם שונה: החלפת קובצי היעד אם לקובץ המקור עם אותו שם יש ערכי Etag או סיכום ביקורת (checksum) שונים.
- Always: תמיד מחליף את קובצי היעד כשלמקור יש את אותו שם, גם אם הם זהים.
-
בקטע When to delete, בוחרים אחת מהאפשרויות הבאות:
- אף פעם: אף פעם לא למחוק קבצים מהמקור או מהיעד.
-
Delete files from source after they're transferred: מחיקת הקבצים מהמקור אחרי שהם מועברים ליעד. אם קובץ מקור לא מועבר, למשל כי הוא כבר קיים ביעד, קובץ המקור לא נמחק.
חשוב: אם אין לך גיבוי מקומי, הפעולה הזו היא בלתי הפיכה.
-
Delete files from destination if they're not also at source: אם קבצים בקטגוריית היעד של Cloud Storage לא נמצאים גם במקור, מוחקים את הקבצים מקטגוריית Cloud Storage.
האפשרות הזו מבטיחה שקטגוריית היעד של Cloud Storage תהיה זהה למקור.
-
בוחרים אפשרויות לניתוב הרשת:
- Use public network: הנתונים מועברים דרך נתיבי קישור (peering) סטנדרטיים באינטרנט הציבורי בין Amazon S3 ל-Google Cloud. כל פקודות ה-API, כותרות האימות וזרמי הנתונים של האובייקטים מוצפנים מקצה לקצה בזמן ההעברה באמצעות HTTPS עם Transport Layer Security (TLS 1.3).
- שימוש ברשת פרטית מנוהלת: הנתונים זורמים דרך ניתוב פרטי מאובטח שמוקצה באופן אוטומטי על ידי Google, וכך מפחית את חיובי תעבורת הנתונים לאינטרנט של AWS ועוקף נקודות קצה ציבוריות באינטרנט בלי צורך בהגדרה פיזית של חיבורים. האפשרות הזו זמינה רק באזורים נבחרים של AWS, ואין תמיכה באזורים של AWS GovCloud. העברה דרך רשת פרטית בניהול Google.
- שימוש ברשת פרטית משלכם: הנתונים עוברים בתשתית הקישוריות ההיברידית שהגדרתם מראש (כמו Cloud Interconnect, Cloud VPN או AWS Direct Connect) דרך כתובות IP פרטיות. העברה דרך רשת פרטית בניהול הלקוח
-
בקטע Logging options, בוחרים באפשרות Enable logging in Cloud Logging אם רוצים ליצור רשומה מפורטת של הפעולות שבוצעו בכל קובץ שהועבר. יכול להיות שתחויבו על השימוש ב-Cloud Logging. פרטים נוספים זמינים במאמר פעולות ביומן ההעברות.
-
אם רוצים, בוחרים באפשרות קבלת עדכוני סטטוס פעילות של העברה באמצעות התראות Cloud Pub/Sub, בוחרים את נושא Pub/Sub ובוחרים אילו אירועים יפעילו התראות. פרטים נוספים זמינים במאמר התראות Pub/Sub.
-
בקטע Choose service account type, בוחרים את הזהות שבה רוצים להשתמש:
- סוכן השירות של Storage Transfer Service: סוכן השירות שמוגדר כברירת מחדל ומנוהל על ידי Google מקבל באופן אוטומטי גישה לקטגוריות המקור והיעד.
- סוכן שירות בניהול המשתמש: שימוש בחשבון שירות בהתאמה אישית שיצרתם. לפני שבוחרים באפשרות הזו, צריך לוודא שלחשבון השירות ניתנה גישה לקטגוריית המקור, לקטגוריית היעד ול-Pub/Sub. שימוש בסוכן שירות שמנוהל על ידי משתמש
-
-
לוחצים על Create כדי ליצור את משימת ההעברה.
CLI של gcloud
כדי ליצור משימת העברה חדשה, משתמשים בפקודה gcloud transfer jobs create. יצירת משימה חדשה מפעילה את ההעברה שצוינה, אלא אם צוין לוח זמנים או --do-not-run.
ב-CLI של gcloud אין תמיכה בהעברות דרך CloudFront או דרך רשת פרטית מנוהלת.
gcloud transfer jobs create \
s3://S3_BUCKET_NAME gs://STORAGE_BUCKET_NAME \
--source-creds-file="relative_path/to/creds.json"
מחליפים את מה שכתוב בשדות הבאים:
S3_BUCKET_NAME הוא מקור הנתונים של ההעברה הזו. אפשר גם לכלול נתיב:
s3://S3_BUCKET_NAME/S3_FOLDER_PATHSTORAGE_BUCKET_NAME היא הקטגוריה של Cloud Storage שאליה רוצים להעביר את הנתונים. כדי להעביר לספרייה ספציפית, צריך לציין את
gs://STORAGE_BUCKET_NAME/STORAGE_FOLDER_PATH/, כולל הלוכסן בסוף.
--source-creds-fileמציין את הנתיב היחסי לקובץ מקומי במחשב, שכולל את פרטי הכניסה ל-AWS של מקור ההעברה.בהתאם לשיטת האימות, צריך להגדיר את הפורמט של קובץ ה-JSON באופן הבא:
- מפתחות גישה ל-AWS:
{ "accessKeyId": "AWS_ACCESS_KEY_ID", "secretAccessKey": "AWS_SECRET_ACCESS_KEY" }
- זהות מאוחדת (AWS IAM role ARN):
{ "roleArn": "arn:aws:iam::AWS_ACCOUNT_ID:role/AWS_ROLE_NAME" }
האפשרויות הנוספות כוללות:
הדגל
--do-not-runמונע מ-Storage Transfer Service להריץ את המשימה אחרי שליחת הפקודה. כדי להריץ את המשימה, עדכנו אותה והוסיפו לוח זמנים, או השתמשו ב-jobs runכדי להפעיל אותה ידנית.--manifest-fileמציין את הנתיב לקובץ CSV ב-Cloud Storage שמכיל רשימה של קבצים להעברה מהמקור. במאמר העברת קבצים או אובייקטים ספציפיים באמצעות מניפסט מוסבר איך מעצבים קובץ מניפסט.פרטי המשרה: אפשר לציין את
--nameו---description.Schedule: מציינים את הערכים
--schedule-starts,--schedule-repeats-everyו---schedule-repeats-until, או--do-not-run.תנאי אובייקטים: שימוש בתנאים כדי לקבוע אילו אובייקטים יועברו. התנאים האלה כוללים את
--include-prefixes,--exclude-prefixes,--match-glob, התנאים שמבוססים על זמן ב---include-modified-[before | after]-[absolute | relative]ו---include-storage-classes. אם ציינתם תיקייה במקור, מסנני הקידומת יהיו יחסיים לתיקייה הזו. מידע נוסף זמין במאמרים סינון אובייקטים של מקור לפי קידומת וסינון אובייקטים של מקור לפי סוג אחסון.אפשרויות העברה: מציינים אם להחליף את קובצי היעד (
--overwrite-when=differentאוalways) ואם למחוק קבצים מסוימים במהלך ההעברה או אחריה (--delete-from=destination-if-uniqueאוsource-after-transfer). מציינים אילו ערכי מטא-נתונים לשמור (--preserve-metadata), ואפשר גם להגדיר סוג אחסון לאובייקטים שמועברים (--custom-storage-class).התראות: הגדרת התראות Pub/Sub להעברות באמצעות
--notification-pubsub-topic,--notification-event-typesו---notification-payload-format.Cloud Logging: הפעלה של Cloud Logging באמצעות
--log-actionsו---log-action-states. לפרטים, קראו את המאמר Cloud Logging לשירות Storage Transfer Service.
כדי לראות את כל האפשרויות, מריצים את gcloud transfer jobs create --help או מעיינים במאמרי העזרה של gcloud.
REST
הדוגמאות הבאות מראות איך להשתמש ב-Storage Transfer Service באמצעות ה-API בארכיטקטורת REST.
כשמגדירים או עורכים משימות העברה באמצעות Storage Transfer Service API, צריך להזין את השעה ב-UTC. מידע נוסף על הגדרת לוח הזמנים של משימת העברה זמין במאמר תזמון.
כשיוצרים משימות העברה, לא כוללים את הקידומת s3:// של bucketName בשמות של קטגוריות המקור ב-Amazon S3.
כדי לאמת באמצעות זהות מאוחדת במקום מפתחות גישה, מציינים:
"roleArn": "arn:aws:iam::AWS_ACCOUNT_ID:role/AWS_ROLE_NAME"
במקום האובייקט awsAccessKey. אימות באמצעות זהות מאוחדת
העברה ללא סוכן
בדוגמה הבאה נוצרת משימת העברה באמצעות ההגדרה הרגילה ללא סוכן. לפרטים נוספים, ראו את חומר העזר בנושא transferJobs.create.
POST https://storagetransfer.googleapis.com/v1/transferJobs { "description": "DESCRIPTION", "status": "ENABLED", "projectId": "PROJECT_ID", "transferSpec": { "awsS3DataSource": { "bucketName": "AWS_SOURCE_NAME", "awsAccessKey": { "accessKeyId": "AWS_ACCESS_KEY_ID", "secretAccessKey": "AWS_SECRET_ACCESS_KEY" } }, "gcsDataSink": { "bucketName": "GCS_SINK_NAME" } } }
הפצה של CloudFront
אם אתם מעבירים מ-S3 באמצעות הפצה של CloudFront, ציינו את שם הדומיין של ההפצה בתור הערך של השדה transferSpec.awsS3DataSource.cloudfrontDomain:
POST https://storagetransfer.googleapis.com/v1/transferJobs { "description": "DESCRIPTION", "status": "ENABLED", "projectId": "PROJECT_ID", "transferSpec": { "awsS3DataSource": { "bucketName": "AWS_SOURCE_NAME", "cloudfrontDomain": "https://dy1h2n3l4ob56.cloudfront.net", "awsAccessKey": { "accessKeyId": "AWS_ACCESS_KEY_ID", "secretAccessKey": "AWS_SECRET_ACCESS_KEY" } }, "gcsDataSink": { "bucketName": "GCS_SINK_NAME" } } }
פרטים נוספים מופיעים במאמר העברה מ-S3 באמצעות CloudFront.
רשת פרטית מנוהלת
כדי להעביר מ-S3 באמצעות רשת פרטית בניהול Google, צריך לציין את השדה transferSpec.awsS3DataSource.managedPrivateNetwork:
POST https://storagetransfer.googleapis.com/v1/transferJobs { "description": "DESCRIPTION", "status": "ENABLED", "projectId": "PROJECT_ID", "transferSpec": { "awsS3DataSource": { "bucketName": "AWS_SOURCE_NAME", "managedPrivateNetwork": true, "awsAccessKey": { "accessKeyId": "AWS_ACCESS_KEY_ID", "secretAccessKey": "AWS_SECRET_ACCESS_KEY" } }, "gcsDataSink": { "bucketName": "GCS_SINK_NAME" } } }
למידע נוסף, קראו את המאמר העברה דרך רשת פרטית בניהול Google.
ספריות לקוח
הדוגמאות הבאות ממחישות איך להשתמש ב-Storage Transfer Service באופן פרוגרמטי באמצעות Go, Java, Node.js ו-Python.
כשמגדירים או עורכים משימות העברה באופן פרוגרמטי, צריך להגדיר את השעה לפי אזור הזמן UTC. מידע נוסף על הגדרת לוח הזמנים של משימת העברה זמין במאמר תזמון.
מידע נוסף על ספריות הלקוח של Storage Transfer Service זמין במאמר תחילת העבודה עם ספריות הלקוח של Storage Transfer Service.
העברה מ-Amazon S3 ל-Cloud Storage
בדוגמה הזו תלמדו איך להעביר קבצים מ-Amazon S3 לקטגוריה של Cloud Storage.
כשיוצרים משימות העברה, לא כוללים את הקידומת s3:// של bucketName בשמות של קטגוריות המקור ב-Amazon S3.
ספריות הלקוח של Storage Transfer Service לא תומכות בהעברות דרך CloudFront או רשת פרטית מנוהלת.
המשך
Java
מחפשים דוגמאות ישנות יותר? המדריך להעברת נתונים (מיגרציה) של Storage Transfer Service
Node.js
Python
מחפשים דוגמאות ישנות יותר? המדריך להעברת נתונים (מיגרציה) של Storage Transfer Service