השירות Storage Transfer Service יכול להאזין להתראות לגבי אירועים ב-AWS כדי להעביר באופן אוטומטי נתונים שנוספו או עודכנו במיקום המקור, לקטגוריה של Cloud Storage. מידע נוסף על היתרונות של העברות מבוססות-אירועים.
העברות מבוססות-אירועים מאזינות להתראות אירועים של Amazon S3 שנשלחות ל-Amazon SQS, כדי לדעת מתי אובייקטים בקטגוריית המקור השתנו או נוספו. מחיקות של אובייקטים לא מזוהות. מחיקה של אובייקט במקור לא מוחקת את האובייקט המשויך בקטגוריית היעד.
העברות מבוססות-אירועים תמיד משתמשות בקטגוריה של Cloud Storage כיעד.
לפני שמתחילים
כדי לתת את ההרשאות הנדרשות בקטגוריה של Cloud Storage ביעד, פועלים לפי ההוראות הבאות:
יצירת תור SQS
במסוף AWS, נכנסים לדף Simple Queue Service.
לוחצים על Create queue.
מזינים שם לתור הזה.
בקטע Access policy, בוחרים באפשרות Advanced. מוצג אובייקט JSON.
אזורים רגילים של AWS
{ "Version": "2008-10-17", "Id": "\_\_default\_policy\_ID", "Statement": [ { "Sid": "\_\_owner\_statement", "Effect": "Allow", "Principal": { "AWS": "01234567890" }, "Action": [ "SQS:*" ], "Resource": "arn:aws:sqs:us-west-2:01234567890:test" } ] }
אזורי AWS GovCloud
{ "Version": "2008-10-17", "Id": "\_\_default\_policy\_ID", "Statement": [ { "Sid": "\_\_owner\_statement", "Effect": "Allow", "Principal": { "AWS": "01234567890" }, "Action": [ "SQS:*" ], "Resource": "arn:aws-us-gov:sqs:us-gov-west-1:01234567890:test" } ] }
מעתיקים את הערכים של
AWSו-Resource. הם ייחודיים לכל פרויקט.מדביקים את הערכים הספציפיים של
AWSו-Resourceמהשלב הקודם בקטע הקוד הבא ב-JSON:אזורים רגילים של AWS
{ "Version": "2012-10-17", "Id": "example-ID", "Statement": [ { "Sid": "example-statement-ID", "Effect": "Allow", "Principal": { "Service": "s3.amazonaws.com" }, "Action": "SQS:SendMessage", "Resource": "RESOURCE", "Condition": { "StringEquals": { "aws:SourceAccount": "AWS" }, "ArnLike": { "aws:SourceArn": "arn:aws:s3:::S3_BUCKET_NAME" } } } ] }
אזורי AWS GovCloud
{ "Version": "2012-10-17", "Id": "example-ID", "Statement": [ { "Sid": "example-statement-ID", "Effect": "Allow", "Principal": { "Service": "s3.amazonaws.com" }, "Action": "SQS:SendMessage", "Resource": "RESOURCE", "Condition": { "StringEquals": { "aws:SourceAccount": "AWS" }, "ArnLike": { "aws:SourceArn": "arn:aws-us-gov:s3:::S3_BUCKET_NAME" } } } ] }
מחליפים את S3_BUCKET_NAME בשם של קטגוריית המקור ב-S3.
מעתיקים את קטע הקוד המלא בפורמט JSON ומחליפים איתו את ה-JSON שמוצג בקטע Access policy.
לוחצים על Create queue.
בסיום, שימו לב לשם המשאב של אמזון (ARN) של התור.
הפעלת התראות בקטגוריית S3
נכנסים לדף S3 במסוף AWS.
ברשימה Buckets, בוחרים את קטגוריית המקור.
לוחצים על הכרטיסייה מאפיינים.
בקטע התראות לגבי אירועים, לוחצים על יצירת התראה לגבי אירוע.
צריך לתת שם לאירוע.
בקטע Event types, בוחרים באפשרות All object create events.
בשדה Destination בוחרים באפשרות SQS queue ובוחרים את התור שיצרתם להעברה הזו.
לוחצים על שמירת השינויים.
הגדרת ההרשאות
כדי ליצור מזהה מפתח גישה ומפתח סודי, או תפקיד של זהות מאוחדת, פועלים לפי ההוראות במאמר הגדרת גישה למקור: Amazon S3.
במהלך ביצוע ההוראות, השתמשו בקובץ ה-JSON הבא כשאתם מתבקשים לציין תפקיד בהתאמה אישית או מדיניות אמון בהתאמה אישית:
אזורים רגילים של AWS
{ "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Action": [ "sqs:DeleteMessage", "sqs:ChangeMessageVisibility", "sqs:ReceiveMessage", "s3:GetObject", "s3:ListBucket" ], "Resource": [ "arn:aws:s3:::S3_BUCKET_NAME", "arn:aws:s3:::S3_BUCKET_NAME/*", "AWS_QUEUE_ARN" ] } ] }
אחרי שיוצרים את המפתח, חשוב לשים לב לפרטים הבאים:
- לגבי משתמש, שימו לב למזהה של מפתח הגישה ולמפתח הסודי.
- לתפקיד זהות מאוחדת, שימו לב לשם המשאב של אמזון (ARN), שהוא בפורמט הבא:
arn:aws:iam::AWS_ACCOUNT:role/AWS_ROLE_NAME
אזורי AWS GovCloud
{ "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Action": [ "sqs:DeleteMessage", "sqs:ChangeMessageVisibility", "sqs:ReceiveMessage", "s3:GetObject", "s3:ListBucket" ], "Resource": [ "arn:aws-us-gov:s3:::S3_BUCKET_NAME", "arn:aws-us-gov:s3:::S3_BUCKET_NAME/*", "AWS_QUEUE_ARN" ] } ] }
אחרי שיוצרים את המפתח, חשוב לשים לב לפרטים הבאים:
- לגבי משתמש, שימו לב למזהה של מפתח הגישה ולמפתח הסודי.
- לתפקיד של זהות מאוחדת, שימו לב לשם המשאב של Amazon (ARN), שהוא בפורמט הבא:
arn:aws-us-gov:iam::AWS_ACCOUNT:role/AWS_ROLE_NAME
יצירת משימת העברה
אפשר להשתמש במסוף Google Cloud , ב-Google Cloud CLI או ב-API בארכיטקטורת REST כדי ליצור משימת העברה מבוססת-אירועים.
מסוף Cloud
נכנסים לדף Create transfer job במסוף Google Cloud .
בוחרים באפשרות Amazon S3 בתור סוג המקור, ובאפשרות Cloud Storage בתור היעד.
בקטע Scheduling mode, בוחרים באפשרות Event-driven ולוחצים על Next step.
מזינים את השם של קטגוריית S3. שם הקטגוריה הוא השם שמופיע ב-AWS Management Console. לדוגמה,
my-aws-bucket.בוחרים את שיטת האימות ומזינים את המידע הנדרש, שיצרתם וציינתם בקטע הקודם.
מזינים את ה-ARN של התור ב-Amazon SQS שיצרתם קודם. הוא משתמש באחד מהפורמטים הבאים:
- לאזורים רגילים ב-AWS:
arn:aws:sqs:AWS_REGION:AWS_ACCOUNT:AWS_QUEUE_NAME - באזורים של AWS GovCloud:
arn:aws-us-gov:sqs:AWS_REGION:AWS_ACCOUNT:AWS_QUEUE_NAME
- לאזורים רגילים ב-AWS:
אם רוצים, מגדירים מסננים ולוחצים על השלב הבא.
בוחרים את קטגוריית היעד של Cloud Storage ואת הנתיב (אופציונלי).
אם רוצים, מזינים שעת התחלה ושעת סיום להעברה. אם לא תציינו שעה, ההעברה תתחיל מיד ותפעל עד שתעצרו אותה באופן ידני.
מציינים את אפשרויות ההעברה. מידע נוסף זמין בדף יצירת העברות.
לוחצים על יצירה.
אחרי שיוצרים את משימת ההעברה, היא מתחילה לפעול ורכיב event listener ממתין להתראות בתור של SQS. בדף פרטי המשימה מוצגת פעולה אחת בכל שעה, ומופיעים בו פרטים על העברת נתונים בכל משימה.
gcloud
כדי ליצור משימת העברה מבוססת-אירועים באמצעות Google Cloud CLI, משתמשים בפקודה gcloud transfer jobs create עם הדגל --event-stream-name:
gcloud transfer jobs create \
s3://S3_BUCKET_NAME \
gs://GCS_BUCKET_NAME \
--source-creds-file=SOURCE_CREDS_FILE \
--event-stream-name=AWS_QUEUE_ARN \
--event-stream-starts=EVENT_STREAM_STARTS \
--event-stream-expires=EVENT_STREAM_EXPIRES
מחליפים את ה-placeholders בערכים בפועל:
- S3_BUCKET_NAME: השם של קטגוריית המקור ב-Amazon S3.
- GCS_BUCKET_NAME: קטגוריה של Cloud Storage ליעד שלך.
- SOURCE_CREDS_FILE: הנתיב היחסי לקובץ מקומי במחשב שמכיל את פרטי הכניסה שלכם ל-AWS. בהתאם לשיטת האימות, הקובץ הזה צריך להכיל את המזהה של מפתח הגישה ואת המפתח הסודי, או את ה-ARN של התפקיד בזהות המאוחדת. מידע נוסף זמין במאמר הגדרת גישה למקור: Amazon S3.
- AWS_QUEUE_ARN: ה-ARN של התור ב-Amazon SQS. לדוגמה,
arn:aws:sqs:us-east-1:123456789012:my-queueלאזורים רגילים של AWS אוarn:aws-us-gov:sqs:us-gov-west-1:123456789012:my-gov-queueלאזורים של AWS GovCloud. - EVENT_STREAM_STARTS: מתי להתחיל להאזין לאירועים, בפורמט התאריך והשעה %Y-%m-%dT%H:%M:%S%z (למשל,
2020-04-12T06:42:12+04:00). אם לא מגדירים את השדה הזה, המשימה מתחילה לפעול ולהאזין לאירועים אחרי ששולחים בהצלחה את הפקודה ליצירת המשימה. - EVENT_STREAM_EXPIRES: מתי להפסיק להאזין לאירועים. אם לא מגדירים את המאפיין, המשימה ממשיכה עד שעוצרים אותה ידנית.
רשימה מלאה של השדות הנתמכים מופיעה במאמרי העזרה של gcloud transfer jobs create.
REST
כדי ליצור העברה מבוססת-אירועים באמצעות ה-API בארכיטקטורת REST, שולחים את אובייקט ה-JSON הבא לנקודת הקצה transferJobs.create:
{ "description": "DESCRIPTION", "status": "ENABLED", "projectId": "PROJECT_ID", "transferSpec": { "awsS3DataSource": { "bucketName": "S3_BUCKET_NAME", "roleArn": "AWS_ROLE_ARN" }, "gcsDataSink": { "bucketName": "GCS_BUCKET_NAME" } }, "eventStream": { "name": "AWS_QUEUE_ARN", "eventStreamStartTime": "2022-12-02T01:00:00+00:00", "eventStreamExpirationTime": "2023-01-31T01:00:00+00:00" } }
ה-placeholders בקובץ ה-JSON שלמעלה משתמשים בערכים הבאים:
- DESCRIPTION הוא תיאור של משימת ההעברה.
- PROJECT_ID הוא מזהה הפרויקט ב- Google Cloud שבו נוצרה משימת ההעברה.
- S3_BUCKET_NAME הוא השם של קטגוריית המקור ב-Amazon S3.
- AWS_ROLE_ARN הוא ה-ARN של תפקיד הזהות המאוחדת שיצרתם. לדוגמה,
arn:aws:iam::1234567891011:role/aws-role-nameלאזורים רגילים של AWS אוarn:aws-us-gov:iam::1234567891011:role/aws-role-nameלאזורים של AWS GovCloud. - GCS_BUCKET_NAME הוא השם של קטגוריית היעד ב-Cloud Storage.
- AWS_QUEUE_ARN הוא ה-ARN של תור ה-SQS. לדוגמה,
arn:aws:sqs:us-east-1:1234567891011:s3-notification-queueלאזורים רגילים ב-AWS אוarn:aws-us-gov:sqs:us-gov-east-1:1234567890:event-queueלאזורים ב-AWS GovCloud.
הפרמטרים eventStreamStartTime ו-eventStreamExpirationTime הם אופציונליים.
אם לא מציינים שעת התחלה, ההעברה מתחילה מיד. אם לא מציינים שעת סיום, ההעברה נמשכת עד שעוצרים אותה ידנית.
ספריות לקוח
Go
במאמר ספריות הלקוח של Storage Transfer Service מוסבר איך להתקין את ספריית הלקוח ולהשתמש בה ב-Storage Transfer Service. למידע נוסף, קראו את מאמרי העזרה של Storage Transfer Service Go API.
כדי לבצע אימות בשירות Storage Transfer Service, עליכם להגדיר את Application Default Credentials. למידע נוסף, ראו הגדרת אימות לסביבת פיתוח מקומית.
Java
במאמר ספריות הלקוח של Storage Transfer Service מוסבר איך להתקין את ספריית הלקוח ולהשתמש בה ב-Storage Transfer Service. למידע נוסף, קראו את מאמרי העזרה של Storage Transfer Service Java API.
כדי לבצע אימות בשירות Storage Transfer Service, עליכם להגדיר את Application Default Credentials. למידע נוסף, ראו הגדרת אימות לסביבת פיתוח מקומית.
Node.js
במאמר ספריות הלקוח של Storage Transfer Service מוסבר איך להתקין את ספריית הלקוח ולהשתמש בה ב-Storage Transfer Service. למידע נוסף, קראו את מאמרי העזרה של Storage Transfer Service Node.js API.
כדי לבצע אימות בשירות Storage Transfer Service, עליכם להגדיר את Application Default Credentials. למידע נוסף, ראו הגדרת אימות לסביבת פיתוח מקומית.
Python
במאמר ספריות הלקוח של Storage Transfer Service מוסבר איך להתקין את ספריית הלקוח ולהשתמש בה ב-Storage Transfer Service. למידע נוסף, קראו את מאמרי העזרה של Storage Transfer Service Python API.
כדי לבצע אימות בשירות Storage Transfer Service, עליכם להגדיר את Application Default Credentials. למידע נוסף, ראו הגדרת אימות לסביבת פיתוח מקומית.