Storage 移轉服務可監聽 AWS 中的事件通知,自動將來源位置中新增或更新的資料,移轉至 Cloud Storage bucket。進一步瞭解事件導向移轉作業的優點。
事件導向移轉作業會監聽傳送至 Amazon SQS 的 Amazon S3 事件通知,瞭解來源 bucket 中的物件何時遭到修改或新增。系統不會偵測物件刪除作業;刪除來源物件時,不會刪除目的地 bucket 中的相關聯物件。
事件導向移轉作業一律會使用 Cloud Storage bucket 做為目的地。
事前準備
請按照操作說明,授予目的地 Cloud Storage bucket 的必要權限:
建立 SQS 佇列
前往 AWS 控制台的「Simple Queue Service」頁面。
按一下「Create queue」(建立佇列)。
輸入這個佇列的名稱。
在「存取權政策」部分,選取「進階」。系統會顯示 JSON 物件。
標準 AWS 區域
{ "Version": "2008-10-17", "Id": "\_\_default\_policy\_ID", "Statement": [ { "Sid": "\_\_owner\_statement", "Effect": "Allow", "Principal": { "AWS": "01234567890" }, "Action": [ "SQS:*" ], "Resource": "arn:aws:sqs:us-west-2:01234567890:test" } ] }
AWS GovCloud 區域
{ "Version": "2008-10-17", "Id": "\_\_default\_policy\_ID", "Statement": [ { "Sid": "\_\_owner\_statement", "Effect": "Allow", "Principal": { "AWS": "01234567890" }, "Action": [ "SQS:*" ], "Resource": "arn:aws-us-gov:sqs:us-gov-west-1:01234567890:test" } ] }
複製
AWS和Resource的值。每個專案的 ID 都不相同。將上一步中
AWS和Resource的特定值貼到下列 JSON 程式碼片段中:標準 AWS 區域
{ "Version": "2012-10-17", "Id": "example-ID", "Statement": [ { "Sid": "example-statement-ID", "Effect": "Allow", "Principal": { "Service": "s3.amazonaws.com" }, "Action": "SQS:SendMessage", "Resource": "RESOURCE", "Condition": { "StringEquals": { "aws:SourceAccount": "AWS" }, "ArnLike": { "aws:SourceArn": "arn:aws:s3:::S3_BUCKET_NAME" } } } ] }
AWS GovCloud 區域
{ "Version": "2012-10-17", "Id": "example-ID", "Statement": [ { "Sid": "example-statement-ID", "Effect": "Allow", "Principal": { "Service": "s3.amazonaws.com" }, "Action": "SQS:SendMessage", "Resource": "RESOURCE", "Condition": { "StringEquals": { "aws:SourceAccount": "AWS" }, "ArnLike": { "aws:SourceArn": "arn:aws-us-gov:s3:::S3_BUCKET_NAME" } } } ] }
將 S3_BUCKET_NAME 替換為 S3 來源 bucket 的名稱。
複製這段完整的 JSON 程式碼片段,並用來取代「Access policy」(存取權政策) 區段中顯示的 JSON。
按一下「Create queue」(建立佇列)。
完成後,請記下佇列的 Amazon Resource Name (ARN)。
啟用 S3 值區的通知功能
前往 AWS 控制台的「S3」S3頁面。
在「Buckets」(值區) 清單中,選取來源值區。
選取「屬性」分頁標籤。
在「Event notifications」(事件通知) 專區,按一下「Create event notification」(建立事件通知)。
指定這個事件的名稱。
在「Event types」(事件類型) 部分,選取「All object create events」(所有物件建立事件)。
在「Destination」(目的地) 部分,選取「SQS queue」(SQS 佇列),然後選取您為這項移轉作業建立的佇列。
按一下 [儲存變更]。
設定權限
請按照「設定來源存取權:Amazon S3」中的操作說明,建立存取金鑰 ID 和私密金鑰,或聯合身分角色。
按照操作說明操作時,請在系統指示您指定自訂角色或自訂信任政策時,使用下列 JSON:
標準 AWS 區域
{ "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Action": [ "sqs:DeleteMessage", "sqs:ChangeMessageVisibility", "sqs:ReceiveMessage", "s3:GetObject", "s3:ListBucket" ], "Resource": [ "arn:aws:s3:::S3_BUCKET_NAME", "arn:aws:s3:::S3_BUCKET_NAME/*", "AWS_QUEUE_ARN" ] } ] }
建立後,請記下下列資訊:
- 記下使用者的存取金鑰 ID 和密鑰。
- 如果是聯合身分角色,請記下 Amazon Resource Name (ARN),格式如下:
arn:aws:iam::AWS_ACCOUNT:role/AWS_ROLE_NAME
AWS GovCloud 區域
{ "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Action": [ "sqs:DeleteMessage", "sqs:ChangeMessageVisibility", "sqs:ReceiveMessage", "s3:GetObject", "s3:ListBucket" ], "Resource": [ "arn:aws-us-gov:s3:::S3_BUCKET_NAME", "arn:aws-us-gov:s3:::S3_BUCKET_NAME/*", "AWS_QUEUE_ARN" ] } ] }
建立後,請記下下列資訊:
- 記下使用者的存取金鑰 ID 和密鑰。
- 如果是聯合身分角色,請記下 Amazon Resource Name (ARN),格式如下:
arn:aws-us-gov:iam::AWS_ACCOUNT:role/AWS_ROLE_NAME
建立移轉工作
您可以使用 Google Cloud 控制台、Google Cloud CLI 或 REST API 建立事件式移轉工作。
Cloud 控制台
前往 Google Cloud 控制台的「Create transfer job」(建立移轉工作) 頁面。
選取「Amazon S3」做為來源類型,並選取「Cloud Storage」做為目的地。
在「Scheduling mode」(排程模式) 中選取「Event-driven」(事件導向),然後點選「Next step」(下一步)。
輸入 S3 bucket 名稱。bucket 名稱是 AWS 管理控制台中顯示的名稱。例如:
my-aws-bucket。選取驗證方式,並輸入上一節建立及記下的必要資訊。
輸入先前建立的 Amazon SQS 佇列 ARN。格式如下:
- 標準 AWS 區域:
arn:aws:sqs:AWS_REGION:AWS_ACCOUNT:AWS_QUEUE_NAME - AWS GovCloud 區域:
arn:aws-us-gov:sqs:AWS_REGION:AWS_ACCOUNT:AWS_QUEUE_NAME
- 標準 AWS 區域:
視需要定義篩選器,然後點選「下一步」。
選取目的地 Cloud Storage bucket,並視需要選取路徑。
(選用) 輸入轉移作業的開始和結束時間。如未指定時間,移轉作業會立即開始,並持續執行,直到手動停止為止。
指定任何轉移選項。詳情請參閱「建立移轉作業」頁面。
點選「建立」。
建立後,轉移工作會開始執行,事件監聽器會等待 SQS 佇列的通知。工作詳細資料頁面會顯示每小時的一項作業,並包含每項工作轉移的資料詳細資料。
gcloud
如要使用 Google Cloud CLI 建立事件導向移轉工作,請使用 gcloud transfer jobs create 指令和 --event-stream-name 旗標:
gcloud transfer jobs create \
s3://S3_BUCKET_NAME \
gs://GCS_BUCKET_NAME \
--source-creds-file=SOURCE_CREDS_FILE \
--event-stream-name=AWS_QUEUE_ARN \
--event-stream-starts=EVENT_STREAM_STARTS \
--event-stream-expires=EVENT_STREAM_EXPIRES
將預留位置替換為實際值:
- S3_BUCKET_NAME:Amazon S3 來源 bucket 的名稱。
- GCS_BUCKET_NAME:目的地 Cloud Storage bucket。
- SOURCE_CREDS_FILE:本機檔案的相對路徑,該檔案包含 AWS 憑證。視驗證方式而定,這個檔案應包含存取金鑰 ID 和密鑰,或聯合身分角色 ARN。詳情請參閱「設定來源存取權:Amazon S3」。
- AWS_QUEUE_ARN:Amazon SQS 佇列的 ARN。例如,標準 AWS 區域為
arn:aws:sqs:us-east-1:123456789012:my-queue,AWS GovCloud 區域則為arn:aws-us-gov:sqs:us-gov-west-1:123456789012:my-gov-queue。 - EVENT_STREAM_STARTS:開始監聽事件的時間,使用 %Y-%m-%dT%H:%M:%S%z 日期時間格式 (例如
2020-04-12T06:42:12+04:00)。如未設定,工作會在成功提交建立工作指令後,開始執行並監聽事件。 - EVENT_STREAM_EXPIRES:停止監聽事件的時間。如未設定,工作會持續執行,直到手動停止為止。
如需支援欄位的完整清單,請參閱 gcloud transfer jobs create 參考資料。
REST
如要使用 REST API 建立事件導向移轉作業,請將下列 JSON 物件傳送至 transferJobs.create 端點:
{ "description": "DESCRIPTION", "status": "ENABLED", "projectId": "PROJECT_ID", "transferSpec": { "awsS3DataSource": { "bucketName": "S3_BUCKET_NAME", "roleArn": "AWS_ROLE_ARN" }, "gcsDataSink": { "bucketName": "GCS_BUCKET_NAME" } }, "eventStream": { "name": "AWS_QUEUE_ARN", "eventStreamStartTime": "2022-12-02T01:00:00+00:00", "eventStreamExpirationTime": "2023-01-31T01:00:00+00:00" } }
上述 JSON 中的預留位置會使用下列值:
- DESCRIPTION 是轉移工作的說明。
- PROJECT_ID 是建立移轉工作的 Google Cloud 專案 ID。
- S3_BUCKET_NAME 是 Amazon S3 來源 bucket 的名稱。
- AWS_ROLE_ARN 是您建立的聯合身分角色 ARN。例如,標準 AWS 區域為
arn:aws:iam::1234567891011:role/aws-role-name,AWS GovCloud 區域則為arn:aws-us-gov:iam::1234567891011:role/aws-role-name。 - GCS_BUCKET_NAME 是 Cloud Storage 目的地 bucket 的名稱。
- AWS_QUEUE_ARN 是 SQS 佇列的 ARN。例如,標準 AWS 區域為
arn:aws:sqs:us-east-1:1234567891011:s3-notification-queue,AWS GovCloud 區域則為arn:aws-us-gov:sqs:us-gov-east-1:1234567890:event-queue。
eventStreamStartTime 和 eventStreamExpirationTime 為選用項目。如果省略開始時間,移轉作業會立即開始;如果省略結束時間,移轉作業會持續進行,直到手動停止為止。
用戶端程式庫
Go
如要瞭解如何安裝及使用 Storage 移轉服務的用戶端程式庫,請參閱「Storage 移轉服務用戶端程式庫」。詳情請參閱 Storage 移轉服務 Go API 參考文件。
如要向 Storage 移轉服務進行驗證,請設定應用程式預設憑證。詳情請參閱「為本機開發環境設定驗證機制」。
Java
如要瞭解如何安裝及使用 Storage 移轉服務的用戶端程式庫,請參閱「Storage 移轉服務用戶端程式庫」。詳情請參閱 Storage 移轉服務 Java API 參考文件。
如要向 Storage 移轉服務進行驗證,請設定應用程式預設憑證。詳情請參閱「為本機開發環境設定驗證機制」。
Node.js
如要瞭解如何安裝及使用 Storage 移轉服務的用戶端程式庫,請參閱「Storage 移轉服務用戶端程式庫」。詳情請參閱 Storage 移轉服務 Node.js API 參考文件。
如要向 Storage 移轉服務進行驗證,請設定應用程式預設憑證。詳情請參閱「為本機開發環境設定驗證機制」。
Python
如要瞭解如何安裝及使用 Storage 移轉服務的用戶端程式庫,請參閱「Storage 移轉服務用戶端程式庫」。詳情請參閱 Storage 移轉服務 Python API 參考文件。
如要向 Storage 移轉服務進行驗證,請設定應用程式預設憑證。詳情請參閱「為本機開發環境設定驗證機制」。