Der Storage Transfer Service kann Ereignisbenachrichtigungen in AWS überwachen, um Daten, die am Quellspeicherort hinzugefügt oder aktualisiert wurden, automatisch in einen Cloud Storage-Bucket zu übertragen. Weitere Informationen zu den Vorteilen ereignisgesteuerter Übertragungen
Ereignisgesteuerte Übertragungen warten auf Amazon S3-Ereignisbenachrichtigungen, die an Amazon SQS gesendet werden, um zu erfahren, wann Objekte im Quell-Bucket geändert oder hinzugefügt wurden. Das Löschen von Objekten wird nicht erkannt. Wenn Sie ein Objekt in der Quelle löschen, wird das zugehörige Objekt im Ziel-Bucket nicht gelöscht.
Ereignisgesteuerte Übertragungen verwenden immer einen Cloud Storage-Bucket als Ziel.
Hinweis
Folgen Sie der Anleitung, um die erforderlichen Berechtigungen für Ihren Cloud Storage-Ziel-Bucket zu gewähren:
SQS-Warteschlange erstellen
Rufen Sie in der AWS-Konsole die Seite Simple Queue Service auf.
Klicken Sie auf Warteschlange erstellen.
Geben Sie einen Namen für diese Warteschlange ein.
Wählen Sie im Abschnitt Zugriffsrichtlinie die Option Erweitert aus. Ein JSON-Objekt wird angezeigt.
Standard-AWS-Regionen
{ "Version": "2008-10-17", "Id": "\_\_default\_policy\_ID", "Statement": [ { "Sid": "\_\_owner\_statement", "Effect": "Allow", "Principal": { "AWS": "01234567890" }, "Action": [ "SQS:*" ], "Resource": "arn:aws:sqs:us-west-2:01234567890:test" } ] }
AWS GovCloud-Regionen
{ "Version": "2008-10-17", "Id": "\_\_default\_policy\_ID", "Statement": [ { "Sid": "\_\_owner\_statement", "Effect": "Allow", "Principal": { "AWS": "01234567890" }, "Action": [ "SQS:*" ], "Resource": "arn:aws-us-gov:sqs:us-gov-west-1:01234567890:test" } ] }
Kopieren Sie die Werte von
AWSundResource. Diese sind für jedes Projekt eindeutig.Fügen Sie die spezifischen Werte für
AWSundResourceaus dem vorherigen Schritt in das folgende JSON-Snippet ein:Standard-AWS-Regionen
{ "Version": "2012-10-17", "Id": "example-ID", "Statement": [ { "Sid": "example-statement-ID", "Effect": "Allow", "Principal": { "Service": "s3.amazonaws.com" }, "Action": "SQS:SendMessage", "Resource": "RESOURCE", "Condition": { "StringEquals": { "aws:SourceAccount": "AWS" }, "ArnLike": { "aws:SourceArn": "arn:aws:s3:::S3_BUCKET_NAME" } } } ] }
AWS GovCloud-Regionen
{ "Version": "2012-10-17", "Id": "example-ID", "Statement": [ { "Sid": "example-statement-ID", "Effect": "Allow", "Principal": { "Service": "s3.amazonaws.com" }, "Action": "SQS:SendMessage", "Resource": "RESOURCE", "Condition": { "StringEquals": { "aws:SourceAccount": "AWS" }, "ArnLike": { "aws:SourceArn": "arn:aws-us-gov:s3:::S3_BUCKET_NAME" } } } ] }
Ersetzen Sie S3_BUCKET_NAME durch den Namen des S3-Quell-Buckets.
Kopieren Sie dieses fertige JSON-Snippet und ersetzen Sie damit den JSON-Code im Abschnitt Zugriffsrichtlinie.
Klicken Sie auf Warteschlange erstellen.
Notieren Sie sich nach Abschluss den Amazon Resource Name (ARN) der Warteschlange.
Benachrichtigungen für den S3-Bucket aktivieren
Rufen Sie in der AWS-Konsole die Seite S3 auf.
Wählen Sie in der Liste Buckets den Quell-Bucket aus.
Wählen Sie den Tab Eigenschaften aus.
Klicken Sie im Bereich Ereignisbenachrichtigungen auf Ereignisbenachrichtigung erstellen.
Geben Sie einen Namen für dieses Ereignis an.
Wählen Sie im Abschnitt Ereignistypen die Option Alle Ereignisse zum Erstellen von Objekten aus.
Wählen Sie als Ziel die Option SQS-Warteschlange und dann die Warteschlange aus, die Sie für diese Übertragung erstellt haben.
Klicken Sie auf Änderungen speichern.
Berechtigungen konfigurieren
Folgen Sie der Anleitung unter Zugriff auf eine Quelle konfigurieren: Amazon S3, um entweder eine Zugriffsschlüssel-ID und einen geheimen Schlüssel oder eine Rolle für föderierte Identitäten zu erstellen.
Verwenden Sie beim Befolgen der Anleitung die folgende JSON-Datei, wenn Sie aufgefordert werden, eine benutzerdefinierte Rolle oder eine benutzerdefinierte Trust-Richtlinie anzugeben:
Standard-AWS-Regionen
{ "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Action": [ "sqs:DeleteMessage", "sqs:ChangeMessageVisibility", "sqs:ReceiveMessage", "s3:GetObject", "s3:ListBucket" ], "Resource": [ "arn:aws:s3:::S3_BUCKET_NAME", "arn:aws:s3:::S3_BUCKET_NAME/*", "AWS_QUEUE_ARN" ] } ] }
Beachten Sie nach dem Erstellen die folgenden Informationen:
- Notieren Sie sich für einen Nutzer die Zugriffsschlüssel-ID und den geheimen Schlüssel.
- Notieren Sie sich für eine föderierte Identitätsrolle den Amazon Resource Name (ARN), der das folgende Format hat:
arn:aws:iam::AWS_ACCOUNT:role/AWS_ROLE_NAME
AWS GovCloud-Regionen
{ "Version": "2012-10-17", "Statement": [ { "Effect": "Allow", "Action": [ "sqs:DeleteMessage", "sqs:ChangeMessageVisibility", "sqs:ReceiveMessage", "s3:GetObject", "s3:ListBucket" ], "Resource": [ "arn:aws-us-gov:s3:::S3_BUCKET_NAME", "arn:aws-us-gov:s3:::S3_BUCKET_NAME/*", "AWS_QUEUE_ARN" ] } ] }
Beachten Sie nach dem Erstellen die folgenden Informationen:
- Notieren Sie sich für einen Nutzer die Zugriffsschlüssel-ID und den geheimen Schlüssel.
- Notieren Sie sich für eine föderierte Identitätsrolle den Amazon Resource Name (ARN), der das folgende Format hat:
arn:aws-us-gov:iam::AWS_ACCOUNT:role/AWS_ROLE_NAME
Übertragungsjob erstellen
Sie können die Google Cloud Console, die Google Cloud CLI oder die REST API verwenden, um einen ereignisbasierten Übertragungsjob zu erstellen.
Cloud Console
Rufen Sie in der Google Cloud Console die Seite Übertragungsjob erstellen auf.
Wählen Sie Amazon S3 als Quelltyp und Cloud Storage als Ziel aus.
Wählen Sie als Planungsmodus die Option Ereignisgesteuert aus und klicken Sie auf Nächster Schritt.
Geben Sie den Namen Ihres S3-Buckets ein. Der Bucket-Name ist der Name, der in der AWS Management Console angezeigt wird. Beispiel:
my-aws-bucket.Wählen Sie Ihre Authentifizierungsmethode aus und geben Sie die erforderlichen Informationen ein, die Sie im vorherigen Abschnitt erstellt und notiert haben.
Geben Sie den ARN der Amazon SQS-Warteschlange ein, den Sie zuvor erstellt haben. Es wird eines der folgenden Formate verwendet:
- Für AWS-Standardregionen:
arn:aws:sqs:AWS_REGION:AWS_ACCOUNT:AWS_QUEUE_NAME - Für AWS GovCloud-Regionen:
arn:aws-us-gov:sqs:AWS_REGION:AWS_ACCOUNT:AWS_QUEUE_NAME
- Für AWS-Standardregionen:
Optional können Sie Filter definieren und dann auf Nächster Schritt klicken.
Wählen Sie den Cloud Storage-Ziel-Bucket und optional den Pfad aus.
Optional können Sie eine Start- und Endzeit für die Übertragung eingeben. Wenn Sie keine Zeit angeben, wird die Übertragung sofort gestartet und ausgeführt, bis sie manuell beendet wird.
Geben Sie Übertragungsoptionen an. Weitere Informationen finden Sie auf der Seite Übertragungen erstellen.
Klicken Sie auf Erstellen.
Nach der Erstellung wird der Übertragungsjob ausgeführt und ein Ereignis-Listener wartet auf Benachrichtigungen in der SQS-Warteschlange. Auf der Jobdetailseite wird jede Stunde ein Vorgang angezeigt. Außerdem finden Sie dort Details zur Datenübertragung für jeden Job.
gcloud
Verwenden Sie den Befehl gcloud transfer jobs create mit dem Flag --event-stream-name, um eine ereignisgesteuerte Übertragung mit der Google Cloud CLI zu erstellen:
gcloud transfer jobs create \
s3://S3_BUCKET_NAME \
gs://GCS_BUCKET_NAME \
--source-creds-file=SOURCE_CREDS_FILE \
--event-stream-name=AWS_QUEUE_ARN \
--event-stream-starts=EVENT_STREAM_STARTS \
--event-stream-expires=EVENT_STREAM_EXPIRES
Ersetzen Sie die Platzhalter durch Ihre tatsächlichen Werte:
- S3_BUCKET_NAME: Der Name Ihres Amazon S3-Quell-Buckets.
- GCS_BUCKET_NAME: Ihr Cloud Storage-Ziel-Bucket.
- SOURCE_CREDS_FILE: Der relative Pfad zu einer lokalen Datei auf Ihrem Rechner, die Ihre AWS-Anmeldedaten enthält. Je nach Authentifizierungsmethode sollte diese Datei entweder Ihre Zugriffsschlüssel-ID und Ihren geheimen Schlüssel oder den ARN Ihrer föderierten Identitätsrolle enthalten. Weitere Informationen finden Sie unter Zugriff auf eine Quelle konfigurieren: Amazon S3.
- AWS_QUEUE_ARN: Der ARN Ihrer Amazon SQS-Warteschlange. Beispiel:
arn:aws:sqs:us-east-1:123456789012:my-queuefür AWS-Standardregionen oderarn:aws-us-gov:sqs:us-gov-west-1:123456789012:my-gov-queuefür AWS GovCloud-Regionen. - EVENT_STREAM_STARTS: Gibt an, wann das Monitoring von Ereignissen im Datums-/Uhrzeitformat %Y-%m-%dT%H:%M:%S%z (z.B.
2020-04-12T06:42:12+04:00) gestartet werden soll. Wenn nicht festgelegt, wird der Job gestartet und das Monitoring von Ereignissen beginnt, sobald der Befehl zum Erstellen des Jobs erfolgreich gesendet wurde. - EVENT_STREAM_EXPIRES: Wann das Überwachen von Ereignissen beendet werden soll. Wenn nicht festgelegt, wird der Job fortgesetzt, bis er manuell beendet wird.
Eine vollständige Liste der unterstützten Felder finden Sie in der gcloud transfer jobs create-Referenz.
REST
Senden Sie das folgende JSON-Objekt an den Endpunkt transferJobs.create, um eine ereignisgesteuerte Übertragung mit der REST API zu erstellen:
{ "description": "DESCRIPTION", "status": "ENABLED", "projectId": "PROJECT_ID", "transferSpec": { "awsS3DataSource": { "bucketName": "S3_BUCKET_NAME", "roleArn": "AWS_ROLE_ARN" }, "gcsDataSink": { "bucketName": "GCS_BUCKET_NAME" } }, "eventStream": { "name": "AWS_QUEUE_ARN", "eventStreamStartTime": "2022-12-02T01:00:00+00:00", "eventStreamExpirationTime": "2023-01-31T01:00:00+00:00" } }
Die Platzhalter im vorherigen JSON-Code verwenden die folgenden Werte:
- DESCRIPTION ist eine Beschreibung des Übertragungsjobs.
- PROJECT_ID ist die ID des Google Cloud -Projekts, in dem der Übertragungsjob erstellt wird.
- S3_BUCKET_NAME ist der Name des Amazon S3-Quell-Buckets.
- AWS_ROLE_ARN ist der ARN der von Ihnen erstellten Rolle für die föderierte Identität. Beispiel:
arn:aws:iam::1234567891011:role/aws-role-namefür AWS-Standardregionen oderarn:aws-us-gov:iam::1234567891011:role/aws-role-namefür AWS GovCloud-Regionen. - GCS_BUCKET_NAME ist der Name des Cloud Storage-Ziel-Buckets.
- AWS_QUEUE_ARN ist der ARN der SQS-Warteschlange. Beispiel:
arn:aws:sqs:us-east-1:1234567891011:s3-notification-queuefür Standard-AWS-Regionen oderarn:aws-us-gov:sqs:us-gov-east-1:1234567890:event-queuefür AWS GovCloud-Regionen.
eventStreamStartTime und eventStreamExpirationTime sind optional.
Wenn die Startzeit weggelassen wird, beginnt die Übertragung sofort. Wenn die Endzeit weggelassen wird, wird die Übertragung fortgesetzt, bis sie manuell beendet wird.
Clientbibliotheken
Go
Informationen zum Installieren und Verwenden der Clientbibliothek für den Storage Transfer Service finden Sie unter Storage Transfer Service-Clientbibliotheken. Weitere Informationen finden Sie in der API-Referenzdokumentation für Storage Transfer Service Go.
Richten Sie zur Authentifizierung beim Storage Transfer Service die Standardanmeldedaten für Anwendungen ein. Weitere Informationen finden Sie unter Authentifizierung für eine lokale Entwicklungsumgebung einrichten.
Java
Informationen zum Installieren und Verwenden der Clientbibliothek für den Storage Transfer Service finden Sie unter Storage Transfer Service-Clientbibliotheken. Weitere Informationen finden Sie in der API-Referenzdokumentation für Storage Transfer Service Java.
Richten Sie zur Authentifizierung beim Storage Transfer Service die Standardanmeldedaten für Anwendungen ein. Weitere Informationen finden Sie unter Authentifizierung für eine lokale Entwicklungsumgebung einrichten.
Node.js
Informationen zum Installieren und Verwenden der Clientbibliothek für den Storage Transfer Service finden Sie unter Storage Transfer Service-Clientbibliotheken. Weitere Informationen finden Sie in der API-Referenzdokumentation für Storage Transfer Service Node.js.
Richten Sie zur Authentifizierung beim Storage Transfer Service die Standardanmeldedaten für Anwendungen ein. Weitere Informationen finden Sie unter Authentifizierung für eine lokale Entwicklungsumgebung einrichten.
Python
Informationen zum Installieren und Verwenden der Clientbibliothek für den Storage Transfer Service finden Sie unter Storage Transfer Service-Clientbibliotheken. Weitere Informationen finden Sie in der API-Referenzdokumentation für Storage Transfer Service Python.
Richten Sie zur Authentifizierung beim Storage Transfer Service die Standardanmeldedaten für Anwendungen ein. Weitere Informationen finden Sie unter Authentifizierung für eine lokale Entwicklungsumgebung einrichten.