Google verwendet KI-Technologie, um Inhalte in Ihre bevorzugte Sprache zu übersetzen. KI-Übersetzungen können Fehler enthalten.

Übertragung über ein von Google verwaltetes privates Netzwerk

Bei der Übertragung von Daten von Amazon S3 zu Cloud Storage werden die Daten in der Regel über öffentliche Internet-Peering-Links übertragen, wobei AWS standardmäßige Gebühren für ausgehenden Internet-Traffic berechnet. Storage Transfer Service bietet eine Option für ein von Google verwaltetes privates Netzwerk für Übertragungen von Amazon S3. So können Ihre Daten über ein sicheres privates Routing übertragen werden, das automatisch von Google bereitgestellt wird.

Durch die Verwendung des von Google verwalteten privaten Netzwerks werden die AWS-Kosten für ausgehenden Internet-Traffic reduziert und die Netzwerksicherheit vereinfacht, da keine vom Kunden verwalteten physischen Interconnect-Verbindungen konfiguriert und verwaltet werden müssen.

Hauptvorteile

Die Option für ein von Google verwaltetes privates Netzwerk bietet die folgenden betrieblichen und finanziellen Vorteile für Amazon S3-Übertragungen:

Kosten für ausgehenden Internet-Traffic reduzieren: Bei der Übertragung von Amazon S3 über das von Google verwaltete private Netzwerk werden die standardmäßigen AWS-Gebühren für ausgehenden Internet-Traffic umgangen. Sie zahlen keine AWS S3-Gebühren für ausgehenden Internet-Traffic, sondern einen vorhersehbaren Preis pro GiB für die Datenverarbeitung an Google Cloud. Weitere Informationen finden Sie unter Preise. Standardgebühren für AWS-API-Anfragen (z. B. Amazon S3-Vorgänge vom Typ LIST, GET und HEAD) fallen weiterhin gemäß der AWS-Preisübersicht an.
Keine Offenlegung im öffentlichen Internet: Daten werden direkt über eine von Google verwaltete private Interconnect-Verbindung zwischen AWS und Google Cloud übertragen. Da Pakete nie über öffentliche Internet-Routingtabellen geleitet werden, wird das Risiko des Abfangens von Daten im öffentlichen Internet eliminiert und gleichzeitig die Einhaltung von Firewall- und Zero-Trust-Richtlinien vereinfacht.
Keine Infrastrukturwartung: Im Gegensatz zu einem vom Kunden verwalteten privaten Netzwerk müssen Sie keine physischen Interconnect-Verbindungen (wie Cloud Interconnect oder AWS Direct Connect), VPN-Gateways oder benutzerdefiniertes DNS-Routing bereitstellen, konfigurieren oder wiederkehrende Portgebühren dafür bezahlen. Google verwaltet den privaten Netzwerkstack vollständig von Anfang bis Ende.
Sofortige Bereitstellung ohne Vorlaufzeit: Das Einrichten dedizierter Interconnect-Verbindungen kann Wochen dauern. Mit dem von Google verwalteten privaten Netzwerk können Sie sofort mit der Übertragung über privates Routing beginnen, ohne Übertragungs-Agents installieren oder verwalten zu müssen.

Überlegungen zu Bandbreite und Leistung

Alle Storage Transfer Service-Jobs in allen Projekten, die das von Google verwaltete private Netzwerk verwenden, teilen sich eine gemeinsame Netzwerkpoolkapazität. In Zeiten globaler Spitzenauslastung kann es zu einer Drosselung der Übertragungsgeschwindigkeit oder zu einer erhöhten Latenz kommen.

Arbeitslasten, die hauptsächlich aus großen Objekten bestehen, sind stärker von einer hohen Poolauslastung betroffen als Arbeitslasten, die hauptsächlich aus kleineren Objekten bestehen. Wenn Ihre Arbeitslast dedizierte Bandbreite ohne Konflikte mit einem freigegebenen Pool erfordert, sollten Sie ein vom Kunden verwaltetes privates Netzwerk konfigurieren.

Unterstützte AWS-Regionen

Die Option für ein von Google verwaltetes privates Netzwerk ist für agentenlose Übertragungen aus den folgenden Amazon S3-Regionen verfügbar:

ap-east-1
ap-northeast-1
ap-northeast-2
ap-northeast-3
ap-south-1
ap-south-2
ap-southeast-1
ca-central-1
ca-west-1
eu-central-1
eu-central-2 eu-north-1
eu-south-1
eu-south-2
eu-west-1
eu-west-2
eu-west-3
us-east-1
us-east-2
us-west-1
us-west-2

Übertragungen über das von Google verwaltete private Netzwerk werden für AWS GovCloud-Regionen nicht unterstützt.

Hinweis

Bevor Sie die Übertragung erstellen, müssen Sie IAM- und Quellberechtigungen konfigurieren.

IAM-Berechtigungen konfigurieren

Folgen Sie der Anleitung unter Zugriff auf eine Senke konfigurieren: Cloud Storage, um die erforderlichen Google Cloud-Berechtigungen für den Ziel-Bucket zu gewähren.

Zugriff auf Ihren S3-Bucket konfigurieren

Folgen Sie der Anleitung unter Zugriff auf eine Quelle konfigurieren: Amazon S3, um den Zugriff auf Ihre Daten in Amazon S3 zu konfigurieren.

Übertragung über ein von Google verwaltetes privates Netzwerk erstellen

Sie können die Option für das von Google verwaltete private Netzwerk aktivieren, wenn Sie einen neuen Übertragungsjob erstellen oder eine vorhandene Amazon S3-Übertragungsspezifikation mit der Google Cloud Console oder der REST API aktualisieren.

Console

Die Option für das von Google verwaltete private Netzwerk wird mit einem Kästchen im Schritt Einstellungen auswählen beim Erstellen eines Übertragungsjobs aktiviert.

So erstellen Sie einen neuen Job mit dem von Google verwalteten privaten Netzwerk:

Rufen Sie in der Google Cloud -Console die Seite Storage Transfer Service auf.

Storage Transfer Service aufrufen
Klicken Sie auf Übertragung erstellen. Die Seite Übertragungsjob erstellen wird angezeigt.
Wählen Sie unter Quelltyp die Option Amazon S3 aus.
Wählen Sie als Zieltyp die Option Google Cloud Storage aus.
Wählen Sie den Planungsmodus aus. Batchübertragungen werden einmalig oder nach einem Zeitplan ausgeführt. Bei ereignisgesteuerten Übertragungen wird die Quelle kontinuierlich überwacht und Daten werden übertragen, wenn sie hinzugefügt oder geändert werden.

Folgen Sie der Anleitung unter Ereignisgesteuerte Übertragungen, um eine ereignisgesteuerte Übertragung zu konfigurieren.
Klicken Sie auf Nächster Schritt.
Geben Sie im Feld Bucket- oder Ordnername den Namen des Quell-Buckets ein.

Der Bucket-Name ist der Name, wie er in der AWS Management Console angezeigt wird.
Wählen Sie Ihre AWS-Authentifizierungsmethode (Amazon Web Services) aus. Weitere Informationen finden Sie unter Zugriff auf eine Quelle konfigurieren: Amazon S3.
- Secret-Ressource: Wählen Sie diese Option aus, um in Secret Manager gespeicherte Amazon-Anmeldedaten zu verwenden. Wählen Sie ein Secret aus der Liste aus oder geben Sie eines manuell im Format projects/PROJECT_NUMBER/secrets/SECRET_NAME ein.
- Zugriffsschlüssel: Geben Sie Ihren Zugriffsschlüssel in das Feld Zugriffsschlüssel-ID und das mit Ihrem Zugriffsschlüssel verknüpfte Secret in das Feld Geheimer Zugriffsschlüssel ein.
- AWS-IAM-Rolle für Identitätsföderation: Geben Sie Ihren ARN im Feld AWS-IAM-Rollen-ARN mit der folgenden Syntax ein:
```
arn:aws:iam::AWS_ACCOUNT:role/AWS_ROLE_NAME
```
  Ersetzen Sie Folgendes:
  - AWS_ACCOUNT: Die AWS-Konto-ID ohne Bindestriche.
  - AWS_ROLE_NAME: Der Name der AWS-Rolle. Wenn Ihre Organisation Pfade zum Organisieren von Rollen verwendet, geben Sie den Pfad mit dem Rollennamen an. Beispiel: developers/transfer_user.
  Weitere Informationen zu ARNs finden Sie unter IAM-ARNs.
Wenn es sich um eine ereignisgesteuerte Übertragung handelt, geben Sie den ARN der Amazon SQS-Warteschlange im folgenden Format ein:
```
arn:aws:sqs:us-east-1:1234567890:event-queue
```
Optional können Sie Objekte nach Präfix, nach dem Datum der letzten Änderung oder nach Speicherklasse filtern. Wenn Sie einen Ordner als Quellspeicherort angegeben haben, sind Präfixfilter relativ zu diesem Ordner. Wenn Ihre Quelle beispielsweise my-test-bucket/path/ ist, enthält ein „Einschließen“-Filter von file alle Dateien, die mit my-test-bucket/path/file beginnen.
Klicken Sie auf Nächster Schritt.
Geben Sie im Feld Bucket oder Ordner den Ziel-Bucket und optional den Ordnernamen ein. Sie können auch auf Durchsuchen klicken, um einen Bucket aus einer Liste der vorhandenen Buckets im aktuellen Projekt auszuwählen. Zum Erstellen eines neuen Buckets klicken Sie auf Neuen Bucket erstellen.
Klicken Sie auf Nächster Schritt.
Wählen Sie die gewünschten Zeitplanoptionen aus:

Hinweis: Storage Transfer Service zeigt Zeitpläne für Übertragungsjobs in Ihrer lokalen Zeitzone an, speichert diese Uhrzeiten jedoch in UTC (koordinierter Weltzeit). Wenn an Ihrem Standort die Sommerzeit gilt, ändert sich der Zeitplan für Übertragungsjobs möglicherweise zu Beginn bzw. am Ende der Sommerzeit.
1. Wählen Sie in der Drop-down-Liste Einmal ausführen eine der folgenden Optionen aus:
  - Einmal ausführen: Führt eine einzelne Übertragung zu einem von Ihnen ausgewählten Zeitpunkt aus.
  - Täglich ausführen: Führt täglich eine Übertragung aus, beginnend zu einer von Ihnen ausgewählten Zeit.
    
    Sie können optional ein Enddatum eingeben oder das Enddatum leer lassen, damit die Übertragung kontinuierlich ausgeführt wird.
  - Wöchentlich ausführen: Führt eine Übertragung wöchentlich aus, beginnend zu einem von Ihnen ausgewählten Zeitpunkt.
  - Mit benutzerdefinierter Frequenz ausführen: Führt eine Übertragung mit einer von Ihnen ausgewählten Häufigkeit aus. Sie können die Übertragung in regelmäßigen Abständen von Stunden, Tagen oder Wochen wiederholen.
    
    Sie können optional ein Enddatum eingeben oder das Enddatum leer lassen, damit die Übertragung kontinuierlich ausgeführt wird.
  - Bei Bedarf ausführen: Es wird keine Ausführung ausgelöst, wenn dieser Übertragungsjob erstellt wird. Sie müssen den Job manuell starten.
2. Wählen Sie in der Drop-down-Liste Ab jetzt eine der folgenden Optionen aus:
  - Sofort: Die Übertragung wird gestartet, nachdem Sie auf Erstellen geklickt haben.
  - Ab dem: Startet die Übertragung am ausgewählten Datum und zur ausgewählten Uhrzeit. Klicken Sie auf Kalender, um einen Kalender aufzurufen und das Startdatum auszuwählen.
Klicken Sie auf Nächster Schritt.
Wählen Sie die Einstellungen für den Übertragungsjob aus.
1. Geben Sie im Feld Beschreibung eine Beschreibung der Übertragung ein. Geben Sie als Best Practice eine aussagekräftige Beschreibung ein, damit Sie die Jobs unterscheiden können.
2. Optional können Sie ein Manifest angeben, um die genauen Objekte für die Übertragung festzulegen.
3. Wählen Sie unter Metadatenoptionen die gewünschte Speicherklasse und das Verhalten für die Erstellungszeit aus. Weitere Informationen finden Sie unter Metadatenaufbewahrung.
4. Wählen Sie unter Wann überschreiben? eine der folgenden Optionen aus:
  - Nie: Eine Zieldatei wird nicht überschrieben, wenn die Quelldatei denselben Namen hat. Die Quelldatei wird übersprungen.
  - Falls unterschiedlich: Überschreibt Zieldateien, wenn die Quelldatei mit demselben Namen unterschiedliche ETags oder Prüfsummenwerte hat.
  - Immer: Zieldateien werden immer geschrieben, wenn die Quelldatei denselben Namen hat, auch wenn sie identisch sind.
5. Wählen Sie unter Löschzeitpunkt eine der folgenden Optionen aus:
  - Nie: Dateien werden weder aus der Quelle noch aus dem Ziel gelöscht.
  - Dateien nach der Übertragung aus der Quelle löschen: Dateien werden nach der Übertragung an das Ziel aus der Quelle gelöscht. Wenn eine Quelldatei nicht übertragen wird, weil sie beispielsweise bereits im Ziel vorhanden ist, wird die Quelldatei nicht gelöscht.
    
    Wichtig: Wenn Sie keine lokale Sicherung haben, kann diese Option nicht rückgängig gemacht werden.
  - Dateien aus dem Ziel löschen, wenn sie nicht auch in der Quelle sind: Wenn Dateien im Cloud Storage-Ziel-Bucket nicht auch in der Quelle vorhanden sind, werden die Dateien aus dem Cloud Storage-Bucket gelöscht.
    
    Mit dieser Option wird sichergestellt, dass der Cloud Storage-Ziel-Bucket genau mit Ihrer Quelle übereinstimmt.
6. Netzwerk-Routingoptionen auswählen:
  - Wählen Sie Verwaltetes privates Netzwerk verwenden aus.
7. Wählen Sie unter Logging-Optionen die Option Logging in Cloud Logging aktivieren aus, wenn Sie einen detaillierten Datensatz der Aktionen generieren möchten, die für jede übertragene Datei ausgeführt wurden. Es fallen Kosten für Cloud Logging an. Weitere Informationen finden Sie unter Aktionen für die Logübertragung.
8. Optional können Sie Aktualisierungen des Übertragungsstatus über Cloud Pub/Sub-Benachrichtigungen erhalten auswählen, Ihr Pub/Sub-Thema auswählen und festlegen, welche Ereignisse Benachrichtigungen auslösen. Weitere Informationen finden Sie unter Pub/Sub-Benachrichtigungen.
9. Wählen Sie unter Dienstkontotyp auswählen die Identität aus, die Sie verwenden möchten:
  - Storage Transfer Service-Dienst-Agent: Der standardmäßige, von Google verwaltete Dienst-Agent erhält automatisch Zugriff auf die Quell- und Ziel-Buckets.
  - Nutzerverwalteter Dienst-Agent: Verwenden Sie ein benutzerdefiniertes Dienstkonto, das Sie erstellt haben. Bevor Sie diese Option auswählen, prüfen Sie, ob Ihrem Dienstkonto Zugriff auf den Quell-Bucket, den Ziel-Bucket und Pub/Sub gewährt wurde. Weitere Informationen finden Sie unter Benutzerverwalteten Dienst-Agent verwenden.
Klicken Sie auf Erstellen, um die Übertragung zu erstellen.

gcloud-CLI

Die gcloud CLI unterstützt das Konfigurieren von Übertragungen über das von Google verwaltete private Netzwerk nicht. Verwenden Sie die Google Cloud Console oder die REST API, um diese Option zu aktivieren.

Clientbibliotheken

Storage Transfer Service-Clientbibliotheken unterstützen die Konfiguration von Übertragungen über das von Google verwaltete private Netzwerk nicht. Verwenden Sie dieGoogle Cloud Console oder die REST API, um diese Option zu aktivieren.

REST API

Wenn Sie eine Übertragung mit der REST API konfigurieren möchten, setzen Sie das boolesche Feld transferSpec.awsS3DataSource.managedPrivateNetwork in der JSON-Anfragenutzlast auf true, wenn Sie transferJobs.create oder transferJobs.patch aufrufen.

HTTP-Anfrage

POST https://storagetransfer.googleapis.com/v1/transferJobs

Anfragetext

{
  "description": "S3 to Cloud Storage over Google-managed private network",
  "status": "ENABLED",
  "projectId": "PROJECT_ID",
  "transferSpec": {
    "awsS3DataSource": {
      "bucketName": "AWS_SOURCE_NAME",
      "managedPrivateNetwork": true,
      "awsAccessKey": {
        "accessKeyId": "AWS_ACCESS_KEY_ID",
        "secretAccessKey": "AWS_SECRET_ACCESS_KEY"
      }
    },
    "gcsDataSink": {
      "bucketName": "GCS_SINK_NAME"
    },
    "transferOptions": {
      "overwriteWhen": "DIFFERENT",
      "deleteObjectsFromSourceAfterTransfer": false
    }
  }
}

In diesem Beispiel werden AWS-Zugriffsdaten zur Authentifizierung verwendet. Weitere Informationen zur Verwendung von föderierten Identitäten oder Anmeldedaten in Secret Manager finden Sie unter Zugriff auf Amazon S3 konfigurieren.

Routing im privaten Netzwerk überwachen und prüfen

Prüfen Sie nach dem Start des Übertragungsjobs, ob die Daten über das von Google verwaltete private Netzwerk übertragen werden:

Cloud Logging: Wenn transfer-logs aktiviert sind (--log-actions=COPY,DELETE,FAILED), können Sie die strukturierten Logs für Ihren Übertragungsvorgang prüfen. Die Verbindungsmetadaten im Aktionsprotokoll COPY bestätigen die erfolgreiche Replikation über den privaten Netzwerkpfad.
Abrechnungsprüfung: Prüfen Sie Ihre AWS- und Google Cloud-Abrechnungs-Dashboards. Auf Ihrer AWS-Rechnung werden für die übertragenen Objekte keine Gebühren für die ausgehende Datenübertragung über das öffentliche Internet (DataTransfer-Out-Bytes) aufgeführt. Stattdessen wird die Gebühr für die Datenverarbeitung pro GiB auf Ihrer Google Cloud-Rechnung unter „Storage Transfer Service“ aufgeführt.

Alternative Netzwerk-Routingoptionen

Wenn das von Google verwaltete private Netzwerk Ihre Arbeitslastanforderungen nicht erfüllt, unterstützt Storage Transfer Service mehrere andere Netzwerkroutingoptionen für Amazon S3:

Öffentliches Internetrouting: Datenübertragungen über standardmäßige öffentliche Internet-Peering-Links zwischen Amazon S3 und Google Cloud. Alle API-Befehle, Authentifizierungsheader und Objektdatenstreams werden bei der Übertragung mit HTTPS mit Transport Layer Security (TLS 1.3) Ende-zu-Ende verschlüsselt. Es gelten die Standardpreise für ausgehenden AWS-Internettraffic. Weitere Informationen finden Sie unter Von Amazon S3 übertragen.
Vom Kunden verwaltetes privates Netzwerk: Daten werden über Ihre eigene vorkonfigurierte Hybrid-Konnektivitätsinfrastruktur (z. B. Cloud Interconnect, Cloud VPN oder AWS Direct Connect) über private IP-Adressen übertragen. Diese Option bietet Ihnen die volle Kontrolle über die Architektur und eine dedizierte, vorhersehbare Netzwerkbandbreite. Weitere Informationen finden Sie unter Übertragungen über ein vom Kunden verwaltetes privates Netzwerk.
Amazon CloudFront CDN-Routing: Daten werden über eine Amazon CloudFront-Distribution vor Ihrem S3-Bucket abgerufen. Je nach AWS CloudFront-Preiskategorie und Datenvolumen können dadurch die Gebühren für ausgehenden Internet-Traffic im Vergleich zu direkten öffentlichen S3-Downloads reduziert werden. Weitere Informationen finden Sie unter Übertragung von S3 über CloudFront.