Zugriff auf eine Quelle konfigurieren: URL-Liste

Auf dieser Seite werden die Anforderungen für die Übertragung von Daten aus einer öffentlich zugänglichen Liste von HTTP-/HTTPS-URLs an Cloud Storage beschrieben.

Übertragungen aus einer URL-Liste sind agentenlose Übertragungen, die direkt vom Storage Transfer Service verwaltet werden.

Vorbereitung

Bevor Sie eine Übertragung aus einer URL-Liste erstellen, müssen Sie Folgendes konfiguriert haben:

  • Nutzerberechtigungen: Ihr Nutzerkonto oder nutzerverwaltetes Dienstkonto muss die Berechtigung zum Erstellen von Übertragungsjobs haben. Weitere Informationen finden Sie unter Erforderliche Nutzerberechtigungen.
  • Berechtigungen für den Ziel-Bucket: Gewähren Sie dem Storage Transfer Service-Dienst-Agent die erforderlichen Berechtigungen für Ihren Cloud Storage-Ziel-Bucket. Weitere Informationen finden Sie unter Zugriff auf eine Senke konfigurieren: Cloud Storage.
  • In Cloud Storage gespeicherte URL-Liste (optional): Wenn Sie Ihre URL-Listendatei in einem Cloud Storage-Bucket und nicht in einer öffentlichen HTTP/HTTPS-URL speichern, gewähren Sie dem Storage Transfer Service-Dienst-Agent roles/storage.objectViewer und roles/storage.legacyBucketReader für diesen Bucket. Weitere Informationen finden Sie unter Zugriff auf eine Quelle konfigurieren: Cloud Storage.

Anforderungen an Quell-URLs

Damit Storage Transfer Service Ihre Quelldaten lesen kann, müssen die folgenden Anforderungen erfüllt sein:

  • Öffentliche Zugänglichkeit:

    • Die URL-Listendatei (TSV-Format) muss über eine URL zugänglich sein, die mit http:// oder https:// beginnt, oder in einem Cloud Storage-Bucket gespeichert sein.
    • Jede in der Datei aufgeführte Objekt-URL muss öffentlich über http:// oder https:// zugänglich sein.

  • Webserverkonfiguration:

    • Der Webserver, auf dem die einzelnen Objekte gehostet werden, muss HTTP-Range-Anfragen unterstützen, um parallele Übertragungen in Teilstücken zu ermöglichen.
    • Der Webserver muss in jeder Antwort einen gültigen Content-Length-Header zurückgeben.
    • Die robots.txt-Datei des Webservers muss den Zugriff auf die URLs für den User-Agent Google-Storage-Transfer-Service oder alle User-Agents (*) zulassen.

  • Validierung von Objektgröße und Prüfsumme:

    • Wenn Sie in Ihrer URL-Liste Objektgrößen oder MD5-Prüfsummen angeben, müssen die Werte mit den tatsächlichen Objekt-Nutzlasten übereinstimmen, die vom Server zurückgegeben werden. Wenn die Größe oder Prüfsumme nicht übereinstimmt, schlägt die Übertragung dieses Objekts fehl.

Nächste Schritte