送信元へのアクセスを構成する: URL リスト

このページでは、一般公開されている HTTP / HTTPS URL のリストから Cloud Storage にデータを転送するための要件について説明します。

URL リストからの転送は、Storage Transfer Service によって直接管理されるエージェントレス転送です。

前提条件

URL リストから転送を作成する前に、次の構成が完了していることを確認してください。

  • ユーザー権限: ユーザー アカウントまたはユーザー管理のサービス アカウントに、転送ジョブを作成する権限があることを確認します。必要なユーザー権限をご覧ください。
  • 転送先バケットの権限: 転送先の Cloud Storage バケットに必要な権限を Storage Transfer Service サービス エージェントに付与します。シンクへのアクセスを構成する: Cloud Storage をご覧ください。
  • Cloud Storage に保存されている URL リスト（省略可）: URL リストファイルをパブリック HTTP/HTTPS URL ではなく Cloud Storage バケットに保存する場合は、Storage Transfer Service サービス エージェントにそのバケットに対する roles/storage.objectViewer と roles/storage.legacyBucketReader を付与します。ソースへのアクセスを構成する: Cloud Storage をご覧ください。

ソース URL の要件

Storage Transfer Service がソースデータを読み取れるようにするには、次の要件を満たしていることを確認してください。

  • 一般公開のアクセシビリティ:

    • URL リストファイル（TSV 形式）は、http:// または https:// で始まる URL からアクセスできるか、Cloud Storage バケットに保存されている必要があります。
    • ファイルに記載されている各オブジェクト URL は、http:// または https:// を介して一般公開されている必要があります。

  • ウェブサーバーの構成:

    • 各オブジェクトをホストするウェブサーバーは、並列チャンク転送を可能にするために、HTTP Range リクエストをサポートする必要があります。
    • ウェブサーバーは、各レスポンスで有効な Content-Length ヘッダーを返す必要があります。
    • ウェブサーバーの robots.txt ファイルで、Google-Storage-Transfer-Service ユーザー エージェントまたはすべてのユーザー エージェント（*）の URL へのアクセスを許可する必要があります。

  • オブジェクト サイズとチェックサムの検証:

    • URL リストでオブジェクト サイズまたは MD5 チェックサムを指定する場合は、値がサーバーから返される実際のオブジェクト ペイロードと一致していることを確認してください。サイズまたはチェックサムが一致しない場合、そのオブジェクトの転送は失敗します。

次のステップ