配置对来源的访问权限：网址列表

本页面介绍了将数据从可公开访问的 HTTP/HTTPS 网址列表转移到 Cloud Storage 的要求。

从网址列表进行的转移作业是由 Storage Transfer Service 直接管理的无代理转移作业。

前提条件

在通过网址列表创建转移作业之前，请确保您已配置以下内容：

  • 用户权限：确保您的用户账号或用户代管式服务账号有权创建转移作业。请参阅所需的用户权限。
  • 目标存储桶权限：向 Storage Transfer Service 服务代理授予目标 Cloud Storage 存储桶所需的权限。请参阅配置对接收器的访问权限：Cloud Storage。
  • 存储在 Cloud Storage 中的网址列表（可选）：如果您将网址列表文件存储在 Cloud Storage 存储桶（而非公共 HTTP/HTTPS 网址）中，请向 Storage Transfer Service 服务代理授予对该存储桶的 roles/storage.objectViewer 和 roles/storage.legacyBucketReader 角色。请参阅配置对来源的访问权限：Cloud Storage。

源网址要求

如需允许 Storage Transfer Service 读取源数据，请确保满足以下要求：

  • 公开可访问性：

    • 网址列表文件（TSV 格式）必须可通过以 http:// 或 https:// 开头的网址访问，或存储在 Cloud Storage 存储桶中。
    • 文件中列出的每个对象网址都必须可通过 http:// 或 https:// 公开访问。

  • Web 服务器配置：

    • 托管每个对象的 Web 服务器必须支持 HTTP Range 请求，以允许并行分块传输。
    • Web 服务器必须在每个响应中返回有效的 Content-Length 标头。
    • Web 服务器的 robots.txt 文件必须允许 Google-Storage-Transfer-Service 用户代理或所有用户代理 (*) 访问这些网址。

  • 对象大小和校验和验证：

    • 如果您在网址列表中指定了对象大小或 MD5 校验和，请确保这些值与服务器返回的实际对象载荷相匹配。如果大小或校验和不匹配，则该对象的转移会失败。

后续步骤