Configurar o acesso a uma origem: lista de URLs

Nesta página, descrevemos os requisitos para transferir dados de uma lista de URLs HTTP/HTTPS acessível publicamente para o Cloud Storage.

As transferências de uma lista de URLs são transferências sem agente gerenciadas diretamente pelo Serviço de transferência do Cloud Storage.

Pré-requisitos

Antes de criar uma transferência de uma lista de URLs, verifique se você configurou o seguinte:

  • Permissões do usuário: verifique se a conta de usuário ou a conta de serviço gerenciado pelo usuário tem permissão para criar jobs de transferência. Consulte Permissões de usuário necessárias.
  • Permissões do bucket de destino: conceda as permissões necessárias no bucket de destino do Cloud Storage ao agente de serviço do Serviço de transferência do Cloud Storage. Consulte Configurar o acesso a um coletor: Cloud Storage.
  • Lista de URLs armazenada no Cloud Storage (opcional): se você armazenar o arquivo da lista de URLs em um bucket do Cloud Storage em vez de um URL HTTP/HTTPS público, conceda ao agente de serviço do Serviço de transferência do Cloud Storage roles/storage.objectViewer e roles/storage.legacyBucketReader nesse bucket. Consulte Configurar o acesso a uma origem: Cloud Storage.

Requisitos para URLs de origem

Para permitir que o Serviço de transferência do Cloud Storage leia os dados de origem, verifique se os seguintes requisitos são atendidos:

  • Acessibilidade pública:

    • O arquivo de lista de URLs (formato TSV) precisa ser acessível por um URL que comece com http:// ou https:// ou estar armazenado em um bucket do Cloud Storage.
    • Cada URL de objeto listado no arquivo precisa ser acessível publicamente por http:// ou https://.

  • Configuração do servidor da Web:

    • O servidor da Web que hospeda cada objeto precisa aceitar solicitações HTTP Range para permitir transferências paralelas em partes.
    • O servidor da Web precisa retornar um cabeçalho Content-Length válido em cada resposta.
    • O arquivo robots.txt do servidor da Web precisa permitir o acesso aos URLs para o user agent Google-Storage-Transfer-Service ou para todos os user agents (*).

  • Validação de tamanho e checksum do objeto:

    • Se você especificar tamanhos de objeto ou checksums MD5 na lista de URLs, verifique se os valores correspondem aos payloads de objeto reais retornados pelo servidor. Se o tamanho ou a soma de verificação não corresponder, a transferência desse objeto vai falhar.

A seguir