Configura el acceso a una fuente: lista de URL

En esta página, se describen los requisitos para transferir datos de una lista de URLs HTTP o HTTPS de acceso público a Cloud Storage.

Las transferencias desde una lista de URLs son transferencias sin agentes que administra directamente el Servicio de transferencia de almacenamiento.

Requisitos previos

Antes de crear una transferencia desde una lista de URLs, asegúrate de haber configurado lo siguiente:

  • Permisos de usuario: Asegúrate de que tu cuenta de usuario o cuenta de servicio administrada por el usuario tenga permiso para crear trabajos de transferencia. Consulta Permisos de usuario obligatorios.
  • Permisos del bucket de destino: Otorga los permisos necesarios en tu bucket de Cloud Storage de destino al agente de servicio del Servicio de transferencia de almacenamiento. Consulta Configura el acceso a un receptor: Cloud Storage.
  • Lista de URLs almacenada en Cloud Storage (opcional): Si almacenas el archivo de lista de URLs en un bucket de Cloud Storage en lugar de una URL HTTP/HTTPS pública, otorga al agente de servicio del Servicio de transferencia de almacenamiento roles/storage.objectViewer y roles/storage.legacyBucketReader en ese bucket. Consulta Configura el acceso a una fuente: Cloud Storage.

Requisitos de las URLs de origen

Para permitir que el Servicio de transferencia de almacenamiento lea tus datos de origen, asegúrate de que se cumplan los siguientes requisitos:

  • Accesibilidad pública:

    • Se debe poder acceder al archivo de la lista de URLs (formato TSV) desde una URL que comience con http:// o https://, o bien debe estar almacenado en un bucket de Cloud Storage.
    • Se debe poder acceder de forma pública a cada URL de objeto que se indique en el archivo a través de http:// o https://.

  • Configuración del servidor web:

    • El servidor web que aloja cada objeto debe admitir solicitudes HTTP Range para permitir transferencias fragmentadas paralelas.
    • El servidor web debe mostrar un encabezado Content-Length válido en cada respuesta.
    • El archivo robots.txt del servidor web debe permitir el acceso a las URLs para el usuario-agente Google-Storage-Transfer-Service o todos los usuarios-agentes (*).

  • Validación del tamaño del objeto y de la suma de comprobación:

    • Si especificas tamaños de objetos o sumas de comprobación MD5 en tu lista de URLs, asegúrate de que los valores coincidan con las cargas útiles reales de los objetos que devuelve el servidor. Si el tamaño o la suma de comprobación no coinciden, la transferencia de ese objeto falla.

¿Qué sigue?