Configurer l'accès à une source: liste d'URL

Cette page décrit les conditions requises pour transférer des données d'une liste d'URL HTTP/HTTPS accessible au public vers Cloud Storage.

Les transferts à partir d'une liste d'URL sont des transferts sans agent gérés directement par le service de transfert de stockage.

Prérequis

Avant de créer un transfert à partir d'une liste d'URL, assurez-vous d'avoir configuré les éléments suivants :

  • Autorisations utilisateur : assurez-vous que votre compte utilisateur ou votre compte de service géré par l'utilisateur est autorisé à créer des jobs de transfert. Consultez Autorisations utilisateur requises.
  • Autorisations du bucket de destination : accordez les autorisations requises sur votre bucket Cloud Storage de destination à l'agent de service du service de transfert de stockage. Consultez Configurer l'accès à un récepteur : Cloud Storage.
  • Liste d'URL stockée dans Cloud Storage (facultatif) : si vous stockez votre fichier de liste d'URL dans un bucket Cloud Storage plutôt que dans une URL HTTP/HTTPS publique, accordez à l'agent de service du service de transfert de stockage les rôles roles/storage.objectViewer et roles/storage.legacyBucketReader sur ce bucket. Consultez Configurer l'accès à une source : Cloud Storage.

Exigences relatives aux URL sources

Pour autoriser le service de transfert de stockage à lire vos données sources, assurez-vous que les conditions suivantes sont remplies :

  • Accessibilité publique :

    • Le fichier de liste d'URL (au format TSV) doit être accessible à partir d'une URL commençant par http:// ou https://, ou stocké dans un bucket Cloud Storage.
    • Chaque URL d'objet listée dans le fichier doit être accessible publiquement via http:// ou https://.

  • Configuration du serveur Web :

    • Le serveur Web hébergeant chaque objet doit accepter les requêtes HTTP Range pour permettre les transferts fragmentés parallèles.
    • Le serveur Web doit renvoyer un en-tête Content-Length valide dans chaque réponse.
    • Le fichier robots.txt du serveur Web doit autoriser l'accès aux URL pour le user-agent Google-Storage-Transfer-Service ou tous les user-agents (*).

  • Validation de la taille et de la somme de contrôle des objets :

    • Si vous spécifiez des tailles d'objets ou des sommes de contrôle MD5 dans votre liste d'URL, assurez-vous que les valeurs correspondent aux charges utiles d'objets réelles renvoyées par le serveur. Si la taille ou la somme de contrôle ne correspondent pas, le transfert de cet objet échoue.

Étapes suivantes