Configurare l'accesso a un'origine: elenco di URL

In questa pagina vengono descritti i requisiti per il trasferimento di dati da un elenco di URL HTTP/HTTPS accessibili pubblicamente a Cloud Storage.

I trasferimenti da un elenco di URL sono trasferimenti senza agente gestiti direttamente da Storage Transfer Service.

Prerequisiti

Prima di creare un trasferimento da un elenco di URL, assicurati di aver configurato quanto segue:

  • Autorizzazioni utente: assicurati che il tuo account utente o il account di servizio gestito dall'utente disponga dell'autorizzazione per creare job di trasferimento. Consulta Autorizzazioni dell'utente richieste.
  • Autorizzazioni del bucket di destinazione: concedi le autorizzazioni necessarie sul bucket Cloud Storage di destinazione all'agente di servizio Storage Transfer Service. Consulta Configura l'accesso a un sink: Cloud Storage.
  • Elenco di URL archiviato in Cloud Storage (facoltativo): se archivi il file dell'elenco di URL in un bucket Cloud Storage anziché in un URL HTTP/HTTPS pubblico, concedi all'agente di servizio Storage Transfer Service roles/storage.objectViewer e roles/storage.legacyBucketReader su quel bucket. Consulta Configura l'accesso a un'origine: Cloud Storage.

Requisiti per gli URL di origine

Per consentire a Storage Transfer Service di leggere i dati di origine, assicurati che siano soddisfatti i seguenti requisiti:

  • Accessibilità pubblica:

    • Il file dell'elenco di URL (formato TSV) deve essere accessibile da un URL che inizia con http:// o https:// oppure archiviato in un bucket Cloud Storage.
    • Ogni URL di oggetto elencato nel file deve essere accessibile pubblicamente tramite http:// o https://.

  • Configurazione del server web:

    • Il server web che ospita ogni oggetto deve supportare le richieste HTTP Range per consentire i trasferimenti in blocchi paralleli.
    • Il server web deve restituire un'intestazione Content-Length valida in ogni risposta.
    • Il file robots.txt del server web deve consentire l'accesso agli URL per lo user agent Google-Storage-Transfer-Service o per tutti gli user agent (*).

  • Convalida delle dimensioni e del checksum degli oggetti:

    • Se specifichi le dimensioni degli oggetti o i checksum MD5 nell'elenco di URL, assicurati che i valori corrispondano ai payload effettivi degli oggetti restituiti dal server. Se le dimensioni o il checksum non corrispondono, il trasferimento dell'oggetto non va a buon fine.

Passaggi successivi