Mengonfigurasi akses ke sumber: daftar URL

Halaman ini menjelaskan persyaratan untuk mentransfer data dari daftar URL HTTP/HTTPS yang dapat diakses secara publik ke Cloud Storage.

Transfer dari daftar URL adalah transfer tanpa agen yang dikelola langsung oleh Storage Transfer Service.

Prasyarat

Sebelum membuat transfer dari daftar URL, pastikan Anda telah mengonfigurasi hal berikut:

  • Izin pengguna: Pastikan akun pengguna atau akun layanan yang dikelola pengguna memiliki izin untuk membuat tugas transfer. Lihat Izin pengguna yang diperlukan.
  • Izin bucket tujuan: Berikan izin yang diperlukan di bucket Cloud Storage tujuan Anda ke agen layanan Storage Transfer Service. Lihat Mengonfigurasi akses ke sink: Cloud Storage.
  • Daftar URL yang disimpan di Cloud Storage (opsional): Jika Anda menyimpan file daftar URL di bucket Cloud Storage, bukan URL HTTP/HTTPS publik, berikan roles/storage.objectViewer dan roles/storage.legacyBucketReader kepada agen layanan Storage Transfer Service di bucket tersebut. Lihat Mengonfigurasi akses ke sumber: Cloud Storage.

Persyaratan URL sumber

Agar Storage Transfer Service dapat membaca data sumber Anda, pastikan persyaratan berikut terpenuhi:

  • Aksesibilitas publik:

    • File daftar URL (format TSV) harus dapat diakses dari URL yang diawali dengan http:// atau https://, atau disimpan di bucket Cloud Storage.
    • Setiap URL objek yang tercantum dalam file harus dapat diakses secara publik melalui http:// atau https://.

  • Konfigurasi server web:

    • Server web yang menghosting setiap objek harus mendukung permintaan Range HTTP untuk memungkinkan transfer potongan paralel.
    • Server web harus menampilkan header Content-Length yang valid dalam setiap respons.
    • File robots.txt server web harus mengizinkan akses ke URL untuk agen pengguna Google-Storage-Transfer-Service atau semua agen pengguna (*).

  • Validasi ukuran objek dan checksum:

    • Jika Anda menentukan ukuran objek atau checksum MD5 dalam daftar URL, pastikan nilainya cocok dengan payload objek sebenarnya yang ditampilkan oleh server. Jika ukuran atau checksum tidak cocok, transfer objek tersebut akan gagal.

Langkah berikutnya