Batasan Umum

Halaman ini mendokumentasikan batasan umum Cloud Storage dan Storage Transfer Service.

Batasan umum

Batas ukuran objek Cloud Storage 5 TiB

Cloud Storage mendukung ukuran maksimum objek tunggal hingga 5 tebibyte. Jika Anda memiliki objek yang lebih besar dari 5 TiB, transfer objek akan gagal untuk objek tersebut, baik untuk Cloud Storage maupun Storage Transfer Service.

Persyaratan penamaan objek Cloud Storage

Cloud Storage menerapkan persyaratan nama objek yang berlaku untuk semua transfer Storage Transfer Service.

Objek yang diubah tidak ditransfer

Storage Transfer Service tidak mengunci file sumber selama transfer.

Jika data objek diperbarui selama transfer, berikut adalah cara Storage Transfer Service merespons:

  • Transfer dari cloud non-Google ke Google Cloud: Jika data objek diperbarui selama transfer, Storage Transfer Service akan menggagalkan transfer untuk objek tertentu tersebut dan objek tidak akan ditransfer.

  • Transfer dari sistem file ke Google Cloud: Jika data objek diperbarui selama transfer, Storage Transfer Service akan mencoba mengupload lagi. Jika upload gagal beberapa kali, Storage Transfer Service akan mencatat FILE_MODIFIED_FAILURE ke dalam log. Untuk mengetahui informasi selengkapnya, lihat Pemecahan masalah.

  • Transfer dari Google Cloud ke sistem file: Jika data objek diperbarui selama transfer, Storage Transfer Service akan mencoba mendownload lagi. Jika download gagal beberapa kali, Storage Transfer Service akan mencatat PRECONDITION_FAILURE. Untuk mengetahui informasi selengkapnya, lihat Pemecahan masalah.

Untuk mengatasi kegagalan:

  1. Coba transfer lagi.
  2. Jika transfer objek terus gagal, pastikan datanya tidak dapat diperbarui selama transfer:

  3. Setelah transfer selesai, Anda dapat mengaktifkan kembali update pada objek.

Folder di Cloud Storage

Di bucket yang tidak mengaktifkan namespace hierarkis, objek Cloud Storage berada dalam namespace datar. Untuk mengetahui informasi selengkapnya, lihat Namespace objek. Di bucket ini, Storage Transfer Service tidak membuat folder; struktur direktori hanya direpresentasikan oleh awalan nama objek. Misalnya, jika Anda mentransfer dari Azure Data Lake Storage (ADLS) Gen 2 ke bucket namespace flat, Storage Transfer Service tidak akan membuat ulang namespace ADLS Gen 2 di Cloud Storage. Untuk bucket dengan namespace hierarkis yang diaktifkan, lihat Mentransfer bucket namespace hierarkis Cloud Storage.

Menghapus objek di bucket Amazon S3 yang pembuatan versinya ditangguhkan

Saat menggunakan fitur hapus objek dari sumber setelah transfer di Storage Transfer Service pada bucket Amazon S3 yang ditangguhkan versinya, Storage Transfer Service akan menghapus objek dengan ID versi null, bukan versi saat ini.

Lokasi tugas Storage Transfer Service

Storage Transfer Service memilih lokasinya berdasarkan region bucket Cloud Storage sumber. Saat ini, kami membuat tugas Storage Transfer Service di lokasi berikut. Daftar ini dapat berubah seiring Storage Transfer Service menambahkan dukungan untuk region baru.

Jika bucket Cloud Storage sumber Anda berada di region yang tidak tercantum, kami akan memilih region default dalam region luar sumber.

Lokasi yang didukung
africa-south1 europe-north1 nam4
asia-east1 europe-north2 northamerica-northeast1
asia-east2 europe-southwest1 northamerica-northeast2
asia-northeast1 europe-west1 northamerica-south1
asia-northeast2 europe-west2 southamerica-east1
asia-northeast3 europe-west3 Southamerica-west1
asia-south1 europe-west4 us-central1
asia-south2 europe-west6 us-central2
asia-southeast1 europe-west8 us-east1
asia-southeast2 europe-west9 us-east4
asia-southeast3 europe-west10 us-east5
asia1 europe-west12 us-east7
australia-southeast1 me-central1 us-west1
australia-southeast2 me-central2 us-west2
me-west1 us-west3
us-west4

Batasan umum transfer sistem file

Tidak ada dukungan real-time

Storage Transfer Service tidak mendukung deteksi perubahan sub-jam. Storage Transfer Service adalah layanan pemindahan data batch yang dapat memindai sumber dengan frekuensi hingga sekali dalam satu jam.

Konfigurasi sistem operasi yang didukung

Agen transfer berjalan di container Docker atau Podman di server Linux atau virtual machine (VM). Untuk menyalin data pada sistem file CIFS atau SMB, Anda dapat memasang volume di server atau VM Linux, lalu menjalankan agen dari server atau VM Linux.

Persyaratan memori

Berikut adalah persyaratan memori untuk agen transfer:
  • Memori minimum: 1 GiB
  • Memori minimum untuk mendukung upload berperforma tinggi: 6 GiB

Batasan penskalaan

Storage Transfer Service mendukung transfer individual yang:

  • Berukuran ratusan terabyte
  • Hingga 1 miliar file
  • Kecepatan transfer beberapa puluh Gbps

Transfer individual yang lebih besar dari ukuran ini dapat diandalkan, tetapi belum diuji performanya.

Jika Anda memiliki set data yang lebih besar dari batas ini, sebaiknya bagi data Anda ke beberapa tugas transfer.

Saat ini kami mendukung direktori besar, asalkan setiap agen memiliki setidaknya 1 GB memori yang tersedia untuk setiap 1 juta file di direktori terbesar, sehingga kami dapat melakukan iterasi pada konten direktori tanpa melebihi memori.

Batasan agen dan kumpulan agen

Kami mendukung hingga 100 agen untuk satu kumpulan agen. Kecil kemungkinan Anda akan memerlukan lebih banyak agen untuk mencapai performa yang lebih baik mengingat lingkungan yang umum.

Hingga 800 kumpulan agen didukung per project.

Satu direktori per tugas

Setiap tugas transfer mentransfer konten satu direktori sistem file (secara rekursif). Untuk mentransfer hanya file tertentu dari direktori tersebut, gunakan manifes. Untuk mentransfer beberapa direktori, buat satu tugas per direktori. Globbing file tidak didukung untuk transfer sistem file.

Nama file yang didukung

Aturan berikut berlaku untuk semua nama file yang merupakan bagian dari transfer:

  • Nama file harus menggunakan encoding UTF8.
  • Nama file harus kompatibel dengan unicode.
  • Header tidak boleh berisi baris baru (\n) atau enter (\r).

Jika direktori sumber Anda berisi nama file yang tidak didukung, tugas listingan file untuk direktori tersebut akan gagal.

Jika hal ini terjadi, perbarui nama file yang tidak didukung dan jalankan kembali tugas.

Jenis file yang didukung

Storage Transfer Service mendukung transfer file reguler dan file tersembunyi mirip Unix. File tersembunyi bergaya Unix adalah file yang diawali dengan karakter .. Saat Storage Transfer Service menemukan file non-reguler, seperti perangkat, pipa bernama, atau soket, layanan ini akan memunculkan error UNSUPPORTED_FILE_MODE.

Direktori kosong tidak dibuat di Cloud Storage, karena objek tidak berada dalam subdirektori di dalam bucket. Untuk mengetahui informasi selengkapnya, lihat Namespace objek.

Panjang jalur maksimum

Storage Transfer Service mengikuti panjang jalur maksimum Cloud Storage sebesar 1024 byte. Awalan objek untuk objek tujuan disertakan dalam batasan panjang, karena awalan tersebut digabungkan dalam nama objek di Cloud Storage.

Metadata file yang didukung

Lihat Penyimpanan metadata untuk mengetahui detail tentang metadata yang dipertahankan, baik secara default maupun opsional.

Jeda tugas yang diperpanjang

Lowongan yang dijeda selama lebih dari 30 hari dianggap tidak aktif. Jika tugas tidak aktif, tugas yang dijeda akan dibatalkan dan jadwal konfigurasi tugas akan dinonaktifkan. Tidak ada operasi tugas baru yang dimulai kecuali Anda mengaktifkan kembali tugas tersebut secara eksplisit.

Keamanan sumber sistem file

Akses agen

Pengguna yang dapat membuat tugas transfer dapat mengambil data dari, dan mendownload data ke, direktori sistem file apa pun yang dapat diakses oleh agen. Jika agen dijalankan sebagai root dan diberi akses ke seluruh sistem file, pihak berniat jahat mungkin dapat mengambil alih host. Sebaiknya Anda membatasi akses agen hanya ke direktori yang diperlukan.