Halaman ini mendokumentasikan batasan umum Cloud Storage dan Storage Transfer Service.
Batasan umum
Batas ukuran objek Cloud Storage 5 TiB
Cloud Storage mendukung ukuran maksimum objek tunggal hingga 5 tebibyte. Jika Anda memiliki objek yang lebih besar dari 5 TiB, transfer objek akan gagal untuk objek tersebut, baik untuk Cloud Storage maupun Storage Transfer Service.
Persyaratan penamaan objek Cloud Storage
Cloud Storage menerapkan persyaratan nama objek yang berlaku untuk semua transfer Storage Transfer Service.
Objek yang diubah tidak ditransfer
Storage Transfer Service tidak mengunci file sumber selama transfer.
Jika data objek diperbarui selama transfer, berikut adalah cara Storage Transfer Service merespons:
Transfer dari cloud non-Google ke Google Cloud: Jika data objek diperbarui selama transfer, Storage Transfer Service akan menggagalkan transfer untuk objek tertentu tersebut dan objek tidak akan ditransfer.
Transfer dari sistem file ke Google Cloud: Jika data objek diperbarui selama transfer, Storage Transfer Service akan mencoba mengupload lagi. Jika upload gagal beberapa kali, Storage Transfer Service akan mencatat
FILE_MODIFIED_FAILUREke dalam log. Untuk mengetahui informasi selengkapnya, lihat Pemecahan masalah.Transfer dari Google Cloud ke sistem file: Jika data objek diperbarui selama transfer, Storage Transfer Service akan mencoba mendownload lagi. Jika download gagal beberapa kali, Storage Transfer Service akan mencatat
PRECONDITION_FAILURE. Untuk mengetahui informasi selengkapnya, lihat Pemecahan masalah.
Untuk mengatasi kegagalan:
- Coba transfer lagi.
Jika transfer objek terus gagal, pastikan datanya tidak dapat diperbarui selama transfer:
- Sumber Cloud Storage - Menempatkan pembekuan objek.
- Sumber Amazon S3 - Menetapkan kunci Objek S3.
- Sumber Microsoft Azure Storage - Menetapkan kebijakan keabadian untuk penyimpanan Blob.
- Sumber sistem file - Setel file dalam mode hanya baca atau batasi penulisan ke file yang sedang ditransfer.
Setelah transfer selesai, Anda dapat mengaktifkan kembali update pada objek.
Folder di Cloud Storage
Di bucket yang tidak mengaktifkan namespace hierarkis, objek Cloud Storage berada dalam namespace datar. Untuk mengetahui informasi selengkapnya, lihat Namespace objek. Di bucket ini, Storage Transfer Service tidak membuat folder; struktur direktori hanya direpresentasikan oleh awalan nama objek. Misalnya, jika Anda mentransfer dari Azure Data Lake Storage (ADLS) Gen 2 ke bucket namespace flat, Storage Transfer Service tidak akan membuat ulang namespace ADLS Gen 2 di Cloud Storage. Untuk bucket dengan namespace hierarkis yang diaktifkan, lihat Mentransfer bucket namespace hierarkis Cloud Storage.
Menghapus objek di bucket Amazon S3 yang pembuatan versinya ditangguhkan
Saat menggunakan fitur hapus objek dari sumber setelah transfer di Storage Transfer Service pada bucket Amazon S3 yang ditangguhkan versinya, Storage Transfer Service akan menghapus objek dengan ID versi null, bukan versi saat ini.
Lokasi tugas Storage Transfer Service
Storage Transfer Service memilih lokasinya berdasarkan region bucket Cloud Storage sumber. Saat ini, kami membuat tugas Storage Transfer Service di lokasi berikut. Daftar ini dapat berubah seiring Storage Transfer Service menambahkan dukungan untuk region baru.
Jika bucket Cloud Storage sumber Anda berada di region yang tidak tercantum, kami akan memilih region default dalam region luar sumber.
| Lokasi yang didukung | ||
|---|---|---|
| africa-south1 | europe-north1 | nam4 |
| asia-east1 | europe-north2 | northamerica-northeast1 |
| asia-east2 | europe-southwest1 | northamerica-northeast2 |
| asia-northeast1 | europe-west1 | northamerica-south1 |
| asia-northeast2 | europe-west2 | southamerica-east1 |
| asia-northeast3 | europe-west3 | Southamerica-west1 |
| asia-south1 | europe-west4 | us-central1 |
| asia-south2 | europe-west6 | us-central2 |
| asia-southeast1 | europe-west8 | us-east1 |
| asia-southeast2 | europe-west9 | us-east4 |
| asia-southeast3 | europe-west10 | us-east5 |
| asia1 | europe-west12 | us-east7 |
| australia-southeast1 | me-central1 | us-west1 |
| australia-southeast2 | me-central2 | us-west2 |
| me-west1 | us-west3 | |
| us-west4 |
Batasan umum transfer sistem file
Tidak ada dukungan real-time
Storage Transfer Service tidak mendukung deteksi perubahan sub-jam. Storage Transfer Service adalah layanan pemindahan data batch yang dapat memindai sumber dengan frekuensi hingga sekali dalam satu jam.
Konfigurasi sistem operasi yang didukung
Agen transfer berjalan di container Docker atau Podman di server Linux atau virtual machine (VM). Untuk menyalin data pada sistem file CIFS atau SMB, Anda dapat memasang volume di server atau VM Linux, lalu menjalankan agen dari server atau VM Linux.
Persyaratan memori
Berikut adalah persyaratan memori untuk agen transfer:- Memori minimum: 1 GiB
- Memori minimum untuk mendukung upload berperforma tinggi: 6 GiB
Batasan penskalaan
Storage Transfer Service mendukung transfer individual yang:
- Berukuran ratusan terabyte
- Hingga 1 miliar file
- Kecepatan transfer beberapa puluh Gbps
Transfer individual yang lebih besar dari ukuran ini dapat diandalkan, tetapi belum diuji performanya.
Jika Anda memiliki set data yang lebih besar dari batas ini, sebaiknya bagi data Anda ke beberapa tugas transfer.
Saat ini kami mendukung direktori besar, asalkan setiap agen memiliki setidaknya 1 GB memori yang tersedia untuk setiap 1 juta file di direktori terbesar, sehingga kami dapat melakukan iterasi pada konten direktori tanpa melebihi memori.
Batasan agen dan kumpulan agen
Kami mendukung hingga 100 agen untuk satu kumpulan agen. Kecil kemungkinan Anda akan memerlukan lebih banyak agen untuk mencapai performa yang lebih baik mengingat lingkungan yang umum.
Hingga 800 kumpulan agen didukung per project.
Satu direktori per tugas
Setiap tugas transfer mentransfer konten satu direktori sistem file (secara rekursif). Untuk mentransfer hanya file tertentu dari direktori tersebut, gunakan manifes. Untuk mentransfer beberapa direktori, buat satu tugas per direktori. Globbing file tidak didukung untuk transfer sistem file.
Nama file yang didukung
Aturan berikut berlaku untuk semua nama file yang merupakan bagian dari transfer:
- Nama file harus menggunakan encoding UTF8.
- Nama file harus kompatibel dengan unicode.
- Header tidak boleh berisi baris baru (
\n) atau enter (\r).
Jika direktori sumber Anda berisi nama file yang tidak didukung, tugas listingan file untuk direktori tersebut akan gagal.
Jika hal ini terjadi, perbarui nama file yang tidak didukung dan jalankan kembali tugas.
Jenis file yang didukung
Storage Transfer Service mendukung transfer file reguler dan file tersembunyi mirip Unix.
File tersembunyi bergaya Unix adalah file yang diawali dengan karakter .. Saat Storage Transfer Service menemukan file non-reguler, seperti perangkat, pipa bernama, atau soket, layanan ini akan memunculkan error UNSUPPORTED_FILE_MODE.
Direktori kosong tidak dibuat di Cloud Storage, karena objek tidak berada dalam subdirektori di dalam bucket. Untuk mengetahui informasi selengkapnya, lihat Namespace objek.
Panjang jalur maksimum
Storage Transfer Service mengikuti panjang jalur maksimum Cloud Storage sebesar 1024 byte. Awalan objek untuk objek tujuan disertakan dalam batasan panjang, karena awalan tersebut digabungkan dalam nama objek di Cloud Storage.
Metadata file yang didukung
Lihat Penyimpanan metadata untuk mengetahui detail tentang metadata yang dipertahankan, baik secara default maupun opsional.
Jeda tugas yang diperpanjang
Lowongan yang dijeda selama lebih dari 30 hari dianggap tidak aktif. Jika tugas tidak aktif, tugas yang dijeda akan dibatalkan dan jadwal konfigurasi tugas akan dinonaktifkan. Tidak ada operasi tugas baru yang dimulai kecuali Anda mengaktifkan kembali tugas tersebut secara eksplisit.
Keamanan sumber sistem file
Akses agen
Pengguna yang dapat membuat tugas transfer dapat mengambil data dari, dan mendownload data ke, direktori sistem file apa pun yang dapat diakses oleh agen. Jika agen dijalankan sebagai root dan diberi akses ke seluruh sistem file, pihak berniat jahat mungkin dapat mengambil alih host. Sebaiknya Anda membatasi akses agen hanya ke direktori yang diperlukan.