Halaman ini menunjukkan cara mentransfer data antara dua sistem file POSIX. Kasus penggunaan umum mencakup:
- Burst ke cloud dan HPC Hybrid: Transfer set data besar dengan cepat dari infrastruktur lokal ke cloud untuk diproses.
- Migrasi dan sinkronisasi ke Filestore: Memigrasikan atau menyinkronkan data dari sistem file lokal ke Filestore.
- Transfer file terkelola: Mentransfer data dengan aman dan andal antara pusat data atau antara dua sistem file dalam cloud.
Panduan performa transfer
Panduan berikut dapat membantu memaksimalkan performa selama transfer sistem file ke sistem file.
Deployment agen
Secara umum, sebaiknya gunakan tiga agen di setiap kumpulan agen sumber dan tujuan. Pantau transfer dan tambahkan lebih banyak agen jika diperlukan. Setiap agen memerlukan 4 vCPU dan RAM 8 GiB.
Jika Anda bermigrasi ke instance Filestore, Filestore
merekomendasikan penggunaan jenis instance n2-standard-8 untuk setiap agen. Tentukan
nconnect=2 saat Anda memasang instance ke VM Compute Engine. Lihat Panduan performa Filestore untuk mengetahui informasi selengkapnya tentang cara mengoptimalkan dan menguji performa instance.
Mentransfer file kecil dalam jumlah besar
Untuk performa yang lebih baik saat mentransfer banyak file kecil, sebaiknya bagi file ke dalam beberapa direktori dan hindari satu direktori dengan jutaan file.
Sebelum memulai
Sebelum Anda dapat melakukan tugas yang dijelaskan di halaman ini, selesaikan langkah-langkah prasyarat dan konfigurasikan izin yang diperlukan:
- Izin pengguna yang diperlukan
- Izin level project berbasis agen
- Mengonfigurasi akses ke sumber: sistem file
- Mengonfigurasi akses ke sink: sistem file
Membuat kumpulan agen dan menginstal agen
Untuk transfer sistem file ke sistem file, Anda perlu membuat pool agen dan agen untuk sistem file sumber dan tujuan. Agen untuk kumpulan agen sumber harus diinstal di mesin atau VM yang memiliki akses ke sistem file sumber. Agen untuk kumpulan agen tujuan harus diinstal di mesin atau VM yang memiliki akses ke sistem file tujuan.
Jangan sertakan informasi sensitif seperti informasi identitas pribadi (PII) atau data keamanan dalam awalan ID agen atau nama kumpulan agen Anda. Nama resource dapat disebarkan ke nama resource Google Cloud lainnya dan dapat diekspos ke sistem internal Google di luar project Anda.
Membuat kumpulan agen sumber
Buat kumpulan agen sumber menggunakan salah satu metode berikut:
gcloud CLI
Buat kumpulan agen sumber dengan menjalankan:
gcloud transfer agent-pools create SOURCE_AGENT_POOL
Ganti SOURCE_AGENT_POOL dengan nama yang ingin Anda berikan ke pool agen sumber.
Konsol Google Cloud
Di konsol Google Cloud , buka halaman Agent pools.
Halaman Agent pools akan ditampilkan, yang mencantumkan kumpulan agen yang ada.
Klik Create another pool.
Masukkan nama untuk pool.
Klik Create.
Menginstal agen untuk kumpulan agen sumber
Instal agen untuk kumpulan agen sumber di mesin atau VM yang memiliki akses ke sistem file sumber:
gcloud CLI
Instal agen untuk kumpulan agen sumber dengan menjalankan:
gcloud transfer agents install --pool=SOURCE_AGENT_POOL --count=NUMBER_OF_AGENTS \
--mount-directories=MOUNT_DIRECTORIES
Ganti kode berikut:
- SOURCE_AGENT_POOL dengan nama kumpulan agen sumber.
- NUMBER_OF_AGENTS dengan jumlah agen yang ingin Anda instal untuk kumpulan agen sumber. Untuk menentukan jumlah agen yang optimal untuk lingkungan Anda, lihat Persyaratan dan praktik terbaik agen.
- MOUNT_DIRECTORIES dengan daftar yang dipisahkan koma dari direktori di sistem file sumber yang akan disalin. Menghilangkan flag ini akan memasang seluruh sistem file, yang dapat menimbulkan risiko keamanan.
Konsol Google Cloud
Di konsol Google Cloud , buka halaman Agent pools.
Halaman Agent pools akan ditampilkan, yang mencantumkan kumpulan agen yang ada.
Klik nama pool agen sumber yang baru saja Anda buat.
Di tab Agents, klik Install agent.
Ikuti petunjuk di konsol Google Cloud untuk menginstal Docker dan memulai agen.
Membuat kumpulan agen tujuan dan menginstal agen
Ulangi langkah-langkah sebelumnya untuk membuat kumpulan agen tujuan dan menginstal agen.
Membuat bucket Cloud Storage sebagai perantara
Transfer sistem file ke sistem file memerlukan bucket Cloud Storage sebagai perantara untuk transfer data.
Buat bucket kelas Standard Cloud Storage dengan setelan berikut:
- Encryption: Anda dapat menentukan kunci enkripsi yang dikelola pelanggan (CMEK). Jika tidak, Google-owned and Google-managed encryption key akan digunakan.
- Pembuatan Versi Objek, Kunci Bucket, dan penangguhan objek default: Nonaktifkan fitur ini.
Berikan peran yang diperlukan pada bucket perantara ke agen layanan Storage Transfer Service serta akun agen transfer sumber dan tujuan Anda. Ikuti petunjuk di Izin bucket perantara.
Membuat tugas transfer
gcloud CLI
Untuk membuat transfer dari sistem file sumber ke sistem file tujuan, jalankan
gcloud transfer jobs create posix://SOURCE_DIRECTORY posix://DESTINATION_DIRECTORY \
--source-agent-pool=SOURCE_AGENT_POOL \
--destination-agent-pool=DESTINATION_AGENT_POOL \
--intermediate-storage-path=gs://STORAGE_BUCKET/FOLDER/
Ganti variabel berikut:
- SOURCE_DIRECTORY dengan jalur direktori sumber.
- DESTINATION_DIRECTORY dengan jalur direktori tujuan.
- SOURCE_AGENT_POOL dengan nama kumpulan agen sumber.
- DESTINATION_AGENT_POOL dengan nama kumpulan agen tujuan.
- STORAGE_BUCKET dengan nama bucket Cloud Storage.
- FOLDER dengan nama folder tempat Anda ingin mentransfer data.
Saat Anda memulai tugas transfer, sistem akan menghitung data di sumber dan tujuan terlebih dahulu untuk menentukan data sumber yang baru atau diperbarui sejak transfer sebelumnya. Hanya data baru yang ditransfer.
Library Klien
Go
Java
Node.js
Python
Mengelola bucket perantara
Setelah tugas transfer selesai, Storage Transfer Service akan menyimpan log transfer yang mencantumkan data yang ditransfer dan gagal ditransfer di bucket. Setelah transfer, tugas pembersihan akan dimulai secara otomatis untuk menghapus data perantara. Dalam beberapa kasus, tugas pembersihan gagal menghapus semua data di bucket. Untuk menghapus data yang tidak dihapus selama pembersihan, gunakan petunjuk di bawah untuk menghapus data secara manual, atau menetapkan aturan siklus proses untuk menghapus data secara otomatis.
Pembersihan manual
Hapus data dari bucket perantara dengan menjalankan perintah berikut berdasarkan jenis data yang ingin Anda hapus.
Untuk menghapus data di bucket perantara yang tidak dihapus selama pembersihan, jalankan perintah berikut:
gcloud storage rm gs://STORAGE_BUCKET/PREFIX**Untuk menghapus semua data, termasuk log transfer, tentukan root bucket menggunakan karakter pengganti cocok-semua (*).
gcloud storage rm gs://STORAGE_BUCKET/*Untuk menghapus bucket, jalankan perintah berikut:
gcloud storage rm gs://STORAGE_BUCKET
Ganti variabel berikut:
STORAGE_BUCKET dengan nama bucket perantara.
PREFIX dengan nama folder tempat data ditransfer dalam bucket perantara.
Menetapkan aturan siklus proses
Untuk menghapus data yang tidak dihapus oleh siklus pembersihan otomatis, tetapkan aturan siklus proses untuk bucket Cloud Storage. Gunakan
kondisi age untuk menghapus data perantara di
bucket dengan menentukan periode yang lebih lama daripada tugas transfer terlama yang
menggunakan bucket sebagai perantara. Jika kondisi usia yang ditentukan lebih singkat daripada waktu yang diperlukan untuk mendownload file dari bucket perantara ke tujuan, transfer file akan gagal.
Secara opsional, gunakan kondisi matchesPrefix
untuk menghapus data di folder yang Anda tentukan untuk bucket perantara. Untuk menghapus log transfer beserta data dalam bucket, kondisi matchesPrefix tidak diperlukan.
Mempertahankan metadata file
Untuk mempertahankan metadata file, termasuk UID numerik, GID, MODE, dan link simbolis:
gcloud CLI
Gunakan kolom --preserve-metadata untuk menentukan perilaku pelestarian untuk
transfer ini. Opsi yang berlaku untuk transfer sistem file adalah: gid,
mode, symlink, uid.
REST API
Tentukan opsi yang sesuai dalam objek
metadataOptions.
Lihat Mempertahankan atribut POSIX opsional untuk mengetahui informasi selengkapnya.
Contoh transfer menggunakan gcloud CLI
Dalam contoh ini, kita mentransfer data dari direktori /tmp/datasource di VM1 ke /tmp/destination di VM2.
Siapkan sumber transfer.
Buat kumpulan agen sumber:
gcloud transfer agent-pools create source_agent_poolDi VM1, instal agen untuk
source_agent_pooldengan menjalankan:gcloud transfer agents install --pool=source_agent_pool \ --count=1 \ --mount-directories="/tmp/datasource"
Siapkan tujuan transfer.
Buat kumpulan agen tujuan:
gcloud transfer agent-pools create destination_agent_poolDi VM2, instal agen untuk
destination_agent_pooldengan menjalankan:gcloud transfer agents install --pool=destination_agent_pool \ --count=3 \ --mount-directories="/tmp/destination"
Membuat bucket Cloud Storage perantara.
Buat bucket bernama
my-intermediary-bucket:gcloud storage buckets create gs://my-intermediary-bucketBerikan peran yang diperlukan di
gs://my-intermediary-bucketke akun agen layanan dan agen transfer seperti yang dijelaskan dalam Izin bucket perantara.
Buat tugas transfer dengan menjalankan:
gcloud transfer jobs create posix:///tmp/datasource posix:///tmp/destination \ --source-agent-pool=source_agent_pool \ --destination-agent-pool=destination_agent_pool \ --intermediate-storage-path=gs://my-intermediary-bucket
Langkah berikutnya
- Pelajari lebih lanjut cara mengelola tugas.