Agen Storage Transfer Service adalah aplikasi yang berjalan di dalam container Open Container Initiative (OCI), yang berkoordinasi dengan Storage Transfer Service untuk transfer yang melibatkan sistem file atau penyimpanan yang kompatibel dengan S3.
Secara default, Storage Transfer Service menggunakan Docker untuk membangun dan menjalankan container OCI.
Storage Transfer Service juga mendukung Podman untuk pengelolaan container; Anda harus menginstal agen menggunakan perintah podman run agar dapat menggunakan Podman.
Jika transfer Anda tidak melibatkan sistem file atau penyimpanan yang kompatibel dengan S3, Anda tidak perlu menyiapkan agen.
Dokumen ini menjelaskan cara mengelola agen transfer di server Anda.
Ringkasan
Proses agen bersifat dinamis. Saat menjalankan transfer, Anda dapat menambahkan agen untuk meningkatkan performa. Agen yang baru dimulai akan bergabung dengan kumpulan agen yang ditetapkan dan melakukan pekerjaan dari transfer yang ada. Anda dapat menggunakannya untuk menyesuaikan jumlah agen yang berjalan, atau untuk menyesuaikan performa transfer dengan permintaan transfer yang berubah.
Proses agen adalah kolektif yang fault-tolerant. Jika satu agen berhenti berjalan, agen yang tersisa akan terus melakukan pekerjaan. Jika semua agen Anda berhenti, saat Anda menambahkan agen baru, transfer akan dilanjutkan dari bagian terakhir yang ditinggalkan agen. Hal ini memungkinkan Anda menghindari pemantauan agen, mencoba ulang transfer, atau menerapkan logika pemulihan. Anda dapat melakukan patch, memindahkan, dan menskalakan kumpulan agen secara dinamis tanpa periode nonaktif transfer dengan mengoordinasikan agen dengan Kubernetes.
Misalnya, Anda mengirimkan dua transfer saat dua agen sedang berjalan. Jika salah satu agen berhenti karena reboot mesin atau patch sistem operasi, agen yang tersisa akan terus bekerja. Kedua transfer masih berjalan, tetapi lebih lambat karena hanya satu agen yang memindahkan data. Jika agen yang tersisa juga berhenti, semua transfer akan berhenti menghasilkan progres, karena tidak ada agen yang berjalan. Saat Anda memulai ulang proses agen, transfer akan dilanjutkan dari bagian terakhir yang ditinggalkan.
Proses agen termasuk dalam kumpulan. Mereka secara kolektif memindahkan data Anda secara paralel. Oleh karena itu, semua agen dalam kumpulan harus memiliki akses yang sama ke semua sumber data yang ingin Anda transfer.
Misalnya, jika Anda mentransfer data dari sistem file tertentu, Anda harus memasang sistem file ke setiap mesin yang menghosting agen di kumpulan agen Anda. Jika beberapa agen di pool Anda dapat menjangkau sumber data dan agen lainnya tidak, transfer dari sumber data tersebut tidak akan berhasil.
Sebelum memulai
Sebelum mengonfigurasi transfer, pastikan Anda telah mengonfigurasi akses: untuk pengguna dan akun layanan.
Jika Anda akan menggunakan perintah gcloud,
instal gcloud CLI.
Menginstal dan menjalankan agen transfer
Sebaiknya instal minimal tiga agen per kumpulan agen, idealnya di mesin yang terpisah. Untuk mengetahui informasi selengkapnya tentang cara menentukan jumlah agen yang akan dijalankan, lihat Memaksimalkan performa agen transfer.
Untuk menginstal dan menjalankan agen transfer:
Konsol Google Cloud
Di konsol Google Cloud , buka halaman Agent pools.
Pilih kumpulan agen yang akan ditambahi agen baru.
Klik Install agent.
Ikuti petunjuk untuk menginstal dan menjalankan agen.
Untuk mengetahui informasi selengkapnya tentang opsi command line agen, lihat Opsi command line agen.
gcloud CLI
Untuk menginstal satu atau beberapa agen menggunakan gcloud CLI, jalankan
gcloud transfer agents install:
gcloud transfer agents install --pool=POOL_NAME --count=NUM_AGENTS \
--mount-directories=MOUNT_DIRECTORIES
Alat ini akan memandu Anda melalui langkah-langkah yang diperlukan untuk menginstal agen. Perintah
ini menginstal NUM_AGENTS agen di komputer Anda, yang dipetakan ke
nama kumpulan yang ditentukan sebagai POOL_NAME, dan mengautentikasi
agen menggunakan kredensial gcloud Anda. Nama pool harus ada, atau error akan ditampilkan.
Flag --mount-directories bersifat opsional, tetapi sangat direkomendasikan. Nilainya
adalah daftar direktori yang dipisahkan koma pada sistem file yang akan
diberi akses oleh agen.
Jika flag ini dihilangkan, seluruh sistem file akan dipasang ke container agen. Lihat
referensi gcloud
untuk mengetahui detail selengkapnya.
Sumber yang kompatibel dengan S3
Saat menginstal agen untuk digunakan dengan sumber yang kompatibel dengan S3,
Anda harus memberikan kredensial AWS sebagai variabel lingkungan sebagai
nilai AWS_ACCESS_KEY_ID dan AWS_SECRET_ACCESS_KEY, atau disimpan sebagai
kredensial default dalam file konfigurasi sistem Anda.
export AWS_ACCESS_KEY_ID=ID
export AWS_SECRET_ACCESS_KEY=SECRET
gcloud transfer agents install --pool=POOL_NAME \
--creds-file=/relative/path/to/service-account-key.json
Menggunakan kunci akun layanan
Untuk menjalankan agen menggunakan
kunci akun layanan, gunakan
opsi --creds-file:
gcloud transfer agents install --pool=POOL_NAME --count=NUM_AGENTS \
--mount-directories=MOUNT_DIRECTORIES \
--creds-file=relative/path/to/service-account-key.json
Info selengkapnya
Untuk mengetahui daftar lengkap flag opsional, jalankan
gcloud transfer agents install --help atau baca
referensi gcloud transfer.
Docker
Sebelum menggunakan Docker untuk menginstal agen, ikuti petunjuk untuk menginstal Docker.
Perintah docker run menginstal satu agen. Untuk meningkatkan jumlah agen
di pool Anda, jalankan ulang perintah ini sebanyak yang diperlukan.
Saat menginstal agen, Anda dapat memilih untuk melakukan autentikasi menggunakan kredensial default gcloud, atau dengan akun layanan.
Kredensial default
Agar container Docker dapat melakukan autentikasi dengan kredensial default gcloud Anda, buat volume Docker yang berisi file dengan kredensial default aplikasi Anda dengan menjalankan perintah berikut:
sudo docker run -ti --name gcloud-config google/cloud-sdk gcloud auth application-default login
Kemudian, gunakan perintah berikut untuk menginstal agen, menggunakan flag --volumes-from untuk memasang volume kredensial gcloud-config:
sudo docker run --ulimit memlock=64000000 -d --rm \ --volumes-from gcloud-config \ -v HOST_DIRECTORY:CONTAINER_DIRECTORY \ gcr.io/cloud-ingest/tsop-agent:latest \ --project-id=PROJECT_ID \ --hostname=$(hostname) \ --agent-pool=POOL_NAME
Autentikasi akun layanan
Untuk menginstal dan menjalankan agen transfer dengan docker run menggunakan kredensial akun layanan, pasang file kunci akun layanan berformat JSON ke dalam container dengan -v, dan teruskan jalur file di dalam container ke flag --creds-file.
Lihat Membuat dan mengelola kunci akun layanan untuk mengetahui informasi selengkapnya tentang kunci akun layanan.
sudo docker run --ulimit memlock=64000000 -d --rm \ -v HOST_DIRECTORY:CONTAINER_DIRECTORY \ -v PATH/TO/KEY.JSON:/etc/gcloud/key.json:ro \ gcr.io/cloud-ingest/tsop-agent:latest \ --project-id=PROJECT_ID \ --creds-file=/etc/gcloud/key.json \ --hostname=$(hostname) \ --agent-pool=POOL_NAME
Opsi dan flag
Ganti variabel dalam contoh di atas dengan informasi berikut:
HOST_DIRECTORYadalah direktori di mesin host yang ingin Anda salin. Anda dapat menggunakan lebih dari satu flag-vuntuk menentukan direktori tambahan yang akan disalin.CONTAINER_DIRECTORYadalah direktori yang dipetakan dalam container agen. Nama ini harus sama denganHOST_DIRECTORY.PROJECT_IDadalah project ID yang menghosting transfer.POOL_NAMEadalah nama kumpulan agen tempat agen ini akan diinstal. Jika Anda menghapus flag ini, agen akan diinstal ke pooltransfer_service_defaultproject Anda.
Perintah docker run mendukung flag tambahan.
--enable-mount-directorymemberi tahu agen bahwa seluruh sistem file host dipasang di/transfer_rootdalam container. Hanya gunakan bersama dengan-v /:/transfer_root. Kemudian, agen menambahkan/transfer_rootke jalur sumber, tujuan, log, dan kredensial. Jangan gabungkan dengan pemasangan-v HOST_DIRECTORY:CONTAINER_DIRECTORYper direktori.--creds-file=/etc/gcloud/key.jsonmenentukan jalur ke file kredensial akun layanan berformat JSON di container. File ini dipasang oleh flag-v PATH/TO/KEY.JSON:/etc/gcloud/key.json:rodalam perintah.Agen tidak memerlukan flag untuk transfer dari penyimpanan yang kompatibel dengan S3; agen menggunakan mode yang kompatibel dengan S3 secara otomatis saat tugas transfer memerlukannya. Flag
--enable-s3tidak digunakan lagi dan diabaikan.Jika transfer Anda berasal dari AWS S3 atau penyimpanan yang kompatibel dengan S3, teruskan ID kunci akses dan kunci rahasia Anda menggunakan variabel lingkungan:
sudo docker run --ulimit memlock=64000000 -d --rm \ -v HOST_DIRECTORY:CONTAINER_DIRECTORY \ -v PATH/TO/KEY.JSON:/etc/gcloud/key.json:ro \ -e AWS_ACCESS_KEY_ID=AWS_ACCESS_KEY_ID \ -e AWS_SECRET_ACCESS_KEY=AWS_SECRET_ACCESS_KEY \ gcr.io/cloud-ingest/tsop-agent:latest \ --project-id=PROJECT_ID \ --creds-file=/etc/gcloud/key.json \ --hostname=$(hostname) \ --agent-pool=POOL_NAME
--env HTTPS_PROXY=PROXYmenentukan proxy penerusan di jaringan Anda. NilaiPROXYadalah URL HTTP dan port server proxy. Pastikan Anda menentukan URL HTTP, bukan URL HTTPS, untuk menghindari permintaan yang digabungkan dua kali dalam enkripsi TLS. Permintaan yang digabungkan ganda mencegah server proxy mengirim permintaan keluar yang valid.--gcs-api-endpoint=storage.LOCATION.rep.googleapis.commenentukan endpoint regional Cloud Storage. Jika endpoint regional Cloud Storage ditentukan, semua traffic transfer data melalui agen akan tetap berada dalam region Google Cloud tersebut. Lihat Endpoint regional untuk mengetahui detailnya.--agent-id-prefix=ID_PREFIXmenentukan awalan opsional yang ditambahkan ke ID agen untuk membantu mengidentifikasi agen atau mesinnya di konsol Google Cloud . Jika awalan digunakan, ID agen akan diformat sebagaiprefix + hostname + Docker container ID.--log-dir=LOGS_DIRECTORYmengubah direktori tempat agen menulis log. Direktori default-nya adalah/tmp/.Pasang direktori ini ke dalam container (misalnya,
-v /tmp:/tmp) agar log tetap ada di host. Jika Anda menggunakan--enable-mount-directory, tentukan jalur host; agen akan menambahkan awalan/transfer_rootsecara otomatis.--max-physical-mem=MAX_MEMORY: Agen secara default menggunakan kumpulan buffer 8 GiB. Jika setelan default tidak sesuai dengan lingkungan Anda, Anda dapat menentukan penggunaan memori maksimum yang relevan dalam format berikut:Nilai max-physical-memSetelan memori maksimum 6g6 gibibyte 6gb6 gibibyte 6GiB6 gibibyte --network=DOCKER_NETWORK: Tentukan jaringan docker untuk container ini. Menentukan--network=hostdapat meningkatkan performa dengan mengurangi overhead jaringan, tetapi memungkinkan container memiliki akses penuh ke jaringan host.--kerberos-disable-pa-fx-fastmencegah agen menggunakan negosiasi FAST dengan Kerberos untuk transfer HDFS. Gunakan flag ini jika Key Distribution Center (KDC) Kerberos Anda tidak mendukung negosiasi FAST.
Podman
Sebelum menggunakan Podman untuk menginstal agen, instal Podman:
sudo apt-get update
sudo apt-get -y install podman
Saat menginstal agen, Anda dapat memilih untuk melakukan autentikasi menggunakan kredensial default gcloud, atau dengan akun layanan.
Kredensial default
Agar container agen dapat melakukan autentikasi dengan kredensial default Google Cloud CLI Anda, buat volume yang berisi file dengan kredensial default aplikasi Anda dengan menjalankan perintah berikut:
gcloud auth print-access-token | podman login -u oauth2accesstoken --password-stdin gcr.io sudo podman pull gcr.io/google.com/cloudsdktool/google-cloud-cli:stable sudo podman run -ti --replace --name gcloud-config gcr.io/google.com/cloudsdktool/google-cloud-cli:stable gcloud auth application-default login
Kemudian, gunakan perintah berikut untuk menginstal agen, menggunakan flag --volumes-from untuk memasang volume kredensial gcloud-config.
Perintah ini menginstal satu agen. Untuk meningkatkan jumlah agen di pool Anda, jalankan kembali perintah ini sebanyak yang diperlukan.
sudo podman run --ulimit memlock=64000000 -d --rm \ --volumes-from gcloud-config \ -v HOST_DIRECTORY:CONTAINER_DIRECTORY \ gcr.io/cloud-ingest/tsop-agent:latest \ --project-id=PROJECT_ID \ --hostname=$(hostname) \ --agent-pool=POOL_NAME
Autentikasi akun layanan
Untuk menginstal dan menjalankan agen transfer menggunakan kredensial akun layanan, Anda harus menyediakan kunci akun layanan berformat JSON di container. Untuk melakukannya:
- Pasang lokasi host kunci ke jalur mana pun di container. Contoh:
-v $HOME/.config/gcloud/credentials.json:/key.json:ro. Hal ini menentukan bahwa kunci terletak di mesin host di$HOME/.config/gcloud/credentials.jsondan harus dipasang sebagai/key.jsondi container.romenunjukkan bahwa file tersedia sebagai hanya baca untuk container. - Tentukan jalur container kunci sebagai nilai
--creds-file. Dalam contoh dari langkah sebelumnya, tentukan--creds-file=/key.json.
Lihat Membuat dan mengelola kunci akun layanan untuk mengetahui informasi selengkapnya tentang kunci akun layanan.
sudo podman run --ulimit memlock=64000000 -d --rm \ -v HOST_DIRECTORY:CONTAINER_DIRECTORY \ -v HOST_PATH/TO/KEY.JSON:/etc/gcloud/key.json:ro \ gcr.io/cloud-ingest/tsop-agent:latest \ --project-id=PROJECT_ID \ --creds-file=/etc/gcloud/key.json \ --hostname=$(hostname) \ --agent-pool=POOL_NAME
Opsi dan flag
Ganti variabel dalam contoh di atas dengan informasi berikut:
HOST_DIRECTORYadalah direktori di mesin host yang ingin Anda salin. Anda dapat menggunakan lebih dari satu flag-vuntuk menentukan direktori tambahan yang akan disalin.CONTAINER_DIRECTORYadalah direktori yang dipetakan dalam container agen. Nama ini harus sama denganHOST_DIRECTORY.PROJECT_IDadalah project ID yang menghosting transfer.POOL_NAMEadalah nama kumpulan agen tempat agen ini akan diinstal. Jika Anda menghapus flag ini, agen akan diinstal ke pooltransfer_service_defaultproject Anda.
Perintah podman run mendukung flag tambahan.
--enable-mount-directorymemberi tahu agen bahwa seluruh sistem file host dipasang di/transfer_rootdalam container. Hanya gunakan bersama dengan-v /:/transfer_root. Kemudian, agen menambahkan/transfer_rootke jalur sumber, tujuan, log, dan kredensial. Jangan gabungkan dengan pemasangan-v HOST_DIRECTORY:CONTAINER_DIRECTORYper direktori.--creds-file=/etc/gcloud/key.jsonmenentukan jalur ke file kredensial akun layanan berformat JSON di container. File ini dipasang oleh flag-v HOST_PATH/TO/KEY.JSON:/etc/gcloud/key.json:rodalam perintah.Agen tidak memerlukan flag untuk transfer dari penyimpanan yang kompatibel dengan S3; agen menggunakan mode yang kompatibel dengan S3 secara otomatis saat tugas transfer memerlukannya. Flag
--enable-s3tidak digunakan lagi dan diabaikan.Jika transfer Anda berasal dari AWS S3 atau penyimpanan yang kompatibel dengan S3, teruskan ID kunci akses dan kunci rahasia Anda menggunakan variabel lingkungan:
-e AWS_ACCESS_KEY_ID=AWS_ACCESS_KEY_ID \ -e AWS_SECRET_ACCESS_KEY=AWS_SECRET_ACCESS_KEY ```--env HTTPS_PROXY=PROXYmenentukan proxy penerusan di jaringan Anda. NilaiPROXYadalah URL HTTP dan port server proxy. Pastikan Anda menentukan URL HTTP, bukan URL HTTPS, untuk menghindari permintaan yang digabungkan dua kali dalam enkripsi TLS. Permintaan yang digabungkan ganda mencegah server proxy mengirim permintaan keluar yang valid.--agent-id-prefix=ID_PREFIXmenentukan awalan opsional yang ditambahkan ke ID agen untuk membantu mengidentifikasi agen atau mesinnya di konsol Google Cloud . Jika awalan digunakan, ID agen akan diformat sebagaiprefix + hostname + OCI container ID.--log-dir=LOGS_DIRECTORYmengubah direktori tempat agen menulis log. Direktori default-nya adalah/tmp/.Pasang direktori ini ke dalam container (misalnya,
-v /tmp:/tmp) agar log tetap ada di host. Jika Anda menggunakan--enable-mount-directory, tentukan jalur host; agen akan menambahkan awalan/transfer_rootsecara otomatis.--max-physical-mem=MAX_MEMORY: Agen secara default menggunakan kumpulan buffer 8 GiB. Jika setelan default tidak sesuai dengan lingkungan Anda, Anda dapat menentukan penggunaan memori maksimum yang relevan dalam format berikut:Nilai max-physical-memSetelan memori maksimum 6g6 gibibyte 6gb6 gibibyte 6GiB6 gibibyte --network=DOCKER_NETWORK: Tentukan jaringan docker untuk container ini. Menentukan--network=hostdapat meningkatkan performa dengan mengurangi overhead jaringan, tetapi memungkinkan container memiliki akses penuh ke jaringan host.--kerberos-disable-pa-fx-fastmencegah agen menggunakan negosiasi FAST dengan Kerberos untuk transfer HDFS. Gunakan flag ini jika Key Distribution Center (KDC) Kerberos Anda tidak mendukung negosiasi FAST.
Pemecahan masalah
Jika konfigurasi SELinux Anda mengharuskan label ditempatkan pada konten volume yang dipasang ke dalam container, tambahkan flag :Z ke volume:
sudo podman run --ulimit memlock=64000000 -d --rm \
-v HOST_DIRECTORY:CONTAINER_DIRECTORY:Z \
-v HOST_PATH/TO/KEY.JSON:/etc/gcloud/key.json:ro \
gcr.io/cloud-ingest/tsop-agent:latest \
--project-id=PROJECT_ID \
--creds-file=/etc/gcloud/key.json \
--hostname=$(hostname) \
--agent-pool=POOL_NAME
Tanpa label, sistem keamanan mungkin mencegah proses yang berjalan di dalam container menggunakan konten. Secara default, Podman tidak mengubah label yang ditetapkan oleh OS.
Mengonfirmasi koneksi agen
Untuk mengonfirmasi bahwa agen Anda terhubung:
Di konsol Google Cloud , buka halaman Agent pools.
Kumpulan agen Anda akan ditampilkan, dengan jumlah agen yang terhubung.
Pilih kumpulan agen untuk melihat detail tentang agen yang terhubung.
Jika agen baru tidak muncul di halaman kumpulan agen dalam waktu 10 menit setelah pembuatannya, lihat Agen tidak terhubung.
Memantau aktivitas agen
Anda dapat menggunakan Cloud Monitoring untuk memantau aktivitas agen.
Pemantauan tersedia di sepanjang dimensi project, agent_pool, dan agent_id.
Dengan menggunakan data pemantauan ini, Anda dapat menyiapkan pemberitahuan untuk memberi tahu Anda tentang potensi masalah pada transfer Anda. Untuk melakukannya, buat pemberitahuan pada salah satu metrik Google Cloud berikut:
| Nama metrik | Yang dijelaskan | Saran penggunaan |
|---|---|---|
| storagetransfer.googleapis.com/agent/transferred_bytes_count | Mengukur seberapa cepat agen tertentu memindahkan data di semua tugas yang dilayaninya pada suatu waktu. | Notifikasi untuk penurunan performa. |
| storagetransfer.googleapis.com/agent/connected | Boolean yang bernilai True untuk setiap agen yang Google Cloud menerima pesan heartbeat terbaru. |
|
Info terbaru agen
Untuk memastikan agen Storage Transfer Service Anda memiliki fitur, patch keamanan, dan perbaikan bug terbaru, Anda harus mengganti container agen lama dengan yang baru secara berkala.
Image container agen terbaru berada di Artifact Registry di bawah
tag latest:
gcr.io/cloud-ingest/tsop-agent.
Saat image baru tersedia, agen harus diganti. Hal ini dapat dilakukan secara bergilir sehingga transfer yang sedang berlangsung tidak terpengaruh. Anda harus mengambil image container baru sebelum memulai agen baru untuk menghindari penggunaan versi lama yang di-cache dari mesin Anda.
Membandingkan versi penampung
Untuk melihat versi container dari container yang sedang berjalan, ambil 12 karakter pertama dari ringkasan manifesnya:
sudo docker inspect --format='{{index .RepoDigests 0}}' $(sudo docker inspect --format='{{.Image}}' CONTAINER_ID) | sed 's/.*sha256://' | cut -c1-12
Bandingkan ringkasan singkat ini dengan kolom Name yang dipublikasikan di Artifact Registry.
Untuk melihat ringkasan terbaru di command line, jalankan
docker pull gcr.io/cloud-ingest/tsop-agent:latest
untuk mendownload image terbaru, lalu jalankan perintah berikut untuk melihat ringkasan
singkatnya:
docker inspect --format='{{index .RepoDigests 0}}' gcr.io/cloud-ingest/tsop-agent:latest | sed 's/.*sha256://' | cut -c1-12
Mengupdate container
Untuk melakukan update bertahap pada agen Anda:
gcloud CLI
Setelah berada di setiap mesin, ambil image container terbaru dari Artifact Registry:
sudo docker pull gcr.io/cloud-ingest/tsop-agent:latestCantumkan semua agen yang berjalan di komputer ini:
sudo docker container list --all --filter ancestor=gcr.io/cloud-ingest/tsop-agentMenghentikan satu agen:
sudo docker stop CONTAINER_IDMenginstal satu agen baru:
gcloud transfer agents install --pool=POOL_NAME --count=1 \ --mount-directories=MOUNT_DIRECTORIES
Ulangi langkah-langkah ini hingga semua agen telah diganti di semua mesin.
Docker
Setelah berada di setiap mesin, ambil image container terbaru dari Artifact Registry:
sudo docker pull gcr.io/cloud-ingest/tsop-agent:latestCantumkan semua agen yang berjalan di komputer ini:
sudo docker container list --all --filter ancestor=gcr.io/cloud-ingest/tsop-agentMenghentikan satu agen:
sudo docker stop CONTAINER_IDMenginstal satu agen baru:
sudo docker run --ulimit memlock=64000000 -d --rm \ --volumes-from gcloud-config \ -v HOST_DIRECTORY:CONTAINER_DIRECTORY \ gcr.io/cloud-ingest/tsop-agent:latest \ --project-id=PROJECT_ID \ --hostname=$(hostname) \ --agent-pool=POOL_NAME
Ulangi langkah-langkah ini hingga semua agen telah diganti di semua mesin.
Podman
Setelah berada di setiap mesin, ambil image container terbaru dari Artifact Registry:
sudo podman pull gcr.io/cloud-ingest/tsop-agent:latestCantumkan semua agen yang berjalan di komputer ini:
sudo podman container list --all --filter ancestor=gcr.io/cloud-ingest/tsop-agentMenghentikan satu agen:
sudo podman stop CONTAINER_IDMenginstal satu agen baru:
sudo podman run --ulimit memlock=64000000 -d --rm \ --volumes-from gcloud-config \ -v HOST_DIRECTORY:CONTAINER_DIRECTORY \ gcr.io/cloud-ingest/tsop-agent:latest \ --project-id=PROJECT_ID \ --hostname=$(hostname) \ --agent-pool=POOL_NAME
Ulangi langkah-langkah ini hingga semua agen telah diganti di semua mesin.
Update biner agen
Selain update container, skrip update berjalan di dalam container yang otomatis mengambil biner agen terbaru. Skrip ini melakukan polling untuk update biner setiap 5 menit saat container berjalan. Update biner diterapkan secara otomatis di tempat, tanpa memerlukan mulai ulang container.
Jika Anda menonaktifkan update otomatis, kami mungkin tidak mendukung proses debug masalah performa pada versi agen yang lebih lama. Dalam kasus tersebut, kami biasanya mengharuskan Anda mengupdate ke versi terbaru sebelum memberikan dukungan lebih lanjut.
Menghentikan agen
Untuk menghentikan agen, jalankan docker stop atau podman stop pada ID container agen.
Untuk menemukan ID dan menghentikan agen:
Di konsol Google Cloud , buka halaman Agent pools.
Pilih kumpulan agen yang berisi agen yang akan dihentikan.
Pilih agen dari daftar. Gunakan kolom Filter untuk menelusuri awalan, status agen, usia agen, dan lainnya.
Klik Stop agent. Perintah
docker stopdengan ID penampung tertentu akan ditampilkan.Jalankan perintah di komputer tempat agen berjalan.
Perintah stop yang berhasil akan menampilkan ID container.
Setelah dihentikan, agen akan ditampilkan dalam daftar agen pool sebagai Disconnected.
Memulai ulang agen
Agen yang dihentikan tidak dapat dimulai ulang. Sebagai gantinya, instal agen baru ke dalam kumpulan agen.
Menghapus agen
Untuk menghapus agen tertentu, cantumkan agen yang berjalan di komputer Anda.
Docker
sudo docker container list --all --filter ancestor=gcr.io/cloud-ingest/tsop-agent
Podman
sudo podman container list --all --filter ancestor=gcr.io/cloud-ingest/tsop-agent
Kemudian, teruskan ID agen ke gcloud transfer agents delete. Perintah ini tidak
menghentikan agen itu sendiri; perintah ini mencetak perintah docker stop yang kemudian harus Anda
jalankan:
gcloud transfer agents delete --ids=id1,id2,...
Untuk mencetak perintah yang menghentikan semua agen di mesin, gunakan flag --all.
Untuk juga mencetak perintah yang menghapus image container agen, gunakan flag --uninstall. Jalankan perintah yang dicetak untuk menghentikan agen:
gcloud transfer agents delete --all
gcloud transfer agents delete --uninstall
Detail transfer sistem file
Transfer inkremental
Storage Transfer Service memulai semua transfer dengan menghitung data yang ada di sumber dan tujuan untuk menentukan file sumber mana yang baru, diperbarui, atau dihapus sejak transfer terakhir. Kami melakukannya untuk mengurangi jumlah data yang kami kirim dari mesin Anda, menggunakan bandwidth secara efektif, dan mengurangi waktu transfer.
Untuk mendeteksi apakah file telah berubah, kami memeriksa waktu dan ukuran terakhir diubah dari file sumber, lalu membandingkannya dengan waktu dan ukuran terakhir diubah yang dicatat saat file terakhir disalin. Saat kami mendeteksi file baru atau yang diubah, kami akan menyalin seluruh file ke tujuannya. Untuk mengetahui informasi selengkapnya tentang keaktualan file, lihat Detail konsistensi data.
Secara default, kami mendeteksi, tetapi tidak menindaklanjuti, file yang dihapus di sumber. Jika Anda memilih opsi sinkronisasi Hapus file tujuan yang juga tidak ada di sumber saat membuat atau mengedit tugas, transfer Anda akan menghapus objek yang sesuai di tujuan.
Jika Anda memilih opsi sinkronisasi Hapus file tujuan yang juga tidak ada di sumber, file yang tidak sengaja dihapus di sumber juga akan dihapus di tujuan. Untuk mencegah kehilangan data akibat penghapusan yang tidak disengaja, sebaiknya aktifkan pembuatan versi objek di bucket tujuan jika Anda memilih untuk menggunakan opsi ini. Kemudian, jika Anda tidak sengaja menghapus file, Anda dapat memulihkan objek di Cloud Storage ke versi yang lebih lama.
Detail konsistensi data
Operasi transfer yang berhasil akan mentransfer semua file sumber yang ada dan tidak diubah selama seluruh waktu berjalan operasi. File sumber yang dibuat, diperbarui, atau dihapus selama transfer mungkin akan atau tidak akan menampilkan perubahan tersebut dalam set data tujuan.
Storage Transfer Service menggunakan waktu dan ukuran modifikasi terakhir file untuk menentukan apakah file tersebut berubah. Jika file diperbarui tanpa mengubah waktu atau ukuran modifikasi terakhirnya, dan Anda mengaktifkan opsi delete-objects-from-source, Anda mungkin kehilangan data dari perubahan tersebut.
Saat menggunakan fitur delete-objects-from-source, sebaiknya Anda
membekukan penulisan ke sumber selama durasi transfer untuk melindungi
dari kehilangan data.
Untuk membekukan penulisan ke sumber, lakukan salah satu hal berikut:
- Buat clone direktori yang ingin Anda transfer, lalu gunakan direktori yang di-clone sebagai sumber transfer.
- Hentikan aplikasi yang menulis ke direktori sumber.
Jika penting untuk mencatat perubahan yang terjadi selama transfer, Anda dapat menjalankan ulang transfer, atau menetapkan sistem file sumber sebagai hanya baca saat operasi berjalan.
Karena Cloud Storage tidak memiliki konsep direktori, direktori sumber yang kosong tidak akan ditransfer.