Mengelola agen transfer

Agen Storage Transfer Service adalah aplikasi yang berjalan di dalam container Open Container Initiative (OCI), yang berkoordinasi dengan Storage Transfer Service untuk transfer yang melibatkan sistem file atau penyimpanan yang kompatibel dengan S3.

Secara default, Storage Transfer Service menggunakan Docker untuk membangun dan menjalankan container OCI. Storage Transfer Service juga mendukung Podman untuk pengelolaan container; Anda harus menginstal agen menggunakan perintah podman run agar dapat menggunakan Podman.

Jika transfer Anda tidak melibatkan sistem file atau penyimpanan yang kompatibel dengan S3, Anda tidak perlu menyiapkan agen.

Dokumen ini menjelaskan cara mengelola agen transfer di server Anda.

Ringkasan

  • Proses agen bersifat dinamis. Saat menjalankan transfer, Anda dapat menambahkan agen untuk meningkatkan performa. Agen yang baru dimulai akan bergabung dengan kumpulan agen yang ditetapkan dan melakukan pekerjaan dari transfer yang ada. Anda dapat menggunakannya untuk menyesuaikan jumlah agen yang berjalan, atau untuk menyesuaikan performa transfer dengan permintaan transfer yang berubah.

  • Proses agen adalah kolektif yang fault-tolerant. Jika satu agen berhenti berjalan, agen yang tersisa akan terus melakukan pekerjaan. Jika semua agen Anda berhenti, saat Anda menambahkan agen baru, transfer akan dilanjutkan dari bagian terakhir yang ditinggalkan agen. Hal ini memungkinkan Anda menghindari pemantauan agen, mencoba ulang transfer, atau menerapkan logika pemulihan. Anda dapat melakukan patch, memindahkan, dan menskalakan kumpulan agen secara dinamis tanpa periode nonaktif transfer dengan mengoordinasikan agen dengan Kubernetes.

    Misalnya, Anda mengirimkan dua transfer saat dua agen sedang berjalan. Jika salah satu agen berhenti karena reboot mesin atau patch sistem operasi, agen yang tersisa akan terus bekerja. Kedua transfer masih berjalan, tetapi lebih lambat karena hanya satu agen yang memindahkan data. Jika agen yang tersisa juga berhenti, semua transfer akan berhenti menghasilkan progres, karena tidak ada agen yang berjalan. Saat Anda memulai ulang proses agen, transfer akan dilanjutkan dari bagian terakhir yang ditinggalkan.

  • Proses agen termasuk dalam kumpulan. Mereka secara kolektif memindahkan data Anda secara paralel. Oleh karena itu, semua agen dalam kumpulan harus memiliki akses yang sama ke semua sumber data yang ingin Anda transfer.

    Misalnya, jika Anda mentransfer data dari sistem file tertentu, Anda harus memasang sistem file ke setiap mesin yang menghosting agen di kumpulan agen Anda. Jika beberapa agen di pool Anda dapat menjangkau sumber data dan agen lainnya tidak, transfer dari sumber data tersebut tidak akan berhasil.

Sebelum memulai

Sebelum mengonfigurasi transfer, pastikan Anda telah mengonfigurasi akses: untuk pengguna dan akun layanan.

Jika Anda akan menggunakan perintah gcloud, instal gcloud CLI.

Menginstal dan menjalankan agen transfer

Sebaiknya instal minimal tiga agen per kumpulan agen, idealnya di mesin yang terpisah. Untuk mengetahui informasi selengkapnya tentang cara menentukan jumlah agen yang akan dijalankan, lihat Memaksimalkan performa agen transfer.

Untuk menginstal dan menjalankan agen transfer:

Konsol Google Cloud

  1. Di konsol Google Cloud , buka halaman Agent pools.

    Buka Agent pools

  2. Pilih kumpulan agen yang akan ditambahi agen baru.

  3. Klik Install agent.

  4. Ikuti petunjuk untuk menginstal dan menjalankan agen.

    Untuk mengetahui informasi selengkapnya tentang opsi command line agen, lihat Opsi command line agen.

gcloud CLI

Untuk menginstal satu atau beberapa agen menggunakan gcloud CLI, jalankan gcloud transfer agents install:

gcloud transfer agents install --pool=POOL_NAME --count=NUM_AGENTS \
  --mount-directories=MOUNT_DIRECTORIES

Alat ini akan memandu Anda melalui langkah-langkah yang diperlukan untuk menginstal agen. Perintah ini menginstal NUM_AGENTS agen di komputer Anda, yang dipetakan ke nama kumpulan yang ditentukan sebagai POOL_NAME, dan mengautentikasi agen menggunakan kredensial gcloud Anda. Nama pool harus ada, atau error akan ditampilkan.

Flag --mount-directories bersifat opsional, tetapi sangat direkomendasikan. Nilainya adalah daftar direktori yang dipisahkan koma pada sistem file yang akan diberi akses oleh agen. Jika flag ini dihilangkan, seluruh sistem file akan dipasang ke container agen. Lihat referensi gcloud untuk mengetahui detail selengkapnya.

Sumber yang kompatibel dengan S3

Saat menginstal agen untuk digunakan dengan sumber yang kompatibel dengan S3, Anda harus memberikan kredensial AWS sebagai variabel lingkungan sebagai nilai AWS_ACCESS_KEY_ID dan AWS_SECRET_ACCESS_KEY, atau disimpan sebagai kredensial default dalam file konfigurasi sistem Anda.

export AWS_ACCESS_KEY_ID=ID
export AWS_SECRET_ACCESS_KEY=SECRET
gcloud transfer agents install --pool=POOL_NAME \
  --creds-file=/relative/path/to/service-account-key.json

Menggunakan kunci akun layanan

Untuk menjalankan agen menggunakan kunci akun layanan, gunakan opsi --creds-file:

gcloud transfer agents install --pool=POOL_NAME --count=NUM_AGENTS \
   --mount-directories=MOUNT_DIRECTORIES \
   --creds-file=relative/path/to/service-account-key.json

Info selengkapnya

Untuk mengetahui daftar lengkap flag opsional, jalankan gcloud transfer agents install --help atau baca referensi gcloud transfer.

Docker

Sebelum menggunakan Docker untuk menginstal agen, ikuti petunjuk untuk menginstal Docker.

Perintah docker run menginstal satu agen. Untuk meningkatkan jumlah agen di pool Anda, jalankan ulang perintah ini sebanyak yang diperlukan.

Saat menginstal agen, Anda dapat memilih untuk melakukan autentikasi menggunakan kredensial default gcloud, atau dengan akun layanan.

Kredensial default

Agar container Docker dapat melakukan autentikasi dengan kredensial default gcloud Anda, buat volume Docker yang berisi file dengan kredensial default aplikasi Anda dengan menjalankan perintah berikut:

sudo docker run -ti --name gcloud-config google/cloud-sdk gcloud auth application-default login

Kemudian, gunakan perintah berikut untuk menginstal agen, menggunakan flag --volumes-from untuk memasang volume kredensial gcloud-config:

sudo docker run --ulimit memlock=64000000 -d --rm \
--volumes-from gcloud-config \
-v HOST_DIRECTORY:CONTAINER_DIRECTORY \
gcr.io/cloud-ingest/tsop-agent:latest \
--project-id=PROJECT_ID \
--hostname=$(hostname) \
--agent-pool=POOL_NAME

Autentikasi akun layanan

Untuk menginstal dan menjalankan agen transfer dengan docker run menggunakan kredensial akun layanan, pasang file kunci akun layanan berformat JSON ke dalam container dengan -v, dan teruskan jalur file di dalam container ke flag --creds-file.

Lihat Membuat dan mengelola kunci akun layanan untuk mengetahui informasi selengkapnya tentang kunci akun layanan.

sudo docker run --ulimit memlock=64000000 -d --rm \
-v HOST_DIRECTORY:CONTAINER_DIRECTORY \
-v PATH/TO/KEY.JSON:/etc/gcloud/key.json:ro \
gcr.io/cloud-ingest/tsop-agent:latest \
--project-id=PROJECT_ID \
--creds-file=/etc/gcloud/key.json \
--hostname=$(hostname) \
--agent-pool=POOL_NAME

Opsi dan flag

Ganti variabel dalam contoh di atas dengan informasi berikut:

  • HOST_DIRECTORY adalah direktori di mesin host yang ingin Anda salin. Anda dapat menggunakan lebih dari satu flag -v untuk menentukan direktori tambahan yang akan disalin.
  • CONTAINER_DIRECTORY adalah direktori yang dipetakan dalam container agen. Nama ini harus sama dengan HOST_DIRECTORY.
  • PROJECT_ID adalah project ID yang menghosting transfer.
  • POOL_NAME adalah nama kumpulan agen tempat agen ini akan diinstal. Jika Anda menghapus flag ini, agen akan diinstal ke pool transfer_service_default project Anda.

Perintah docker run mendukung flag tambahan.

  • --enable-mount-directory memberi tahu agen bahwa seluruh sistem file host dipasang di /transfer_root dalam container. Hanya gunakan bersama dengan -v /:/transfer_root. Kemudian, agen menambahkan /transfer_root ke jalur sumber, tujuan, log, dan kredensial. Jangan gabungkan dengan pemasangan -v HOST_DIRECTORY:CONTAINER_DIRECTORY per direktori.

  • --creds-file=/etc/gcloud/key.json menentukan jalur ke file kredensial akun layanan berformat JSON di container. File ini dipasang oleh flag -v PATH/TO/KEY.JSON:/etc/gcloud/key.json:ro dalam perintah.

  • Agen tidak memerlukan flag untuk transfer dari penyimpanan yang kompatibel dengan S3; agen menggunakan mode yang kompatibel dengan S3 secara otomatis saat tugas transfer memerlukannya. Flag --enable-s3 tidak digunakan lagi dan diabaikan.

    Jika transfer Anda berasal dari AWS S3 atau penyimpanan yang kompatibel dengan S3, teruskan ID kunci akses dan kunci rahasia Anda menggunakan variabel lingkungan:

    sudo docker run --ulimit memlock=64000000 -d --rm \
    -v HOST_DIRECTORY:CONTAINER_DIRECTORY \
    -v PATH/TO/KEY.JSON:/etc/gcloud/key.json:ro \
    -e AWS_ACCESS_KEY_ID=AWS_ACCESS_KEY_ID \
    -e AWS_SECRET_ACCESS_KEY=AWS_SECRET_ACCESS_KEY \
    gcr.io/cloud-ingest/tsop-agent:latest \
    --project-id=PROJECT_ID \
    --creds-file=/etc/gcloud/key.json \
    --hostname=$(hostname) \
    --agent-pool=POOL_NAME
    
  • --env HTTPS_PROXY=PROXY menentukan proxy penerusan di jaringan Anda. Nilai PROXY adalah URL HTTP dan port server proxy. Pastikan Anda menentukan URL HTTP, bukan URL HTTPS, untuk menghindari permintaan yang digabungkan dua kali dalam enkripsi TLS. Permintaan yang digabungkan ganda mencegah server proxy mengirim permintaan keluar yang valid.

  • --gcs-api-endpoint=storage.LOCATION.rep.googleapis.com menentukan endpoint regional Cloud Storage. Jika endpoint regional Cloud Storage ditentukan, semua traffic transfer data melalui agen akan tetap berada dalam region Google Cloud tersebut. Lihat Endpoint regional untuk mengetahui detailnya.

  • --agent-id-prefix=ID_PREFIX menentukan awalan opsional yang ditambahkan ke ID agen untuk membantu mengidentifikasi agen atau mesinnya di konsol Google Cloud . Jika awalan digunakan, ID agen akan diformat sebagai prefix + hostname + Docker container ID.

  • --log-dir=LOGS_DIRECTORY mengubah direktori tempat agen menulis log. Direktori default-nya adalah /tmp/.

    Pasang direktori ini ke dalam container (misalnya, -v /tmp:/tmp) agar log tetap ada di host. Jika Anda menggunakan --enable-mount-directory, tentukan jalur host; agen akan menambahkan awalan /transfer_root secara otomatis.

  • --max-physical-mem=MAX_MEMORY: Agen secara default menggunakan kumpulan buffer 8 GiB. Jika setelan default tidak sesuai dengan lingkungan Anda, Anda dapat menentukan penggunaan memori maksimum yang relevan dalam format berikut:

    Nilai max-physical-mem Setelan memori maksimum
    6g 6 gibibyte
    6gb 6 gibibyte
    6GiB 6 gibibyte
  • --network=DOCKER_NETWORK: Tentukan jaringan docker untuk container ini. Menentukan --network=host dapat meningkatkan performa dengan mengurangi overhead jaringan, tetapi memungkinkan container memiliki akses penuh ke jaringan host.

  • --kerberos-disable-pa-fx-fast mencegah agen menggunakan negosiasi FAST dengan Kerberos untuk transfer HDFS. Gunakan flag ini jika Key Distribution Center (KDC) Kerberos Anda tidak mendukung negosiasi FAST.

Podman

Sebelum menggunakan Podman untuk menginstal agen, instal Podman:

sudo apt-get update
sudo apt-get -y install podman

Saat menginstal agen, Anda dapat memilih untuk melakukan autentikasi menggunakan kredensial default gcloud, atau dengan akun layanan.

Kredensial default

Agar container agen dapat melakukan autentikasi dengan kredensial default Google Cloud CLI Anda, buat volume yang berisi file dengan kredensial default aplikasi Anda dengan menjalankan perintah berikut:

gcloud auth print-access-token | podman login -u oauth2accesstoken --password-stdin gcr.io
sudo podman pull gcr.io/google.com/cloudsdktool/google-cloud-cli:stable
sudo podman run -ti --replace --name gcloud-config gcr.io/google.com/cloudsdktool/google-cloud-cli:stable gcloud auth application-default login

Kemudian, gunakan perintah berikut untuk menginstal agen, menggunakan flag --volumes-from untuk memasang volume kredensial gcloud-config. Perintah ini menginstal satu agen. Untuk meningkatkan jumlah agen di pool Anda, jalankan kembali perintah ini sebanyak yang diperlukan.

sudo podman run --ulimit memlock=64000000 -d --rm \
--volumes-from gcloud-config \
-v HOST_DIRECTORY:CONTAINER_DIRECTORY \
gcr.io/cloud-ingest/tsop-agent:latest \
--project-id=PROJECT_ID \
--hostname=$(hostname) \
--agent-pool=POOL_NAME

Autentikasi akun layanan

Untuk menginstal dan menjalankan agen transfer menggunakan kredensial akun layanan, Anda harus menyediakan kunci akun layanan berformat JSON di container. Untuk melakukannya:

  1. Pasang lokasi host kunci ke jalur mana pun di container. Contoh: -v $HOME/.config/gcloud/credentials.json:/key.json:ro. Hal ini menentukan bahwa kunci terletak di mesin host di $HOME/.config/gcloud/credentials.json dan harus dipasang sebagai /key.json di container. ro menunjukkan bahwa file tersedia sebagai hanya baca untuk container.
  2. Tentukan jalur container kunci sebagai nilai --creds-file. Dalam contoh dari langkah sebelumnya, tentukan --creds-file=/key.json.

Lihat Membuat dan mengelola kunci akun layanan untuk mengetahui informasi selengkapnya tentang kunci akun layanan.

sudo podman run --ulimit memlock=64000000 -d --rm \
-v HOST_DIRECTORY:CONTAINER_DIRECTORY \
-v HOST_PATH/TO/KEY.JSON:/etc/gcloud/key.json:ro \
gcr.io/cloud-ingest/tsop-agent:latest \
--project-id=PROJECT_ID \
--creds-file=/etc/gcloud/key.json \
--hostname=$(hostname) \
--agent-pool=POOL_NAME

Opsi dan flag

Ganti variabel dalam contoh di atas dengan informasi berikut:

  • HOST_DIRECTORY adalah direktori di mesin host yang ingin Anda salin. Anda dapat menggunakan lebih dari satu flag -v untuk menentukan direktori tambahan yang akan disalin.
  • CONTAINER_DIRECTORY adalah direktori yang dipetakan dalam container agen. Nama ini harus sama dengan HOST_DIRECTORY.
  • PROJECT_ID adalah project ID yang menghosting transfer.
  • POOL_NAME adalah nama kumpulan agen tempat agen ini akan diinstal. Jika Anda menghapus flag ini, agen akan diinstal ke pool transfer_service_default project Anda.

Perintah podman run mendukung flag tambahan.

  • --enable-mount-directory memberi tahu agen bahwa seluruh sistem file host dipasang di /transfer_root dalam container. Hanya gunakan bersama dengan -v /:/transfer_root. Kemudian, agen menambahkan /transfer_root ke jalur sumber, tujuan, log, dan kredensial. Jangan gabungkan dengan pemasangan -v HOST_DIRECTORY:CONTAINER_DIRECTORY per direktori.

  • --creds-file=/etc/gcloud/key.json menentukan jalur ke file kredensial akun layanan berformat JSON di container. File ini dipasang oleh flag -v HOST_PATH/TO/KEY.JSON:/etc/gcloud/key.json:ro dalam perintah.

  • Agen tidak memerlukan flag untuk transfer dari penyimpanan yang kompatibel dengan S3; agen menggunakan mode yang kompatibel dengan S3 secara otomatis saat tugas transfer memerlukannya. Flag --enable-s3 tidak digunakan lagi dan diabaikan.

    Jika transfer Anda berasal dari AWS S3 atau penyimpanan yang kompatibel dengan S3, teruskan ID kunci akses dan kunci rahasia Anda menggunakan variabel lingkungan:

      -e AWS_ACCESS_KEY_ID=AWS_ACCESS_KEY_ID \
      -e AWS_SECRET_ACCESS_KEY=AWS_SECRET_ACCESS_KEY
      ```
    
  • --env HTTPS_PROXY=PROXY menentukan proxy penerusan di jaringan Anda. Nilai PROXY adalah URL HTTP dan port server proxy. Pastikan Anda menentukan URL HTTP, bukan URL HTTPS, untuk menghindari permintaan yang digabungkan dua kali dalam enkripsi TLS. Permintaan yang digabungkan ganda mencegah server proxy mengirim permintaan keluar yang valid.

  • --agent-id-prefix=ID_PREFIX menentukan awalan opsional yang ditambahkan ke ID agen untuk membantu mengidentifikasi agen atau mesinnya di konsol Google Cloud . Jika awalan digunakan, ID agen akan diformat sebagai prefix + hostname + OCI container ID.

  • --log-dir=LOGS_DIRECTORY mengubah direktori tempat agen menulis log. Direktori default-nya adalah /tmp/.

    Pasang direktori ini ke dalam container (misalnya, -v /tmp:/tmp) agar log tetap ada di host. Jika Anda menggunakan --enable-mount-directory, tentukan jalur host; agen akan menambahkan awalan /transfer_root secara otomatis.

  • --max-physical-mem=MAX_MEMORY: Agen secara default menggunakan kumpulan buffer 8 GiB. Jika setelan default tidak sesuai dengan lingkungan Anda, Anda dapat menentukan penggunaan memori maksimum yang relevan dalam format berikut:

    Nilai max-physical-mem Setelan memori maksimum
    6g 6 gibibyte
    6gb 6 gibibyte
    6GiB 6 gibibyte
  • --network=DOCKER_NETWORK: Tentukan jaringan docker untuk container ini. Menentukan --network=host dapat meningkatkan performa dengan mengurangi overhead jaringan, tetapi memungkinkan container memiliki akses penuh ke jaringan host.

  • --kerberos-disable-pa-fx-fast mencegah agen menggunakan negosiasi FAST dengan Kerberos untuk transfer HDFS. Gunakan flag ini jika Key Distribution Center (KDC) Kerberos Anda tidak mendukung negosiasi FAST.

Pemecahan masalah

Jika konfigurasi SELinux Anda mengharuskan label ditempatkan pada konten volume yang dipasang ke dalam container, tambahkan flag :Z ke volume:

sudo podman run --ulimit memlock=64000000 -d --rm \
-v HOST_DIRECTORY:CONTAINER_DIRECTORY:Z \
-v HOST_PATH/TO/KEY.JSON:/etc/gcloud/key.json:ro \
gcr.io/cloud-ingest/tsop-agent:latest \
--project-id=PROJECT_ID \
--creds-file=/etc/gcloud/key.json \
--hostname=$(hostname) \
--agent-pool=POOL_NAME

Tanpa label, sistem keamanan mungkin mencegah proses yang berjalan di dalam container menggunakan konten. Secara default, Podman tidak mengubah label yang ditetapkan oleh OS.

Mengonfirmasi koneksi agen

Untuk mengonfirmasi bahwa agen Anda terhubung:

  1. Di konsol Google Cloud , buka halaman Agent pools.

    Buka Agent pools

    Kumpulan agen Anda akan ditampilkan, dengan jumlah agen yang terhubung.

  2. Pilih kumpulan agen untuk melihat detail tentang agen yang terhubung.

Jika agen baru tidak muncul di halaman kumpulan agen dalam waktu 10 menit setelah pembuatannya, lihat Agen tidak terhubung.

Memantau aktivitas agen

Anda dapat menggunakan Cloud Monitoring untuk memantau aktivitas agen.

Pemantauan tersedia di sepanjang dimensi project, agent_pool, dan agent_id.

Dengan menggunakan data pemantauan ini, Anda dapat menyiapkan pemberitahuan untuk memberi tahu Anda tentang potensi masalah pada transfer Anda. Untuk melakukannya, buat pemberitahuan pada salah satu metrik Google Cloud berikut:

Nama metrik Yang dijelaskan Saran penggunaan
storagetransfer.googleapis.com/agent/transferred_bytes_count Mengukur seberapa cepat agen tertentu memindahkan data di semua tugas yang dilayaninya pada suatu waktu. Notifikasi untuk penurunan performa.
storagetransfer.googleapis.com/agent/connected Boolean yang bernilai True untuk setiap agen yang Google Cloud menerima pesan heartbeat terbaru.
  • Pemberitahuan untuk agen yang gagal
  • Gagal di bawah jumlah agen yang Anda anggap diperlukan untuk performa yang wajar
  • Melaporkan masalah pada mesin agen

Info terbaru agen

Untuk memastikan agen Storage Transfer Service Anda memiliki fitur, patch keamanan, dan perbaikan bug terbaru, Anda harus mengganti container agen lama dengan yang baru secara berkala.

Image container agen terbaru berada di Artifact Registry di bawah tag latest: gcr.io/cloud-ingest/tsop-agent.

Saat image baru tersedia, agen harus diganti. Hal ini dapat dilakukan secara bergilir sehingga transfer yang sedang berlangsung tidak terpengaruh. Anda harus mengambil image container baru sebelum memulai agen baru untuk menghindari penggunaan versi lama yang di-cache dari mesin Anda.

Membandingkan versi penampung

Untuk melihat versi container dari container yang sedang berjalan, ambil 12 karakter pertama dari ringkasan manifesnya:

sudo docker inspect --format='{{index .RepoDigests 0}}' $(sudo docker inspect --format='{{.Image}}' CONTAINER_ID) | sed 's/.*sha256://' | cut -c1-12

Bandingkan ringkasan singkat ini dengan kolom Name yang dipublikasikan di Artifact Registry.

Untuk melihat ringkasan terbaru di command line, jalankan docker pull gcr.io/cloud-ingest/tsop-agent:latest untuk mendownload image terbaru, lalu jalankan perintah berikut untuk melihat ringkasan singkatnya:

docker inspect --format='{{index .RepoDigests 0}}' gcr.io/cloud-ingest/tsop-agent:latest | sed 's/.*sha256://' | cut -c1-12

Mengupdate container

Untuk melakukan update bertahap pada agen Anda:

gcloud CLI

  1. Setelah berada di setiap mesin, ambil image container terbaru dari Artifact Registry:

    sudo docker pull gcr.io/cloud-ingest/tsop-agent:latest

  2. Cantumkan semua agen yang berjalan di komputer ini:

    sudo docker container list --all --filter ancestor=gcr.io/cloud-ingest/tsop-agent

  3. Menghentikan satu agen:

    sudo docker stop CONTAINER_ID

  4. Menginstal satu agen baru:

    gcloud transfer agents install --pool=POOL_NAME --count=1 \
    --mount-directories=MOUNT_DIRECTORIES
    

Ulangi langkah-langkah ini hingga semua agen telah diganti di semua mesin.

Docker

  1. Setelah berada di setiap mesin, ambil image container terbaru dari Artifact Registry:

    sudo docker pull gcr.io/cloud-ingest/tsop-agent:latest

  2. Cantumkan semua agen yang berjalan di komputer ini:

    sudo docker container list --all --filter ancestor=gcr.io/cloud-ingest/tsop-agent

  3. Menghentikan satu agen:

    sudo docker stop CONTAINER_ID

  4. Menginstal satu agen baru:

    sudo docker run --ulimit memlock=64000000 -d --rm \
    --volumes-from gcloud-config \
    -v HOST_DIRECTORY:CONTAINER_DIRECTORY \
    gcr.io/cloud-ingest/tsop-agent:latest \
    --project-id=PROJECT_ID \
    --hostname=$(hostname) \
    --agent-pool=POOL_NAME
    

Ulangi langkah-langkah ini hingga semua agen telah diganti di semua mesin.

Podman

  1. Setelah berada di setiap mesin, ambil image container terbaru dari Artifact Registry:

    sudo podman pull gcr.io/cloud-ingest/tsop-agent:latest

  2. Cantumkan semua agen yang berjalan di komputer ini:

    sudo podman container list --all --filter ancestor=gcr.io/cloud-ingest/tsop-agent

  3. Menghentikan satu agen:

    sudo podman stop CONTAINER_ID

  4. Menginstal satu agen baru:

    sudo podman run --ulimit memlock=64000000 -d --rm \
    --volumes-from gcloud-config \
    -v HOST_DIRECTORY:CONTAINER_DIRECTORY \
    gcr.io/cloud-ingest/tsop-agent:latest \
    --project-id=PROJECT_ID \
    --hostname=$(hostname) \
    --agent-pool=POOL_NAME
    

Ulangi langkah-langkah ini hingga semua agen telah diganti di semua mesin.

Update biner agen

Selain update container, skrip update berjalan di dalam container yang otomatis mengambil biner agen terbaru. Skrip ini melakukan polling untuk update biner setiap 5 menit saat container berjalan. Update biner diterapkan secara otomatis di tempat, tanpa memerlukan mulai ulang container.

Jika Anda menonaktifkan update otomatis, kami mungkin tidak mendukung proses debug masalah performa pada versi agen yang lebih lama. Dalam kasus tersebut, kami biasanya mengharuskan Anda mengupdate ke versi terbaru sebelum memberikan dukungan lebih lanjut.

Menghentikan agen

Untuk menghentikan agen, jalankan docker stop atau podman stop pada ID container agen. Untuk menemukan ID dan menghentikan agen:

  1. Di konsol Google Cloud , buka halaman Agent pools.

    Buka Agent pools

  2. Pilih kumpulan agen yang berisi agen yang akan dihentikan.

  3. Pilih agen dari daftar. Gunakan kolom Filter untuk menelusuri awalan, status agen, usia agen, dan lainnya.

  4. Klik Stop agent. Perintah docker stop dengan ID penampung tertentu akan ditampilkan.

  5. Jalankan perintah di komputer tempat agen berjalan.

    Perintah stop yang berhasil akan menampilkan ID container.

Setelah dihentikan, agen akan ditampilkan dalam daftar agen pool sebagai Disconnected.

Memulai ulang agen

Agen yang dihentikan tidak dapat dimulai ulang. Sebagai gantinya, instal agen baru ke dalam kumpulan agen.

Menghapus agen

Untuk menghapus agen tertentu, cantumkan agen yang berjalan di komputer Anda.

Docker

sudo docker container list --all --filter ancestor=gcr.io/cloud-ingest/tsop-agent

Podman

sudo podman container list --all --filter ancestor=gcr.io/cloud-ingest/tsop-agent

Kemudian, teruskan ID agen ke gcloud transfer agents delete. Perintah ini tidak menghentikan agen itu sendiri; perintah ini mencetak perintah docker stop yang kemudian harus Anda jalankan:

gcloud transfer agents delete --ids=id1,id2,...

Untuk mencetak perintah yang menghentikan semua agen di mesin, gunakan flag --all. Untuk juga mencetak perintah yang menghapus image container agen, gunakan flag --uninstall. Jalankan perintah yang dicetak untuk menghentikan agen:

gcloud transfer agents delete --all
gcloud transfer agents delete --uninstall

Detail transfer sistem file

Transfer inkremental

Storage Transfer Service memulai semua transfer dengan menghitung data yang ada di sumber dan tujuan untuk menentukan file sumber mana yang baru, diperbarui, atau dihapus sejak transfer terakhir. Kami melakukannya untuk mengurangi jumlah data yang kami kirim dari mesin Anda, menggunakan bandwidth secara efektif, dan mengurangi waktu transfer.

Untuk mendeteksi apakah file telah berubah, kami memeriksa waktu dan ukuran terakhir diubah dari file sumber, lalu membandingkannya dengan waktu dan ukuran terakhir diubah yang dicatat saat file terakhir disalin. Saat kami mendeteksi file baru atau yang diubah, kami akan menyalin seluruh file ke tujuannya. Untuk mengetahui informasi selengkapnya tentang keaktualan file, lihat Detail konsistensi data.

Secara default, kami mendeteksi, tetapi tidak menindaklanjuti, file yang dihapus di sumber. Jika Anda memilih opsi sinkronisasi Hapus file tujuan yang juga tidak ada di sumber saat membuat atau mengedit tugas, transfer Anda akan menghapus objek yang sesuai di tujuan.

Jika Anda memilih opsi sinkronisasi Hapus file tujuan yang juga tidak ada di sumber, file yang tidak sengaja dihapus di sumber juga akan dihapus di tujuan. Untuk mencegah kehilangan data akibat penghapusan yang tidak disengaja, sebaiknya aktifkan pembuatan versi objek di bucket tujuan jika Anda memilih untuk menggunakan opsi ini. Kemudian, jika Anda tidak sengaja menghapus file, Anda dapat memulihkan objek di Cloud Storage ke versi yang lebih lama.

Detail konsistensi data

Operasi transfer yang berhasil akan mentransfer semua file sumber yang ada dan tidak diubah selama seluruh waktu berjalan operasi. File sumber yang dibuat, diperbarui, atau dihapus selama transfer mungkin akan atau tidak akan menampilkan perubahan tersebut dalam set data tujuan.

Storage Transfer Service menggunakan waktu dan ukuran modifikasi terakhir file untuk menentukan apakah file tersebut berubah. Jika file diperbarui tanpa mengubah waktu atau ukuran modifikasi terakhirnya, dan Anda mengaktifkan opsi delete-objects-from-source, Anda mungkin kehilangan data dari perubahan tersebut.

Saat menggunakan fitur delete-objects-from-source, sebaiknya Anda membekukan penulisan ke sumber selama durasi transfer untuk melindungi dari kehilangan data.

Untuk membekukan penulisan ke sumber, lakukan salah satu hal berikut:

  • Buat clone direktori yang ingin Anda transfer, lalu gunakan direktori yang di-clone sebagai sumber transfer.
  • Hentikan aplikasi yang menulis ke direktori sumber.

Jika penting untuk mencatat perubahan yang terjadi selama transfer, Anda dapat menjalankan ulang transfer, atau menetapkan sistem file sumber sebagai hanya baca saat operasi berjalan.

Karena Cloud Storage tidak memiliki konsep direktori, direktori sumber yang kosong tidak akan ditransfer.