Storage Transfer Service dapat memproses notifikasi peristiwa di Google Cloud untuk mentransfer data yang telah ditambahkan atau diperbarui di bucket Cloud Storage secara otomatis. Pelajari lebih lanjut manfaat transfer berbasis peristiwa.
Transfer berbasis peristiwa dari Cloud Storage menggunakan notifikasi Pub/Sub untuk mengetahui kapan objek di bucket sumber telah diubah atau ditambahkan. Penghapusan objek tidak terdeteksi; menghapus objek di sumber tidak akan menghapus objek terkait di bucket tujuan.
Transfer berbasis peristiwa selalu menggunakan bucket Cloud Storage sebagai tujuan.
Konfigurasikan izin
Selain
izin yang diperlukan untuk semua tugas transfer,
transfer berbasis peristiwa memerlukan peran Pub/Sub Subscriber.
Temukan nama agen layanan Storage Transfer Service untuk project Anda:
Buka halaman referensi
googleServiceAccounts.get.Panel interaktif akan terbuka, berjudul Try this method.
Di panel, di bagian Request parameters, masukkan project ID Anda. Project yang Anda tentukan di sini harus merupakan project yang Anda gunakan untuk mengelola Storage Transfer Service, yang mungkin berbeda dengan project bucket sumber.
Klik Jalankan.
Email agen layanan Anda ditampilkan sebagai nilai
accountEmail. Salin nilai ini.Email agen layanan menggunakan format
project-PROJECT_NUMBER@storage-transfer-service..Berikan peran
Pub/Sub Subscriberkepada agen layanan Storage Transfer Service.Konsol Cloud
Ikuti petunjuk di bagian Mengontrol akses melalui konsol Google Cloud untuk memberikan peran
Pub/Sub Subscriberke layanan Storage Transfer Service. Peran ini dapat diberikan di level topik, langganan, atau project.gcloudCLIIkuti petunjuk di Menetapkan kebijakan untuk menambahkan binding berikut:
{ "role": "roles/pubsub.subscriber", "members": [ "serviceAccount:project-PROJECT_NUMBER@storage-transfer-service." }
Mengonfigurasi Pub/Sub
Pastikan Anda telah memenuhi Prasyarat untuk menggunakan Pub/Sub dengan Cloud Storage.
Buat notifikasi Pub/Sub untuk bucket Cloud Storage sumber.
Anda tidak dapat mengelola notifikasi Pub/Sub dengan konsol Google Cloud . Gunakan gcloud CLI atau salah satu library klien yang tersedia.
gcloud storage buckets notifications create gs://SOURCE_BUCKET_NAME --topic=TOPIC_NAME
Buat langganan pull untuk topik. Anda harus membuat langganan terpisah untuk setiap tugas transfer.
Contoh berikut menunjukkan perintah Google Cloud CLI untuk membuat langganan pull. Untuk petunjuk konsol dan kode library klien, lihat Membuat langganan pull.
gcloud pubsub subscriptions create SUBSCRIPTION_ID --topic=TOPIC_NAME --ack-deadline=300
Membuat tugas transfer
Anda dapat menggunakan konsol Google Cloud , Google Cloud CLI, atau REST API untuk membuat tugas transfer berbasis peristiwa.
Konsol Google Cloud
Buka halaman Create transfer job di konsol Google Cloud .
Pilih Cloud Storage sebagai sumber dan tujuan.
Sebagai Scheduling mode, pilih Event-driven, lalu klik Next step.
Pilih bucket sumber untuk transfer ini.
Di bagian Event stream, masukkan nama langganan:
projects/PROJECT_NAME/subscriptions/SUBSCRIPTION_IDJika perlu, tentukan filter, lalu klik Langkah berikutnya.
Pilih bucket tujuan untuk transfer ini.
Secara opsional, masukkan waktu mulai dan berakhir untuk transfer. Jika Anda tidak menentukan waktu, transfer akan segera dimulai dan akan berjalan hingga dihentikan secara manual.
Tentukan opsi transfer. Informasi selengkapnya tersedia di halaman Membuat transfer.
Klik Create.
Setelah dibuat, tugas transfer mulai berjalan dan pemroses peristiwa menunggu notifikasi di langganan Pub/Sub. Halaman detail tugas menampilkan satu operasi setiap jam, dan menyertakan detail tentang transfer data untuk setiap tugas.
gcloud
Untuk membuat tugas transfer berbasis peristiwa menggunakan Google Cloud CLI, gunakan perintah gcloud transfer jobs create dengan flag --event-stream-name:
gcloud transfer jobs create \
gs://SOURCE_BUCKET \
gs://DESTINATION_BUCKET \
--event-stream-name=projects/PROJECT_NAME/subscriptions/SUBSCRIPTION_ID \
--event-stream-starts=EVENT_STREAM_STARTS \
--event-stream-expires=EVENT_STREAM_EXPIRES
Ganti placeholder dengan nilai sebenarnya:
- SOURCE_BUCKET: Nama bucket Cloud Storage sumber Anda.
- DESTINATION_BUCKET: Bucket Cloud Storage tujuan Anda.
- PROJECT_NAME: Project yang berisi langganan Pub/Sub.
- SUBSCRIPTION_ID: ID langganan Pub/Sub yang Anda buat (misalnya,
my-subscription). - EVENT_STREAM_STARTS: Kapan harus mulai memproses peristiwa
menggunakan format tanggal dan waktu %Y-%m-%dT%H:%M:%S%z (misalnya,
2020-04-12T06:42:12+04:00). Jika tidak ditetapkan, tugas akan mulai berjalan dan memproses peristiwa setelah perintah buat tugas berhasil dikirim. - EVENT_STREAM_EXPIRES: Kapan harus berhenti memproses peristiwa. Jika tidak ditetapkan, tugas akan berlanjut hingga dihentikan secara manual.
Untuk mengetahui daftar lengkap kolom yang didukung, lihat referensi gcloud transfer jobs create.
REST
Untuk membuat transfer berbasis peristiwa menggunakan REST API, kirim objek JSON berikut ke endpoint transferJobs.create:
transfer_job { "description": "YOUR DESCRIPTION", "status": "ENABLED", "projectId": "PROJECT_ID", "transferSpec" { "gcsDataSource" { "bucketName": "GCS_SOURCE_NAME" }, "gcsDataSink": { "bucketName": "GCS_SINK_NAME" } } "eventStream" { "name": "projects/PROJECT_NAME/subscriptions/SUBSCRIPTION_ID", "eventStreamStartTime": "2022-12-02T01:00:00+00:00", "eventStreamExpirationTime": "2023-01-31T01:00:00+00:00" } }
eventStreamStartTime dan eventStreamExpirationTime bersifat opsional.
Jika waktu mulai dihilangkan, transfer akan segera dimulai; jika waktu akhir dihilangkan, transfer akan berlanjut hingga dihentikan secara manual.
Library klien
Go
Untuk mempelajari cara menginstal dan menggunakan library klien untuk Storage Transfer Service, lihat library klien Storage Transfer Service. Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi Storage Transfer Service Go API.
Untuk melakukan autentikasi ke Storage Transfer Service, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal.
Java
Untuk mempelajari cara menginstal dan menggunakan library klien untuk Storage Transfer Service, lihat library klien Storage Transfer Service. Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi API Java Storage Transfer Service.
Untuk melakukan autentikasi ke Storage Transfer Service, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal.
Node.js
Untuk mempelajari cara menginstal dan menggunakan library klien untuk Storage Transfer Service, lihat library klien Storage Transfer Service. Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi Storage Transfer Service Node.js API.
Untuk melakukan autentikasi ke Storage Transfer Service, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal.
Python
Untuk mempelajari cara menginstal dan menggunakan library klien untuk Storage Transfer Service, lihat library klien Storage Transfer Service. Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi API Python Storage Transfer Service.
Untuk melakukan autentikasi ke Storage Transfer Service, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan autentikasi untuk lingkungan pengembangan lokal.
Memantau transfer berbasis peristiwa
Saat Anda membuat transfer berbasis peristiwa, Storage Transfer Service akan membuat tugas transfer. Setelah waktu mulai tercapai, operasi transfer mulai berjalan dan pemroses peristiwa menunggu notifikasi dari antrean Pub/Sub.
Operasi transfer berjalan, dengan status in progress, selama sekitar
24 jam. Setelah 24 jam, operasi akan selesai dan operasi baru akan dimulai.
Operasi baru dibuat setiap 24 jam hingga waktu berakhir tugas transfer tercapai, atau hingga tugas dihentikan secara manual.
Jika transfer file sedang berlangsung saat operasi dijadwalkan selesai, operasi saat ini akan tetap berlangsung hingga file selesai ditransfer. Operasi baru dimulai, dan kedua operasi berjalan secara bersamaan hingga operasi lama selesai. Setiap peristiwa yang terdeteksi selama periode ini akan ditangani oleh operasi baru.
Untuk melihat operasi saat ini dan operasi yang telah selesai:
Konsol Google Cloud
Buka halaman Storage Transfer Service di konsol Google Cloud .
Dalam daftar tugas, pilih tab Semua, atau Cloud-to-cloud.
Klik ID pekerjaan untuk transfer Anda. Kolom Scheduling mode mengidentifikasi semua transfer berbasis peristiwa versus transfer batch.
Pilih tab Operations. Detail ditampilkan untuk operasi saat ini, dan operasi yang telah selesai tercantum dalam tabel Histori dijalankan. Klik operasi yang telah selesai untuk melihat detail tambahan.
gcloud
Untuk memantau progres tugas secara real time, gunakan
gcloud transfer jobs monitor. Respons menunjukkan operasi saat ini, waktu mulai tugas, jumlah transfer data, byte yang dilewati, dan jumlah error.
gcloud transfer jobs monitor JOB_NAME
Untuk mengambil nama operasi saat ini:
gcloud transfer jobs describe JOB_NAME --format="value(latestOperationName)"
Untuk mencantumkan operasi saat ini dan yang telah selesai:
gcloud transfer operations list --job-names=JOB_NAME
Untuk melihat detail tentang operasi:
gcloud transfer operations describe OPERATION_NAME