Halaman ini memberikan panduan dan rekomendasi untuk mengupgrade pipeline streaming Anda. Misalnya, Anda mungkin perlu mengupgrade ke versi Apache Beam SDK yang lebih baru, atau Anda mungkin ingin mengupdate kode pipeline. Berbagai opsi disediakan untuk menyesuaikan dengan berbagai skenario.
Meskipun pipeline batch berhenti saat tugas selesai, pipeline streaming sering kali berjalan terus-menerus untuk memberikan pemrosesan tanpa gangguan. Oleh karena itu, saat mengupgrade pipeline streaming, Anda perlu memperhitungkan pertimbangan berikut:
- Anda mungkin perlu meminimalkan atau menghindari gangguan pada pipeline. Dalam beberapa kasus, Anda mungkin dapat menoleransi gangguan sementara pada pemrosesan saat versi baru pipeline di-deploy. Dalam kasus lain, aplikasi Anda mungkin tidak dapat menoleransi gangguan apa pun.
- Proses update pipeline harus menangani perubahan skema dengan cara yang meminimalkan gangguan pada pemrosesan pesan dan sistem lain yang terpasang. Misalnya, jika skema untuk pesan dalam pipeline pemrosesan peristiwa berubah, perubahan skema mungkin juga diperlukan di sink data downstream.
Anda dapat menggunakan salah satu metode berikut untuk mengupdate pipeline streaming, bergantung pada persyaratan pipeline dan update Anda:
Untuk mengetahui informasi selengkapnya tentang masalah yang mungkin Anda alami selama update dan cara mencegahnya, lihat Memvalidasi tugas pengganti dan Pemeriksaan kompatibilitas tugas.
Praktik terbaik
- Upgrade versi Apache Beam SDK secara terpisah dari perubahan kode pipeline apa pun.
- Uji pipeline Anda setelah setiap perubahan sebelum melakukan pembaruan tambahan.
- Upgrade versi Apache Beam SDK yang digunakan pipeline Anda secara rutin.
- Gunakan metode otomatis jika memungkinkan, seperti update dalam proses atau update pipeline paralel otomatis.
- Gunakan I/O Terkelola jika memungkinkan, untuk mendapatkan manfaat upgrade otomatis versi konektor.
Melakukan update dalam penerbangan
Anda dapat memperbarui beberapa pipeline streaming yang sedang berjalan tanpa menghentikan tugas. Skenario ini disebut update tugas dalam proses. Update tugas dalam penerbangan hanya tersedia dalam situasi terbatas:
- Tugas harus menggunakan Streaming Engine.
- Tugas harus dalam status berjalan.
- Anda hanya mengubah jumlah worker yang digunakan tugas.
Untuk mengetahui informasi selengkapnya, lihat Menetapkan rentang penskalaan otomatis di halaman Penskalaan Otomatis Horizontal.
Untuk mengetahui petunjuk yang menjelaskan cara melakukan update tugas yang sedang berjalan, lihat Memperbarui pipeline yang ada.
Pembuatan atau pembaruan (upsert) otomatis untuk template
Saat meluncurkan pipeline menggunakan template (Template Klasik, Template Flex, Terraform, atau Config Connector), Anda dapat menggunakan eksperimen create_or_update_job untuk menggunakan fungsi buat atau update (upsert).
Saat Anda menentukan create_or_update_job dalam parameter additional_experiments
atau flag additional-experiments:
- Jika tugas yang berjalan atau dikosongkan dengan nama tugas yang ditentukan sudah ada, layanan template akan otomatis meluncurkan tugas baru sebagai update untuk tugas yang ada.
- Jika tidak ada tugas aktif dengan nama tersebut, layanan template akan meluncurkan tugas baru sebagai pembuatan tugas baru.
Eksperimen ini menghilangkan kebutuhan untuk menentukan secara terprogram apakah akan menggunakan tindakan API buat atau update saat meluncurkan template.
Untuk contoh kode Terraform dan Config Connector yang menggunakan eksperimen ini, lihat bagian berikut:
- Mengirim permintaan pembaruan penghentian dan penggantian otomatis
- Mengirim permintaan update pipeline paralel otomatis
Meluncurkan tugas pengganti
Jika tugas yang diperbarui kompatibel dengan tugas yang ada, Anda dapat memperbarui pipeline menggunakan opsi update. Saat Anda mengganti tugas yang ada, tugas baru akan menjalankan kode pipeline yang telah diperbarui.
Layanan Dataflow mempertahankan nama tugas, tetapi menjalankan tugas pengganti dengan ID pekerjaan yang diperbarui. Proses ini dapat menyebabkan periode nonaktif
saat tugas yang ada berhenti, pemeriksaan kompatibilitas berjalan, dan tugas baru
dimulai. Untuk mengetahui detail selengkapnya, lihat
Efek penggantian tugas.
Dataflow melakukan pemeriksaan kompatibilitas untuk memastikan bahwa kode pipeline yang diperbarui dapat di-deploy dengan aman ke pipeline yang sedang berjalan. Perubahan kode tertentu menyebabkan pemeriksaan kompatibilitas gagal, seperti saat input samping ditambahkan ke atau dihapus dari langkah yang ada. Jika pemeriksaan kompatibilitas gagal, Anda tidak dapat melakukan update tugas di tempat.
Untuk mengetahui petunjuk yang menjelaskan cara meluncurkan tugas pengganti, lihat Meluncurkan tugas pengganti.
Jika update pipeline tidak kompatibel dengan tugas saat ini, Anda harus menghentikan dan mengganti pipeline. Jika pipeline Anda tidak dapat mentoleransi periode nonaktif, jalankan pipeline paralel.
Penghentian dan penggantian manual
Untuk melakukan penghentian dan penggantian manual, batalkan atau pindahkan pipeline, lalu ganti dengan pipeline yang telah diupdate. Membatalkan pipeline akan menyebabkan Dataflow segera menghentikan pemrosesan dan menonaktifkan resource secepat mungkin, yang dapat menyebabkan hilangnya beberapa data yang sedang diproses, yang dikenal sebagai data dalam proses. Untuk menghindari kehilangan data, dalam sebagian besar kasus, pengosongan adalah tindakan yang lebih disukai. Anda juga dapat menggunakan snapshot Dataflow untuk menyimpan status pipeline streaming, yang memungkinkan Anda memulai versi baru tugas Dataflow tanpa kehilangan status. Untuk informasi selengkapnya, lihat Menggunakan snapshot Dataflow.
Pengosongan pipeline akan segera menutup jendela yang sedang diproses dan mengaktifkan semua pemicu. Meskipun data dalam pengiriman tidak hilang, pengosongan dapat menyebabkan jendela memiliki data yang tidak lengkap. Jika hal ini terjadi, jendela dalam proses akan menampilkan hasil parsial atau tidak lengkap. Untuk mengetahui informasi selengkapnya, lihat Efek pengosongan tugas. Setelah tugas yang ada selesai, luncurkan tugas streaming baru yang berisi kode pipeline yang telah diupdate, sehingga Anda dapat melanjutkan pemrosesan.
Dengan metode ini, Anda akan mengalami periode nonaktif antara waktu tugas streaming yang ada berhenti dan waktu pipeline pengganti siap melanjutkan pemrosesan data. Namun, membatalkan atau menguras pipeline yang ada, lalu meluncurkan tugas baru dengan pipeline yang diperbarui tidak terlalu rumit dibandingkan menjalankan pipeline paralel.
Untuk mengetahui informasi selengkapnya, lihat Mengosongkan tugas Dataflow. Setelah Anda mengosongkan tugas saat ini, mulai tugas baru dengan nama tugas yang sama.
Penghentian dan penggantian otomatis
Dataflow menyediakan dukungan API untuk meluncurkan update penghentian dan penggantian otomatis. Alur kerja bergaya deklaratif ini menghilangkan langkah-langkah prosedural manual. Anda mendeklarasikan tugas yang akan diganti, dan tugas baru akan diluncurkan dan mengoordinasikan transisi secara otomatis.
Saat Anda menggunakan alur kerja ini, resource tugas baru akan disediakan saat tugas lama masih berjalan. Tugas lama kemudian akan otomatis menerima sinyal pengosongan. Setelah tugas lama selesai mengosongkan atau mencapai waktu tunggu yang ditentukan pengguna, tugas baru akan segera mulai memproses data. Gunakan alur kerja ini untuk pipeline yang tidak dapat mentoleransi data duplikat atau agregasi parsial, tetapi dapat menerima jeda pemrosesan singkat saat tugas lama dikosongkan.
Mengirim permintaan pembaruan penghentian dan penggantian otomatis
Untuk menggunakan alur kerja ini:
- Anda harus menetapkan opsi
parallel_replace_job_max_stop_duration. - Anda tidak boleh menetapkan opsi
parallel_replace_job_min_parallel_pipelines_duration. Menetapkan durasi paralel akan memicu alur kerja update pipeline paralel otomatis.
Luncurkan permintaan update penghentian dan penggantian otomatis menggunakan opsi layanan berikut:
Java
Opsi 1: Memperbarui menggunakan nama tugas yang sama
--update \
--dataflowServiceOptions="update_strategy_parallel_job_update" \
--dataflowServiceOptions="parallel_replace_job_max_stop_duration=DURATION"
- Untuk melakukan update stop-and-replace otomatis menggunakan nama yang sama, gunakan flag
--updatedan opsiupdate_strategy_parallel_job_update. - Untuk melakukan update langsung, gunakan
update_strategy_in_place_update.
Opsi 2: Memperbarui menggunakan nama tugas yang berbeda
--dataflowServiceOptions="parallel_replace_job_name=OLD_JOB_NAME" \
--dataflowServiceOptions="parallel_replace_job_max_stop_duration=DURATION"
- Untuk menentukan tugas lama berdasarkan ID, bukan nama tugas, gunakan
--dataflowServiceOptions="parallel_replace_job_id=OLD_JOB_ID". - Jika Anda menentukan nama tugas baru dan menggunakan flag
--update, Dataflow akan menelusuri tugas yang ada dengan nama baru, yang menyebabkan error.
Opsional: Menonaktifkan pembatalan otomatis
Pembatalan otomatis diaktifkan secara default saat Anda menentukan opsi parallel_replace_job_max_stop_duration. Untuk menonaktifkan pembatalan otomatis,
setel opsi parallel_replace_job_cancel_on_drain_timeout ke false.
--dataflowServiceOptions="parallel_replace_job_cancel_on_drain_timeout=false"
Jika Anda menonaktifkan pembatalan otomatis dan tugas lama macet dalam status pengosongan, tugas lama dan baru akan terus berjalan secara paralel.
Python
Opsi 1: Memperbarui menggunakan nama tugas yang sama
--update \
--dataflow_service_options="update_strategy_parallel_job_update" \
--dataflow_service_options="parallel_replace_job_max_stop_duration=DURATION"
- Untuk melakukan update stop-and-replace otomatis menggunakan nama yang sama, gunakan flag
--updatedan opsiupdate_strategy_parallel_job_update. - Untuk melakukan update langsung, gunakan
update_strategy_in_place_update.
Opsi 2: Memperbarui menggunakan nama tugas yang berbeda
--dataflow_service_options="parallel_replace_job_name=OLD_JOB_NAME" \
--dataflow_service_options="parallel_replace_job_max_stop_duration=DURATION"
- Untuk menentukan tugas lama berdasarkan ID, bukan nama tugas, gunakan
--dataflow_service_options="parallel_replace_job_id=OLD_JOB_ID". - Jika Anda menentukan nama tugas baru dan menggunakan flag
--update, Dataflow akan menelusuri tugas yang ada dengan nama baru, yang menyebabkan error.
Opsional: Menonaktifkan pembatalan otomatis
Pembatalan otomatis diaktifkan secara default saat Anda menentukan opsi parallel_replace_job_max_stop_duration. Untuk menonaktifkan pembatalan otomatis,
setel opsi parallel_replace_job_cancel_on_drain_timeout ke false.
--dataflow_service_options="parallel_replace_job_cancel_on_drain_timeout=false"
Jika Anda menonaktifkan pembatalan otomatis dan tugas lama macet dalam status pengosongan, tugas lama dan baru akan terus berjalan secara paralel.
Go
Opsi 1: Memperbarui menggunakan nama tugas yang sama
--update \
--dataflow_service_options="update_strategy_parallel_job_update" \
--dataflow_service_options="parallel_replace_job_max_stop_duration=DURATION"
- Untuk melakukan update stop-and-replace otomatis menggunakan nama yang sama, gunakan flag
--updatedan opsiupdate_strategy_parallel_job_update. - Untuk melakukan update langsung, gunakan
update_strategy_in_place_update.
Opsi 2: Memperbarui menggunakan nama tugas yang berbeda
--dataflow_service_options="parallel_replace_job_name=OLD_JOB_NAME" \
--dataflow_service_options="parallel_replace_job_max_stop_duration=DURATION"
- Untuk menentukan tugas lama berdasarkan ID, bukan nama tugas, gunakan
--dataflow_service_options="parallel_replace_job_id=OLD_JOB_ID". - Jika Anda menentukan nama tugas baru dan menggunakan flag
--update, Dataflow akan menelusuri tugas yang ada dengan nama baru, yang menyebabkan error.
Opsional: Menonaktifkan pembatalan otomatis
Pembatalan otomatis diaktifkan secara default saat Anda menentukan opsi parallel_replace_job_max_stop_duration. Untuk menonaktifkan pembatalan otomatis,
setel opsi parallel_replace_job_cancel_on_drain_timeout ke false.
--dataflow_service_options="parallel_replace_job_cancel_on_drain_timeout=false"
Jika Anda menonaktifkan pembatalan otomatis dan tugas lama macet dalam status pengosongan, tugas lama dan baru akan terus berjalan secara paralel.
gcloud
Opsi 1: Memperbarui menggunakan nama tugas yang sama
--update \
--additional-experiments="update_strategy_parallel_job_update" \
--additional-experiments="parallel_replace_job_max_stop_duration=DURATION"
- Untuk melakukan update stop-and-replace otomatis menggunakan nama yang sama, gunakan flag
--updatedan opsiupdate_strategy_parallel_job_update. - Untuk melakukan update langsung, gunakan
update_strategy_in_place_update.
Opsi 2: Memperbarui menggunakan nama tugas yang berbeda
--additional-experiments="parallel_replace_job_name=OLD_JOB_NAME" \
--additional-experiments="parallel_replace_job_max_stop_duration=DURATION"
- Untuk menentukan tugas lama berdasarkan ID, bukan nama tugas, gunakan
--additional-experiments="parallel_replace_job_id=OLD_JOB_ID". - Jika Anda menentukan nama tugas baru dan menggunakan flag
--update, Dataflow akan menelusuri tugas yang ada dengan nama baru, yang menyebabkan error.
Opsional: Menonaktifkan pembatalan otomatis
Pembatalan otomatis diaktifkan secara default saat Anda menentukan opsi parallel_replace_job_max_stop_duration. Untuk menonaktifkan pembatalan otomatis,
setel opsi parallel_replace_job_cancel_on_drain_timeout ke false.
--additional-experiments="parallel_replace_job_cancel_on_drain_timeout=false"
Jika Anda menonaktifkan pembatalan otomatis dan tugas lama macet dalam status pengosongan, tugas lama dan baru akan terus berjalan secara paralel.
Opsional: Upsert (membuat atau memperbarui tugas)
Untuk mengaktifkan perilaku upsert (membuat atau memperbarui tugas):
--additional-experiments="create_or_update_job"
Terraform
additional_experiments = [
"parallel_replace_job_max_stop_duration=DURATION",
"parallel_replace_job_cancel_on_drain_timeout=true",
"update_strategy_parallel_job_update",
"parallel_replace_job_preallocate_compute_resources=true",
"create_or_update_job"
]
Config Connector
metadata:
annotations:
# Force to use only direct controller. Multiple controllers can cause a Dataflow job to enter into a continuous update loop.
# https://docs.cloud.google.com/config-connector/docs/concepts/controller-types#underlying-controller-types
alpha.cnrm.cloud.google.com/reconciler: direct
# Optional but recommended: Dataflow batch jobs do not support the drain operation. But for Dataflow streaming jobs, prefer "drain" over "cancel" as an on-delete option.
cnrm.cloud.google.com/on-delete: drain
# Optional but recommended: Set deletion-policy to "abandon" to avoid accidental deletion, this will ignore the on-delete option.
cnrm.cloud.google.com/deletion-policy: abandon
spec:
...
additionalExperiments:
- "parallel_replace_job_max_stop_duration=DURATION"
- "parallel_replace_job_cancel_on_drain_timeout=true"
- "update_strategy_parallel_job_update"
- "parallel_replace_job_preallocate_compute_resources=true"
- "create_or_update_job"
Ganti variabel berikut:
- Anda harus memberikan
parallel_replace_job_nameatauparallel_replace_job_iduntuk mengidentifikasi tugas yang akan diganti:OLD_JOB_NAME: Nama tugas yang akan diganti.OLD_JOB_ID: ID tugas yang akan diganti.
- Anda harus memberikan nilai
parallel_replace_job_max_stop_durationuntuk mengaktifkan penghentian dan penggantian otomatis:DURATION: Jumlah waktu maksimum tugas baru menunggu tugas lama selesai dikosongkan. Durasi harus diformat sebagai string yang diakhiri dengans,m, atauh(misalnya,30m,1h).
- Jangan tetapkan opsi
parallel_replace_job_min_parallel_pipelines_durationsaat menggunakan alur kerja ini. Menetapkan opsi ini akan memicu alur kerja update pipeline paralel otomatis. - Opsional: Konfigurasikan opsi
parallel_replace_job_cancel_on_drain_timeout. Karena pembatalan otomatis diaktifkan (secara default ketrue) secara default saat opsiparallel_replace_job_max_stop_durationditetapkan, Anda tidak perlu mengonfigurasi opsi ini secara eksplisit untuk mengaktifkannya.- Untuk mempertahankan perilaku default, hapus opsi ini atau tetapkan ke
true. - Untuk menonaktifkan pembatalan otomatis, tetapkan opsi ini ke
false. Jika Anda menetapkan opsi ini kefalsedan tugas lama macet dalam status pengosongan, tugas lama dan baru akan terus berjalan secara paralel.
- Untuk mempertahankan perilaku default, hapus opsi ini atau tetapkan ke
- Opsional: Tentukan konfigurasi
parallel_replace_job_preallocate_compute_resources:- Menentukan apakah worker disediakan terlebih dahulu untuk tugas baru
selagi tugas lama dikosongkan. Nilai:
true(default) ataufalse. Untuk Terraform dan Config Connector, sebaiknya tetapkan opsi ini ketrueuntuk mencegah waktu tunggu penyediaan resource. Jikaparallel_replace_job_preallocate_compute_resourcesditetapkan kefalse, tugas baru akan tetap dalam status tertunda hingga tugas lama selesai.
- Menentukan apakah worker disediakan terlebih dahulu untuk tugas baru
selagi tugas lama dikosongkan. Nilai:
Pemrosesan ulang pesan dengan Snapshot dan Seek Pub/Sub
Dalam beberapa situasi, setelah mengganti atau membatalkan pipeline yang dikosongkan, Anda mungkin perlu memproses ulang pesan Pub/Sub yang dikirim sebelumnya. Misalnya, Anda mungkin perlu menggunakan logika bisnis yang diperbarui untuk memproses ulang data. Pub/Sub Seek adalah fitur yang memungkinkan Anda memutar ulang pesan dari snapshot Pub/Sub. Anda dapat menggunakan Pub/Sub Seek dengan Dataflow untuk memproses ulang pesan dari waktu pembuatan snapshot langganan.
Selama pengembangan dan pengujian, Anda juga dapat menggunakan Pub/Sub Seek untuk memutar ulang pesan yang diketahui berulang kali guna memverifikasi output dari pipeline Anda. Saat Anda menggunakan Pub/Sub Seek, jangan mencari snapshot langganan saat langganan digunakan oleh pipeline. Jika Anda melakukannya, pencarian dapat membatalkan logika watermark Dataflow dan dapat memengaruhi pemrosesan pesan Pub/Sub tepat satu kali.
Alur kerja gcloud CLI yang direkomendasikan untuk menggunakan Pub/Sub Seek dengan pipeline Dataflow di jendela terminal adalah sebagai berikut:
Untuk membuat snapshot langganan, gunakan perintah
gcloud pubsub snapshots create:gcloud pubsub snapshots create SNAPSHOT_NAME --subscription=PIPELINE_SUBSCRIPTION_NAME
Untuk mengosongkan atau membatalkan pipeline, gunakan perintah
gcloud dataflow jobs drainatau perintahgcloud dataflow jobs cancel:gcloud dataflow jobs drain JOB_ID
atau
gcloud dataflow jobs cancel JOB_ID
Untuk mencari snapshot, gunakan perintah
gcloud pubsub subscriptions seek:gcloud pubsub subscriptions seek SNAPSHOT_NAME
Deploy pipeline baru yang menggunakan langganan.
Menjalankan pipeline paralel
Jika perlu menghindari gangguan pada pipeline streaming selama update, Anda dapat menjalankan pipeline paralel. Dengan pendekatan ini, Anda dapat meluncurkan tugas streaming baru dengan kode pipeline yang telah diupdate dan menjalankannya secara paralel dengan tugas yang ada. Anda dapat menggunakan alur kerja deployment update pipeline paralel otomatis Dataflow, atau Anda dapat melakukan langkah-langkahnya secara manual.
Ringkasan pipeline paralel
Saat Anda membuat pipeline baru, gunakan strategi windowing yang sama dengan yang Anda gunakan untuk pipeline yang ada. Untuk alur kerja manual, biarkan pipeline yang ada terus berjalan hingga watermark-nya melebihi stempel waktu dari jendela lengkap paling awal yang diproses oleh pipeline yang diperbarui. Kemudian, hentikan atau batalkan pipeline yang ada. Jika menggunakan alur kerja otomatis, pekerjaan ini akan dilakukan untuk Anda. Pipeline yang diperbarui terus berjalan di tempatnya dan secara efektif mengambil alih pemrosesan sendiri.
Diagram berikut menggambarkan proses ini.
Dalam diagram, Pipeline B adalah tugas yang diperbarui yang mengambil alih dari Pipeline A. Nilai t adalah stempel waktu dari jendela lengkap paling awal yang diproses oleh Pipeline B. Nilai w adalah watermark untuk Pipeline A. Agar lebih mudah, watermark yang sempurna diasumsikan tanpa data yang terlambat. Pemrosesan dan waktu proses direpresentasikan pada sumbu horizontal. Kedua pipeline menggunakan periode tetap (tumbling) lima menit. Hasil dipicu setelah watermark melewati akhir setiap periode.
Karena output serentak terjadi selama jangka waktu tumpang tindihnya kedua pipeline, konfigurasikan kedua pipeline untuk menulis hasil ke tujuan yang berbeda. Sistem downstream kemudian dapat menggunakan abstraksi atas dua sink tujuan, seperti tampilan database, untuk mengkueri hasil gabungan. Sistem ini juga dapat menggunakan abstraksi untuk menghapus duplikat hasil dari periode yang tumpang tindih. Untuk mengetahui informasi selengkapnya, lihat Menangani output duplikat.
Batasan
Penggunaan update pipeline paralel otomatis atau manual memiliki batasan berikut:
- Khusus update otomatis: Tugas paralel baru harus berupa tugas Streaming Engine.
- Tugas serentak dengan nama yang sama tidak diizinkan. Namun, saat melakukan update pipeline paralel atau stop-and-replace otomatis menggunakan nama tugas yang sama, Anda dapat menggunakan kembali nama tugas tersebut. Dalam hal ini, tugas baru harus dimulai setidaknya dua menit setelah tugas sebelumnya dimulai. Pembatasan ini mencegah beberapa update paralel dari percobaan ulang library klien berulang atau remote procedure call yang sudah tidak berlaku.
- Menjalankan dua pipeline secara paralel pada input yang sama dapat menyebabkan data duplikat, agregasi parsial, dan potensi masalah pengurutan saat data dimasukkan ke sink. Sistem downstream harus dirancang untuk mengantisipasi dan mengelola hasil ini.
- Saat membaca dari sumber Pub/Sub, menggunakan langganan yang sama untuk beberapa pipeline tidak direkomendasikan dan dapat menyebabkan masalah kebenaran. Namun, dalam beberapa kasus penggunaan, seperti pipeline extract, transform, load (ETL), menggunakan langganan yang sama di dua pipeline dapat mengurangi duplikasi. Masalah penskalaan otomatis kemungkinan akan terjadi setiap kali Anda memberikan nilai bukan nol untuk durasi tumpang-tindih. Hal ini dapat diatasi dengan menggunakan fitur update tugas dalam penerbangan. Untuk mengetahui informasi selengkapnya, lihat Menyesuaikan penskalaan otomatis untuk pipeline streaming Pub/Sub.
- Untuk Apache Kafka, Anda dapat meminimalkan duplikat dengan mengaktifkan commit offset di Kafka. Untuk mengaktifkan commit offset di Kafka, lihat Melakukan commit kembali ke Kafka.
Update pipeline paralel otomatis
Dataflow menyediakan dukungan API untuk meluncurkan tugas penggantian paralel. API bergaya deklaratif ini mengabstraksi pekerjaan manual dalam menjalankan langkah-langkah prosedural. Anda mendeklarasikan tugas yang ingin diperbarui, lalu tugas baru akan berjalan secara paralel dengan tugas lama. Setelah tugas baru berjalan selama durasi yang Anda tentukan, tugas lama akan dikosongkan. Fitur ini menghilangkan jeda pemrosesan selama update. Hal ini juga mengurangi upaya operasional yang diperlukan untuk mengupdate pipeline yang tidak kompatibel.
Metode update ini paling cocok untuk pipeline yang dapat menoleransi beberapa duplikat atau
agregasi parsial dan tidak memerlukan pengurutan yang ketat saat menyisipkan data. Mode ini
sangat cocok untuk pipeline ETL, serta pipeline yang menggunakan mode streaming
setidaknya sekali dan
transformasi
Redistribute dengan setelan izinkan duplikat ditetapkan ke true.
Opsi layanan pipeline paralel otomatis
Gunakan opsi layanan berikut untuk update pipeline paralel otomatis:
| Opsi layanan | Opsional atau wajib | Deskripsi | Dependensi atau pengecualian |
|---|---|---|---|
update_strategy_parallel_job_update |
Wajib (Opsi 1: Memperbarui menggunakan nama tugas yang sama) | Perintah untuk melakukan update paralel, yang menjalankan kedua pipeline secara serentak untuk meminimalkan periode nonaktif, saat mengupdate dengan nama tugas yang sama. | Harus ditetapkan bersama dengan flag --update dan
parallel_replace_job_min_parallel_pipelines_duration.
|
update_strategy_in_place_update |
Opsional | Alternatif untuk update paralel. Melakukan update tugas di tempat standar. | Harus ditetapkan bersama dengan flag --update.
Tidak dapat muncul bersamaan dengan
Jika opsi ini ditetapkan, opsi lain yang terkait dengan tugas paralel akan diabaikan. |
parallel_replace_job_min_parallel_pipelines_duration |
Wajib | Menentukan durasi minimum kedua pipeline berjalan secara serentak.
Setelah durasi ini berlalu, sinyal pengosongan akan dikirim ke tugas lama.
Nilai yang dapat diterima berkisar dari 0s (direkomendasikan untuk tumpang-tindih nol) hingga 744h (31 hari).
|
Harus dipasangkan dengan cara untuk menargetkan tugas lama. Salah satu dari berikut ini:
|
parallel_replace_job_name atau
parallel_replace_job_id (pilih salah satu) |
Wajib (Opsi 2: Memperbarui menggunakan nama tugas yang berbeda) | Mengidentifikasi tugas lama berdasarkan nama atau ID yang akan diganti selama update nama yang berbeda. | Memerlukan parallel_replace_job_min_parallel_pipelines_duration
untuk ditetapkan.
Jangan gunakan flag |
parallel_replace_job_max_stop_duration |
Opsional | Durasi maksimum tugas lama diizinkan untuk dikosongkan sebelum pembatalan otomatis dipicu. Contohnya, 30m atau
1h. |
Memerlukan penetapan alur kerja update paralel (Opsi 1 atau Opsi 2). |
parallel_replace_job_cancel_on_drain_timeout |
Opsional Nilai defaultnya adalah |
Opsi boolean yang menentukan apakah akan membatalkan tugas lama jika durasi pengosongannya melebihi parallel_replace_job_max_stop_duration. |
Digunakan bersama dengan
parallel_replace_job_max_stop_duration.
Tetapkan ke |
Mengirim permintaan update pipeline paralel otomatis
Untuk menggunakan alur kerja otomatis, luncurkan tugas streaming baru. Anda dapat mengupdate tugas menggunakan nama tugas yang sama atau nama tugas yang berbeda.
Java
Opsi 1: Memperbarui menggunakan nama tugas yang sama
--update \
--dataflowServiceOptions="update_strategy_parallel_job_update" \
--dataflowServiceOptions="parallel_replace_job_min_parallel_pipelines_duration=DURATION"
- Untuk melakukan update paralel menggunakan nama yang sama, gunakan flag
--updatedan opsiupdate_strategy_parallel_job_update. - Untuk melakukan update langsung tanpa menghapus opsi yang terkait dengan tugas paralel, gunakan
update_strategy_in_place_update, bukanupdate_strategy_parallel_job_update.
Opsi 2: Memperbarui menggunakan nama tugas yang berbeda
--dataflowServiceOptions="parallel_replace_job_name=OLD_JOB_NAME" \
--dataflowServiceOptions="parallel_replace_job_min_parallel_pipelines_duration=DURATION"
- Untuk menentukan tugas lama berdasarkan ID, bukan nama tugas, gunakan
--dataflowServiceOptions="parallel_replace_job_id=OLD_JOB_ID". - Jika Anda menentukan nama tugas baru dan menggunakan flag
--update, Dataflow akan menelusuri tugas yang ada dengan nama baru, yang menyebabkan error.
Opsional: Mengonfigurasi waktu tunggu pengosongan dan pembatalan otomatis
Anda dapat menambahkan opsi berikut ke salah satu konfigurasi untuk menetapkan waktu tunggu pengosongan dan otomatis membatalkan tugas lama jika macet.
--dataflowServiceOptions="parallel_replace_job_max_stop_duration=DRAIN_TIMEOUT_DURATION" \
--dataflowServiceOptions="parallel_replace_job_cancel_on_drain_timeout=true"
Jika Anda menonaktifkan pembatalan otomatis dan tugas lama macet dalam status pengosongan, tugas lama dan baru akan terus berjalan secara paralel.
Python
Opsi 1: Memperbarui menggunakan nama tugas yang sama
--update \
--dataflow_service_options="update_strategy_parallel_job_update" \
--dataflow_service_options="parallel_replace_job_min_parallel_pipelines_duration=DURATION"
- Untuk melakukan update paralel menggunakan nama yang sama, gunakan flag
--updatedan opsiupdate_strategy_parallel_job_update. - Untuk melakukan update langsung tanpa menghapus opsi yang terkait dengan tugas paralel, gunakan
update_strategy_in_place_update, bukanupdate_strategy_parallel_job_update.
Opsi 2: Memperbarui menggunakan nama tugas yang berbeda
--dataflow_service_options="parallel_replace_job_name=OLD_JOB_NAME" \
--dataflow_service_options="parallel_replace_job_min_parallel_pipelines_duration=DURATION"
- Untuk menentukan tugas lama berdasarkan ID, bukan nama tugas, gunakan
--dataflow_service_options="parallel_replace_job_id=OLD_JOB_ID". - Jika Anda menentukan nama tugas baru dan menggunakan flag
--update, Dataflow akan menelusuri tugas yang ada dengan nama baru, yang menyebabkan error.
Opsional: Mengonfigurasi waktu tunggu pengosongan dan pembatalan otomatis
Anda dapat menambahkan opsi berikut ke salah satu konfigurasi untuk menetapkan waktu tunggu pengosongan dan otomatis membatalkan tugas lama jika macet.
--dataflow_service_options="parallel_replace_job_max_stop_duration=DRAIN_TIMEOUT_DURATION" \
--dataflow_service_options="parallel_replace_job_cancel_on_drain_timeout=true"
Jika Anda menonaktifkan pembatalan otomatis dan tugas lama macet dalam status pengosongan, tugas lama dan baru akan terus berjalan secara paralel.
Go
Opsi 1: Memperbarui menggunakan nama tugas yang sama
--update \
--dataflow_service_options="update_strategy_parallel_job_update" \
--dataflow_service_options="parallel_replace_job_min_parallel_pipelines_duration=DURATION"
- Untuk melakukan update paralel menggunakan nama yang sama, gunakan flag
--updatedan opsiupdate_strategy_parallel_job_update. - Untuk melakukan update langsung tanpa menghapus opsi yang terkait dengan tugas paralel, gunakan
update_strategy_in_place_update, bukanupdate_strategy_parallel_job_update.
Opsi 2: Memperbarui menggunakan nama tugas yang berbeda
--dataflow_service_options="parallel_replace_job_name=OLD_JOB_NAME" \
--dataflow_service_options="parallel_replace_job_min_parallel_pipelines_duration=DURATION"
- Untuk menentukan tugas lama berdasarkan ID, bukan nama tugas, gunakan
--dataflow_service_options="parallel_replace_job_id=OLD_JOB_ID". - Jika Anda menentukan nama tugas baru dan menggunakan flag
--update, Dataflow akan menelusuri tugas yang ada dengan nama baru, yang menyebabkan error.
Opsional: Mengonfigurasi waktu tunggu pengosongan dan pembatalan otomatis
Anda dapat menambahkan opsi berikut ke salah satu konfigurasi untuk menetapkan waktu tunggu pengosongan dan otomatis membatalkan tugas lama jika macet.
--dataflow_service_options="parallel_replace_job_max_stop_duration=DRAIN_TIMEOUT_DURATION" \
--dataflow_service_options="parallel_replace_job_cancel_on_drain_timeout=true"
Jika Anda menonaktifkan pembatalan otomatis dan tugas lama macet dalam status pengosongan, tugas lama dan baru akan terus berjalan secara paralel.
gcloud
Opsi 1: Memperbarui menggunakan nama tugas yang sama
--update \
--additional-experiments="update_strategy_parallel_job_update" \
--additional-experiments="parallel_replace_job_min_parallel_pipelines_duration=DURATION"
- Untuk melakukan update paralel menggunakan nama yang sama, gunakan flag
--updatedan opsiupdate_strategy_parallel_job_update. - Untuk melakukan update langsung tanpa menghapus opsi yang terkait dengan tugas paralel, gunakan
update_strategy_in_place_update, bukanupdate_strategy_parallel_job_update.
Opsi 2: Memperbarui menggunakan nama tugas yang berbeda
--additional-experiments="parallel_replace_job_name=OLD_JOB_NAME" \
--additional-experiments="parallel_replace_job_min_parallel_pipelines_duration=DURATION"
- Untuk menentukan tugas lama berdasarkan ID, bukan nama tugas, gunakan
--additional-experiments="parallel_replace_job_id=OLD_JOB_ID". - Jika Anda menentukan nama tugas baru dan menggunakan flag
--update, Dataflow akan menelusuri tugas yang ada dengan nama baru, yang menyebabkan error.
Opsional: Mengonfigurasi waktu tunggu pengosongan dan pembatalan otomatis
Anda dapat menambahkan opsi berikut ke salah satu konfigurasi untuk menetapkan waktu tunggu pengosongan dan otomatis membatalkan tugas lama jika macet.
--additional-experiments="parallel_replace_job_max_stop_duration=DRAIN_TIMEOUT_DURATION" \
--additional-experiments="parallel_replace_job_cancel_on_drain_timeout=true"
Jika Anda menonaktifkan pembatalan otomatis dan tugas lama macet dalam status pengosongan, tugas lama dan baru akan terus berjalan secara paralel.
Opsional: Upsert (membuat atau memperbarui tugas)
Untuk mengaktifkan perilaku upsert (membuat atau memperbarui tugas):
--additional-experiments="create_or_update_job"
Terraform
additional_experiments = [
"parallel_replace_job_min_parallel_pipelines_duration=DURATION",
"parallel_replace_job_max_stop_duration=DRAIN_TIMEOUT_DURATION",
"update_strategy_parallel_job_update",
"create_or_update_job"
]
Config Connector
metadata:
annotations:
# Force to use only direct controller. Multiple controllers can cause a Dataflow job to enter into a continuous update loop.
# https://docs.cloud.google.com/config-connector/docs/concepts/controller-types#underlying-controller-types
alpha.cnrm.cloud.google.com/reconciler: direct
# Optional but recommended: Dataflow batch jobs do not support the drain operation. But for Dataflow streaming jobs, prefer "drain" over "cancel" as an on-delete option.
cnrm.cloud.google.com/on-delete: drain
# Optional but recommended: Set deletion-policy to "abandon" to avoid accidental deletion, this will ignore the on-delete option.
cnrm.cloud.google.com/deletion-policy: abandon
spec:
...
additionalExperiments:
- "parallel_replace_job_min_parallel_pipelines_duration=DURATION"
- "parallel_replace_job_max_stop_duration=DRAIN_TIMEOUT_DURATION"
- "update_strategy_parallel_job_update"
- "create_or_update_job"
Ganti variabel berikut:
- Jika Anda mengupdate menggunakan nama tugas yang berbeda (Opsi 2), Anda harus
memberikan
parallel_replace_job_nameatauparallel_replace_job_iduntuk mengidentifikasi tugas yang akan diganti. Pembaruan menggunakan nama tugas yang berbeda tidak didukung untuk Terraform atau Config Connector.OLD_JOB_NAME: Nama tugas yang akan diganti.OLD_JOB_ID: ID tugas yang akan diganti.
DURATION: Durasi minimum kedua pipeline berjalan secara paralel sebagai bilangan bulat atau floating point. Durasi0sdirekomendasikan untuk tumpang-tindih nol. Setelah durasi ini berlalu, tugas lama akan dikirim sinyal pengosongan.Durasi harus antara 0 detik (
0s) dan 31 hari (744h). Gunakans,m, danhuntuk menentukan detik, menit, dan jam. Misalnya,10madalah 10 menit.DRAIN_TIMEOUT_DURATION: Opsional. Jumlah waktu maksimum yang dimiliki tugas lama untuk mengosongkan sebelum pembatalan otomatis dipicu. Durasi harus diformat sebagai string yang diakhiri dengans,m, atauh(misalnya,30m,1h).parallel_replace_job_cancel_on_drain_timeout: Opsional. Apakah akan membatalkan tugas sebelumnya jika tugas tersebut tidak selesai dikosongkan sebelum durasi penghentian maksimum. Nilai defaultnya adalahtruejika durasi waktu tunggu pengosongan diberikan. Untuk menonaktifkan pembatalan otomatis, tetapkan opsi ini kefalse. Jika Anda menetapkan opsi ini kefalsedan tugas lama macet dalam status pengosongan, tugas lama dan baru akan terus berjalan secara paralel.
Saat Anda meluncurkan tugas baru, Dataflow akan menunggu semua worker disediakan sebelum mulai memproses data. Untuk memantau status deployment, periksa log tugas Dataflow.
Menjalankan pipeline paralel secara manual
Untuk skenario yang lebih kompleks, atau saat Anda memerlukan kontrol lebih besar atas proses update, Anda dapat menjalankan pipeline paralel secara manual. Biarkan pipeline yang ada terus berjalan hingga watermark-nya melebihi stempel waktu dari jendela lengkap paling awal yang diproses oleh pipeline yang diupdate. Kemudian, hentikan atau batalkan pipeline yang ada.
Menangani output duplikat
Contoh berikut menjelaskan satu pendekatan untuk menangani output duplikat. Kedua pipeline menulis output ke tujuan yang berbeda, menggunakan sistem downstream untuk mengkueri hasil, dan menghapus duplikat hasil dari periode yang tumpang-tindih. Contoh ini menggunakan pipeline yang membaca data input dari Pub/Sub, melakukan beberapa pemrosesan, dan menulis hasilnya ke BigQuery.
Pada status awal, pipeline streaming yang ada (Pipeline A) sedang berjalan dan membaca pesan dari topik Pub/Sub (Topic) menggunakan langganan (Subscription A). Hasilnya ditulis ke tabel BigQuery (Tabel A). Hasilnya digunakan melalui tampilan BigQuery, yang bertindak sebagai façade untuk menyamarkan perubahan tabel yang mendasarinya. Proses ini adalah penerapan metode desain yang disebut pola façade. Diagram berikut menunjukkan status awal.
Buat langganan baru (Langganan B) untuk pipeline yang diperbarui. Deploy pipeline yang telah diupdate (Pipeline B), yang membaca dari topik Pub/Sub (Topic) menggunakan Subscription B dan menulis ke tabel BigQuery terpisah (Table B). Diagram berikut menggambarkan alur ini.
Pada tahap ini, Pipeline A dan Pipeline B berjalan secara paralel dan menulis hasil ke tabel terpisah. Anda mencatat waktu t sebagai stempel waktu dari periode lengkap paling awal yang diproses oleh Pipeline B.
Jika watermark Pipeline A melebihi waktu t, hentikan Pipeline A. Saat Anda mengosongkan pipeline, semua jendela yang terbuka akan ditutup, dan pemrosesan untuk data yang sedang diproses akan selesai. Jika pipeline berisi periode dan periode lengkap itu penting (dengan asumsi tidak ada data yang terlambat), sebelum mengosongkan Pipeline A, biarkan kedua pipeline berjalan hingga Anda memiliki periode tumpang tindih yang lengkap. Hentikan tugas streaming untuk Pipeline A setelah semua data dalam pengiriman diproses dan ditulis ke Tabel A. Diagram berikut menunjukkan tahap ini.
Pada tahap ini, hanya Pipeline B yang berjalan. Anda dapat membuat kueri dari tampilan BigQuery (Tampilan Façade), yang bertindak sebagai façade untuk Tabel A dan Tabel B. Untuk baris yang memiliki stempel waktu yang sama di kedua tabel, konfigurasikan tampilan untuk menampilkan baris dari Tabel B, atau, jika baris tidak ada di Tabel B, kembali ke Tabel A. Diagram berikut menunjukkan tampilan (Façade View) yang membaca dari Table A dan Table B.
Pada tahap ini, Anda dapat menghapus Langganan A.
Jika masalah terdeteksi pada deployment pipeline baru, memiliki pipeline paralel dapat menyederhanakan rollback. Dalam contoh ini, Anda mungkin ingin tetap menjalankan Pipeline A sambil memantau Pipeline B untuk operasi yang benar. Jika terjadi masalah dengan Pipeline B, Anda dapat melakukan roll back ke Pipeline A.
Menangani mutasi skema
Sistem penanganan data sering kali perlu mengakomodasi mutasi skema dari waktu ke waktu, terkadang karena perubahan persyaratan bisnis dan terkadang karena alasan teknis. Penerapan update skema biasanya memerlukan perencanaan dan eksekusi yang cermat untuk menghindari gangguan pada sistem informasi bisnis.
Pertimbangkan pipeline yang membaca pesan yang berisi payload JSON dari topik Pub/Sub. Pipeline akan mengonversi setiap pesan menjadi instance
TableRow,
lalu menulis baris ke tabel BigQuery. Skema tabel output mirip dengan pesan yang diproses oleh pipeline.
Dalam diagram berikut, skema ini disebut sebagai Skema A.
Seiring waktu, skema pesan mungkin berubah dengan cara yang tidak biasa. Misalnya, kolom ditambahkan, dihapus, atau diganti. Skema A berkembang menjadi skema baru. Dalam pembahasan berikut, skema baru disebut sebagai Skema B. Dalam hal ini, Pipeline A perlu diperbarui, dan skema tabel output harus mendukung Skema B.
Untuk tabel output, Anda dapat melakukan beberapa mutasi skema tanpa periode nonaktif.
Misalnya, Anda dapat menambahkan kolom baru atau melonggarkan
mode kolom,
seperti mengubah REQUIRED menjadi NULLABLE, tanpa periode nonaktif.
Mutasi ini biasanya tidak memengaruhi kueri yang ada. Namun, mutasi skema yang mengubah atau menghapus kolom skema yang ada akan merusak kueri atau menyebabkan gangguan lainnya. Pendekatan berikut mengakomodasi perubahan tanpa
memerlukan periode nonaktif.
Pisahkan data yang ditulis oleh pipeline ke dalam tabel utama dan ke dalam satu atau beberapa tabel staging. Tabel utama menyimpan data historis yang ditulis oleh pipeline. Tabel staging menyimpan output pipeline terbaru. Anda dapat menentukan tampilan façade BigQuery di atas tabel utama dan staging, yang memungkinkan konsumen mengkueri data historis dan terbaru.
Diagram berikut merevisi alur pipeline sebelumnya untuk menyertakan tabel staging (Tabel Staging A), tabel utama, dan tampilan façade.
Dalam alur yang direvisi, Pipeline A memproses pesan yang menggunakan Skema A dan menulis output ke Tabel Staging A, yang memiliki skema yang kompatibel. Tabel utama berisi data historis yang ditulis oleh versi pipeline sebelumnya, serta hasil yang digabungkan secara berkala dari tabel staging. Konsumen dapat mengkueri data terbaru, termasuk data historis dan real-time, menggunakan tampilan façade.
Saat skema pesan berubah dari Skema A menjadi Skema B, Anda mungkin memperbarui kode pipeline agar kompatibel dengan pesan yang menggunakan Skema B. Pipeline yang ada perlu diupdate dengan implementasi baru. Dengan menjalankan pipeline paralel, Anda dapat memastikan bahwa pemrosesan data streaming berlanjut tanpa gangguan. Menghentikan dan mengganti pipeline akan mengakibatkan jeda dalam pemrosesan, karena tidak ada pipeline yang berjalan selama jangka waktu tertentu.
Pipeline yang diperbarui menulis ke tabel staging tambahan (Tabel Staging B) yang menggunakan Skema B. Anda dapat menggunakan alur kerja yang diorkestrasi untuk membuat tabel staging baru sebelum mengupdate pipeline. Perbarui tampilan façade untuk menyertakan hasil dari tabel staging baru, yang berpotensi menggunakan langkah alur kerja terkait.
Diagram berikut menunjukkan alur yang diperbarui yang menampilkan Tabel Staging B dengan Skema B dan cara tampilan façade diperbarui untuk menyertakan konten dari tabel utama dan dari kedua tabel staging.
Sebagai proses terpisah dari update pipeline, Anda dapat menggabungkan tabel staging ke dalam tabel utama, baik secara berkala maupun sesuai kebutuhan. Diagram berikut menunjukkan cara Tabel Staging A digabungkan ke dalam tabel utama.
Langkah berikutnya
- Temukan langkah-langkah mendetail untuk memperbarui pipeline yang ada.