Mendesain alur kerja pipeline Dataflow

Pengembangan pipeline melibatkan berbagai tahap dan tugas, seperti pengembangan kode, pengujian, dan pengiriman ke produksi. Dokumen ini menjelaskan:

  • Pertimbangan untuk continuous integration dan continuous delivery (CI/CD) guna mendukung build, pengujian, dan deployment pipeline otomatis ke berbagai lingkungan.
  • Fitur Dataflow untuk mengoptimalkan performa dan pemanfaatan resource dalam produksi.
  • Pendekatan dan titik pengawasan untuk mengupdate pipeline streaming dalam produksi.
  • Praktik terbaik untuk meningkatkan keandalan pipeline dalam produksi.

Continuous integration

Continuous integration (CI) mengharuskan developer untuk sering menggabungkan kode ke dalam repositori bersama, yang berguna untuk aplikasi yang sering berubah, seperti situs yang sering diupdate. Meskipun pipeline data biasanya tidak berubah sebanyak jenis aplikasi lainnya, praktik CI memberikan banyak manfaat untuk pengembangan pipeline. Misalnya, otomatisasi pengujian memberikan masukan cepat saat ditemukan cacat dan mengurangi kemungkinan regresi masuk ke codebase.

Otomatisasi pengujian adalah bagian penting dari CI. Jika digabungkan dengan cakupan pengujian yang sesuai, otomatisasi pengujian akan menjalankan suite pengujian Anda pada setiap commit kode. Server CI Anda dapat bekerja bersama dengan alat otomatisasi build seperti Maven untuk menjalankan suite pengujian sebagai satu atau beberapa langkah pipeline CI. Anda dapat memaketkan kode yang berhasil lulus pengujian unit dan pengujian integrasi ke dalam artefak deployment tempat pipeline diluncurkan. Build ini disebut sebagai build yang lulus.

Jumlah dan jenis artefak deployment yang dibuat dari build yang lulus bervariasi bergantung pada cara pipeline diluncurkan. Dengan menggunakan Apache Beam Java SDK, Anda dapat mengemas kode pipeline ke dalam file JAR yang dieksekusi secara mandiri. Kemudian, Anda dapat menyimpan file JAR di bucket yang dihosting dalam project untuk lingkungan deployment, seperti project praproduksi atau produksi Google Cloud . Jika Anda menggunakan Template Klasik (jenis eksekusi dengan template), artefak deployment mencakup file template JSON, file JAR untuk pipeline Anda, dan template metadata opsional. Selanjutnya, Anda dapat men-deploy artefak ke berbagai lingkungan deployment menggunakan continuous delivery, seperti yang dijelaskan di bagian berikut.

Continuous delivery dan deployment berkelanjutan

Continuous delivery (CD) menyalin artefak deployment ke satu atau beberapa lingkungan deployment yang siap diluncurkan secara manual. Biasanya, artefak yang di-build oleh server CI di-deploy ke satu atau beberapa lingkungan praproduksi untuk menjalankan pengujian end-to-end. Lingkungan produksi diperbarui jika semua pengujian menyeluruh berhasil lulus.

Untuk pipeline batch, continuous deployment dapat langsung meluncurkan pipeline sebagai tugas Dataflow baru. Atau, sistem lain dapat menggunakan artefak untuk meluncurkan tugas batch saat diperlukan. Misalnya, Anda dapat menggunakan Managed Service untuk Apache Airflow untuk menjalankan tugas batch dalam alur kerja, atau Cloud Scheduler untuk menjadwalkan tugas batch.

Pipeline streaming dapat lebih kompleks untuk di-deploy daripada pipeline batch, sehingga bisa lebih sulit untuk diotomatiskan menggunakan continuous deployment. Misalnya, Anda mungkin perlu menentukan cara mengganti atau memperbarui pipeline streaming yang ada. Jika Anda tidak dapat mengupdate pipeline, atau jika Anda memilih untuk tidak mengupdatenya, Anda dapat menggunakan metode lain seperti mengoordinasikan beberapa tugas Dataflow untuk meminimalkan atau mencegah gangguan bisnis.

Identitas dan peran yang diperlukan untuk CI/CD

Pipeline CI/CD Anda berinteraksi dengan berbagai sistem untuk membangun, menguji, dan men-deploy pipeline. Misalnya, pipeline Anda memerlukan akses ke repositori kode sumber Anda. Untuk mengaktifkan interaksi ini, pastikan pipeline Anda memiliki identitas dan peran yang tepat. Aktivitas pipeline berikut mungkin juga mengharuskan pipeline Anda memiliki identitas dan peran tertentu.

Pengujian integrasi dengan layanan eksternal, termasuk Google Cloud

Saat Anda menggunakan Direct Runner untuk menjalankan pengujian ad hoc atau pengujian integrasi sistem, pipeline Anda menggunakan Kredensial Default Aplikasi (ADC)) untuk mendapatkan kredensial. Cara menyiapkan ADC bergantung pada tempat pipeline Anda berjalan. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan Kredensial Default Aplikasi.

Pastikan akun layanan yang digunakan untuk mendapatkan kredensial untuk resourceGoogle Cloud yang diakses oleh pipeline memiliki peran dan izin yang memadai.

Men-deploy artefak ke berbagai lingkungan deployment

Jika memungkinkan, gunakan kredensial unik untuk setiap lingkungan (secara efektif untuk setiap project) dan batasi akses ke resource sebagaimana mestinya.

Gunakan akun layanan yang unik untuk setiap project guna membaca dan menulis artefak deployment ke bucket penyimpanan. Bergantung pada apakah pipeline Anda menggunakan template, proses deployment Anda mungkin perlu melakukan staging beberapa artefak. Misalnya, membuat dan melakukan staging template Dataflow memerlukan izin untuk menulis artefak deployment yang diperlukan untuk meluncurkan pipeline Anda, seperti file template pipeline, ke bucket Cloud Storage.

Men-deploy pipeline ke berbagai lingkungan deployment

Jika memungkinkan, gunakan akun layanan unik untuk setiap project guna mengakses dan mengelola resource Google Cloud dalam project, termasuk mengakses Dataflow itu sendiri.

Akun layanan yang Anda gunakan untuk membuat dan mengelola tugas Dataflow harus memiliki izin IAM yang memadai untuk pengelolaan tugas. Untuk mengetahui detailnya, lihat bagian Akun layanan Dataflow di halaman Keamanan dan izin Dataflow.

Akun layanan worker yang Anda gunakan untuk menjalankan tugas Dataflow memerlukan izin untuk mengelola resource Compute Engine saat tugas berjalan dan untuk mengelola interaksi antara pipeline Apache Beam dan layanan Dataflow. Untuk mengetahui detailnya, lihat bagian Akun layanan worker di halaman Keamanan dan izin Dataflow.

Untuk menentukan akun layanan worker yang dikelola pengguna untuk tugas, gunakan opsi pipeline --serviceAccount. Jika Anda tidak menentukan akun layanan worker saat membuat tugas, Dataflow akan mencoba menggunakan akun layanan default Compute Engine. Sebagai gantinya, sebaiknya Anda menentukan akun layanan worker yang dikelola pengguna untuk lingkungan produksi, karena akun layanan default Compute Engine biasanya memiliki serangkaian izin yang lebih luas daripada izin yang diperlukan untuk tugas Dataflow Anda.

Dalam skenario produksi, sebaiknya gunakan akun layanan terpisah untuk pengelolaan tugas Dataflow dan untuk akun layanan worker, yang memberikan keamanan lebih baik dibandingkan dengan menggunakan satu akun layanan. Misalnya, akun layanan yang digunakan untuk membuat tugas Dataflow mungkin tidak perlu mengakses sumber dan sink data atau menggunakan resource lain yang digunakan oleh pipeline. Dalam skenario ini, akun layanan worker yang digunakan untuk menjalankan tugas Dataflow diberi izin untuk menggunakan resource pipeline. Akun layanan yang berbeda untuk pembuatan tugas diberi izin untuk mengelola (termasuk membuat) tugas Dataflow.

Contoh pipeline CI/CD

Diagram berikut memberikan gambaran umum dan agnostik alat tentang CI/CD untuk pipeline data. Selain itu, diagram ini menunjukkan hubungan antara tugas pengembangan, lingkungan deployment, dan runner pipeline.

Tahapan pipeline CI/CD.

Diagram menunjukkan tahapan berikut:

  • Pengembangan kode: Selama pengembangan kode, developer menjalankan kode pipeline secara lokal menggunakan Direct Runner. Selain itu, developer menggunakan lingkungan sandbox untuk eksekusi pipeline ad hoc menggunakan Runner Dataflow.

    Dalam pipeline CI/CD standar, proses continuous integration dipicu saat developer membuat perubahan pada sistem kontrol sumber, seperti mengirim kode baru ke repositori.

  • Build dan pengujian: Proses continuous integration mengompilasi kode pipeline, lalu menjalankan pengujian unit dan mengubah pengujian integrasi menggunakan Direct Runner. Pengujian integrasi sistem opsional, yang mencakup pengujian integrasi dengan sumber dan sink eksternal menggunakan set data pengujian kecil, juga dapat dijalankan.

    Jika pengujian berhasil, proses CI akan menyimpan artefak deployment, yang mungkin mencakup file JAR, image Docker, dan metadata template, yang diperlukan untuk meluncurkan pipeline ke lokasi yang dapat diakses oleh proses continuous delivery. Bergantung pada jenis artefak deployment yang dihasilkan, Anda dapat menggunakan Cloud Storage dan Artifact Registry untuk menyimpan berbagai jenis artefak.

  • Pengiriman dan deployment: Proses continuous delivery menyalin artefak deployment ke lingkungan praproduksi atau membuat artefak ini tersedia untuk digunakan dalam lingkungan tersebut. Developer dapat menjalankan pengujian end-to-end secara manual menggunakan Runner Dataflow, atau mereka dapat menggunakan deployment berkelanjutan untuk memulai pengujian secara otomatis. Biasanya, pendekatan continuous deployment lebih mudah diaktifkan untuk pipeline batch daripada pipeline streaming. Karena pipeline batch tidak berjalan terus-menerus, akan lebih mudah untuk menggantinya dengan rilis baru.

    Proses memperbarui pipeline streaming mungkin sederhana atau kompleks, dan Anda harus menguji update di lingkungan praproduksi. Prosedur update mungkin tidak selalu konsisten di antara rilis. Misalnya, pipeline mungkin berubah sedemikian rupa sehingga update di tempat tidak dapat dilakukan. Oleh karena itu, terkadang sulit untuk mengotomatiskan update pipeline menggunakan continuous deployment.

Jika semua pengujian menyeluruh lulus, Anda dapat menyalin artefak deployment atau menyediakannya untuk lingkungan produksi sebagai bagian dari proses continuous delivery. Jika pipeline baru memperbarui atau menggantikan pipeline streaming yang ada, gunakan prosedur yang diuji di lingkungan praproduksi untuk men-deploy pipeline baru.

Eksekusi tugas tanpa template versus dengan template

Anda dapat membuat tugas Dataflow menggunakan Apache Beam SDK langsung dari lingkungan pengembangan. Jenis tugas ini disebut tugas non-template. Meskipun pendekatan ini memudahkan developer, Anda mungkin lebih memilih untuk memisahkan tugas pengembangan dan menjalankan pipeline. Untuk melakukan pemisahan ini, Anda dapat menggunakan template Dataflow, yang memungkinkan Anda melakukan staging dan menjalankan pipeline sebagai tugas independen. Setelah template di-stage, pengguna lain, termasuk non-developer, dapat menjalankan tugas dari template menggunakan Google Cloud CLI, konsolGoogle Cloud , atau Dataflow REST API.

Dataflow menawarkan jenis template tugas berikut:

  • Template Klasik: Developer menggunakan Apache Beam SDK untuk menjalankan kode pipeline dan menyimpan grafik eksekusi yang diserialisasi JSON sebagai template. Apache Beam SDK melakukan tahapan file template ke lokasi Cloud Storage, beserta dependensi apa pun yang diperlukan oleh kode pipeline.
  • Template Flex: Developer menggunakan Google Cloud CLI untuk memaketkan pipeline sebagai image Docker, yang kemudian disimpan di Artifact Registry. File spesifikasi Template Flex juga dibuat dan disimpan secara otomatis ke lokasi Cloud Storage yang ditentukan pengguna. File spesifikasi Template Flex berisi metadata yang menjelaskan cara menjalankan template, seperti parameter pipeline.

Selain fitur Template Flex yang dijelaskan dalam dokumentasi tertaut, Template Flex menawarkan keunggulan dibandingkan Template Klasik untuk mengelola template.

  • Dengan Template Klasik, beberapa artefak, seperti file JAR, mungkin disimpan di lokasi staging Cloud Storage, tetapi tanpa fitur apa pun untuk mengelola beberapa artefak ini. Sebagai perbandingan, Template Flex dienkapsulasi dalam image Docker. Image ini memaketkan semua dependensi, selain spesifikasi Template Flex, yang diperlukan untuk pipeline Anda ke dalam satu artefak deployment yang dikelola oleh Artifact Registry.
  • Anda dapat menggunakan fitur pengelolaan image Docker untuk Template Fleksibel Anda. Misalnya, Anda dapat membagikan Template Flex dengan aman dengan memberikan izin pull (dan secara opsional push) ke Artifact Registry, dan menggunakan tag image Docker untuk berbagai versi Template Flex Anda.

Developer dapat menggunakan Template Klasik dan Template Flex untuk meluncurkan tugas dalam project yang berbeda dengan project yang memiliki registry dan bucket penyimpanan yang menghosting aset template, atau hanya bucket penyimpanan jika Anda menggunakan Template Klasik. Fitur ini berguna jika Anda perlu mengisolasi pemrosesan data untuk beberapa pelanggan ke dalam project dan tugas pipeline yang berbeda. Dengan menggunakan Template Flex, Anda dapat menentukan lebih lanjut berbagai versi image Docker yang akan digunakan saat meluncurkan pipeline. Fitur ini menyederhanakan penggantian bertahap pipeline batch atau pipeline streaming di beberapa project saat Anda mengupdate template nanti.

Fitur Dataflow untuk mengoptimalkan penggunaan resource

Dataflow menyediakan fitur khusus runner berikut untuk mengoptimalkan penggunaan resource, yang dapat meningkatkan performa dan menurunkan biaya:

  • Streaming Engine: Streaming Engine memindahkan eksekusi pipeline streaming dari worker VM ke layanan khusus. Manfaatnya mencakup peningkatan responsivitas penskalaan otomatis, pengurangan resource worker VM yang digunakan, dan update layanan otomatis tanpa deployment ulang. Dalam beberapa kasus, Anda juga dapat mengurangi penggunaan resource dengan menggunakan pemrosesan minimal sekali untuk kasus penggunaan yang dapat menoleransi duplikat. Sebaiknya aktifkan Streaming Engine untuk pipeline streaming. Fitur ini diaktifkan secara default saat Anda menggunakan Apache Beam Java SDK atau Python SDK versi terbaru.
  • Dataflow Shuffle: Dataflow Shuffle memindahkan operasi shuffle untuk pipeline batch dari worker VM ke layanan khusus. Manfaatnya mencakup eksekusi yang lebih cepat untuk sebagian besar pipeline batch, pengurangan konsumsi resource oleh worker VM, peningkatan responsivitas penskalaan otomatis, dan peningkatan fault tolerance. Sebaiknya aktifkan Dataflow Shuffle untuk pipeline batch. Fitur ini diaktifkan secara default menggunakan Apache Beam Java SDK dan Python SDK terbaru.
  • Flexible Resource Scheduling (FlexRS): FlexRS mengurangi biaya batch processing dengan menggunakan teknik penjadwalan lanjutan, layanan Dataflow Shuffle, serta kombinasi preemptible VM instance dan VM reguler.

Memperbarui pipeline streaming dalam produksi

Lihat Mengupgrade pipeline streaming.

Siklus proses tugas Dataflow

Tugas Dataflow melalui siklus proses yang diwakili oleh berbagai status tugas. Untuk menjalankan tugas Dataflow, kirimkan ke region. Tugas tersebut kemudian dirutekan ke backend Dataflow yang tersedia di salah satu zona dalam region tersebut. Sebelum Dataflow menetapkan backend, Dataflow akan memverifikasi bahwa Anda memiliki kuota dan izin yang memadai untuk menjalankan tugas. Setelah pemeriksaan preflight ini selesai dan backend telah ditetapkan, tugas akan beralih ke status JOB_STATE_PENDING. Untuk tugas FlexRS, penetapan backend mungkin tertunda di masa mendatang, dan tugas ini memasuki status JOB_STATE_QUEUED.

Backend yang ditetapkan akan mengambil tugas untuk dijalankan dan mencoba memulai worker Dataflow di project Google Cloud Anda. Zona yang dipilih untuk worker VM bergantung pada sejumlah faktor. Untuk tugas batch yang menggunakan Dataflow Shuffle, layanan ini juga mencoba memastikan bahwa backend Dataflow dan worker VM berada di zona yang sama untuk menghindari traffic lintas zona.

Setelah dimulai, worker Dataflow akan meminta tugas dari backend Dataflow. Backend bertanggung jawab untuk membagi pekerjaan menjadi potongan-potongan yang dapat diparalelkan, yang disebut paket, yang didistribusikan di antara worker. Jika worker tidak dapat menangani pekerjaan yang ada, dan jika penskalaan otomatis diaktifkan, backend akan memulai lebih banyak worker untuk menangani pekerjaan tersebut. Demikian pula, jika lebih banyak worker yang dimulai daripada yang diperlukan, beberapa worker akan dinonaktifkan.

Setelah worker Dataflow dimulai, backend Dataflow bertindak sebagai bidang kontrol untuk mengatur eksekusi tugas. Selama pemrosesan, bidang data tugas melakukan operasi shuffle seperti GroupByKey, CoGroupByKey, dan Combine. Tugas menggunakan salah satu implementasi bidang data berikut untuk operasi shuffle:

  • Bidang data berjalan di worker Dataflow, dan data shuffle disimpan di persistent disk.
  • Bidang data berjalan sebagai layanan, yang dieksternalisasi dari worker VM. Implementasi ini memiliki dua varian, yang Anda tentukan saat membuat tugas: Dataflow Shuffle untuk pipeline batch dan Streaming Engine untuk pipeline streaming. Pengacakan berbasis layanan secara signifikan meningkatkan performa dan skalabilitas operasi pengacakan data dibandingkan dengan pengacakan berbasis worker.

Tugas streaming yang memasuki status JOB_STATE_RUNNING akan terus berjalan tanpa batas waktu hingga dibatalkan atau dihentikan, kecuali jika terjadi kegagalan tugas. Tugas batch otomatis berhenti saat semua pemrosesan selesai atau jika terjadi error yang tidak dapat dipulihkan. Bergantung pada cara tugas dihentikan, Dataflow akan menetapkan status tugas ke salah satu dari beberapa status terminal, termasuk JOB_STATE_CANCELLED, JOB_STATE_DRAINED, atau JOB_STATE_DONE.

Praktik terbaik keandalan pipeline

Bagian ini membahas kegagalan yang mungkin terjadi saat Anda bekerja dengan Dataflow dan praktik terbaik untuk tugas Dataflow.

Mengikuti prinsip isolasi

Rekomendasi umum untuk meningkatkan keandalan pipeline secara keseluruhan adalah dengan mengikuti prinsip isolasi di balik region dan zona. Pastikan pipeline Anda tidak memiliki dependensi lintas region yang penting. Jika Anda memiliki pipeline yang memiliki dependensi penting pada layanan dari beberapa region, kegagalan di salah satu region tersebut dapat memengaruhi pipeline Anda. Untuk membantu menghindari masalah ini, deploy ke beberapa region untuk redundansi dan pencadangan.

Membuat snapshot Dataflow

Dataflow menawarkan fitur snapshot yang menyediakan cadangan status pipeline. Anda dapat memulihkan snapshot pipeline ke pipeline Dataflow streaming baru di zona atau region lain. Kemudian, Anda dapat memulai pemrosesan ulang pesan dalam topik Pub/Sub atau Kafka mulai dari stempel waktu snapshot. Jika menyiapkan snapshot reguler pipeline, Anda dapat meminimalkan waktu batas waktu pemulihan (RTO).

Untuk mengetahui informasi selengkapnya tentang snapshot Dataflow, lihat Menggunakan snapshot Dataflow.

Menangani kegagalan pengiriman tugas

Anda mengirimkan tugas Dataflow non-template menggunakan Apache Beam SDK. Untuk mengirimkan tugas, Anda menjalankan pipeline menggunakan Dataflow Runner, yang ditentukan sebagai bagian dari opsi pipeline. Apache Beam SDK menyiapkan file di Cloud Storage, membuat file permintaan tugas, dan mengirimkan file tersebut ke Dataflow.

Atau, tugas yang dibuat dari template Dataflow menggunakan metode pengiriman yang berbeda, yang biasanya mengandalkan templates API.

Anda mungkin melihat berbagai error yang ditampilkan oleh Dataflow yang menunjukkan kegagalan tugas untuk tugas template dan non-template. Bagian ini membahas berbagai jenis kegagalan pengiriman tugas dan praktik terbaik untuk menangani atau memitigasinya.

Mencoba ulang pengiriman tugas setelah kegagalan sementara

Jika tugas gagal dimulai karena masalah layanan Dataflow, coba lagi tugas tersebut beberapa kali. Mencoba ulang akan mengurangi masalah layanan sementara.

Memitigasi kegagalan zona dengan menentukan region worker

Dataflow menyediakan ketersediaan regional dan tersedia di beberapa region. Saat pengguna mengirimkan tugas ke region tanpa menentukan zona secara eksplisit, Dataflow akan merutekan tugas ke zona di region yang ditentukan berdasarkan ketersediaan resource.

Opsi yang direkomendasikan untuk penempatan tugas adalah menentukan region worker menggunakan flag --region, bukan flag --zone, jika memungkinkan. Langkah ini memungkinkan Dataflow memberikan tingkat toleransi kesalahan tambahan untuk pipeline Anda dengan memilih zona terbaik secara otomatis untuk tugas tersebut. Tugas yang menentukan zona eksplisit tidak memiliki manfaat ini, dan akan gagal jika terjadi masalah dalam zona tersebut. Jika pengiriman tugas gagal karena masalah zona, Anda sering kali dapat menyelesaikan masalah tersebut dengan mencoba kembali tugas tanpa menentukan zona secara eksplisit.

Memitigasi kegagalan regional dengan menyimpan data di beberapa region

Jika seluruh region tidak tersedia, coba jalankan tugas di region lain. Penting untuk memikirkan ketersediaan data Anda saat tugas gagal di seluruh region. Untuk melindungi dari kegagalan satu region tanpa menyalin data secara manual ke beberapa region, gunakan resource Google Cloud yang otomatis menyimpan data di beberapa region. Misalnya, gunakan bucket dual-region dan multi-region Cloud Storage. Jika satu region tidak tersedia, Anda dapat menjalankan ulang pipeline di region lain tempat data tersedia.

Untuk contoh penggunaan layanan multi-regional dengan Dataflow, lihat Ketersediaan tinggi dan redundansi geografis.

Menangani kegagalan dalam menjalankan pipeline

Setelah tugas dikirimkan dan diterima, satu-satunya operasi yang valid untuk tugas tersebut adalah sebagai berikut:

  • membatalkan tugas batch
  • update, drain, atau cancel untuk tugas streaming

Anda tidak dapat mengubah lokasi tugas yang sedang berjalan setelah mengirimkan tugas. Jika Anda tidak menggunakan FlexRS, tugas biasanya mulai memproses data dalam beberapa menit setelah pengiriman. Tugas FlexRS dapat memerlukan waktu hingga enam jam untuk memulai pemrosesan data.

Bagian ini membahas kegagalan dalam menjalankan tugas dan praktik terbaik untuk menanganinya.

Memantau tugas untuk mengidentifikasi dan menyelesaikan masalah yang disebabkan oleh error sementara

Untuk tugas batch, paket yang menyertakan item yang gagal akan dicoba ulang empat kali. Dataflow menghentikan tugas saat satu paket gagal empat kali. Proses ini menangani banyak masalah sementara. Namun, jika terjadi kegagalan yang berkepanjangan, batas percobaan ulang maksimum biasanya akan tercapai dengan cepat, sehingga tugas akan gagal dengan cepat.

Untuk pemantauan dan manajemen insiden, konfigurasikan alert rule untuk mendeteksi tugas yang gagal. Jika tugas gagal, periksa log tugas untuk mengidentifikasi kegagalan tugas yang disebabkan oleh item kerja yang gagal dan melebihi batas percobaan ulang.

Untuk tugas streaming, Dataflow akan mencoba ulang item tugas yang gagal tanpa batas waktu. Tugas tidak dihentikan. Namun, tugas mungkin terhenti hingga masalahnya teratasi. Buat kebijakan pemantauan untuk mendeteksi tanda-tanda pipeline yang terhenti, seperti peningkatan latensi sistem dan penurunan keaktualan data. Terapkan logging error dalam kode pipeline Anda untuk membantu mengidentifikasi penghentian pipeline yang disebabkan oleh item pekerjaan yang gagal berulang kali.

Memulai ulang tugas di zona lain jika terjadi pemadaman layanan di zona tertentu

Setelah tugas dimulai, worker Dataflow yang menjalankan kode pengguna dibatasi pada satu zona. Jika terjadi pemadaman layanan di zona, tugas Dataflow sering kali terpengaruh, bergantung pada tingkat pemadaman layanan.

Untuk pemadaman layanan yang hanya memengaruhi backend Dataflow, backend akan otomatis dimigrasikan ke zona lain oleh layanan terkelola sehingga dapat melanjutkan tugas. Jika tugas menggunakan Dataflow Shuffle, backend tidak dapat dipindahkan antar-zona. Jika terjadi migrasi backend Dataflow, tugas mungkin akan terhenti untuk sementara.

Jika terjadi pemadaman layanan zona, tugas yang berjalan kemungkinan akan gagal atau terhenti hingga ketersediaan zona dipulihkan. Jika zona menjadi tidak tersedia dalam jangka waktu yang lama, hentikan tugas (batalkan untuk tugas batch dan pindahkan untuk tugas streaming), lalu mulai ulang untuk mengizinkan Dataflow memilih zona baru yang responsif.

Memulai ulang tugas batch di region lain jika terjadi pemadaman layanan regional

Jika terjadi pemadaman layanan regional di region tempat tugas Dataflow Anda berjalan, tugas tersebut dapat gagal atau terhenti. Untuk tugas batch, mulai ulang tugas di region lain jika memungkinkan. Penting untuk memastikan bahwa data Anda tersedia di berbagai region.

Memitigasi pemadaman layanan regional menggunakan ketersediaan tinggi atau failover

Untuk tugas streaming, bergantung pada toleransi kesalahan dan anggaran untuk aplikasi Anda, Anda memiliki berbagai opsi untuk mengurangi kegagalan. Untuk pemadaman layanan regional, opsi paling sederhana dan paling hemat biaya adalah menunggu hingga pemadaman layanan berakhir. Namun, jika aplikasi Anda sensitif terhadap latensi atau jika pemrosesan data tidak boleh terganggu atau harus dilanjutkan dengan penundaan minimal, bagian berikut akan membahas opsi-opsinya.

Ketersediaan tinggi: Sensitif terhadap latensi tanpa kehilangan data

Jika aplikasi Anda tidak dapat menoleransi kehilangan data, jalankan pipeline duplikat secara paralel di dua region berbeda, dan buat pipeline menggunakan data yang sama. Sumber data yang sama harus tersedia di kedua region. Aplikasi downstream yang bergantung pada output pipeline ini harus dapat beralih antara output dari kedua region ini. Karena duplikasi resource, opsi ini memerlukan biaya tertinggi dibandingkan dengan opsi lainnya. Untuk contoh deployment, lihat bagian Ketersediaan tinggi dan redundansi geografis.

Failover: Sensitif terhadap latensi dengan beberapa potensi kehilangan data

Jika aplikasi Anda dapat menoleransi potensi kehilangan data, sediakan sumber data streaming di beberapa region. Misalnya, menggunakan Pub/Sub, pertahankan dua langganan independen untuk topik yang sama, satu untuk setiap region. Jika terjadi pemadaman layanan regional, mulai pipeline pengganti di region lain, dan buat pipeline menggunakan data dari langganan cadangan.

Putar ulang langganan cadangan ke waktu yang sesuai untuk meminimalkan kehilangan data tanpa mengorbankan latensi. Aplikasi downstream harus mengetahui cara beralih ke output pipeline yang berjalan, mirip dengan opsi ketersediaan tinggi. Opsi ini menggunakan lebih sedikit resource daripada menjalankan pipeline duplikat karena hanya data yang diduplikasi.

Ketersediaan tinggi dan redundansi geografis

Anda dapat menjalankan beberapa pipeline streaming secara paralel untuk pemrosesan data ketersediaan tinggi. Misalnya, Anda dapat menjalankan dua tugas streaming paralel di region yang berbeda, yang memberikan redundansi geografis dan fault-tolerant untuk pemrosesan data.

Dengan mempertimbangkan ketersediaan geografis sumber data dan sink, Anda dapat mengoperasikan pipeline menyeluruh dalam konfigurasi multi-region yang sangat tersedia. Diagram berikut menunjukkan contoh deployment.

2 pipeline regional menggunakan langganan terpisah untuk membaca dari topik Pub/Sub global. Pipeline menulis ke tabel BigQuery multi-regional yang terpisah, satu di AS dan satu di Eropa.

Diagram menunjukkan alur berikut:

  1. Pub/Sub berjalan di sebagian besar region di seluruh dunia, sehingga layanan ini dapat menawarkan akses data global yang cepat, sekaligus memberi Anda kontrol atas tempat penyimpanan pesan. Pub/Sub dapat otomatis menyimpan pesan yang dipublikasikan di region Google Cloud yang terdekat dengan pelanggan, atau Anda dapat mengonfigurasinya untuk menggunakan region atau kumpulan region tertentu menggunakan kebijakan penyimpanan pesan.

    Pub/Sub kemudian mengirimkan pesan ke pelanggan di seluruh dunia, terlepas dari tempat pesan disimpan. Klien Pub/Sub tidak perlu mengetahui lokasi server yang terhubung dengannya, karena mekanisme load balancing global mengarahkan traffic ke pusat dataGoogle Cloud terdekat tempat pesan disimpan.

  2. Dataflow berjalan di region Google Cloud tertentu. Dengan menjalankan pipeline paralel di region Google Cloud yang terpisah, Anda dapat mengisolasi tugas dari kegagalan yang memengaruhi satu region. Diagram ini menunjukkan dua instance dari pipeline yang sama, masing-masing berjalan di region Google Cloud yang terpisah.

  3. Pipeline Dataflow paralel menulis ke dua region BigQuery yang terpisah, sehingga memberikan redundansi geografis. Dalam sebuah region, BigQuery secara otomatis menyimpan salinan data Anda di dua zona Google Cloud yang berbeda. Untuk mengetahui informasi selengkapnya, lihat Perencanaan bencana dalam dokumentasi BigQuery.