Halaman ini menjelaskan pertimbangan penting untuk merencanakan pipeline data sebelum Anda memulai pengembangan kode. Pipeline data memindahkan data dari satu sistem ke sistem lain dan sering kali menjadi komponen penting dalam sistem informasi bisnis. Performa dan keandalan pipeline data Anda dapat memengaruhi sistem yang lebih luas ini dan seberapa efektif persyaratan bisnis Anda terpenuhi.
Jika Anda merencanakan pipeline data sebelum mengembangkannya, Anda dapat meningkatkan performa dan keandalannya. Halaman ini menjelaskan berbagai pertimbangan perencanaan untuk pipeline Dataflow, termasuk:
- Ekspektasi performa untuk pipeline Anda, termasuk standar untuk pengukuran
- Integrasi pipeline Anda dengan sumber data, sink, dan sistem terhubung lainnya
- Regionalisasi pipeline, sumber, dan sink
- Keamanan, seperti enkripsi data dan jaringan pribadi
Menentukan dan mengukur SLO
Ukuran performa yang penting adalah seberapa baik pipeline Anda memenuhi persyaratan bisnis. Tujuan tingkat layanan (SLO) memberikan definisi performa nyata yang dapat Anda bandingkan dengan nilai minimum yang dapat diterima. Misalnya, Anda dapat menentukan contoh SLO berikut untuk sistem Anda:
Keaktualan data: menghasilkan 90% rekomendasi produk dari aktivitas situs pengguna yang terjadi tidak lebih dari 3 menit yang lalu.
Kebenaran data: dalam satu bulan kalender, kurang dari 0,5% invoice pelanggan berisi error.
Isolasi data/load balancing: dalam satu hari kerja, proses semua pembayaran prioritas tinggi dalam waktu 10 menit setelah pengajuan, dan selesaikan pembayaran prioritas standar pada hari kerja berikutnya.
Anda dapat menggunakan indikator tingkat layanan (SLI) untuk mengukur kepatuhan SLO. SLI adalah metrik yang dapat diukur yang menunjukkan seberapa baik sistem Anda memenuhi SLO tertentu. Misalnya, Anda dapat mengukur contoh SLO keaktualan data dengan menggunakan usia aktivitas pengguna yang terakhir diproses sebagai SLI. Jika pipeline Anda menghasilkan rekomendasi dari peristiwa aktivitas pengguna, dan jika SLI Anda melaporkan penundaan 4 menit antara waktu peristiwa dan waktu peristiwa diproses, rekomendasi tidak akan mempertimbangkan aktivitas situs pengguna dari waktu yang lebih awal dari 4 menit. Jika pipeline yang memproses data streaming melebihi latensi sistem selama 4 menit, Anda tahu bahwa SLO tidak terpenuhi.
Karena komponen sistem di luar pipeline memengaruhi SLO, penting untuk menangkap berbagai SLI yang menjelaskan performa keseluruhan sistem di luar performa pipeline itu sendiri, termasuk metrik yang menjelaskan kondisi menyeluruh sistem Anda. Misalnya, pipeline Dataflow Anda mungkin menghitung hasil dengan penundaan yang dapat diterima, tetapi masalah performa mungkin terjadi pada sistem downstream yang memengaruhi SLO yang lebih luas.
Untuk mengetahui informasi selengkapnya tentang SLO penting yang perlu dipertimbangkan, lihat buku Site Reliability Engineering.
Keaktualan data
Keaktualan data mengacu pada kegunaan data sehubungan dengan usianya. SLO keaktualan data berikut disebutkan dalam buku Site Reliability Engineering sebagai format SLO keaktualan data pipeline yang paling umum:
X% data diproses dalam Y [detik, hari, menit]. SLO ini mengacu pada persentase data yang diproses dalam jangka waktu tertentu. Runner ini umum digunakan untuk pipeline batch yang memproses sumber data terbatas. Metrik untuk jenis SLO ini adalah ukuran data input dan output pada langkah pemrosesan utama yang terkait dengan runtime pipeline yang telah berlalu. Anda dapat memilih langkah yang membaca set data input dan langkah lain yang memproses setiap item input. Contoh SLO adalah "Untuk game Shave the Yak, 99% aktivitas pengguna yang memengaruhi skor pemain diperhitungkan dalam waktu 30 menit setelah pertandingan selesai".
Data terlama tidak lebih lama dari X [detik, hari, menit]. SLO ini mengacu pada usia data yang dihasilkan oleh pipeline. Mode ini biasanya digunakan untuk pipeline streaming yang memproses data dari sumber tidak terbatas. Untuk jenis SLO ini, gunakan metrik yang menunjukkan berapa lama waktu yang diperlukan pipeline Anda untuk memproses data. Dua metrik yang mungkin adalah usia item tertua yang belum diproses, yaitu berapa lama item yang belum diproses berada dalam antrean, atau usia item yang terakhir diproses. Contoh SLO adalah "Rekomendasi produk dihasilkan dari aktivitas pengguna yang tidak lebih dari 5 menit."
Tugas pipeline berhasil diselesaikan dalam waktu X [detik, hari, menit]. SLO ini menetapkan batas waktu untuk penyelesaian yang berhasil dan umum digunakan untuk pipeline batch yang memproses data dari sumber data terikat. SLO ini memerlukan total waktu yang berlalu dalam pipeline dan status penyelesaian tugas, selain sinyal lain yang menunjukkan keberhasilan tugas, seperti persentase elemen yang diproses yang menghasilkan error. Contoh SLO adalah "Pesanan pelanggan dari hari kerja saat ini diproses paling lambat pukul 09.00 keesokan harinya".
Untuk mengetahui informasi tentang cara menggunakan Cloud Monitoring untuk mengukur keaktualan data, lihat Metrik tugas Dataflow.
Kebenaran data
Kebenaran data mengacu pada data yang bebas dari error. Anda dapat menentukan kebenaran data melalui berbagai cara, termasuk:
Pengujian unit dan pengujian integrasi, yang dapat Anda otomatiskan menggunakan continuous integration.
Pengujian pipeline menyeluruh, yang dapat Anda jalankan di lingkungan praproduksi setelah pipeline berhasil lulus pengujian unit dan integrasi. Anda dapat mengotomatiskan pengujian pipeline menyeluruh menggunakan continuous delivery.
Pipeline yang berjalan dalam produksi, saat Anda menggunakan pemantauan untuk mengamati metrik yang terkait dengan kebenaran data.
Untuk menjalankan pipeline, menentukan target kebenaran data biasanya melibatkan pengukuran kebenaran selama jangka waktu tertentu. Contoh:
- Berdasarkan per tugas, kurang dari X% item input berisi error data. Anda dapat menggunakan SLO ini untuk mengukur kebenaran data untuk pipeline batch. Contoh SLO adalah "Untuk setiap tugas batch harian yang memproses pembacaan meteran listrik, kurang dari 3% pembacaan berisi error entri data".
- Selama periode berjalan X menit, kurang dari Y% item input berisi error data. Anda dapat menggunakan SLO ini untuk mengukur kebenaran data untuk pipeline streaming. Contoh SLO adalah "Kurang dari 2% pembacaan meteran listrik selama satu jam terakhir berisi nilai negatif".
Untuk mengukur SLO ini, gunakan metrik selama jangka waktu yang sesuai untuk mengakumulasikan jumlah error berdasarkan jenis. Contoh jenis error adalah data salah karena skema salah format, atau data berada di luar rentang yang valid.
Untuk mengetahui informasi tentang cara menggunakan Cloud Monitoring untuk mengukur kebenaran data, lihat Metrik tugas Dataflow.
Isolasi data dan load balancing
Isolasi data melibatkan segmentasi data berdasarkan atribut, yang dapat mempermudah load balancing. Misalnya, di platform pemrosesan pembayaran online, Anda dapat menyegmentasikan data sehingga pembayaran individual memiliki prioritas standar atau prioritas tinggi. Pipeline Anda kemudian dapat menggunakan load balancing untuk memastikan bahwa pembayaran prioritas tinggi diproses sebelum pembayaran prioritas standar.
Bayangkan Anda menentukan SLO berikut untuk pemrosesan pembayaran:
- Pembayaran prioritas tinggi diproses dalam waktu 10 menit.
- Pembayaran prioritas standar diproses paling lambat pukul 09.00 pada hari kerja berikutnya.
Jika platform pembayaran mematuhi SLO ini, pelanggan dapat melihat pembayaran prioritas tinggi yang telah diselesaikan di dasbor pelaporan setelah pembayaran selesai. Sebaliknya, pembayaran standar mungkin tidak muncul di dasbor hingga hari berikutnya.
Dalam contoh skenario ini, Anda memiliki opsi berikut:
- Menjalankan satu pipeline untuk memproses pembayaran prioritas standar dan prioritas tinggi.
- Mengisolasi dan menyeimbangkan beban data berdasarkan prioritas di beberapa pipeline.
Bagian berikut menjelaskan setiap opsi secara mendetail.
Menggunakan satu pipeline untuk memenuhi SLO campuran
Diagram berikut mengilustrasikan satu pipeline yang digunakan untuk memproses pembayaran prioritas tinggi dan prioritas standar. Pipeline menerima notifikasi pembayaran baru dari sumber data streaming, seperti topik Pub/Sub atau topik Apache Kafka. Kemudian, layanan ini segera memproses pembayaran dan menulis peristiwa ke BigQuery menggunakan streaming insert.
Keuntungan dari satu pipeline adalah menyederhanakan persyaratan operasional Anda, karena Anda hanya perlu mengelola satu sumber data dan pipeline. Dataflow menggunakan fitur penyesuaian otomatis untuk membantu menjalankan tugas Anda secepat dan seefisien mungkin.
Kelemahan dari satu pipeline adalah pipeline bersama tidak dapat memprioritaskan pembayaran prioritas tinggi daripada pembayaran prioritas standar, dan resource pipeline digunakan bersama di kedua jenis pembayaran. Dalam skenario bisnis yang dijelaskan sebelumnya, pipeline Anda harus mempertahankan SLO yang lebih ketat dari keduanya. Artinya, pipeline harus menggunakan SLO untuk pembayaran berprioritas tinggi, terlepas dari prioritas sebenarnya dari pembayaran yang diproses. Kelemahan lainnya adalah jika terjadi backlog pekerjaan, pipeline streaming tidak dapat memprioritaskan pemrosesan backlog sesuai dengan urgensi pekerjaan.
Menggunakan beberapa pipeline yang disesuaikan untuk SLO tertentu
Anda dapat menggunakan dua pipeline untuk mengisolasi resource dan memberikan SLO tertentu. Diagram berikut mengilustrasikan pendekatan ini.
Pembayaran prioritas tinggi diisolasi ke pipeline streaming untuk pemrosesan yang diprioritaskan. Pembayaran prioritas standar diproses oleh pipeline batch yang berjalan setiap hari dan menggunakan tugas pemuatan BigQuery untuk menulis hasil yang diproses.
Mengisolasi data dalam pipeline yang berbeda memiliki kelebihan. Untuk mengirimkan pembayaran prioritas tinggi terhadap SLO yang lebih ketat, Anda dapat mempersingkat waktu pemrosesan dengan menetapkan lebih banyak resource ke pipeline yang dikhususkan untuk pembayaran prioritas tinggi. Konfigurasi resource mencakup penambahan worker Dataflow, penggunaan mesin yang lebih besar, dan pengaktifan penskalaan otomatis. Mengisolasi item prioritas tinggi ke antrean pemrosesan terpisah juga dapat mengurangi penundaan pemrosesan jika terjadi lonjakan pembayaran prioritas standar yang tiba-tiba.
Saat Anda menggunakan beberapa pipeline untuk mengisolasi dan menyeimbangkan beban data dari sumber batch dan streaming, model pemrograman Apache Beam memungkinkan pipeline prioritas tinggi (streaming) dan prioritas standar (batch) berbagi kode yang sama. Satu-satunya pengecualian adalah transformasi pembacaan awal, yang membaca dari sumber terbatas untuk pipeline batch. Untuk mengetahui informasi selengkapnya, lihat Membuat library transformasi yang dapat digunakan kembali.
Merencanakan sumber data dan sink
Untuk memproses data, pipeline data perlu diintegrasikan dengan sistem lain. Sistem tersebut disebut sebagai sumber dan sink. Pipeline data membaca data dari sumber dan menulis data ke sink. Selain sumber dan sink, pipeline data mungkin berinteraksi dengan sistem eksternal untuk pengayaan data, pemfilteran, atau memanggil logika bisnis eksternal dalam langkah pemrosesan.
Untuk skalabilitas, Dataflow menjalankan tahap pipeline Anda secara paralel di beberapa worker. Faktor-faktor yang berada di luar kode pipeline dan layanan Dataflow juga memengaruhi skalabilitas pipeline Anda. Faktor-faktor ini dapat mencakup:
Skalabilitas sistem eksternal: sistem eksternal yang berinteraksi dengan pipeline Anda dapat membatasi performa dan dapat membentuk batas atas skalabilitas. Misalnya, topik Apache Kafka yang dikonfigurasi dengan jumlah partisi yang tidak memadai untuk throughput baca yang Anda perlukan dapat memengaruhi performa pipeline. Untuk membantu memastikan bahwa pipeline dan komponennya memenuhi target performa, lihat dokumentasi praktik terbaik untuk sistem eksternal yang Anda gunakan. Anda juga dapat menyederhanakan perencanaan kapasitas infrastruktur dengan menggunakan layanan Google Cloud yang menyediakan skalabilitas bawaan. Untuk mengetahui informasi selengkapnya, lihat Menggunakan sumber dan sink terkelola Google Cloud di halaman ini.
Pilihan format data: format data tertentu mungkin lebih cepat dibaca daripada yang lain. Misalnya, menggunakan format data yang mendukung pembacaan yang dapat diparalelkan, seperti Avro, biasanya lebih cepat daripada menggunakan file CSV yang memiliki baris baru yang disematkan di kolom, dan lebih cepat daripada menggunakan file terkompresi.
Lokasi data dan topologi jaringan: kedekatan geografis dan karakteristik jaringan sumber data dan sink terkait dengan pipeline data dapat memengaruhi performa. Untuk mengetahui informasi selengkapnya, lihat Pertimbangan regional di halaman ini.
Panggilan layanan eksternal
Memanggil layanan eksternal dari pipeline Anda akan menimbulkan overhead per panggilan yang dapat menurunkan performa dan efisiensi pipeline Anda. Jika pipeline data Anda memanggil layanan eksternal, untuk mengurangi overhead, kelompokkan beberapa elemen data ke dalam satu permintaan jika memungkinkan. Banyak transformasi I/O Apache Beam native yang otomatis melakukan tugas ini, termasuk BigQueryIO dan operasi streaming insert. Selain batas kapasitas, beberapa layanan eksternal juga menerapkan kuota yang membatasi jumlah total panggilan selama jangka waktu tertentu, seperti kuota harian, atau membatasi frekuensi panggilan, seperti jumlah permintaan per detik.
Karena Dataflow memparalelkan pekerjaan di beberapa worker, traffic yang terlalu banyak dapat membebani layanan eksternal atau menghabiskan kuota yang tersedia. Saat penskalaan otomatis digunakan, Dataflow mungkin mencoba mengimbanginya dengan menambahkan worker untuk menjalankan langkah yang lambat seperti panggilan eksternal. Menambahkan worker dapat menambah tekanan lebih lanjut pada sistem eksternal. Pastikan sistem eksternal dapat mendukung persyaratan beban yang Anda perkirakan, atau batasi traffic dari pipeline Anda ke tingkat yang berkelanjutan. Untuk mengetahui informasi selengkapnya, lihat Membatasi ukuran batch dan panggilan serentak ke layanan eksternal.
Menggunakan Google Cloud sumber dan sink terkelola
Menggunakan layanan terkelola Google Cloud dengan pipeline Dataflow Anda akan menghilangkan kompleksitas pengelolaan kapasitas dengan menyediakan skalabilitas bawaan, performa yang konsisten, serta kuota dan batas yang mengakomodasi sebagian besar persyaratan. Anda tetap perlu mengetahui berbagai kuota dan batas untuk operasi pipeline. Dataflow sendiri menerapkan kuota dan batas. Anda dapat meningkatkan beberapa kuota ini dengan menghubungi dukunganGoogle Cloud .
Dataflow menggunakan instance VM Compute Engine untuk menjalankan tugas Anda, sehingga Anda memerlukan kuota Compute Engine yang memadai. Kuota Compute Engine yang tidak memadai dapat menghambat penskalaan otomatis pipeline atau mencegah tugas dimulai.
Bagian selanjutnya dari bagian ini membahas bagaimana berbagai kuota dan batas Google Cloud dapat memengaruhi cara Anda mendesain, mengembangkan, dan memantau pipeline. Pub/Sub dan BigQuery digunakan sebagai contoh sumber dan sink pipeline.
Contoh 1: Pub/Sub
Saat Anda menggunakan Pub/Sub dengan Dataflow, Pub/Sub menyediakan layanan penyerapan peristiwa yang skalabel dan tahan lama untuk mengirimkan pesan ke dan dari pipeline data streaming Anda. Anda dapat menggunakan konsol Google Cloud untuk melihat konsumsi kuota Pub/Sub dan meningkatkan batas kuota. Sebaiknya Anda meminta penambahan kuota jika memiliki satu pipeline yang melebihi kuota dan batas per project.
Kuota dan batas Pub/Sub dirancang berdasarkan penggunaan level project. Secara khusus, penayang dan pelanggan dalam project yang berbeda diberi kuota throughput data independen. Jika beberapa pipeline memublikasikan atau berlangganan ke satu topik, Anda bisa mendapatkan throughput maksimum yang diizinkan pada topik tersebut dengan men-deploy setiap pipeline ke project-nya sendiri. Dalam konfigurasi ini, setiap pipeline menggunakan akun layanan berbasis project yang berbeda untuk menggunakan dan memublikasikan pesan.
Dalam diagram berikut, Pipeline 1 dan Pipeline 2 menggunakan kuota throughput pelanggan dan penayang yang sama yang tersedia untuk Project A. Sebaliknya, Pipeline 3 dapat menggunakan seluruh kuota throughput pelanggan dan penayang yang terkait dengan Project B.
Beberapa pipeline dapat membaca dari satu topik Pub/Sub menggunakan langganan terpisah ke topik tersebut, sehingga pipeline Dataflow dapat mengambil dan mengonfirmasi pesan secara independen dari pelanggan lain, seperti pipeline lain. Fitur ini memudahkan Anda meng-clone pipeline dengan membuat langganan Pub/Sub tambahan. Membuat langganan tambahan berguna untuk membuat pipeline replika untuk ketersediaan tinggi (biasanya untuk kasus penggunaan streaming), untuk menjalankan pipeline pengujian tambahan terhadap data yang sama, dan untuk mengaktifkan update pipeline.
Contoh 2: BigQuery
Pembacaan dan penulisan data BigQuery didukung oleh Apache Beam SDK untuk beberapa bahasa, termasuk Java, Python, dan Go. Saat Anda menggunakan Java, class BigQueryIO menyediakan fungsi ini. BigQueryIO mendukung dua metode untuk membaca data: EXPORT (ekspor tabel) dan DIRECT_READ.
Metode pembacaan yang berbeda menggunakan kuota BigQuery yang berbeda.
Ekspor tabel adalah metode pembacaan default. Cara kerjanya seperti yang ditunjukkan dalam diagram berikut:
Diagram menunjukkan alur berikut:
- BigQueryIO memanggil permintaan BigQuery Export untuk mengekspor data tabel. Data tabel yang diekspor ditulis ke lokasi Cloud Storage sementara.
- BigQueryIO membaca data tabel dari lokasi Cloud Storage sementara.
Permintaan BigQuery Export dibatasi oleh kuota ekspor. Permintaan ekspor juga harus diselesaikan sebelum pipeline dapat mulai memproses data, yang akan menambah waktu proses untuk tugas tersebut.
Sebaliknya, pendekatan pembacaan langsung menggunakan BigQuery Storage API untuk membaca data tabel langsung dari BigQuery. BigQuery Storage API memberikan performa baca dengan throughput tinggi untuk data baris tabel menggunakan gRPC. Penggunaan BigQuery Storage API membuat langkah ekspor tidak diperlukan, sehingga menghindari batasan kuota ekspor dan berpotensi mengurangi waktu proses tugas.
Diagram berikut menunjukkan alur jika Anda menggunakan BigQuery Storage API. Berbeda dengan alur yang menggunakan permintaan BigQuery Export, alur ini lebih sederhana, karena hanya memiliki satu langkah pembacaan langsung untuk mendapatkan data dari tabel ke pipeline.
Menulis data ke tabel BigQuery juga memiliki implikasi kuota tersendiri. Pipeline batch yang menggunakan tugas pemuatan BigQuery menggunakan kuota tugas pemuatan BigQuery yang berbeda, yang berlaku di level tabel dan project. Demikian pula, pipeline streaming yang menggunakan streaming insert BigQuery menggunakan kuota streaming insert BigQuery.
Untuk menentukan metode yang paling sesuai untuk membaca dan menulis data, pertimbangkan kasus penggunaan Anda. Misalnya, hindari penggunaan tugas pemuatan BigQuery untuk menambahkan data ribuan kali per hari ke dalam tabel. Gunakan pipeline streaming untuk menulis data hampir real-time ke BigQuery. Pipeline streaming Anda harus menggunakan streaming insert atau Storage Write API untuk tujuan ini.
Pertimbangan regional
Dataflow ditawarkan sebagai layanan terkelola di beberapa Google Cloud region Saat memilih region yang akan digunakan untuk menjalankan tugas, pertimbangkan faktor-faktor berikut:
- Lokasi sumber data dan sink
- Preferensi atau batasan terkait lokasi pemrosesan data
- Fitur Dataflow yang hanya ditawarkan di region tertentu
- Region yang digunakan untuk mengelola eksekusi tugas tertentu
- Zona yang digunakan untuk worker tugas
Untuk tugas tertentu, setelan region yang Anda gunakan untuk tugas dan untuk worker dapat berbeda. Untuk mengetahui informasi selengkapnya, termasuk kapan harus menentukan region dan zona, lihat dokumentasi region Dataflow.
Dengan menentukan region untuk menjalankan tugas Dataflow, Anda dapat merencanakan pertimbangan regional untuk ketersediaan tinggi dan disaster recovery. Untuk mengetahui informasi selengkapnya, lihat Ketersediaan tinggi dan redundansi geografis.
Region
Region Dataflow menyimpan dan menangani metadata yang terkait dengan tugas Anda, seperti informasi tentang grafik Apache Beam itu sendiri, seperti nama transformasi. Mereka juga mengontrol perilaku worker seperti penskalaan otomatis. Menentukan region akan membantu Anda memenuhi kebutuhan keamanan dan kepatuhan, lokalitas data, serta penempatan regional tugas. Untuk menghindari dampak performa dari panggilan jaringan lintas region, sebaiknya gunakan region yang sama untuk tugas dan pekerja jika memungkinkan.
Worker Dataflow
Tugas Dataflow menggunakan instance VM Compute Engine, yang disebut worker Dataflow, untuk menjalankan pipeline Anda. Tugas Dataflow dapat menggunakan zona Compute Engine apa pun untuk worker, termasuk region yang tidak memiliki lokasi Dataflow. Dengan menentukan region worker untuk tugas, Anda dapat mengontrol penempatan regional worker. Untuk menentukan region atau zona worker, lakukan hal berikut:
- Jika Anda menggunakan
gcloud CLI
untuk membuat tugas dari template Dataflow, gunakan
flag
--worker-regionuntuk mengganti region worker, atau gunakan flag--worker-zoneuntuk mengganti zona worker. - Jika Anda menggunakan Apache Beam Java SDK untuk membuat tugas, tetapkan region dan zona untuk worker menggunakan opsi pipeline.
Gunakan
workerRegionuntuk mengganti region worker atauworkerZoneuntuk mengganti zona worker.
Untuk meningkatkan latensi dan throughput jaringan, sebaiknya buat worker di region yang secara geografis dekat dengan sumber dan sink data Anda. Jika Anda tidak menentukan region atau zona untuk worker saat membuat tugas, Dataflow akan otomatis menggunakan zona default yang berada di region yang sama dengan tugas.
Jika Anda tidak menggunakan layanan Dataflow Shuffle atau Streaming Engine, data yang diproses oleh tugas (yaitu, data yang disimpan di objek PCollection mana pun) berada di worker tugas, dengan asumsi bahwa tidak ada kode pengguna yang mengirimkan data di luar worker. Jika layanan Dataflow Shuffle atau Streaming Engine diaktifkan, set data terdistribusi yang diwakili oleh objek PCollection dapat dikirimkan antara worker dan layanan ini.
Pertimbangan enkripsi data
Sebagai layanan terkelola sepenuhnya, Dataflow otomatis mengenkripsi data yang berpindah melalui pipeline data Anda menggunakan Google-owned and Google-managed encryption keys untuk data dalam pengiriman dan data dalam penyimpanan. Daripada menggunakan Google-owned and Google-managed encryption keys, Anda mungkin lebih memilih untuk mengelola kunci enkripsi Anda sendiri. Untuk kasus tersebut, Dataflow mendukung kunci enkripsi yang dikelola pelanggan (CMEK) menggunakan Cloud Key Management Service (KMS). Anda juga dapat menggunakan Cloud HSM, layanan modul keamanan hardware (HSM) yang dihosting di cloud yang memungkinkan Anda menghosting kunci enkripsi dan menjalankan operasi kriptografi di cluster HSM tersertifikasi FIPS 140-2 Level 3.
Saat Anda menggunakan CMEK, Dataflow menggunakan kunci Cloud KMS Anda untuk mengenkripsi data, kecuali untuk operasi berbasis kunci data seperti windowing, pengelompokan, dan penggabungan. Jika kunci data berisi data sensitif, seperti informasi identitas pribadi (PII), Anda harus melakukan hashing atau mengubah kunci sebelum kunci tersebut masuk ke pipeline Dataflow.
Pertimbangan jaringan pribadi
Persyaratan jaringan dan keamanan Anda mungkin mengharuskan workload berbasis VM, seperti tugas Dataflow, hanya menggunakan alamat IP pribadi. Dataflow memungkinkan Anda menentukan bahwa worker menggunakan alamat IP pribadi untuk semua komunikasi jaringan. Jika IP publik dinonaktifkan, Anda harus mengaktifkan Akses Google Pribadi di subnetwork agar worker Dataflow dapat menjangkau Google API dan layanan Google.
Sebaiknya nonaktifkan IP publik untuk worker Dataflow, kecuali jika tugas Dataflow Anda memerlukan IP publik untuk mengakses resource jaringan di luar Google Cloud. Menonaktifkan IP publik akan mencegah worker Dataflow mengakses resource yang berada di luar subnetwork atau mengakses jaringan VPC peer. Demikian pula, akses jaringan ke worker VM dari luar subnetwork atau jaringan VPC peer dicegah.
Untuk mengetahui informasi selengkapnya tentang cara menggunakan opsi pipeline --usePublicIps untuk
menentukan apakah worker hanya boleh memiliki IP pribadi, lihat
Opsi pipeline.
Langkah berikutnya
- Mengembangkan dan menguji pipeline Anda.
- Pelajari cara mendesain alur kerja pipeline lengkap.
- Baca selengkapnya tentang praktik Site Reliability Engineering (SRE) Google untuk pipeline pemrosesan data.