Dalam pipeline streaming dengan data input yang berfluktuasi atau bervolume tinggi, Anda sering kali perlu menyeimbangkan latensi pemrosesan dengan biaya operasional. Meskipun Dataflow menyediakan setelan Penskalaan Otomatis Horizontal default yang sesuai untuk banyak workload, perilaku default mungkin tidak sesuai dengan persyaratan khusus Anda. Misalnya, Anda mungkin ingin mengurangi biaya dengan menerima latensi rata-rata yang lebih tinggi, meningkatkan skala lebih cepat untuk menangani lonjakan traffic, atau menerapkan batasan ketat pada alokasi worker.
Dengan menyesuaikan Penskalaan Otomatis Horizontal, Anda dapat menyesuaikan cara Dataflow menskalakan kapasitas worker sebagai respons terhadap perubahan permintaan workload. Dengan menyesuaikan parameter penskalaan otomatis, Anda dapat mengoptimalkan throughput pipeline, mengontrol biaya komputasi, dan memenuhi tujuan latensi spesifik Anda.
Mengoptimalkan Penskalaan Otomatis Horizontal
Untuk mengoptimalkan Penskalaan Otomatis Horizontal, Anda dapat menyesuaikan parameter berikut:
- Rentang penskalaan otomatis: Jumlah minimum dan maksimum worker yang akan dialokasikan.
- Petunjuk pemakaian worker: Target pemakaian CPU untuk worker.
- Petunjuk paralelisme worker: Jumlah target paralelisme untuk worker.
- Tingkat latensi: Tingkat nilai minimum backlog untuk mengonfigurasi sensitivitas autoscaler terhadap durasi backlog.
- Penskalaan otomatis terjadwal: Jadwalkan perubahan berulang pada setelan penskalaan otomatis, seperti rentang worker atau petunjuk pemakaian, untuk jangka waktu tertentu.
Menetapkan rentang penskalaan otomatis
Saat membuat tugas streaming baru, Anda dapat menetapkan jumlah worker awal dan jumlah worker maksimum. Untuk melakukannya, tentukan opsi pipeline berikut:
Java
--numWorkers: jumlah awal worker yang tersedia saat pipeline mulai berjalan--maxNumWorkers: jumlah maksimum worker yang tersedia untuk pipeline Anda
Python
--num_workers: jumlah awal worker yang tersedia saat pipeline mulai berjalan--max_num_workers: jumlah maksimum worker yang tersedia untuk pipeline Anda
Go
--num_workers: jumlah awal worker yang tersedia saat pipeline mulai berjalan--max_num_workers: jumlah maksimum worker yang tersedia untuk pipeline Anda
Untuk tugas streaming yang menggunakan Streaming Engine, flag --maxNumWorkers bersifat opsional. Defaultnya adalah 100. Untuk tugas streaming yang tidak menggunakan Streaming Engine,
--maxNumWorkers diperlukan saat Penskalaan Otomatis Horizontal diaktifkan.
Nilai awal --maxNumWorkers juga menentukan jumlah
Persistent Disk yang dialokasikan untuk tugas.
Pipeline di-deploy dengan kumpulan Persistent Disk tetap, yang jumlahnya sama dengan --maxNumWorkers. Selama streaming, Persistent Disk didistribusikan ulang sehingga setiap worker mendapatkan jumlah disk terpasang yang sama.
Jika Anda menetapkan --maxNumWorkers, pastikan nilainya menyediakan disk yang cukup untuk pipeline Anda. Pertimbangkan pertumbuhan di masa mendatang saat menetapkan nilai awal. Untuk mengetahui informasi
tentang performa Persistent Disk, lihat
Mengonfigurasi Persistent Disk dan VM.
Dataflow menagih penggunaan Persistent Disk dan memiliki kuota Compute Engine, termasuk kuota Persistent Disk.
Secara default, jumlah minimum worker adalah 1 untuk tugas streaming yang menggunakan Streaming Engine, dan (maxNumWorkers/15), dibulatkan ke atas, untuk tugas yang tidak menggunakan Streaming Engine.
Memperbarui rentang penskalaan otomatis
Untuk tugas yang menggunakan Streaming Engine, Anda dapat menyesuaikan jumlah worker minimum dan maksimum, tanpa menghentikan atau mengganti tugas. Untuk menyesuaikan nilai ini, gunakan update tugas yang sedang berjalan. Perbarui opsi tugas berikut:
--min-num-workers: jumlah minimum worker.--max-num-workers: jumlah maksimum worker.
gcloud
Gunakan perintah gcloud dataflow jobs update-options:
gcloud dataflow jobs update-options \ --region=REGION \ --min-num-workers=MINIMUM_WORKERS \ --max-num-workers=MAXIMUM_WORKERS \ JOB_ID
Ganti kode berikut:
- REGION: ID wilayah endpoint regional tugas
- MINIMUM_WORKERS: jumlah minimum instance Compute Engine
- MAXIMUM_WORKERS: jumlah maksimum instance Compute Engine
- JOB_ID: ID tugas yang akan diupdate
Anda juga dapat memperbarui --min-num-workers dan --max-num-workers
satu per satu.
REST
Gunakan metode projects.locations.jobs.update:
PUT https://dataflow.googleapis.com/v1b3/projects/PROJECT_ID/locations/REGION/jobs/JOB_ID?updateMask=runtime_updatable_params.max_num_workers,runtime_updatable_params.min_num_workers { "runtime_updatable_params": { "min_num_workers": MINIMUM_WORKERS, "max_num_workers": MAXIMUM_WORKERS } }
Ganti kode berikut:
- PROJECT_ID: Project ID Google Cloud dari tugas Dataflow
- REGION: ID wilayah endpoint regional tugas
- JOB_ID: ID tugas yang akan diupdate
- MINIMUM_WORKERS: jumlah minimum instance Compute Engine
- MAXIMUM_WORKERS: jumlah maksimum instance Compute Engine
Anda juga dapat memperbarui min_num_workers dan max_num_workers satu per satu.
Tentukan parameter yang akan diperbarui dalam parameter kueri updateMask, dan sertakan nilai yang diperbarui di kolom runtimeUpdatableParams pada isi permintaan. Contoh berikut memperbarui min_num_workers:
PUT https://dataflow.googleapis.com/v1b3/projects/my_project/locations/us-central1/jobs/job1?updateMask=runtime_updatable_params.min_num_workers { "runtime_updatable_params": { "min_num_workers": 5 } }
Untuk tugas yang tidak menggunakan Streaming Engine, Anda dapat
mengganti tugas yang ada
dengan nilai maxNumWorkers yang diperbarui.
Jika Anda mengupdate tugas streaming yang tidak menggunakan Streaming Engine, tugas yang diupdate akan menonaktifkan Penskalaan Otomatis Horizontal secara default. Agar penskalaan otomatis tetap aktif,
tentukan --autoscalingAlgorithm dan --maxNumWorkers untuk tugas yang diupdate.
Menetapkan petunjuk pemanfaatan worker
Dataflow menggunakan pemakaian CPU rata-rata sebagai sinyal untuk menentukan kapan harus menerapkan Penskalaan Otomatis Horizontal. Secara default, Dataflow menetapkan target pemakaian CPU sebesar 0,8. Jika pemakaian berada di luar rentang ini, Dataflow mungkin akan menambahkan atau menghapus worker.
Untuk kontrol yang lebih besar atas perilaku penskalaan otomatis, Anda dapat menetapkan pemakaian CPU target ke nilai dalam rentang [0,1, 0,9].
Tetapkan nilai pemakaian CPU yang lebih rendah jika Anda ingin mencapai latensi puncak yang lebih rendah. Nilai yang lebih rendah memungkinkan Dataflow melakukan penyebaran skala secara lebih agresif sebagai respons terhadap peningkatan pemakaian worker, dan melakukan penurunan skala secara lebih konservatif untuk meningkatkan stabilitas. Nilai yang lebih rendah juga memberikan lebih banyak ruang saat pipeline berjalan dalam status stabil, yang umumnya menghasilkan latensi tail yang lebih rendah. (Latensi ekor mengukur waktu tunggu terlama sebelum data baru diproses.)
Tetapkan nilai yang lebih tinggi jika Anda ingin menghemat resource dan menjaga biaya tetap rendah saat traffic melonjak. Nilai yang lebih tinggi mencegah peningkatan skala yang berlebihan, dengan mengorbankan latensi yang lebih tinggi.
Untuk mengonfigurasi petunjuk pemanfaatan saat Anda menjalankan tugas non-template, tetapkan
opsi layanan
worker_utilization_hint. Untuk tugas template,
perbarui petunjuk pemanfaatan, karena opsi layanan tidak
didukung.
Contoh berikut menunjukkan cara menggunakan worker_utilization_hint:
Java
--dataflowServiceOptions=worker_utilization_hint=TARGET_UTILIZATION
Ganti TARGET_UTILIZATION dengan nilai dalam rentang [0,1, 0,9].
Python
--dataflow_service_options=worker_utilization_hint=TARGET_UTILIZATION
Ganti TARGET_UTILIZATION dengan nilai dalam rentang [0,1, 0,9].
Go
--dataflow_service_options=worker_utilization_hint=TARGET_UTILIZATION
Ganti TARGET_UTILIZATION dengan nilai dalam rentang [0,1, 0,9].
Untuk pipeline baru, sebaiknya Anda menguji di bawah beban yang realistis menggunakan setelan default. Kemudian, evaluasi perilaku penskalaan otomatis yang berlaku untuk pipeline Anda dan lakukan penyesuaian sesuai kebutuhan.
Petunjuk pemakaian hanyalah salah satu faktor yang digunakan Dataflow saat memutuskan apakah akan menskalakan worker. Faktor lain seperti backlog dan kunci yang tersedia dapat menggantikan nilai petunjuk. Selain itu, petunjuk bukanlah target yang ketat. Autoscaler mencoba mempertahankan pemakaian CPU dalam rentang nilai petunjuk, tetapi metrik pemakaian gabungan mungkin lebih tinggi atau lebih rendah. Untuk mengetahui informasi selengkapnya, lihat Heuristik penskalaan otomatis streaming.
Memperbarui petunjuk pemakaian
Untuk memperbarui petunjuk pemakaian saat tugas sedang berjalan, lakukan update dalam penerbangan sebagai berikut:
gcloud
Guakan perintah
gcloud dataflow jobs update-options:
gcloud dataflow jobs update-options \ --region=REGION \ --worker-utilization-hint=TARGET_UTILIZATION \ JOB_ID
Ganti kode berikut:
- REGION: ID wilayah endpoint regional tugas
- JOB_ID: ID tugas yang akan diupdate
- TARGET_UTILIZATION: nilai dalam rentang [0,1, 0,9]
Untuk mereset petunjuk pemakaian ke nilai default, gunakan perintah gcloud berikut:
gcloud dataflow jobs update-options \ --unset-worker-utilization-hint \ --region=REGION \ --project=PROJECT_ID \ JOB_ID
REST
Gunakan metode projects.locations.jobs.update:
PUT https://dataflow.googleapis.com/v1b3/projects/PROJECT_ID/locations/REGION/jobs/JOB_ID?updateMask=runtime_updatable_params.worker_utilization_hint { "runtime_updatable_params": { "worker_utilization_hint": TARGET_UTILIZATION } }
Ganti kode berikut:
- PROJECT_ID: project ID Google Cloud dari tugas Dataflow.
- REGION: ID wilayah endpoint regional tugas.
- JOB_ID: ID tugas yang akan diperbarui.
- TARGET_UTILIZATION: nilai dalam rentang [0,1, 0,9]
Menetapkan petunjuk paralelisme worker
Untuk menangani penskalaan otomatis dengan operasi panjang yang tidak terlalu bergantung pada CPU, seperti workload intensif ML, Anda dapat menetapkan petunjuk paralelisme worker menggunakan petunjuk resource Apache Beam. Petunjuk ini mengalihkan penskalaan otomatis ke mode berbeda yang dioptimalkan untuk workload intensif GPU atau transformasi dengan waktu pemrosesan yang lama.
Contoh berikut menunjukkan cara melampirkan petunjuk paralelisme ke transformasi:
Java
pcoll.apply(MyCompositeTransform.of(...)
.setResourceHints(
ResourceHints.create()
.withMaxActiveBundlesPerWorker(TARGET_PARALLELISM_PER_WORKER)))
Ganti TARGET_PARALLELISM_PER_WORKER dengan nilai yang sesuai untuk kasus penggunaan Anda. Untuk panduan umum, lihat cara memilih nilai awal yang baik.
Python
pcoll | MyPTransform().with_resource_hints(
max_active_bundles_per_worker="TARGET_PARALLELISM_PER_WORKER")
Ganti TARGET_PARALLELISM_PER_WORKER dengan nilai yang sesuai untuk kasus penggunaan Anda. Untuk panduan umum, lihat cara memilih nilai awal yang baik.
Memilih nilai petunjuk paralelisme worker
Untuk kasus penggunaan ML, nilai awal yang baik setara dengan jumlah model yang berjalan secara paralel dalam setiap worker. Nilai ini dibatasi oleh kapasitas akselerator pada worker dan ukuran model.
Untuk kasus penggunaan lainnya, pipeline terikat memori atau terikat CPU. Untuk pipeline yang terikat memori, gunakan batas memori untuk menghitung pemrosesan paralel maksimum. Untuk pipeline yang terikat CPU, sebaiknya pertahankan kebijakan penskalaan otomatis default, daripada memberikan petunjuk paralelisme.
Anda dapat menyesuaikan nilai untuk mengakomodasi kebutuhan pemrosesan tahap lain, seperti menulis ke sink. Meningkatkan nilai sebesar 1 atau 2 saat paralelisme model Anda adalah 2 akan membantu mengenali waktu pemrosesan yang lebih cepat untuk menulis ke sink dengan memberikan lebih banyak kelonggaran untuk memperhitungkan pemrosesan yang dilakukan di tahap lain. Jika pipeline Anda tidak melibatkan shuffle dan transformasi digabungkan menjadi satu tahap, Anda tidak perlu menyesuaikan nilai untuk transformasi lainnya.
Nilai ini juga dapat disesuaikan untuk menyimulasikan efek penundaan backlog yang dapat diterima. Misalnya, jika Anda merasa nyaman dengan penundaan maksimum 10 menit dan waktu pemrosesan rata-rata model Anda adalah 1 menit, Anda dapat memilih untuk meningkatkan nilai sebesar 1 dengan asumsi jumlah maksimum worker Anda ditetapkan ke 10.
Heuristik penskalaan otomatis yang intensif GPU
Dalam setelan intensif GPU yang ditunjukkan melalui petunjuk paralelisme setelan, Dataflow mempertimbangkan beberapa faktor saat melakukan penskalaan otomatis. Faktor-faktor ini meliputi:
- Kunci yang tersedia. Kunci adalah unit dasar paralelisme di Dataflow.
- Paket aktif maksimum per worker. Hal ini menunjukkan jumlah maksimum ideal paralelisme pemrosesan dalam worker.
Ide umum di balik keputusan penskalaan adalah menghitung worker yang diperlukan untuk menangani beban saat ini seperti yang ditunjukkan oleh kunci yang tersedia. Misalnya, jika ada 100 kunci yang tersedia untuk diproses dan paralelisme maksimum per worker adalah 10, Anda harus memiliki total 10 worker.
Jika pipeline Anda kompleks dan memiliki workload intensif GPU yang berat dan banyak transformasi intensif CPU, sebaiknya aktifkan penyesuaian yang tepat. Hal ini memungkinkan layanan membedakan dengan baik antara pekerjaan yang intensif CPU dan intensif GPU, lalu menskalakan setiap worker pool sebagaimana mestinya.
Menetapkan tingkat latensi
Penskalaan Otomatis Horizontal Dataflow menggunakan durasi backlog untuk menentukan kapan harus menskalakan worker. Secara default, Dataflow menargetkan durasi backlog kurang dari 15 detik, yang cocok untuk workload real-time, tetapi dapat mengakibatkan biaya resource yang lebih tinggi.
Untuk tugas streaming yang menggunakan Streaming Engine, Anda dapat mengonfigurasi nilai minimum backlog dengan memilih tingkat latensi. Tingkat latensi dipetakan ke durasi backlog target, sehingga Anda dapat mengonfigurasi sensitivitas autoscaler terhadap durasi backlog. Keputusan penskalaan otomatis hanya dipicu jika durasi backlog melebihi tingkat yang Anda pilih selama beberapa menit.
Tabel berikut menjelaskan tingkat latensi yang tersedia:
| Tingkat latensi | Perkiraan waktu backlog yang diizinkan | Kasus penggunaan yang dimaksudkan |
|---|---|---|
low_latency |
Kurang dari 15 detik | Memprioritaskan peningkatan skala yang cepat untuk meminimalkan backlog. Nilai default yang dipilih jika tidak ada paket yang ditentukan |
medium_latency |
Kurang dari 2 menit | Titik tengah yang seimbang antara latensi dan biaya resource. |
high_latency |
Kurang dari 10 menit | Memprioritaskan penghematan biaya dengan membiarkan backlog menumpuk. Dirancang untuk workload yang toleran terhadap jeda. |
Untuk mengonfigurasi tingkat latensi saat Anda membuat tugas, tetapkan opsi pipeline enable_latency_tier_lightweight_update:
--experiments=enable_latency_tier_lightweight_update=TIER
Ganti TIER dengan salah satu tingkat latensi yang tersedia (misalnya, medium_latency).
Memperbarui tingkat latensi
Untuk memperbarui tingkat latensi saat tugas sedang berjalan, lakukan
update dalam penerbangan menggunakan
perintah gcloud dataflow jobs update-options:
gcloud dataflow jobs update-options \ --region=REGION \ --latency-tier=TIER \ JOB_ID
Ganti kode berikut:
- REGION: ID wilayah dari endpoint regional tugas
- JOB_ID: ID tugas yang akan diupdate
- TIER: tingkat latensi target. Salah satu dari berikut ini:
low_latency,medium_latency, atauhigh_latency
Untuk mereset tingkat latensi dan kembali ke perilaku latensi rendah default, gunakan perintah berikut:
gcloud dataflow jobs update-options \ --unset-latency-tier \ --region=REGION \ JOB_ID
Menjadwalkan perubahan penskalaan otomatis
Untuk tugas streaming yang menggunakan Streaming Engine, Anda dapat mengonfigurasi jadwal penskalaan otomatis untuk menerapkan penggantian parameter secara otomatis selama periode waktu berulang. Hal ini berguna untuk mengantisipasi variasi beban kerja yang dapat diprediksi—seperti peningkatan skala selama jam sibuk bisnis atau perkecil skala selama periode di luar jam sibuk—tanpa memperbarui tugas secara manual setiap saat. Setiap tugas dapat memiliki hingga 10 jadwal yang ditentukan.
Jadwal penskalaan otomatis menentukan:
- Schedule start: Ekspresi crontab yang menentukan kapan jadwal dipicu.
- Durasi: Durasi waktu dalam detik saat penggantian tetap aktif. Harus berdurasi minimal 5 menit.
- Zona waktu: Zona waktu opsional dari
tz database (misalnya,
America/New_York). Defaultnya adalahUTC. - Priority: Prioritas opsional untuk jadwal, dengan nilai yang lebih besar menunjukkan prioritas yang lebih tinggi. Jadwal dengan prioritas lebih tinggi akan diterapkan terlebih dahulu. Jika jadwal sudah aktif saat jadwal dengan prioritas lebih tinggi diterapkan, jadwal dengan prioritas lebih tinggi akan menggantikan jadwal yang ada. Jika dua jadwal memiliki prioritas yang sama, jadwal yang terakhir diubah akan diterapkan.
- Penggantian parameter: Setelan penskalaan otomatis yang akan digunakan selama periode aktif, termasuk worker minimum, worker maksimum, dan petunjuk pemanfaatan worker.
Saat periode terjadwal berakhir, Dataflow akan otomatis mengembalikan perilaku penskalaan otomatis ke setelan default tugas. Anda dapat menentukan beberapa jadwal untuk satu tugas.
Menetapkan jadwal penskalaan otomatis saat tugas dimulai
Untuk menetapkan jadwal penskalaan otomatis awal saat meluncurkan tugas streaming baru,
tentukan opsi pipeline eksperimen autoscaling_schedule, atau sertakan
kolom runtimeUpdatableParams.schedules saat membuat tugas menggunakan REST API.
Tentukan eksperimen autoscaling_schedule sebagai string pasangan key:value yang dipisahkan titik koma dengan atribut berikut:
Wajib diisi:
name: ID unik untuk jadwalcrontab: ekspresi crontab yang menentukan kapan jadwal dipicuduration: durasi dalam detik saat jadwal tetap aktif
Opsional:
timezone: zona waktu dari database tz (misalnya,America/New_York). Defaultnya adalahUTCmin_workers: jumlah minimum worker yang akan dialokasikan selama jadwalmax_workers: jumlah maksimum worker yang akan dialokasikan selama jadwalcpu_utilization_target: target pemakaian CPU worker selama jadwal, dalam rentang [0,1, 0,9]latency_tier: tingkat latensi target (low_latency,medium_latency, atauhigh_latency)priority: prioritas jadwal, dengan nilai yang lebih besar menunjukkan prioritas yang lebih tinggi
Java
--experiments=autoscaling_schedule="name=SCHEDULE_NAME;crontab=CRONTAB_EXPRESSION;duration=DURATION_SECONDS;timezone=TIMEZONE;min_workers=MINIMUM_WORKERS;max_workers=MAXIMUM_WORKERS;cpu_utilization_target=TARGET_UTILIZATION;latency_tier=LATENCY_TIER;priority=PRIORITY"
Python
--experiments=autoscaling_schedule="name=SCHEDULE_NAME;crontab=CRONTAB_EXPRESSION;duration=DURATION_SECONDS;timezone=TIMEZONE;min_workers=MINIMUM_WORKERS;max_workers=MAXIMUM_WORKERS;cpu_utilization_target=TARGET_UTILIZATION;latency_tier=LATENCY_TIER;priority=PRIORITY"
Go
--experiments=autoscaling_schedule="name=SCHEDULE_NAME;crontab=CRONTAB_EXPRESSION;duration=DURATION_SECONDS;timezone=TIMEZONE;min_workers=MINIMUM_WORKERS;max_workers=MAXIMUM_WORKERS;cpu_utilization_target=TARGET_UTILIZATION;latency_tier=LATENCY_TIER;priority=PRIORITY"
REST
Gunakan metode
projects.locations.jobs.create
dan sertakan objek runtimeUpdatableParams.schedules dalam
isi permintaan:
POST https://dataflow.googleapis.com/v1b3/projects/PROJECT_ID/locations/REGION/jobs { "name": "JOB_NAME", "environment": { ... }, "runtimeUpdatableParams": { "schedules": [ { "name": "SCHEDULE_NAME", "crontab": "CRONTAB_EXPRESSION", "duration": "DURATION_SECONDSs", "timeZone": "TIMEZONE", "priority": PRIORITY, "parameters": { "minWorkerCount": MINIMUM_WORKERS, "maxWorkerCount": MAXIMUM_WORKERS, "cpuUtilizationTarget": TARGET_UTILIZATION, "latencyTarget": LATENCY_TIER } } ] } }
Membuat atau memperbarui jadwal penskalaan otomatis untuk tugas yang sedang berjalan
Untuk membuat atau memperbarui jadwal penskalaan otomatis untuk tugas yang sedang berjalan, lakukan update dalam proses:
gcloud
Gunakan perintah
gcloud dataflow jobs update-options
dengan flag --set-schedule:
gcloud dataflow jobs update-options \ --region=REGION \ --set-schedule=SCHEDULE_NAME \ --autoscaling-schedule="CRONTAB_EXPRESSION" \ --autoscaling-schedule-duration-seconds=DURATION_SECONDS \ --autoscaling-schedule-timezone=TIMEZONE \ --autoscaling-min-workers=MINIMUM_WORKERS \ --autoscaling-max-workers=MAXIMUM_WORKERS \ --autoscaling-worker-utilization-hint=TARGET_UTILIZATION \ --autoscaling-latency-tier=LATENCY_TIER \ --autoscaling-schedule-priority=PRIORITY \ JOB_ID
Ganti kode berikut:
- REGION: ID wilayah endpoint regional tugas
- SCHEDULE_NAME: ID unik untuk jadwal
- CRONTAB_EXPRESSION: ekspresi crontab yang menentukan kapan
jadwal dipicu (misalnya,
"0 0 * * FRI") - DURATION_SECONDS: durasi dalam detik saat jadwal aktif (misalnya,
3600) - TIMEZONE: zona waktu untuk jadwal dari tz database
(misalnya,
America/New_York). Jika dihilangkan, setelan defaultnya adalahUTC. - MINIMUM_WORKERS: jumlah minimum worker yang akan dialokasikan selama jadwal
- MAXIMUM_WORKERS: jumlah maksimum worker yang akan dialokasikan selama jadwal
- LATENCY_TIER: tingkat latensi target (
low_latency,medium_latency, atauhigh_latency) - JOB_ID: ID tugas yang akan diupdate
Saat membuat jadwal baru, --autoscaling-schedule dan --autoscaling-schedule-duration-seconds wajib diisi. Untuk mengubah jadwal yang ada, tentukan --set-schedule dan hanya parameter yang ingin Anda perbarui.
REST
Gunakan metode projects.locations.jobs.update:
PUT https://dataflow.googleapis.com/v1b3/projects/PROJECT_ID/locations/REGION/jobs/JOB_ID?updateMask=runtimeUpdatableParams.schedules { "runtimeUpdatableParams": { "schedules": [ { "name": "SCHEDULE_NAME", "crontab": "CRONTAB_EXPRESSION", "duration": "DURATION_SECONDSs", "timeZone": "TIMEZONE", "priority": PRIORITY, "parameters": { "minWorkerCount": MINIMUM_WORKERS, "maxWorkerCount": MAXIMUM_WORKERS, "cpuUtilizationTarget": TARGET_UTILIZATION, "latencyTarget": LATENCY_TIER } } ] } }
Ganti kode berikut:
- PROJECT_ID: Project ID Google Cloud dari tugas Dataflow
- REGION: ID wilayah endpoint regional tugas
- JOB_ID: ID tugas yang akan diupdate
- SCHEDULE_NAME: ID unik untuk jadwal
- CRONTAB_EXPRESSION: ekspresi crontab yang menentukan kapan jadwal dipicu
- DURATION_SECONDS: durasi dalam detik saat jadwal aktif (misalnya,
3600) - TIMEZONE: zona waktu untuk jadwal dari tz database
(misalnya,
America/New_York) - MINIMUM_WORKERS: jumlah minimum worker yang akan dialokasikan selama jadwal
- MAXIMUM_WORKERS: jumlah maksimum worker yang akan dialokasikan selama jadwal
- TARGET_UTILIZATION: nilai dalam rentang [0,1, 0,9]
Menghapus jadwal penskalaan otomatis
Untuk menghapus jadwal penskalaan otomatis tertentu atau menghapus semua jadwal dari tugas, lakukan update dalam proses:
gcloud
Untuk menghapus satu jadwal, tentukan flag --unset-schedule:
gcloud dataflow jobs update-options \ --region=REGION \ --unset-schedule=SCHEDULE_NAME \ JOB_ID
Untuk menghapus semua jadwal dari tugas, tentukan flag --unset-schedules:
gcloud dataflow jobs update-options \ --region=REGION \ --unset-schedules \ JOB_ID
REST
Gunakan metode
projects.locations.jobs.update
dengan updateMask=runtimeUpdatableParams.schedules, menghilangkan
jadwal dari array schedules, atau memberikan daftar schedules kosong
untuk menghapus semua jadwal:
PUT https://dataflow.googleapis.com/v1b3/projects/PROJECT_ID/locations/REGION/jobs/JOB_ID?updateMask=runtimeUpdatableParams.schedules { "runtimeUpdatableParams": { "schedules": [] } }
Untuk memecahkan masalah terkait jadwal penskalaan otomatis, lihat Memecahkan masalah jadwal penskalaan otomatis.
Heuristik penskalaan otomatis streaming
Untuk pipeline streaming, tujuan Penskalaan Otomatis Horizontal adalah meminimalkan backlog sekaligus memaksimalkan pemakaian dan throughput worker, serta bereaksi cepat terhadap lonjakan beban.
Dataflow mempertimbangkan beberapa faktor saat melakukan penskalaan otomatis, termasuk:
Backlog. Perkiraan waktu backlog dihitung dari throughput dan byte backlog yang masih harus diproses dari sumber input. Pipeline dianggap mengalami backlog jika perkiraan waktu backlog tetap berada di atas nilai minimum yang dikonfigurasi. Secara default, nilai minimum ini adalah 15 detik. Untuk mengetahui informasi selengkapnya, lihat Menetapkan tingkat latensi.
Target CPU utilization. Target default untuk pemakaian CPU rata-rata adalah 0,8. Anda dapat mengganti nilai ini.
Kunci yang tersedia. Kunci adalah unit dasar paralelisme di Dataflow.
Dalam beberapa kasus, Dataflow menggunakan faktor-faktor berikut dalam keputusan penskalaan otomatis. Jika faktor ini digunakan untuk tugas Anda, Anda dapat melihat informasi tersebut di tab metrik Autoscaling.
Throttling berbasis kunci menggunakan jumlah kunci pemrosesan yang diterima oleh tugas untuk menghitung batas worker pengguna, karena setiap kunci hanya dapat diproses oleh satu worker dalam satu waktu.
Peredaman penurunan skala. Jika Dataflow mendeteksi bahwa keputusan penskalaan otomatis yang tidak stabil telah terjadi, Dataflow akan memperlambat laju penurunan skala untuk meningkatkan stabilitas.
Peningkatan skala berbasis CPU menggunakan pemakaian CPU yang tinggi sebagai kriteria peningkatan skala.
Untuk tugas streaming yang tidak menggunakan Streaming Engine, penskalaan mungkin dibatasi oleh jumlah Persistent Disk. Untuk mengetahui informasi selengkapnya, lihat Menetapkan rentang penskalaan otomatis.
Penskalaan otomatis intensif GPU, jika diaktifkan dengan menetapkan petunjuk paralelisme worker. Untuk mengetahui informasi selengkapnya, lihat Heuristik penskalaan otomatis intensif GPU
Peningkatan skala. Jika pipeline streaming tetap mengalami backlog dengan paralelisme yang memadai pada worker selama beberapa menit, Dataflow akan meningkatkan skala. Dataflow mencoba menghapus backlog dalam waktu sekitar 150 detik setelah peningkatan skala, dengan mempertimbangkan throughput saat ini per worker. Jika ada backlog, tetapi worker tidak memiliki cukup paralelisme untuk worker tambahan, pipeline tidak akan melakukan penskalaan. (Menskalakan jumlah worker melebihi jumlah kunci yang tersedia untuk pemrosesan paralel tidak akan membantu memproses backlog lebih cepat.)
Penurunan skala Saat autoscaler membuat keputusan penurunan skala, backlog adalah faktor prioritas tertinggi. Autoscaler menargetkan backlog berdasarkan tingkat latensi. Jika backlog turun cukup jauh di bawah target selama beberapa menit, dan pemakaian worker rata-rata berada di bawah target pemakaian CPU, Dataflow akan memperkecil skala. Selama backlog dapat diterima, autoscaler akan mencoba mempertahankan penggunaan CPU mendekati target penggunaan CPU. Namun, jika pemakaian sudah cukup mendekati target, autoscaler mungkin akan mempertahankan jumlah worker, karena setiap langkah penurunan skala memiliki biaya.
Streaming Engine juga menggunakan teknik penskalaan otomatis prediktif berdasarkan backlog timer. Data tidak terbatas dalam pipeline streaming dibagi menjadi jendela yang dikelompokkan berdasarkan stempel waktu. Di akhir periode, timer diaktifkan untuk setiap kunci yang diproses dalam periode tersebut. Pengaktifan timer menunjukkan bahwa periode telah berakhir untuk kunci tertentu. Streaming Engine dapat mengukur backlog timer dan memprediksi jumlah timer yang akan diaktifkan di akhir periode. Dengan menggunakan backlog timer sebagai sinyal, Dataflow dapat memperkirakan jumlah pemrosesan yang harus terjadi saat timer mendatang diaktifkan. Berdasarkan estimasi beban di masa mendatang, Dataflow melakukan penskalaan otomatis terlebih dahulu untuk memenuhi permintaan yang diharapkan.
Metrik
Untuk menemukan batas penskalaan otomatis saat ini untuk tugas, buat kueri metrik berikut:
job/max_worker_instances_limit: Jumlah maksimum worker.job/min_worker_instances_limit: Jumlah minimum worker.
Untuk mendapatkan informasi tentang pemakaian worker, buat kueri metrik berikut:
job/aggregated_worker_utilization: Penggunaan worker gabungan.job/worker_utilization_hint: Petunjuk pemakaian worker saat ini.
Untuk mendapatkan insight tentang perilaku autoscaler, buat kueri metrik berikut:
job.worker_utilization_hint_is_actively_used: Menunjukkan apakah autoscaler aktif menggunakan petunjuk pemakaian worker. Jika faktor lain mengganti petunjuk saat metrik ini diambil sampelnya, nilainya adalahfalse.job/horizontal_worker_scaling: Menjelaskan keputusan yang diambil oleh autoscaler. Metrik ini berisi label berikut:direction: Menentukan apakah autoscaler melakukan peningkatan skala, memperkecil skala, atau tidak melakukan tindakan apa pun.rationale: Menentukan alasan keputusan autoscaler.
Untuk mengetahui informasi selengkapnya, lihat Metrik Cloud Monitoring. Metrik ini juga ditampilkan di diagram pemantauan penskalaan otomatis.