Penskalaan otomatis CPU di worker pool Cloud Run memungkinkan Anda menskalakan instance berdasarkan penggunaan CPU rata-rata untuk mengoptimalkan performa dan biaya. Anda dapat mengonfigurasi penskalaan otomatis dengan target pemakaian CPU default atau menentukan target pemakaian CPU kustom dan batas instance. Untuk mengetahui informasi selengkapnya tentang cara Cloud Run menghitung jumlah instance dan menskalakan worker pool, lihat Tentang penskalaan otomatis CPU.
Saat Anda men-deploy worker pool tanpa mengaktifkan penskalaan otomatis CPU, Cloud Run akan menggunakan penskalaan manual dengan 1 instance secara default.
Jika Anda menggunakan Penskalaan Otomatis Metrik Eksternal Cloud Run (CREMA) untuk menskalakan workload, beralihlah ke penskalaan manual.
Peran yang diperlukan
Untuk mendapatkan izin yang Anda perlukan untuk mengonfigurasi dan men-deploy worker pool Cloud Run, minta administrator untuk memberi Anda peran IAM berikut:
- Cloud Run Developer (
roles/run.developer) di worker pool Cloud Run - Pengguna Akun Layanan (
roles/iam.serviceAccountUser) pada identitas layanan
Untuk mengetahui daftar peran dan izin IAM yang terkait dengan Cloud Run, lihat Peran IAM Cloud Run dan Izin IAM Cloud Run. Jika kumpulan worker Cloud Run Anda berinteraksi dengan APIGoogle Cloud , seperti Library Klien Cloud, lihat panduan konfigurasi identitas layanan. Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat izin deployment dan mengelola akses.
Mengonfigurasi target CPU default
Saat Anda mengaktifkan penskalaan otomatis CPU default, Cloud Run menargetkan pemakaian CPU 60% dan menskalakan worker pool Anda antara 1 dan 100 instance. Sambil mempertahankan target penggunaan CPU default sebesar 60%, Anda dapat menyesuaikan batas instance minimum dan maksimum sesuai kebutuhan.
Memperbarui mode penskalaan atau batas instance pada worker pool yang ada tidak akan membuat revisi baru.
Anda dapat mengaktifkan penskalaan otomatis CPU default untuk worker pool Cloud Run menggunakan Google Cloud CLI, YAML, atau REST API:
gcloud
Untuk men-deploy worker pool baru dengan target CPU default, jalankan perintah berikut dengan flag
--scaling=auto:gcloud beta run worker-pools deploy WORKER_POOL \ --image=IMAGE_URL \ --scaling=auto
Ganti kode berikut:
WORKER_POOL: nama worker pool Anda.IMAGE_URL: referensi ke image container yang berisi worker pool, sepertius-docker.pkg.dev/cloudrun/container/worker-pool:latest.
Untuk mengupdate worker pool yang ada agar menggunakan target CPU default, jalankan perintah berikut dengan flag
--scaling=auto:gcloud beta run worker-pools update WORKER_POOL \ --scaling=auto
Ganti
WORKER_POOLdengan nama worker pool Anda.Untuk mengupdate worker pool yang ada dengan target CPU default dan batas instance kustom, jalankan perintah berikut dengan flag
--scaling=auto,--min, dan--max:gcloud beta run worker-pools update WORKER_POOL \ --scaling=auto \ --min=MIN_INSTANCES \ --max=MAX_INSTANCES
Ganti kode berikut:
WORKER_POOL: nama worker pool Anda.- Opsional:
MIN_INSTANCES: jumlah minimum instance container yang akan dijalankan untuk worker pool. Harus1atau lebih besar. Jika Anda menghapus nilai ini, Cloud Run akan menetapkan minimum ke 1 instance. - Opsional:
MAX_INSTANCES: jumlah maksimum instance container yang akan dijalankan untuk worker pool. Jika Anda menghapus nilai ini, Cloud Run akan menetapkan nilai maksimum ke 100 instance.
YAML
Jika Anda membuat worker pool baru, lewati langkah ini. Jika Anda mengupdate worker pool yang ada, download konfigurasi YAML-nya:
gcloud run worker-pools describe WORKER_POOL --format export > worker-pool.yaml
Tambahkan atau perbarui anotasi
launch-stagedanscalingModedi bagianmetadata.annotations, dan hapus anotasirun.googleapis.com/manualInstanceCountjika ada. Untuk menetapkan batas instance kustom, tambahkan anotasiminScaledanmaxScalesecara opsional:apiVersion: run.googleapis.com/v1 kind: WorkerPool metadata: name: WORKER_POOL annotations: run.googleapis.com/launch-stage: BETA run.googleapis.com/scalingMode: automatic run.googleapis.com/minScale: 'MIN_INSTANCES' run.googleapis.com/maxScale: 'MAX_INSTANCES'
Ganti kode berikut:
WORKER_POOL: nama worker pool Anda.- Opsional:
MIN_INSTANCES: jumlah minimum instance container yang akan dijalankan untuk worker pool. Harus1atau lebih besar. Jika Anda menghapus nilai ini, Cloud Run akan menetapkan minimum ke 1 instance. - Opsional:
MAX_INSTANCES: jumlah maksimum instance container yang akan dijalankan untuk worker pool. Jika Anda menghapus nilai ini, Cloud Run akan menetapkan nilai maksimum ke 100 instance.
Buat atau update worker pool menggunakan perintah berikut:
gcloud run worker-pools replace worker-pool.yaml
Perintah
gcloud run worker-pools replacesecara default menggunakan fileworker-pool.yamljika ada.
REST API
Untuk mengonfigurasi target CPU default pada worker pool yang ada, kirim permintaan HTTP PATCH berikut ke endpoint workerPools.patch Cloud Run Admin API.
Untuk menetapkan batas instance kustom, sertakan kolom minInstanceCount
dan maxInstanceCount serta jalur update_mask-nya secara opsional:
curl -H "Content-Type: application/json" \ -H "Authorization: Bearer ACCESS_TOKEN" \ -X PATCH \ -d '{"launchStage":"BETA","scaling":{"scalingMode":"AUTOMATIC","minInstanceCount":MIN_INSTANCES,"maxInstanceCount":MAX_INSTANCES}}' \ https://run.googleapis.com/v2/projects/PROJECT_ID/locations/REGION/workerPools/WORKER_POOL?update_mask=launchStage,scaling.scalingMode,scaling.manualInstanceCount,scaling.minInstanceCount,scaling.maxInstanceCount
Ganti kode berikut:
ACCESS_TOKEN: token akses yang valid untuk akun yang memiliki izin Identity and Access Management untuk mengupdate worker pool. Misalnya, jika Anda login ke Google Cloud CLI, Anda dapat mengambil token akses dengan menjalankangcloud auth print-access-token.- Opsional:
MIN_INSTANCES: jumlah minimum instance container yang akan dijalankan untuk worker pool. Harus1atau lebih besar. Jika Anda menghapus nilai ini, Cloud Run akan menetapkan minimum ke 1 instance. - Opsional:
MAX_INSTANCES: jumlah maksimum instance container yang akan dijalankan untuk worker pool. Jika Anda menghapus nilai ini, Cloud Run akan menetapkan nilai maksimum ke 100 instance. PROJECT_ID: Project ID Google Cloud Anda.REGION: region Google Cloud tempat worker pool Anda di-deploy, misalnya,europe-west1.WORKER_POOL: nama worker pool Anda.
Mengonfigurasi target CPU kustom dan batas instance
Anda dapat menyesuaikan target pemakaian CPU, batas instance minimum dan maksimum, atau keduanya. Setiap setelan yang Anda hilangkan akan menggunakan nilai defaultnya (target CPU 60%, 1 instance minimum, dan 100 instance maksimum). Mengupdate target pemakaian CPU atau batas instance pada worker pool yang ada tidak akan membuat revisi baru.
Anda dapat mengonfigurasi target CPU kustom dan batas instance menggunakan Google Cloud CLI, YAML, atau REST API:
gcloud
Untuk men-deploy worker pool baru dengan target CPU kustom, jalankan perintah berikut dengan flag
--scaling-cpu-target:gcloud beta run worker-pools deploy WORKER_POOL \ --image=IMAGE_URL \ --scaling-cpu-target=CPU_TARGET
Ganti kode berikut:
WORKER_POOL: nama worker pool Anda.IMAGE_URL: referensi ke image container yang berisi worker pool, sepertius-docker.pkg.dev/cloudrun/container/worker-pool:latest.CPU_TARGET: target untuk pemakaian CPU. Tentukan nilai dari0.1hingga0.90.
Untuk mengupdate worker pool yang ada dengan target CPU kustom, jalankan perintah berikut dengan flag
--scaling-cpu-target:gcloud beta run worker-pools update WORKER_POOL \ --scaling-cpu-target=CPU_TARGET
Ganti kode berikut:
WORKER_POOL: nama worker pool Anda.CPU_TARGET: target untuk pemakaian CPU. Tentukan nilai dari0.1hingga0.90.
Untuk mengupdate worker pool yang ada dengan target CPU kustom dan batas instance, jalankan perintah berikut dengan flag
--scaling-cpu-target,--min, dan--max:gcloud beta run worker-pools update WORKER_POOL \ --scaling-cpu-target=CPU_TARGET \ --min=MIN_INSTANCES \ --max=MAX_INSTANCES
Ganti kode berikut:
WORKER_POOL: nama worker pool Anda.CPU_TARGET: target untuk pemakaian CPU. Tentukan nilai dari0.1hingga0.90.- Opsional:
MIN_INSTANCES: jumlah minimum instance container yang akan dijalankan untuk worker pool. Harus1atau lebih besar. Jika Anda menghapus nilai ini, Cloud Run akan menetapkan minimum ke 1 instance. - Opsional:
MAX_INSTANCES: jumlah maksimum instance container yang akan dijalankan untuk worker pool. Jika Anda menghapus nilai ini, Cloud Run akan menetapkan nilai maksimum ke 100 instance.
YAML
Jika Anda membuat worker pool baru, lewati langkah ini. Jika Anda mengupdate worker pool yang ada, download konfigurasi YAML-nya:
gcloud run worker-pools describe WORKER_POOL --format export > worker-pool.yaml
Tambahkan atau perbarui anotasi
launch-stage,scalingMode,scaling-cpu-target,minScale, danmaxScaledi bagianmetadata.annotations, dan hapus anotasirun.googleapis.com/manualInstanceCountjika ada. Anda dapat menghilangkan anotasi kustom (scaling-cpu-target,minScale, ataumaxScale) yang ingin Anda pertahankan pada nilai defaultnya:apiVersion: run.googleapis.com/v1 kind: WorkerPool metadata: name: WORKER_POOL annotations: run.googleapis.com/launch-stage: BETA run.googleapis.com/scalingMode: automatic run.googleapis.com/scaling-cpu-target: 'CPU_TARGET' run.googleapis.com/minScale: 'MIN_INSTANCES' run.googleapis.com/maxScale: 'MAX_INSTANCES'
Ganti kode berikut:
WORKER_POOL: nama worker pool Anda.CPU_TARGET: target untuk pemakaian CPU. Tentukan nilai dari0.1hingga0.90.- Opsional:
MIN_INSTANCES: jumlah minimum instance container yang akan dijalankan untuk worker pool. Harus1atau lebih besar. Jika Anda menghapus nilai ini, Cloud Run akan menetapkan minimum ke 1 instance. - Opsional:
MAX_INSTANCES: jumlah maksimum instance container yang akan dijalankan untuk worker pool. Jika Anda menghapus nilai ini, Cloud Run akan menetapkan nilai maksimum ke 100 instance.
Buat atau update worker pool menggunakan perintah berikut:
gcloud run worker-pools replace worker-pool.yaml
Perintah
gcloud run worker-pools replacesecara default menggunakan fileworker-pool.yamljika ada.
REST API
Untuk mengonfigurasi target CPU kustom dan batas instance kustom pada worker pool yang ada, kirim permintaan HTTP PATCH berikut ke endpoint workerPools.patch Cloud Run Admin API:
curl -H "Content-Type: application/json" \ -H "Authorization: Bearer ACCESS_TOKEN" \ -X PATCH \ -d '{"launchStage":"BETA","scaling":{"scalingMode":"AUTOMATIC","cpuScaling":{"cpuUtilization":CPU_TARGET},"minInstanceCount":MIN_INSTANCES,"maxInstanceCount":MAX_INSTANCES}}' \ https://run.googleapis.com/v2/projects/PROJECT_ID/locations/REGION/workerPools/WORKER_POOL?update_mask=launchStage,scaling.scalingMode,scaling.manualInstanceCount,scaling.cpuScaling.cpuUtilization,scaling.minInstanceCount,scaling.maxInstanceCount
Ganti kode berikut:
ACCESS_TOKEN: token akses yang valid untuk akun yang memiliki izin IAM untuk mengupdate worker pool. Misalnya, jika Anda login ke Google Cloud CLI, Anda dapat mengambil token akses dengan menjalankangcloud auth print-access-token.CPU_TARGET: target untuk pemakaian CPU. Tentukan nilai dari0.1hingga0.90.- Opsional:
MIN_INSTANCES: jumlah minimum instance container yang akan dijalankan untuk worker pool. Harus1atau lebih besar. Jika Anda menghapus nilai ini, Cloud Run akan menetapkan minimum ke 1 instance. - Opsional:
MAX_INSTANCES: jumlah maksimum instance container yang akan dijalankan untuk worker pool. Jika Anda menghapus nilai ini, Cloud Run akan menetapkan nilai maksimum ke 100 instance. PROJECT_ID: Project ID Google Cloud Anda.REGION: region Google Cloud tempat worker pool Anda di-deploy, misalnya,europe-west1.WORKER_POOL: nama worker pool Anda.
Memulihkan setelan penskalaan otomatis default
Saat Anda memulihkan target pemakaian CPU kustom atau batas instance kustom ke nilai defaultnya, Cloud Run akan kembali ke target default pemakaian CPU 60%, 1 instance minimum, dan 100 instance maksimum, sekaligus menjaga penskalaan otomatis CPU tetap aktif.
Anda dapat memulihkan setelan penskalaan otomatis default menggunakan Google Cloud CLI, YAML, atau REST API:
gcloud
Untuk memulihkan target CPU default, jalankan perintah berikut dengan flag
--scaling-cpu-target=default:gcloud beta run worker-pools update WORKER_POOL \ --scaling-cpu-target=default
Ganti
WORKER_POOLdengan nama worker pool Anda.Untuk memulihkan batas instance default, jalankan perintah berikut dengan flag
--min=defaultdan--max=default:gcloud beta run worker-pools update WORKER_POOL \ --min=default \ --max=default
Ganti
WORKER_POOLdengan nama worker pool Anda.
YAML
Jika Anda membuat worker pool baru, lewati langkah ini. Jika Anda mengupdate worker pool yang ada, download konfigurasi YAML-nya:
gcloud run worker-pools describe WORKER_POOL --format export > worker-pool.yaml
Hapus anotasi
scaling-cpu-target,minScale, danmaxScaledarimetadata.annotations. Perbarui anotasiscalingMode: automatic:apiVersion: run.googleapis.com/v1 kind: WorkerPool metadata: name: WORKER_POOL annotations: run.googleapis.com/launch-stage: BETA run.googleapis.com/scalingMode: automatic
Ganti
WORKER_POOLdengan nama worker pool Anda.Buat atau update worker pool menggunakan perintah berikut:
gcloud run worker-pools replace worker-pool.yaml
Perintah
gcloud run worker-pools replacesecara default menggunakan fileworker-pool.yamljika ada.
REST API
Untuk memulihkan target CPU default dan batas instance default pada
worker pool yang ada, kirim permintaan HTTP PATCH berikut ke
endpoint workerPools.patch
Cloud Run Admin API:
curl -H "Content-Type: application/json" \ -H "Authorization: Bearer ACCESS_TOKEN" \ -X PATCH \ -d '{"launchStage":"BETA","scaling":{"scalingMode":"AUTOMATIC","cpuScaling":{}}}' \ https://run.googleapis.com/v2/projects/PROJECT_ID/locations/REGION/workerPools/WORKER_POOL?update_mask=launchStage,scaling.scalingMode,scaling.cpuScaling.cpuUtilization,scaling.minInstanceCount,scaling.maxInstanceCount
Ganti kode berikut:
ACCESS_TOKEN: token akses yang valid untuk akun yang memiliki izin IAM untuk mengupdate worker pool. Misalnya, jika Anda login ke Google Cloud CLI, Anda dapat mengambil token akses dengan menjalankangcloud auth print-access-token.PROJECT_ID: Project ID Google Cloud Anda.REGION: region Google Cloud tempat worker pool Anda di-deploy, misalnya,europe-west1.WORKER_POOL: nama worker pool Anda.
Menonaktifkan penskalaan otomatis CPU
Untuk menonaktifkan penskalaan otomatis CPU dan mengalihkan kembali worker pool Anda ke penskalaan manual, tentukan jumlah instance tetap menggunakan Google Cloud CLI, YAML, atau REST API:
gcloud
Untuk menonaktifkan penskalaan otomatis CPU pada worker pool yang ada, jalankan perintah berikut dengan flag --scaling ditetapkan ke jumlah instance tetap:
gcloud beta run worker-pools update WORKER_POOL \ --scaling=INSTANCE_COUNT
Ganti kode berikut:
WORKER_POOL: nama worker pool Anda.INSTANCE_COUNT: jumlah tetap instance yang akan dijalankan dalam mode penskalaan manual.
YAML
Jika Anda membuat worker pool baru, lewati langkah ini. Jika Anda mengupdate worker pool yang ada, download konfigurasi YAML-nya:
gcloud run worker-pools describe WORKER_POOL --format export > worker-pool.yaml
Tetapkan
scalingModekemanual, tentukanmanualInstanceCount, dan hapusscaling-cpu-target,minScale, danmaxScalejika ada:apiVersion: run.googleapis.com/v1 kind: WorkerPool metadata: name: WORKER_POOL annotations: run.googleapis.com/scalingMode: manual run.googleapis.com/manualInstanceCount: "INSTANCE_COUNT"
Ganti kode berikut:
WORKER_POOL: nama worker pool Anda.INSTANCE_COUNT: jumlah tetap instance yang akan dijalankan dalam mode penskalaan manual.
Buat atau update worker pool menggunakan perintah berikut:
gcloud run worker-pools replace worker-pool.yaml
Perintah
gcloud run worker-pools replacesecara default menggunakan fileworker-pool.yamljika ada.
REST API
Untuk menonaktifkan penskalaan otomatis CPU pada worker pool yang ada, kirim permintaan HTTP PATCH berikut ke endpoint workerPools.patch Cloud Run Admin API:
curl -H "Content-Type: application/json" \ -H "Authorization: Bearer ACCESS_TOKEN" \ -X PATCH \ -d '{"scaling":{"scalingMode":"MANUAL","manualInstanceCount":INSTANCE_COUNT}}' \ https://run.googleapis.com/v2/projects/PROJECT_ID/locations/REGION/workerPools/WORKER_POOL?update_mask=scaling.scalingMode,scaling.manualInstanceCount,scaling.cpuScaling,scaling.minInstanceCount,scaling.maxInstanceCount
Ganti kode berikut:
ACCESS_TOKEN: token akses yang valid untuk akun yang memiliki izin IAM untuk mengupdate worker pool. Misalnya, jika Anda login ke Google Cloud CLI, Anda dapat mengambil token akses dengan menjalankangcloud auth print-access-token.INSTANCE_COUNT: jumlah tetap instance yang akan dijalankan dalam mode penskalaan manual.PROJECT_ID: Project ID Google Cloud Anda.REGION: region Google Cloud tempat worker pool Anda di-deploy, misalnya,europe-west1.WORKER_POOL: nama worker pool Anda.
Melihat setelan penskalaan otomatis CPU
Untuk melihat konfigurasi penskalaan otomatis CPU untuk worker pool Anda, jalankan perintah
gcloud beta run worker-pools describe:
gcloud beta run worker-pools describe WORKER_POOL
Ganti WORKER_POOL dengan nama worker pool Anda.
Tentang penskalaan otomatis CPU
Secara default, penskalaan otomatis CPU menargetkan pemakaian CPU rata-rata sebesar 60% (run.googleapis.com/container/cpu/utilizations) dan menskalakan worker pool Anda antara 1 hingga 100 instance.
Saat Anda mengaktifkan penskalaan otomatis CPU, Cloud Run akan menghitung jumlah instance yang diperlukan untuk worker pool dengan merata-ratakan penggunaan CPU per detik selama satu menit terakhir di semua instance yang berjalan, dan membagi nilai tersebut dengan jumlah CPU per instance. Hasilnya kemudian dibagi lagi dengan target CPU Anda:
\[ \text{Instances} = \left\lceil \dfrac{\left( \frac{\text{Average CPU usage per second over the past minute}}{\text{Number of CPUs per instance}} \right)}{\text{CPU target}} \right\rceil \]
Cloud Run menyesuaikan jumlah instance worker pool menggunakan perilaku berikut:
- Pembulatan ke atas: Cloud Run menghitung jumlah instance yang diperlukan dari penggunaan CPU yang diukur dan target Anda, bukan dari jumlah instance yang berjalan, dan membulatkan hasilnya ke atas ke instance utuh berikutnya. Karena pembulatan ini, worker pool Anda dapat ditingkatkan skalanya meskipun pemakaiannya masih di bawah target. Misalnya, worker pool yang memerlukan 4,1 instance akan menjalankan 5 instance.
- Penskalaan tingkat pool dan pembagian instance: Cloud Run menghitung total jumlah instance untuk seluruh pool worker, lalu mendistribusikan instance tersebut di seluruh revisi aktif berdasarkan pembagian instance yang Anda konfigurasi.
- Stabilisasi perkecil skala 5 menit: Cloud Run menggunakan periode stabilisasi 5 menit (300 detik) saat memperkecil skala. Untuk mencegah fluktuasi instance yang sering terjadi, Cloud Run mempertahankan jumlah instance pada rekomendasi tertinggi dari 5 menit sebelumnya.
Memilih target pemakaian CPU
Anda dapat menggunakan target pemakaian CPU default sebesar 60% atau mengonfigurasi target kustom dari 10% hingga 90% berdasarkan profil workload dan toleransi latensi Anda menggunakan panduan berikut:
- Target CPU yang lebih tinggi (80% hingga 90%): Gunakan target yang lebih tinggi untuk workload latar belakang yang stabil dan dapat diprediksi atau tugas pemrosesan batch yang tidak sensitif terhadap latensi. Target yang lebih tinggi memaksimalkan penggunaan resource dan mengurangi biaya infrastruktur, tetapi menyisakan lebih sedikit ruang untuk lonjakan pekerjaan yang tiba-tiba, yang dapat menyebabkan throttling CPU atau peningkatan latensi pemrosesan saat instance baru dimulai.
- Target CPU yang lebih rendah (20% hingga 40%): Gunakan target yang lebih rendah untuk workload dengan permintaan CPU yang tidak stabil atau tidak dapat diprediksi, persyaratan latensi pemrosesan yang ketat, atau waktu startup container yang lebih lama. Target yang lebih rendah memberikan buffering untuk menyerap lonjakan aktivitas yang tiba-tiba dengan menyediakan lebih banyak instance lebih awal, sehingga membantu mencegah penurunan performa. Konsekuensinya adalah biaya yang lebih tinggi karena lebih banyak instance yang berjalan dalam kondisi beban normal.
Sebaiknya Anda memulai dengan target default, memantau metrik
run.googleapis.com/container/instance_count
di Cloud Monitoring, dan menyesuaikan target
berdasarkan pengujian beban dan pengamatan performa.