設定 worker 集區的 CPU 自動調度資源功能

Cloud Run 工作站集區的 CPU 自動調度資源功能,可讓您根據平均 CPU 使用率調度執行個體,盡可能提高效能和成本效益。您可以使用預設 CPU 使用率目標設定自動調度資源,或指定自訂 CPU 使用率目標和執行個體限制。如要進一步瞭解 Cloud Run 如何計算執行個體數量及調度 worker 集區資源,請參閱「關於 CPU 自動調度資源」。

部署 worker 集區時,如果未啟用 CPU 自動調度資源功能,Cloud Run 預設會使用手動調度資源,並建立 1 個執行個體。

如果您使用 Cloud Run 外部指標自動調度資源 (CREMA) 調整工作負載,請切換至手動調度資源。

必要的角色

如要取得設定及部署 Cloud Run worker 集區所需的權限,請要求管理員授予您下列 IAM 角色:

如要查看與 Cloud Run 相關聯的 IAM 角色和權限清單,請參閱「Cloud Run IAM 角色」和「Cloud Run IAM 權限」。如果 Cloud Run worker 集區與Google Cloud API (例如 Cloud 用戶端程式庫) 介接,請參閱服務身分設定指南。如要進一步瞭解如何授予角色,請參閱「部署權限」和「管理存取權」。

設定預設 CPU 目標

啟用預設 CPU 自動調度資源功能後,Cloud Run 會以 60% 的 CPU 使用率為目標,並將 worker 集區擴充至 1 到 100 個執行個體。您可以保留預設的 60% CPU 使用率目標,也可以視需要自訂執行個體數量上下限。

更新現有 worker 集區的資源調度模式或執行個體限制,不會建立新的修訂版本。

您可以使用 Google Cloud CLI、YAML 或 REST API,為 Cloud Run worker 集區啟用預設 CPU 自動調度資源功能:

gcloud

  • 如要使用預設 CPU 目標部署新的 worker 集區,請執行下列指令,並加上 --scaling=auto 旗標:

    gcloud beta run worker-pools deploy WORKER_POOL \
      --image=IMAGE_URL \
      --scaling=auto

    更改下列內容:

    • WORKER_POOL:worker 集區的名稱。
    • IMAGE_URL:參照包含 worker 集區的容器映像檔,例如 us-docker.pkg.dev/cloudrun/container/worker-pool:latest。
  • 如要更新現有 worker 集區,改用預設 CPU 目標,請執行下列指令並加上 --scaling=auto 旗標:

    gcloud beta run worker-pools update WORKER_POOL \
      --scaling=auto

    將 WORKER_POOL 替換為 worker 集區名稱。

  • 如要使用預設 CPU 目標和自訂執行個體限制更新現有 worker 集區,請執行下列指令,並加上 --scaling=auto、--min 和 --max 旗標:

    gcloud beta run worker-pools update WORKER_POOL \
      --scaling=auto \
      --min=MIN_INSTANCES \
      --max=MAX_INSTANCES

    更改下列內容:

    • WORKER_POOL:worker 集區的名稱。
    • 選用:MIN_INSTANCES:worker 集區要執行的容器執行個體數量下限。不得小於 1。如果省略這個值,Cloud Run 會將下限設為 1 個執行個體。
    • 選用:MAX_INSTANCES:worker 集區執行的容器執行個體數量上限。如果省略這個值,Cloud Run 會將上限設為 100 個執行個體。

YAML

  1. 如要建立新的 worker 集區,請略過這個步驟。如要更新現有 worker 集區,請下載其 YAML 設定:

    gcloud run worker-pools describe WORKER_POOL --format export > worker-pool.yaml
  2. 在 metadata.annotations 下新增或更新 launch-stage 和 scalingMode 註解,並移除 run.googleapis.com/manualInstanceCount 註解 (如有)。如要設定自訂執行個體限制,請視需要新增 minScale 和 maxScale 註解:

    apiVersion: run.googleapis.com/v1
    kind: WorkerPool
    metadata:
     name: WORKER_POOL
     annotations:
       run.googleapis.com/launch-stage: BETA
       run.googleapis.com/scalingMode: automatic
       run.googleapis.com/minScale: 'MIN_INSTANCES'
       run.googleapis.com/maxScale: 'MAX_INSTANCES'

    更改下列內容:

    • WORKER_POOL:worker 集區的名稱。
    • 選用:MIN_INSTANCES:worker 集區要執行的容器執行個體數量下限。不得小於 1。如果省略這個值,Cloud Run 會將下限設為 1 個執行個體。
    • 選用:MAX_INSTANCES:worker 集區執行的容器執行個體數量上限。如果省略這個值,Cloud Run 會將上限設為 100 個執行個體。
  3. 使用下列指令建立或更新 worker 集區:

    gcloud run worker-pools replace worker-pool.yaml

    gcloud run worker-pools replace 指令預設會使用 worker-pool.yaml 檔案 (如有)。

REST API

如要為現有 worker 集區設定預設 CPU 目標,請將下列 PATCH HTTP 要求傳送至 Cloud Run Admin API workerPools.patch 端點。如要設定自訂執行個體限制,請視需要加入 minInstanceCount 和 maxInstanceCount 欄位及其 update_mask 路徑:

curl -H "Content-Type: application/json" \
    -H "Authorization: Bearer ACCESS_TOKEN" \
    -X PATCH \
    -d '{"launchStage":"BETA","scaling":{"scalingMode":"AUTOMATIC","minInstanceCount":MIN_INSTANCES,"maxInstanceCount":MAX_INSTANCES}}' \
    https://run.googleapis.com/v2/projects/PROJECT_ID/locations/REGION/workerPools/WORKER_POOL?update_mask=launchStage,scaling.scalingMode,scaling.manualInstanceCount,scaling.minInstanceCount,scaling.maxInstanceCount

更改下列內容:

  • ACCESS_TOKEN:帳戶的有效存取權杖,該帳戶必須具備更新 worker 集區的 Identity and Access Management 權限。舉例來說,如果您已登入 Google Cloud CLI,可以執行 gcloud auth print-access-token 來擷取存取權杖。
  • 選用:MIN_INSTANCES:worker 集區要執行的容器執行個體數量下限。不得小於 1。如果省略這個值,Cloud Run 會將下限設為 1 個執行個體。
  • 選用:MAX_INSTANCES:worker 集區執行的容器執行個體數量上限。如果省略這個值,Cloud Run 會將上限設為 100 個執行個體。
  • PROJECT_ID:您的 Google Cloud 專案 ID。
  • REGION: 部署 worker 集區的 Google Cloud 區域,例如 europe-west1。
  • WORKER_POOL:worker 集區的名稱。

設定自訂 CPU 目標和執行個體限制

您可以自訂 CPU 使用率目標、執行個體數量上下限,或同時自訂兩者。任何省略的設定都會使用預設值 (CPU 目標 60%、執行個體數量下限 1 個、執行個體數量上限 100 個)。更新現有 worker 集區的 CPU 使用率目標或執行個體限制,不會建立新的修訂版本。

您可以使用 Google Cloud CLI、YAML 或 REST API,設定自訂 CPU 目標和執行個體限制:

gcloud

  • 如要部署具有自訂 CPU 目標的新 worker 集區,請執行下列指令並加上 --scaling-cpu-target 旗標:

    gcloud beta run worker-pools deploy WORKER_POOL \
      --image=IMAGE_URL \
      --scaling-cpu-target=CPU_TARGET

    更改下列內容:

    • WORKER_POOL:worker 集區的名稱。
    • IMAGE_URL:參照包含 worker 集區的容器映像檔,例如 us-docker.pkg.dev/cloudrun/container/worker-pool:latest。
    • CPU_TARGET:CPU 使用率目標。請指定介於 0.1 至 0.90 之間的值。
  • 如要使用自訂 CPU 目標更新現有 worker 集區,請執行下列指令並加上 --scaling-cpu-target 旗標:

    gcloud beta run worker-pools update WORKER_POOL \
      --scaling-cpu-target=CPU_TARGET

    更改下列內容:

    • WORKER_POOL:worker 集區的名稱。
    • CPU_TARGET:CPU 使用率目標。請指定介於 0.1 至 0.90 之間的值。
  • 如要使用自訂 CPU 目標和執行個體限制更新現有 worker 集區,請執行下列指令,並加上 --scaling-cpu-target、--min 和 --max 旗標:

    gcloud beta run worker-pools update WORKER_POOL \
      --scaling-cpu-target=CPU_TARGET \
      --min=MIN_INSTANCES \
      --max=MAX_INSTANCES

    更改下列內容:

    • WORKER_POOL:worker 集區的名稱。
    • CPU_TARGET:CPU 使用率目標。請指定介於 0.1 至 0.90 之間的值。
    • 選用:MIN_INSTANCES:worker 集區要執行的容器執行個體數量下限。不得小於 1。如果省略這個值,Cloud Run 會將下限設為 1 個執行個體。
    • 選用:MAX_INSTANCES:worker 集區執行的容器執行個體數量上限。如果省略這個值,Cloud Run 會將上限設為 100 個執行個體。

YAML

  1. 如要建立新的 worker 集區,請略過這個步驟。如要更新現有 worker 集區,請下載其 YAML 設定:

    gcloud run worker-pools describe WORKER_POOL --format export > worker-pool.yaml
  2. 在 metadata.annotations 下新增或更新 launch-stage、scalingMode、scaling-cpu-target、minScale 和 maxScale 註解,並移除 run.googleapis.com/manualInstanceCount 註解 (如有)。您可以省略任何要保留預設值的自訂註解 (scaling-cpu-target、minScale 或 maxScale):

    apiVersion: run.googleapis.com/v1
    kind: WorkerPool
    metadata:
     name: WORKER_POOL
     annotations:
       run.googleapis.com/launch-stage: BETA
       run.googleapis.com/scalingMode: automatic
       run.googleapis.com/scaling-cpu-target: 'CPU_TARGET'
       run.googleapis.com/minScale: 'MIN_INSTANCES'
       run.googleapis.com/maxScale: 'MAX_INSTANCES'

    更改下列內容:

    • WORKER_POOL:worker 集區的名稱。
    • CPU_TARGET:CPU 使用率目標。請指定介於 0.1 至 0.90 之間的值。
    • 選用:MIN_INSTANCES:worker 集區要執行的容器執行個體數量下限。不得小於 1。如果省略這個值,Cloud Run 會將下限設為 1 個執行個體。
    • 選用:MAX_INSTANCES:worker 集區執行的容器執行個體數量上限。如果省略這個值,Cloud Run 會將上限設為 100 個執行個體。
  3. 使用下列指令建立或更新 worker 集區:

    gcloud run worker-pools replace worker-pool.yaml

    gcloud run worker-pools replace 指令預設會使用 worker-pool.yaml 檔案 (如有)。

REST API

如要為現有 worker 集區設定自訂 CPU 目標和自訂執行個體限制,請將下列 PATCH HTTP 要求傳送至 Cloud Run Admin API workerPools.patch 端點:

curl -H "Content-Type: application/json" \
    -H "Authorization: Bearer ACCESS_TOKEN" \
    -X PATCH \
    -d '{"launchStage":"BETA","scaling":{"scalingMode":"AUTOMATIC","cpuScaling":{"cpuUtilization":CPU_TARGET},"minInstanceCount":MIN_INSTANCES,"maxInstanceCount":MAX_INSTANCES}}' \
    https://run.googleapis.com/v2/projects/PROJECT_ID/locations/REGION/workerPools/WORKER_POOL?update_mask=launchStage,scaling.scalingMode,scaling.manualInstanceCount,scaling.cpuScaling.cpuUtilization,scaling.minInstanceCount,scaling.maxInstanceCount

更改下列內容:

  • ACCESS_TOKEN:帳戶的有效存取權杖,該帳戶必須具備更新 worker 集區的 IAM 權限。舉例來說,如果您已登入 Google Cloud CLI,可以執行 gcloud auth print-access-token 來擷取存取權杖。
  • CPU_TARGET:CPU 使用率目標。請指定介於 0.1 至 0.90 之間的值。
  • 選用:MIN_INSTANCES:worker 集區要執行的容器執行個體數量下限。不得小於 1。如果省略這個值,Cloud Run 會將下限設為 1 個執行個體。
  • 選用:MAX_INSTANCES:worker 集區執行的容器執行個體數量上限。如果省略這個值,Cloud Run 會將上限設為 100 個執行個體。
  • PROJECT_ID:您的 Google Cloud 專案 ID。
  • REGION:: 部署 worker 集區的 Google Cloud 區域,例如 europe-west1。
  • WORKER_POOL:worker 集區的名稱。

還原預設自動調度資源設定

將自訂 CPU 使用率目標或自訂執行個體限制還原為預設值時,Cloud Run 會還原為預設目標:CPU 使用率 60%、執行個體數量下限 1 個、執行個體數量上限 100 個,同時保持 CPU 自動調度資源功能啟用。

您可以使用 Google Cloud CLI、YAML 或 REST API 還原預設自動調度資源設定:

gcloud

  • 如要還原預設 CPU 目標,請使用 --scaling-cpu-target=default 旗標執行下列指令:

    gcloud beta run worker-pools update WORKER_POOL \
      --scaling-cpu-target=default

    將 WORKER_POOL 替換為 worker 集區名稱。

  • 如要還原預設執行個體限制,請執行下列指令,並加上 --min=default 和 --max=default 旗標:

    gcloud beta run worker-pools update WORKER_POOL \
      --min=default \
      --max=default

    將 WORKER_POOL 替換為 worker 集區名稱。

YAML

  1. 如要建立新的 worker 集區,請略過這個步驟。如要更新現有 worker 集區,請下載其 YAML 設定:

    gcloud run worker-pools describe WORKER_POOL --format export > worker-pool.yaml
  2. 從 metadata.annotations 移除 scaling-cpu-target、minScale 和 maxScale 註解。更新 scalingMode: automatic 註解:

    apiVersion: run.googleapis.com/v1
    kind: WorkerPool
    metadata:
     name: WORKER_POOL
     annotations:
       run.googleapis.com/launch-stage: BETA
       run.googleapis.com/scalingMode: automatic

    將 WORKER_POOL 替換為 worker 集區名稱。

  3. 使用下列指令建立或更新 worker 集區:

    gcloud run worker-pools replace worker-pool.yaml

    gcloud run worker-pools replace 指令預設會使用 worker-pool.yaml 檔案 (如有)。

REST API

如要還原現有 worker 集區的預設 CPU 目標和預設執行個體限制,請將下列 PATCH HTTP 要求傳送至 Cloud Run Admin API workerPools.patch 端點:

curl -H "Content-Type: application/json" \
    -H "Authorization: Bearer ACCESS_TOKEN" \
    -X PATCH \
    -d '{"launchStage":"BETA","scaling":{"scalingMode":"AUTOMATIC","cpuScaling":{}}}' \
    https://run.googleapis.com/v2/projects/PROJECT_ID/locations/REGION/workerPools/WORKER_POOL?update_mask=launchStage,scaling.scalingMode,scaling.cpuScaling.cpuUtilization,scaling.minInstanceCount,scaling.maxInstanceCount

更改下列內容:

  • ACCESS_TOKEN:帳戶的有效存取權杖,該帳戶必須具備更新 worker 集區的 IAM 權限。舉例來說,如果您已登入 Google Cloud CLI,可以執行 gcloud auth print-access-token 來擷取存取權杖。
  • PROJECT_ID:您的 Google Cloud 專案 ID。
  • REGION: 部署 worker 集區的 Google Cloud 區域,例如 europe-west1。
  • WORKER_POOL:worker 集區的名稱。

停用 CPU 自動調度資源功能

如要停用 CPU 自動調度資源功能,並將 worker 集區切換回手動調度資源,請使用 Google Cloud CLI、YAML 或 REST API 指定固定的執行個體數量:

gcloud

如要停用現有 worker 集區的 CPU 自動調度資源功能,請執行下列指令,並將 --scaling 旗標設為固定的執行個體數量:

gcloud beta run worker-pools update WORKER_POOL \
    --scaling=INSTANCE_COUNT

更改下列內容:

  • WORKER_POOL:worker 集區的名稱。
  • INSTANCE_COUNT:在手動調度資源模式下執行的固定執行個體數量。

YAML

  1. 如要建立新的 worker 集區,請略過這個步驟。如要更新現有 worker 集區,請下載其 YAML 設定:

    gcloud run worker-pools describe WORKER_POOL --format export > worker-pool.yaml
  2. 將 scalingMode 設為 manual、指定 manualInstanceCount,並移除 scaling-cpu-target、minScale 和 maxScale (如有):

    apiVersion: run.googleapis.com/v1
    kind: WorkerPool
    metadata:
     name: WORKER_POOL
     annotations:
       run.googleapis.com/scalingMode: manual
       run.googleapis.com/manualInstanceCount: "INSTANCE_COUNT"

    更改下列內容:

    • WORKER_POOL:worker 集區的名稱。
    • INSTANCE_COUNT:在手動調整模式下執行的固定執行個體數量。
  3. 使用下列指令建立或更新 worker 集區:

    gcloud run worker-pools replace worker-pool.yaml

    gcloud run worker-pools replace 指令預設會使用 worker-pool.yaml 檔案 (如有)。

REST API

如要停用現有 worker 集區的 CPU 自動調度資源功能,請將下列 PATCH HTTP 要求傳送至 Cloud Run Admin API workerPools.patch 端點:

curl -H "Content-Type: application/json" \
    -H "Authorization: Bearer ACCESS_TOKEN" \
    -X PATCH \
    -d '{"scaling":{"scalingMode":"MANUAL","manualInstanceCount":INSTANCE_COUNT}}' \
    https://run.googleapis.com/v2/projects/PROJECT_ID/locations/REGION/workerPools/WORKER_POOL?update_mask=scaling.scalingMode,scaling.manualInstanceCount,scaling.cpuScaling,scaling.minInstanceCount,scaling.maxInstanceCount

更改下列內容:

  • ACCESS_TOKEN:帳戶的有效存取權杖,該帳戶必須具備更新 worker 集區的 IAM 權限。舉例來說,如果您已登入 Google Cloud CLI,可以執行 gcloud auth print-access-token 來擷取存取權杖。
  • INSTANCE_COUNT:在手動調度資源模式下執行的固定執行個體數量。
  • PROJECT_ID:您的 Google Cloud 專案 ID。
  • REGION: 部署 worker 集區的 Google Cloud 區域,例如 europe-west1。
  • WORKER_POOL:worker 集區的名稱。

查看 CPU 自動調度資源設定

如要查看 worker 集區的 CPU 自動調度資源設定,請執行 gcloud beta run worker-pools describe 指令:

gcloud beta run worker-pools describe WORKER_POOL

將 WORKER_POOL 替換為 worker 集區名稱。

關於 CPU 自動調度資源

根據預設,CPU 自動調度資源會以 60% 的平均 CPU 使用率 (run.googleapis.com/container/cpu/utilizations) 為目標,並將 worker 集區規模調整為 1 到 100 個執行個體。

啟用 CPU 自動調度資源功能後,Cloud Run 會計算所有執行中執行個體過去一分鐘內每秒的平均 CPU 用量,然後將該值除以每個執行個體的 CPU 數量,藉此計算工作站集區所需的執行個體數量。接著,將結果除以 CPU 目標:

\[ \text{Instances} = \left\lceil \dfrac{\left( \frac{\text{Average CPU usage per second over the past minute}}{\text{Number of CPUs per instance}} \right)}{\text{CPU target}} \right\rceil \]

Cloud Run 會使用下列行為調整 worker 集區執行個體數量:

  • 無條件進位:Cloud Run 會根據測得的 CPU 使用率和目標,計算所需的執行個體數量,而非根據執行中的執行個體數量,並將結果無條件進位至下一個整數。由於這種四捨五入方式,即使使用率仍低於目標,worker 集區仍可擴充。舉例來說,如果 worker 集區需要 4.1 個執行個體,則會執行 5 個執行個體。
  • 集區層級資源調度與執行個體分配:Cloud Run 會計算整個 worker 集區的執行個體總數,然後根據您設定的執行個體分配,將這些執行個體分配給各個有效修訂版本。
  • 5 分鐘縮減穩定時間:Cloud Run 在縮減時會使用 5 分鐘 (300 秒) 的穩定時間範圍。為避免執行個體頻繁波動,Cloud Run 會將執行個體數量維持在過去 5 分鐘內的最高建議值。

選擇 CPU 使用率目標

您可以使用預設的 60% CPU 使用率目標,也可以根據工作負載設定檔和延遲容忍度,按照下列指南設定 10% 到 90% 的自訂目標:

  • 較高的 CPU 目標 (80% 至 90%):如果背景工作負載穩定且可預測,或是批次處理工作對延遲不敏感,請使用較高的目標。目標值越高,資源利用率越高,基礎架構成本也越低,但突然出現大量工作時,可用的緩衝空間會減少,可能導致 CPU 節流,或在啟動新執行個體時增加處理延遲時間。
  • 較低的 CPU 目標 (20% 至 40%):如果工作負載的 CPU 需求不穩定或難以預測、處理延遲時間要求嚴格,或容器啟動時間較長,請使用較低的目標。如果目標較低,系統會提早佈建更多執行個體,提供緩衝空間來因應突發的活動高峰,有助於防止效能降低。缺點是成本較高,因為在正常負載條件下執行的執行個體較多。

建議您先使用預設目標,在 Cloud Monitoring 中監控 run.googleapis.com/container/instance_count 指標,並根據負載測試和效能觀察結果調整目標。

後續步驟