为工作器池配置 CPU 自动扩缩

借助 Cloud Run 工作器池中的 CPU 自动扩缩功能,您可以根据平均 CPU 利用率扩缩实例,从而优化性能和成本。您可以使用默认 CPU 利用率目标配置自动扩缩,也可以指定自定义 CPU 利用率目标和实例限制。如需详细了解 Cloud Run 如何计算实例数量和扩缩工作器池,请参阅CPU 自动扩缩简介。

如果您在部署工作器池时未启用 CPU 自动伸缩,Cloud Run 默认会使用手动伸缩,并使用 1 个实例。

如果您使用 Cloud Run 外部指标自动伸缩 (CREMA) 来伸缩工作负载,请切换到手动伸缩。

所需的角色

如需获得配置和部署 Cloud Run 工作器池所需的权限,请让您的管理员为您授予以下 IAM 角色:

如需查看与 Cloud Run 关联的 IAM 角色和权限的列表,请参阅 Cloud Run IAM 角色和 Cloud Run IAM 权限。如果您的 Cloud Run 工作器池与Google Cloud API(例如 Cloud 客户端库)进行交互,请参阅服务身份配置指南。如需详细了解如何授予角色,请参阅部署权限和管理访问权限。

配置默认 CPU 目标

启用默认 CPU 自动扩缩后,Cloud Run 会以 60% 的 CPU 利用率为目标,并在 1 到 100 个实例之间扩缩工作器池。在保留默认 60% CPU 利用率目标的同时,您可以根据需要选择自定义实例数下限和上限。

更新现有工作器池的伸缩模式或实例限制不会创建新的修订版本。

您可以使用 Google Cloud CLI、YAML 或 REST API 为 Cloud Run 工作器池启用默认 CPU 自动扩缩:

gcloud

  • 如需使用默认 CPU 目标部署新的工作器池,请运行带有 --scaling=auto 标志的以下命令:

    gcloud beta run worker-pools deploy WORKER_POOL \
      --image=IMAGE_URL \
      --scaling=auto

    替换以下内容:

    • WORKER_POOL:工作器池的名称。
    • IMAGE_URL:对包含工作器池的容器映像的引用,例如 us-docker.pkg.dev/cloudrun/container/worker-pool:latest。
  • 如需将现有工作器池更新为使用默认 CPU 目标,请运行以下命令并使用 --scaling=auto 标志:

    gcloud beta run worker-pools update WORKER_POOL \
      --scaling=auto

    将 WORKER_POOL 替换为工作器池的名称。

  • 如需使用默认 CPU 目标和自定义实例限制更新现有工作器池,请运行带有 --scaling=auto、--min 和 --max 标志的以下命令:

    gcloud beta run worker-pools update WORKER_POOL \
      --scaling=auto \
      --min=MIN_INSTANCES \
      --max=MAX_INSTANCES

    替换以下内容:

    • WORKER_POOL:工作器池的名称。
    • 可选:MIN_INSTANCES:要为工作器池运行的容器实例数下限。必须大于或等于 1。如果您省略此值,Cloud Run 会将下限设置为 1 个实例。
    • 可选:MAX_INSTANCES:要为工作器池运行的容器实例数上限。如果您省略此值,Cloud Run 会将上限设置为 100 个实例。

YAML

  1. 如果您要创建新的工作器池,请跳过此步骤。如果您要更新现有工作器池,请下载其 YAML 配置:

    gcloud run worker-pools describe WORKER_POOL --format export > worker-pool.yaml
  2. 在 metadata.annotations 下添加或更新 launch-stage 和 scalingMode 注解,并移除 run.googleapis.com/manualInstanceCount 注解(如果存在)。如需设置自定义实例限制,请视需要添加 minScale 和 maxScale 注解:

    apiVersion: run.googleapis.com/v1
    kind: WorkerPool
    metadata:
     name: WORKER_POOL
     annotations:
       run.googleapis.com/launch-stage: BETA
       run.googleapis.com/scalingMode: automatic
       run.googleapis.com/minScale: 'MIN_INSTANCES'
       run.googleapis.com/maxScale: 'MAX_INSTANCES'

    替换以下内容:

    • WORKER_POOL:工作器池的名称。
    • 可选:MIN_INSTANCES:要为工作器池运行的容器实例数下限。必须大于或等于 1。如果您省略此值,Cloud Run 会将下限设置为 1 个实例。
    • 可选:MAX_INSTANCES:要为工作器池运行的容器实例数上限。如果您省略此值,Cloud Run 会将上限设置为 100 个实例。
  3. 使用以下命令创建或更新工作器池:

    gcloud run worker-pools replace worker-pool.yaml

    gcloud run worker-pools replace 命令默认使用 worker-pool.yaml 文件(如果存在)。

REST API

如需在现有工作器池上配置默认 CPU 目标,请向 Cloud Run Admin API workerPools.patch 端点发送以下 PATCH HTTP 请求。如需设置自定义实例限制,可选择添加 minInstanceCount 和 maxInstanceCount 字段及其 update_mask 路径:

curl -H "Content-Type: application/json" \
    -H "Authorization: Bearer ACCESS_TOKEN" \
    -X PATCH \
    -d '{"launchStage":"BETA","scaling":{"scalingMode":"AUTOMATIC","minInstanceCount":MIN_INSTANCES,"maxInstanceCount":MAX_INSTANCES}}' \
    https://run.googleapis.com/v2/projects/PROJECT_ID/locations/REGION/workerPools/WORKER_POOL?update_mask=launchStage,scaling.scalingMode,scaling.manualInstanceCount,scaling.minInstanceCount,scaling.maxInstanceCount

替换以下内容:

  • ACCESS_TOKEN:具有更新工作器池的 Identity and Access Management 权限的账号的有效访问令牌。例如,如果您已登录 Google Cloud CLI,则可以通过运行 gcloud auth print-access-token 来检索访问令牌。
  • 可选:MIN_INSTANCES:要为工作器池运行的容器实例数下限。必须大于或等于 1。如果您省略此值,Cloud Run 会将下限设置为 1 个实例。
  • 可选:MAX_INSTANCES:要为工作器池运行的容器实例数上限。如果您省略此值,Cloud Run 会将上限设置为 100 个实例。
  • PROJECT_ID:您的 Google Cloud 项目 ID。
  • REGION:工作器池部署到的 Google Cloud 区域,例如 europe-west1。
  • WORKER_POOL:工作器池的名称。

配置自定义 CPU 目标和实例限制

您可以自定义 CPU 利用率目标、实例数下限和上限,或同时自定义这两者。您省略的任何设置都会使用其默认值(60% CPU 目标、1 个实例数下限和 100 个实例数上限)。更新现有工作器池的 CPU 利用率目标或实例限制不会创建新的修订版本。

您可以使用 Google Cloud CLI、YAML 或 REST API 配置自定义 CPU 目标和实例限制:

gcloud

  • 如需使用自定义 CPU 目标部署新的工作器池,请运行带有 --scaling-cpu-target 标志的以下命令:

    gcloud beta run worker-pools deploy WORKER_POOL \
      --image=IMAGE_URL \
      --scaling-cpu-target=CPU_TARGET

    替换以下内容:

    • WORKER_POOL:工作器池的名称。
    • IMAGE_URL:对包含工作器池的容器映像的引用,例如 us-docker.pkg.dev/cloudrun/container/worker-pool:latest。
    • CPU_TARGET:CPU 利用率的目标。指定一个介于 0.1 到 0.90 之间的值。
  • 如需使用自定义 CPU 目标更新现有工作器池,请运行带有 --scaling-cpu-target 标志的以下命令:

    gcloud beta run worker-pools update WORKER_POOL \
      --scaling-cpu-target=CPU_TARGET

    替换以下内容:

    • WORKER_POOL:工作器池的名称。
    • CPU_TARGET:CPU 利用率的目标。指定一个介于 0.1 到 0.90 之间的值。
  • 如需使用自定义 CPU 目标和实例限制更新现有工作器池,请运行以下命令,并使用 --scaling-cpu-target、--min 和 --max 标志:

    gcloud beta run worker-pools update WORKER_POOL \
      --scaling-cpu-target=CPU_TARGET \
      --min=MIN_INSTANCES \
      --max=MAX_INSTANCES

    替换以下内容:

    • WORKER_POOL:工作器池的名称。
    • CPU_TARGET:CPU 利用率的目标。指定一个介于 0.1 到 0.90 之间的值。
    • 可选:MIN_INSTANCES:要为工作器池运行的容器实例数下限。必须大于或等于 1。如果您省略此值,Cloud Run 会将下限设置为 1 个实例。
    • 可选:MAX_INSTANCES:要为工作器池运行的容器实例数上限。如果您省略此值,Cloud Run 会将上限设置为 100 个实例。

YAML

  1. 如果您要创建新的工作器池,请跳过此步骤。如果您要更新现有工作器池,请下载其 YAML 配置:

    gcloud run worker-pools describe WORKER_POOL --format export > worker-pool.yaml
  2. 在 metadata.annotations 下添加或更新 launch-stage、scalingMode、scaling-cpu-target、minScale 和 maxScale 注解,并移除 run.googleapis.com/manualInstanceCount 注解(如果存在)。您可以省略任何要保留其默认值的自定义注解(scaling-cpu-target、minScale 或 maxScale):

    apiVersion: run.googleapis.com/v1
    kind: WorkerPool
    metadata:
     name: WORKER_POOL
     annotations:
       run.googleapis.com/launch-stage: BETA
       run.googleapis.com/scalingMode: automatic
       run.googleapis.com/scaling-cpu-target: 'CPU_TARGET'
       run.googleapis.com/minScale: 'MIN_INSTANCES'
       run.googleapis.com/maxScale: 'MAX_INSTANCES'

    替换以下内容:

    • WORKER_POOL:工作器池的名称。
    • CPU_TARGET:CPU 利用率的目标。指定一个介于 0.1 到 0.90 之间的值。
    • 可选:MIN_INSTANCES:要为工作器池运行的容器实例数下限。必须大于或等于 1。如果您省略此值,Cloud Run 会将下限设置为 1 个实例。
    • 可选:MAX_INSTANCES:要为工作器池运行的容器实例数上限。如果您省略此值,Cloud Run 会将上限设置为 100 个实例。
  3. 使用以下命令创建或更新工作器池:

    gcloud run worker-pools replace worker-pool.yaml

    gcloud run worker-pools replace 命令默认使用 worker-pool.yaml 文件(如果存在)。

REST API

如需在现有工作器池上配置自定义 CPU 目标和自定义实例限制,请向 Cloud Run Admin API workerPools.patch 端点发送以下 PATCH HTTP 请求:

curl -H "Content-Type: application/json" \
    -H "Authorization: Bearer ACCESS_TOKEN" \
    -X PATCH \
    -d '{"launchStage":"BETA","scaling":{"scalingMode":"AUTOMATIC","cpuScaling":{"cpuUtilization":CPU_TARGET},"minInstanceCount":MIN_INSTANCES,"maxInstanceCount":MAX_INSTANCES}}' \
    https://run.googleapis.com/v2/projects/PROJECT_ID/locations/REGION/workerPools/WORKER_POOL?update_mask=launchStage,scaling.scalingMode,scaling.manualInstanceCount,scaling.cpuScaling.cpuUtilization,scaling.minInstanceCount,scaling.maxInstanceCount

替换以下内容:

  • ACCESS_TOKEN:具有更新工作器池的 IAM 权限的账号的有效访问令牌。例如,如果您已登录 Google Cloud CLI,则可以通过运行 gcloud auth print-access-token 来检索访问令牌。
  • CPU_TARGET:CPU 利用率的目标。指定一个介于 0.1 到 0.90 之间的值。
  • 可选:MIN_INSTANCES:要为工作器池运行的容器实例数下限。必须大于或等于 1。如果您省略此值,Cloud Run 会将下限设置为 1 个实例。
  • 可选:MAX_INSTANCES:要为工作器池运行的容器实例数上限。如果您省略此值,Cloud Run 会将上限设置为 100 个实例。
  • PROJECT_ID:您的 Google Cloud 项目 ID。
  • REGION:工作器池部署到的 Google Cloud 区域,例如 europe-west1。
  • WORKER_POOL:工作器池的名称。

恢复默认自动扩缩设置

当您将自定义 CPU 利用率目标或自定义实例限制恢复为默认值时,Cloud Run 会恢复为默认目标,即 60% 的 CPU 利用率、1 个实例数下限和 100 个实例数上限,同时保持 CPU 自动扩缩处于启用状态。

您可以使用 Google Cloud CLI、YAML 或 REST API 恢复默认自动扩缩设置:

gcloud

  • 如需恢复默认 CPU 目标,请使用 --scaling-cpu-target=default 标志运行以下命令:

    gcloud beta run worker-pools update WORKER_POOL \
      --scaling-cpu-target=default

    将 WORKER_POOL 替换为工作器池的名称。

  • 如需恢复默认实例限制,请运行以下命令,并使用 --min=default 和 --max=default 标志:

    gcloud beta run worker-pools update WORKER_POOL \
      --min=default \
      --max=default

    将 WORKER_POOL 替换为工作器池的名称。

YAML

  1. 如果您要创建新的工作器池,请跳过此步骤。如果您要更新现有工作器池,请下载其 YAML 配置:

    gcloud run worker-pools describe WORKER_POOL --format export > worker-pool.yaml
  2. 从 metadata.annotations 中移除 scaling-cpu-target、minScale 和 maxScale 注解。更新 scalingMode: automatic 注解:

    apiVersion: run.googleapis.com/v1
    kind: WorkerPool
    metadata:
     name: WORKER_POOL
     annotations:
       run.googleapis.com/launch-stage: BETA
       run.googleapis.com/scalingMode: automatic

    将 WORKER_POOL 替换为工作器池的名称。

  3. 使用以下命令创建或更新工作器池:

    gcloud run worker-pools replace worker-pool.yaml

    gcloud run worker-pools replace 命令默认使用 worker-pool.yaml 文件(如果存在)。

REST API

如需在现有工作器池上恢复默认 CPU 目标和默认实例限制,请向 Cloud Run Admin API workerPools.patch 端点发送以下 PATCH HTTP 请求:

curl -H "Content-Type: application/json" \
    -H "Authorization: Bearer ACCESS_TOKEN" \
    -X PATCH \
    -d '{"launchStage":"BETA","scaling":{"scalingMode":"AUTOMATIC","cpuScaling":{}}}' \
    https://run.googleapis.com/v2/projects/PROJECT_ID/locations/REGION/workerPools/WORKER_POOL?update_mask=launchStage,scaling.scalingMode,scaling.cpuScaling.cpuUtilization,scaling.minInstanceCount,scaling.maxInstanceCount

替换以下内容:

  • ACCESS_TOKEN:具有更新工作器池的 IAM 权限的账号的有效访问令牌。例如,如果您已登录 Google Cloud CLI,则可以通过运行 gcloud auth print-access-token 来检索访问令牌。
  • PROJECT_ID:您的 Google Cloud 项目 ID。
  • REGION:工作器池部署到的 Google Cloud 区域,例如 europe-west1。
  • WORKER_POOL:工作器池的名称。

停用 CPU 自动扩缩

如需停用 CPU 自动伸缩并将工作器池切换回手动伸缩,请使用 Google Cloud CLI、YAML 或 REST API 指定固定实例数:

gcloud

如需在现有工作器池上停用 CPU 自动扩缩,请运行以下命令,并将 --scaling 标志设置为固定实例数:

gcloud beta run worker-pools update WORKER_POOL \
    --scaling=INSTANCE_COUNT

替换以下内容:

  • WORKER_POOL:工作器池的名称。
  • INSTANCE_COUNT:在手动伸缩模式下运行的固定实例数。

YAML

  1. 如果您要创建新的工作器池,请跳过此步骤。如果您要更新现有工作器池,请下载其 YAML 配置:

    gcloud run worker-pools describe WORKER_POOL --format export > worker-pool.yaml
  2. 将 scalingMode 设置为 manual,指定 manualInstanceCount,然后移除 scaling-cpu-target、minScale 和 maxScale(如果存在):

    apiVersion: run.googleapis.com/v1
    kind: WorkerPool
    metadata:
     name: WORKER_POOL
     annotations:
       run.googleapis.com/scalingMode: manual
       run.googleapis.com/manualInstanceCount: "INSTANCE_COUNT"

    替换以下内容:

    • WORKER_POOL:工作器池的名称。
    • INSTANCE_COUNT:在手动伸缩模式下运行的固定实例数。
  3. 使用以下命令创建或更新工作器池:

    gcloud run worker-pools replace worker-pool.yaml

    gcloud run worker-pools replace 命令默认使用 worker-pool.yaml 文件(如果存在)。

REST API

如需在现有工作器池上停用 CPU 自动扩缩,请向 Cloud Run Admin API workerPools.patch 端点发送以下 PATCH HTTP 请求:

curl -H "Content-Type: application/json" \
    -H "Authorization: Bearer ACCESS_TOKEN" \
    -X PATCH \
    -d '{"scaling":{"scalingMode":"MANUAL","manualInstanceCount":INSTANCE_COUNT}}' \
    https://run.googleapis.com/v2/projects/PROJECT_ID/locations/REGION/workerPools/WORKER_POOL?update_mask=scaling.scalingMode,scaling.manualInstanceCount,scaling.cpuScaling,scaling.minInstanceCount,scaling.maxInstanceCount

替换以下内容:

  • ACCESS_TOKEN:具有更新工作器池的 IAM 权限的账号的有效访问令牌。例如,如果您已登录 Google Cloud CLI,则可以通过运行 gcloud auth print-access-token 来检索访问令牌。
  • INSTANCE_COUNT:在手动伸缩模式下运行的固定实例数。
  • PROJECT_ID:您的 Google Cloud 项目 ID。
  • REGION:工作器池部署到的 Google Cloud 区域,例如 europe-west1。
  • WORKER_POOL:工作器池的名称。

查看 CPU 自动扩缩设置

如需查看工作器池的 CPU 自动扩缩配置,请运行 gcloud beta run worker-pools describe 命令:

gcloud beta run worker-pools describe WORKER_POOL

将 WORKER_POOL 替换为工作器池的名称。

关于 CPU 自动扩缩

默认情况下,CPU 自动扩缩的目标是 60% 的平均 CPU 利用率 (run.googleapis.com/container/cpu/utilizations),并会在 1 到 100 个实例之间扩缩工作器池。

启用 CPU 自动扩缩后,Cloud Run 会计算工作器池所需的实例数量,方法是计算过去一分钟内所有正在运行的实例的每秒平均 CPU 使用率,然后将该值除以每个实例的 CPU 数量。然后,将结果进一步除以 CPU 目标:

\[ \text{Instances} = \left\lceil \dfrac{\left( \frac{\text{Average CPU usage per second over the past minute}}{\text{Number of CPUs per instance}} \right)}{\text{CPU target}} \right\rceil \]

Cloud Run 使用以下行为调整工作器池实例的数量:

  • 向上取整:Cloud Run 会根据测得的 CPU 用量和目标(而非正在运行的实例数量)计算所需的实例数量,并将结果向上取整到下一个整数实例。由于这种四舍五入,您的工作器池可能会在利用率仍低于目标值时扩容。例如,需要 4.1 个实例的工作器池会运行 5 个实例。
  • 池级伸缩和实例拆分:Cloud Run 会计算整个工作器池的总实例数,然后根据您配置的实例拆分将这些实例分配到各个活跃修订版本。
  • 5 分钟缩容稳定期:Cloud Run 在缩容时会使用 5 分钟(300 秒)的稳定期。为防止实例频繁波动,Cloud Run 会将实例数量保持在过去 5 分钟内的最高建议值。

选择 CPU 利用率目标

您可以使用默认的 60% CPU 利用率目标,也可以根据工作负载配置文件和延迟容忍度,按照以下准则配置 10% 到 90% 的自定义目标:

  • 较高的 CPU 目标(80% 到 90%):对于稳定、可预测的后台工作负载或对延迟不敏感的批处理任务,请使用较高的目标。较高的目标可最大限度地提高资源利用率并降低基础架构费用,但会减少应对突发工作负载的余量,这可能会导致 CPU 节流或新实例启动时处理延迟时间增加。
  • 较低的 CPU 目标(20% 到 40%):对于 CPU 需求不稳定或不可预测、处理延迟时间要求严格或容器启动时间较长的工作负载,请使用较低的目标。较低的目标值可提供一个缓冲区,通过提前预配更多实例来吸收突发的活动高峰,从而有助于防止性能下降。代价是成本较高,因为在正常负载条件下运行的实例较多。

我们建议您从默认目标开始,在 Cloud Monitoring 中监控 run.googleapis.com/container/instance_count 指标,并根据负载测试和性能观察结果调整目标。

后续步骤