O escalonamento automático de CPU em pools de workers do Cloud Run permite escalonar instâncias com base na utilização média da CPU para otimizar o desempenho e o custo. É possível configurar o escalonamento automático com a meta de uso de CPU padrão ou especificar metas de uso de CPU personalizadas e limites de instância. Para mais informações sobre como o Cloud Run calcula as contagens de instâncias e escalona os pools de workers, consulte Sobre o escalonamento automático de CPU.
Quando você implanta um pool de workers sem ativar o escalonamento automático de CPU, o Cloud Run usa o escalonamento manual com uma instância por padrão.
Se você usa o escalonamento automático de métricas externas do Cloud Run (CREMA) para escalonar suas cargas de trabalho, mude para o escalonamento manual.
Funções exigidas
Para receber as permissões necessárias para configurar e implantar pools de workers do Cloud Run, peça ao administrador para conceder a você os seguintes papéis do IAM:
- Desenvolvedor do Cloud Run (
roles/run.developer) no pool de workers do Cloud Run - Usuário da conta de serviço (
roles/iam.serviceAccountUser) na conta de serviço
Para uma lista de papéis e permissões do IAM associados ao Cloud Run, consulte Papéis do IAM do Cloud Run e Permissões do IAM do Cloud Run. Se o pool de workers do Cloud Run interagir com APIs doGoogle Cloud , como bibliotecas de cliente do Cloud, consulte o guia de configuração de identidade de serviço. Para mais informações sobre como conceder papéis, consulte permissões de implantação e gerenciar acesso.
Configurar o destino de CPU padrão
Quando você ativa o escalonamento automático de CPU padrão, o Cloud Run visa 60% de utilização da CPU e escalona o pool de workers entre 1 e 100 instâncias. Mantendo a meta padrão de 60% de utilização da CPU, é possível personalizar os limites mínimo e máximo de instâncias para atender às suas necessidades.
Atualizar o modo de escalonamento ou os limites de instâncias em um pool de workers atual não cria uma nova revisão.
É possível ativar o escalonamento automático de CPU padrão para um pool de workers do Cloud Run usando a Google Cloud CLI, o YAML ou a API REST:
gcloud
Para implantar um novo pool de workers com o destino de CPU padrão, execute o seguinte comando com a flag
--scaling=auto:gcloud beta run worker-pools deploy WORKER_POOL \ --image=IMAGE_URL \ --scaling=auto
Substitua:
WORKER_POOL: o nome do pool de workers.IMAGE_URL: uma referência à imagem de contêiner que contém o pool de workers, comous-docker.pkg.dev/cloudrun/container/worker-pool:latest.
Para atualizar um pool de workers atual para usar o destino de CPU padrão, execute o seguinte comando com a flag
--scaling=auto:gcloud beta run worker-pools update WORKER_POOL \ --scaling=auto
Substitua
WORKER_POOLpelo nome do pool de workers.Para atualizar um pool de workers com o destino de CPU padrão e os limites de instância personalizados, execute o seguinte comando com as sinalizações
--scaling=auto,--mine--max:gcloud beta run worker-pools update WORKER_POOL \ --scaling=auto \ --min=MIN_INSTANCES \ --max=MAX_INSTANCES
Substitua:
WORKER_POOL: o nome do pool de workers.- Opcional:
MIN_INSTANCES: o número mínimo de instâncias de contêiner a serem executadas para o pool de workers. Precisa ser1ou maior. Se você omitir esse valor, o Cloud Run vai definir o mínimo como 1 instância. - Opcional:
MAX_INSTANCES: o número máximo de instâncias de contêiner a serem executadas no pool de workers. Se você omitir esse valor, o Cloud Run vai definir o máximo como 100 instâncias.
YAML
Se você estiver criando um novo pool de workers, pule esta etapa. Se você estiver atualizando um pool de workers, faça o download da configuração YAML correspondente:
gcloud run worker-pools describe WORKER_POOL --format export > worker-pool.yaml
Adicione ou atualize as anotações
launch-stageescalingModeemmetadata.annotationse remova a anotaçãorun.googleapis.com/manualInstanceCount, se houver. Para definir limites de instâncias personalizados, adicione as anotaçõesminScaleemaxScale:apiVersion: run.googleapis.com/v1 kind: WorkerPool metadata: name: WORKER_POOL annotations: run.googleapis.com/launch-stage: BETA run.googleapis.com/scalingMode: automatic run.googleapis.com/minScale: 'MIN_INSTANCES' run.googleapis.com/maxScale: 'MAX_INSTANCES'
Substitua:
WORKER_POOL: o nome do pool de workers.- Opcional:
MIN_INSTANCES: o número mínimo de instâncias de contêiner a serem executadas para o pool de workers. Precisa ser1ou maior. Se você omitir esse valor, o Cloud Run vai definir o mínimo como 1 instância. - Opcional:
MAX_INSTANCES: o número máximo de instâncias de contêiner a serem executadas no pool de workers. Se você omitir esse valor, o Cloud Run vai definir o máximo como 100 instâncias.
Crie ou atualize o pool de workers usando o seguinte comando:
gcloud run worker-pools replace worker-pool.yaml
O comando
gcloud run worker-pools replaceusa o arquivoworker-pool.yamlpor padrão, se ele estiver presente.
API REST
Para configurar a meta de CPU padrão em um pool de workers, envie a
seguinte solicitação HTTP PATCH para o endpoint workerPools.patch da API Cloud Run Admin.
Para definir limites de instância personalizados, inclua os campos minInstanceCount
e maxInstanceCount e os caminhos update_mask deles:
curl -H "Content-Type: application/json" \ -H "Authorization: Bearer ACCESS_TOKEN" \ -X PATCH \ -d '{"launchStage":"BETA","scaling":{"scalingMode":"AUTOMATIC","minInstanceCount":MIN_INSTANCES,"maxInstanceCount":MAX_INSTANCES}}' \ https://run.googleapis.com/v2/projects/PROJECT_ID/locations/REGION/workerPools/WORKER_POOL?update_mask=launchStage,scaling.scalingMode,scaling.manualInstanceCount,scaling.minInstanceCount,scaling.maxInstanceCount
Substitua:
ACCESS_TOKEN: um token de acesso válido para uma conta que tenha as permissões do Identity and Access Management para atualizar um pool de workers. Por exemplo, se você fez login na Google Cloud CLI, é possível recuperar um token de acesso executandogcloud auth print-access-token.- Opcional:
MIN_INSTANCES: o número mínimo de instâncias de contêiner a serem executadas para o pool de workers. Precisa ser1ou maior. Se você omitir esse valor, o Cloud Run vai definir o mínimo como 1 instância. - Opcional:
MAX_INSTANCES: o número máximo de instâncias de contêiner a serem executadas no pool de workers. Se você omitir esse valor, o Cloud Run vai definir o máximo como 100 instâncias. PROJECT_ID: o ID do projeto Google Cloud .REGION: a região do Google Cloud em que o pool de workers está implantado, por exemplo,europe-west1.WORKER_POOL: o nome do pool de workers.
Configurar metas de CPU personalizadas e limites de instâncias
É possível personalizar a meta de uso da CPU, os limites mínimo e máximo de instâncias ou ambos. Qualquer configuração omitida usa o valor padrão (60% de meta de CPU, 1 instância mínima e 100 instâncias máximas). Atualizar a meta de uso da CPU ou os limites de instâncias em um pool de workers atual não cria uma nova revisão.
É possível configurar destinos de CPU personalizados e limites de instâncias usando a Google Cloud CLI, YAML ou a API REST:
gcloud
Para implantar um novo pool de workers com um destino de CPU personalizado, execute o seguinte comando com a flag
--scaling-cpu-target:gcloud beta run worker-pools deploy WORKER_POOL \ --image=IMAGE_URL \ --scaling-cpu-target=CPU_TARGET
Substitua:
WORKER_POOL: o nome do pool de workers.IMAGE_URL: uma referência à imagem de contêiner que contém o pool de workers, comous-docker.pkg.dev/cloudrun/container/worker-pool:latest.CPU_TARGET: a meta de uso da CPU. Especifique um valor de0.1a0.90.
Para atualizar um pool de workers com uma meta de CPU personalizada, execute o seguinte comando com a flag
--scaling-cpu-target:gcloud beta run worker-pools update WORKER_POOL \ --scaling-cpu-target=CPU_TARGET
Substitua:
WORKER_POOL: o nome do pool de workers.CPU_TARGET: a meta de uso da CPU. Especifique um valor de0.1a0.90.
Para atualizar um pool de workers com uma meta de CPU personalizada e limites de instância, execute o seguinte comando com as sinalizações
--scaling-cpu-target,--mine--max:gcloud beta run worker-pools update WORKER_POOL \ --scaling-cpu-target=CPU_TARGET \ --min=MIN_INSTANCES \ --max=MAX_INSTANCES
Substitua:
WORKER_POOL: o nome do pool de workers.CPU_TARGET: a meta de uso da CPU. Especifique um valor de0.1a0.90.- Opcional:
MIN_INSTANCES: o número mínimo de instâncias de contêiner a serem executadas para o pool de workers. Precisa ser1ou maior. Se você omitir esse valor, o Cloud Run vai definir o mínimo como 1 instância. - Opcional:
MAX_INSTANCES: o número máximo de instâncias de contêiner a serem executadas no pool de workers. Se você omitir esse valor, o Cloud Run vai definir o máximo como 100 instâncias.
YAML
Se você estiver criando um novo pool de workers, pule esta etapa. Se você estiver atualizando um pool de workers, faça o download da configuração YAML correspondente:
gcloud run worker-pools describe WORKER_POOL --format export > worker-pool.yaml
Adicione ou atualize as anotações
launch-stage,scalingMode,scaling-cpu-target,minScaleemaxScaleemmetadata.annotationse remova a anotaçãorun.googleapis.com/manualInstanceCount, se presente. É possível omitir qualquer anotação personalizada (scaling-cpu-target,minScaleoumaxScale) que você queira manter no valor padrão:apiVersion: run.googleapis.com/v1 kind: WorkerPool metadata: name: WORKER_POOL annotations: run.googleapis.com/launch-stage: BETA run.googleapis.com/scalingMode: automatic run.googleapis.com/scaling-cpu-target: 'CPU_TARGET' run.googleapis.com/minScale: 'MIN_INSTANCES' run.googleapis.com/maxScale: 'MAX_INSTANCES'
Substitua:
WORKER_POOL: o nome do pool de workers.CPU_TARGET: a meta de uso da CPU. Especifique um valor de0.1a0.90.- Opcional:
MIN_INSTANCES: o número mínimo de instâncias de contêiner a serem executadas para o pool de workers. Precisa ser1ou maior. Se você omitir esse valor, o Cloud Run vai definir o mínimo como 1 instância. - Opcional:
MAX_INSTANCES: o número máximo de instâncias de contêiner a serem executadas no pool de workers. Se você omitir esse valor, o Cloud Run vai definir o máximo como 100 instâncias.
Crie ou atualize o pool de workers usando o seguinte comando:
gcloud run worker-pools replace worker-pool.yaml
O comando
gcloud run worker-pools replaceusa o arquivoworker-pool.yamlpor padrão, se ele estiver presente.
API REST
Para configurar uma meta de CPU personalizada e limites de instância personalizados em um pool de workers atual, envie a seguinte solicitação HTTP PATCH para o endpoint workerPools.patch da API Cloud Run Admin:
curl -H "Content-Type: application/json" \ -H "Authorization: Bearer ACCESS_TOKEN" \ -X PATCH \ -d '{"launchStage":"BETA","scaling":{"scalingMode":"AUTOMATIC","cpuScaling":{"cpuUtilization":CPU_TARGET},"minInstanceCount":MIN_INSTANCES,"maxInstanceCount":MAX_INSTANCES}}' \ https://run.googleapis.com/v2/projects/PROJECT_ID/locations/REGION/workerPools/WORKER_POOL?update_mask=launchStage,scaling.scalingMode,scaling.manualInstanceCount,scaling.cpuScaling.cpuUtilization,scaling.minInstanceCount,scaling.maxInstanceCount
Substitua:
ACCESS_TOKEN: um token de acesso válido para uma conta que tenha as permissões do IAM para atualizar um pool de workers. Por exemplo, se você fez login na Google Cloud CLI, é possível recuperar um token de acesso executandogcloud auth print-access-token.CPU_TARGET: a meta de uso da CPU. Especifique um valor de0.1a0.90.- Opcional:
MIN_INSTANCES: o número mínimo de instâncias de contêiner a serem executadas para o pool de workers. Precisa ser1ou maior. Se você omitir esse valor, o Cloud Run vai definir o mínimo como 1 instância. - Opcional:
MAX_INSTANCES: o número máximo de instâncias de contêiner a serem executadas no pool de workers. Se você omitir esse valor, o Cloud Run vai definir o máximo como 100 instâncias. PROJECT_ID: o ID do projeto Google Cloud .REGION: a região do Google Cloud em que o pool de workers está implantado, por exemplo,europe-west1.WORKER_POOL: o nome do pool de workers.
Restaurar as configurações padrão de escalonamento automático
Quando você restaura uma meta de utilização de CPU personalizada ou limites de instância personalizados para os valores padrão, o Cloud Run reverte para a meta padrão de 60% de utilização de CPU, 1 instância mínima e 100 instâncias máximas, mantendo o escalonamento automático de CPU ativo.
É possível restaurar as configurações padrão de escalonamento automático usando a Google Cloud CLI, YAML ou a API REST:
gcloud
Para restaurar o destino de CPU padrão, execute o seguinte comando com a flag
--scaling-cpu-target=default:gcloud beta run worker-pools update WORKER_POOL \ --scaling-cpu-target=default
Substitua
WORKER_POOLpelo nome do pool de workers.Para restaurar os limites de instância padrão, execute o seguinte comando com as sinalizações
--min=defaulte--max=default:gcloud beta run worker-pools update WORKER_POOL \ --min=default \ --max=default
Substitua
WORKER_POOLpelo nome do pool de workers.
YAML
Se você estiver criando um novo pool de workers, pule esta etapa. Se você estiver atualizando um pool de workers, faça o download da configuração YAML correspondente:
gcloud run worker-pools describe WORKER_POOL --format export > worker-pool.yaml
Remova as anotações
scaling-cpu-target,minScaleemaxScaledemetadata.annotations. Atualize a anotaçãoscalingMode: automatic:apiVersion: run.googleapis.com/v1 kind: WorkerPool metadata: name: WORKER_POOL annotations: run.googleapis.com/launch-stage: BETA run.googleapis.com/scalingMode: automatic
Substitua
WORKER_POOLpelo nome do pool de workers.Crie ou atualize o pool de workers usando o seguinte comando:
gcloud run worker-pools replace worker-pool.yaml
O comando
gcloud run worker-pools replaceusa o arquivoworker-pool.yamlpor padrão, se ele estiver presente.
API REST
Para restaurar o destino de CPU padrão e os limites de instância padrão em um
pool de workers, envie a seguinte solicitação HTTP PATCH para o
endpoint workerPools.patch da
API Cloud Run Admin:
curl -H "Content-Type: application/json" \ -H "Authorization: Bearer ACCESS_TOKEN" \ -X PATCH \ -d '{"launchStage":"BETA","scaling":{"scalingMode":"AUTOMATIC","cpuScaling":{}}}' \ https://run.googleapis.com/v2/projects/PROJECT_ID/locations/REGION/workerPools/WORKER_POOL?update_mask=launchStage,scaling.scalingMode,scaling.cpuScaling.cpuUtilization,scaling.minInstanceCount,scaling.maxInstanceCount
Substitua:
ACCESS_TOKEN: um token de acesso válido para uma conta que tenha as permissões do IAM para atualizar um pool de workers. Por exemplo, se você fez login na Google Cloud CLI, é possível recuperar um token de acesso executandogcloud auth print-access-token.PROJECT_ID: o ID do projeto Google Cloud .REGION: a região do Google Cloud em que o pool de workers está implantado, por exemplo,europe-west1.WORKER_POOL: o nome do pool de workers.
Desativar o escalonamento automático de CPU
Para desativar o escalonamento automático de CPU e voltar o pool de workers para o escalonamento manual, especifique uma contagem fixa de instâncias usando a Google Cloud CLI, YAML ou a API REST:
gcloud
Para desativar o escalonamento automático de CPU em um pool de workers, execute o seguinte
comando com a flag
--scaling
definida como a contagem de instâncias fixa:
gcloud beta run worker-pools update WORKER_POOL \ --scaling=INSTANCE_COUNT
Substitua:
WORKER_POOL: o nome do pool de workers.INSTANCE_COUNT: o número fixo de instâncias a serem executadas no modo de escalonamento manual.
YAML
Se você estiver criando um novo pool de workers, pule esta etapa. Se você estiver atualizando um pool de workers, faça o download da configuração YAML correspondente:
gcloud run worker-pools describe WORKER_POOL --format export > worker-pool.yaml
Defina
scalingModecomomanual, especifiquemanualInstanceCounte removascaling-cpu-target,minScaleemaxScale, se houver:apiVersion: run.googleapis.com/v1 kind: WorkerPool metadata: name: WORKER_POOL annotations: run.googleapis.com/scalingMode: manual run.googleapis.com/manualInstanceCount: "INSTANCE_COUNT"
Substitua:
WORKER_POOL: o nome do pool de workers.INSTANCE_COUNT: o número fixo de instâncias a serem executadas no modo de escalonamento manual.
Crie ou atualize o pool de workers usando o seguinte comando:
gcloud run worker-pools replace worker-pool.yaml
O comando
gcloud run worker-pools replaceusa o arquivoworker-pool.yamlpor padrão, se ele estiver presente.
API REST
Para desativar o escalonamento automático de CPU em um pool de workers, envie a seguinte solicitação HTTP PATCH para o endpoint workerPools.patch da API Cloud Run Admin:
curl -H "Content-Type: application/json" \ -H "Authorization: Bearer ACCESS_TOKEN" \ -X PATCH \ -d '{"scaling":{"scalingMode":"MANUAL","manualInstanceCount":INSTANCE_COUNT}}' \ https://run.googleapis.com/v2/projects/PROJECT_ID/locations/REGION/workerPools/WORKER_POOL?update_mask=scaling.scalingMode,scaling.manualInstanceCount,scaling.cpuScaling,scaling.minInstanceCount,scaling.maxInstanceCount
Substitua:
ACCESS_TOKEN: um token de acesso válido para uma conta que tenha as permissões do IAM para atualizar um pool de workers. Por exemplo, se você fez login na Google Cloud CLI, é possível recuperar um token de acesso executandogcloud auth print-access-token.INSTANCE_COUNT: o número fixo de instâncias a serem executadas no modo de escalonamento manual.PROJECT_ID: o ID do projeto Google Cloud .REGION: a região do Google Cloud em que o pool de workers está implantado, por exemplo,europe-west1.WORKER_POOL: o nome do pool de workers.
Ver as configurações de escalonamento automático da CPU
Para conferir a configuração de escalonamento automático de CPU do pool de workers, execute o comando gcloud beta run worker-pools describe:
gcloud beta run worker-pools describe WORKER_POOL
Substitua WORKER_POOL pelo nome do pool de workers.
Sobre o escalonamento automático de CPU
Por padrão, o escalonamento automático de CPU tem como meta 60% de uso médio da CPU (run.googleapis.com/container/cpu/utilizations) e escalona o pool de workers entre 1 e 100 instâncias.
Quando você ativa o escalonamento automático de CPU, o Cloud Run calcula o número necessário de instâncias para o pool de workers calculando a média do uso de CPU por segundo no último minuto em todas as instâncias em execução e divide esse valor pelo número de CPUs por instância. O resultado é dividido pela meta de CPU:
\[ \text{Instances} = \left\lceil \dfrac{\left( \frac{\text{Average CPU usage per second over the past minute}}{\text{Number of CPUs per instance}} \right)}{\text{CPU target}} \right\rceil \]
O Cloud Run ajusta o número de instâncias do pool de workers usando os seguintes comportamentos:
- Arredondamento: o Cloud Run calcula a contagem de instâncias necessária com base no uso medido da CPU e na meta, não no número de instâncias em execução, e arredonda o resultado para a próxima instância inteira. Devido a esse arredondamento, o pool de workers pode escalonar verticalmente enquanto a utilização ainda está abaixo da meta. Por exemplo, um pool de workers que precisa de 4,1 instâncias executa 5 instâncias.
- Escalonamento no nível do pool e divisões de instâncias: o Cloud Run calcula a contagem total de instâncias para todo o pool de workers e, em seguida, distribui essas instâncias entre as revisões ativas com base nas divisões de instâncias configuradas.
- Estabilização de redução de escala vertical de cinco minutos: o Cloud Run usa uma janela de estabilização de cinco minutos (300 segundos) ao reduzir a escala vertical. Para evitar flutuações frequentes de instâncias, o Cloud Run mantém a contagem de instâncias na recomendação mais alta dos últimos 5 minutos.
Escolher uma meta de uso da CPU
É possível usar a meta padrão de 60% de utilização da CPU ou configurar uma meta personalizada de 10% a 90% com base no perfil da carga de trabalho e na tolerância de latência usando as seguintes diretrizes:
- Meta de CPU mais alta (80% a 90%): use uma meta mais alta para cargas de trabalho em segundo plano estáveis e previsíveis ou tarefas de processamento em lote que não são sensíveis à latência. Uma meta mais alta maximiza a utilização de recursos e reduz o custo da infraestrutura, mas deixa menos espaço para picos repentinos de trabalho, o que pode levar à limitação da CPU ou ao aumento da latência de processamento enquanto novas instâncias são iniciadas.
- Meta de CPU mais baixa (20% a 40%): use uma meta mais baixa para cargas de trabalho com demanda de CPU instável ou imprevisível, requisitos rígidos de latência de processamento ou tempos de inicialização de contêiner mais longos. Uma meta mais baixa fornece um buffer para absorver picos repentinos de atividade provisionando mais instâncias antes, ajudando a evitar a degradação do desempenho. A desvantagem é o custo mais alto, porque mais instâncias são executadas em condições normais de carga.
Recomendamos que você comece com o destino padrão, monitore a métrica
run.googleapis.com/container/instance_count
no Cloud Monitoring e ajuste o destino
com base em testes de carga e observações de desempenho.