O Google usa tecnologia de IA na tradução de conteúdos para seu idioma de preferência. As traduções com IA podem ter erros.

Suporte a GPU para pools de workers

Esta página descreve a configuração de GPU para os pools de workers do Cloud Run. O Google fornece a GPU NVIDIA RTX PRO 6000 Blackwell com 96 GB de memória de GPU (VRAM) e GPUs NVIDIA L4 com 24 GB de memória de GPU (VRAM), que é separada da memória da instância.

A GPU no Cloud Run é totalmente gerenciada, sem drivers ou bibliotecas extras necessários. O recurso GPU oferece disponibilidade sob demanda sem necessidade de reservas, semelhante à maneira como CPU e memória sob demanda funcionam no Cloud Run.

As instâncias do Cloud Run com uma GPU NVIDIA RTX PRO 6000 Blackwell ou L4 anexada e drivers pré-instalados são iniciadas em aproximadamente cinco segundos. Nesse momento, os processos em execução no seu contêiner podem começar a usar a GPU.

Você pode configurar uma GPU por instância do Cloud Run. Se você usar contêineres secundários a GPU só pode ser conectada a um único contêiner.

Tipos de GPU compatíveis

O Cloud Run é compatível com dois tipos de GPUs:

GPU NVIDIA RTX PRO 6000 Blackwell com a versão atual do driver NVIDIA: 580.x.x (13.0). Para a GPU NVIDIA RTX PRO 6000 Blackwell, é necessário usar pelo menos 20 CPUs e 80 GiB de memória.
GPU L4 com a versão atual do driver NVIDIA: 580.x.x (13.0). Para GPUs L4, é necessário usar pelo menos 4 CPUs e 16 GiB de memória.

Regiões compatíveis

As seguintes regiões são compatíveis com a GPU NVIDIA RTX PRO 6000 Blackwell:

asia-southeast1 (Singapura).
asia-south2 (Déli, Índia).
europe-west4 (Países Baixos) Baixo CO₂
us-central1 (Iowa) Baixo CO₂

As seguintes regiões são compatíveis com a GPU L4:

asia-southeast1 (Singapura)
asia-south1 (Mumbai) . Essa região está disponível apenas para convidados. Entre em contato com sua equipe de contas do Google se tiver interesse nessa região.
europe-west1 (Bélgica) Baixo CO₂
europe-west4 (Países Baixos) Baixo CO₂
us-central1 (Iowa) Baixo CO₂ . O escalonamento de recursos adicionais nessa região pode exigir uma solicitação de aumento de cota. Entre em contato com sua equipe de contas do Google se tiver interesse nessa região.
us-east4 (Norte da Virgínia) . O escalonamento de recursos adicionais nessa região pode exigir uma solicitação de aumento de cota. Entre em contato com a equipe de contas do Google se tiver interesse nessa região.

Impacto no preço

Consulte os detalhes de preços de GPU em Preços do Cloud Run. Observe os seguintes requisitos e considerações:

Há uma diferença de custo entre a redundância zonal de GPU e a redundância não zonal. Consulte os detalhes de preços de GPU em Preços do Cloud Run.
Não é possível escalonar automaticamente pools de workers de GPU. A GPU será cobrada mesmo que não esteja executando nenhum processo e enquanto a instância de GPU do pool de workers estiver em execução.
A CPU e a memória dos pools de workers têm preços diferentes dos serviços e jobs. No entanto, a SKU de GPU tem o mesmo preço que os serviços e jobs.
As configurações de CPU e memória do recurso.
A GPU é cobrada de acordo com a duração total do ciclo de vida da instância.

Opções de redundância zonal de GPU

Por padrão, o Cloud Run implanta o pool de workers em várias zonas de uma região. Essa arquitetura oferece resiliência inerente: se uma zona sofrer uma interrupção, o Cloud Run vai rotear automaticamente o tráfego da zona afetada para zonas íntegras na mesma região.

Ao trabalhar com recursos de GPU, lembre-se de que eles têm restrições de capacidade específicas. Durante uma interrupção zonal, o mecanismo de failover padrão para cargas de trabalho de GPU depende da disponibilidade de capacidade de GPU não utilizada suficiente nas zonas íntegras restantes. Devido à natureza restrita das GPUs, essa capacidade pode nem sempre estar disponível.

Para aumentar a disponibilidade dos pools de workers acelerados por GPU durante interrupções zonais, configure a redundância zonal especificamente para GPUs:

Redundância zonal ativada (padrão): o Cloud Run reserva capacidade de GPU para seu pool de workers em várias zonas. Isso aumenta significativamente a probabilidade de o pool de workers lidar com o tráfego redirecionado de uma zona afetada, oferecendo maior confiabilidade durante falhas zonais com custo adicional por segundo de GPU.
Redundância zonal desativada: o Cloud Run tenta fazer o failover para cargas de trabalho de GPU com base no melhor esforço. O tráfego é roteado para outras zonas somente se houver capacidade de GPU suficiente disponível no momento. Essa opção não garante capacidade reservada para cenários de failover, mas resulta em um custo menor por segundo de GPU.

SLA

O SLA da GPU do Cloud Run depende se o pool de workers usa a opção de redundância zonal ou não zonal. Consulte a página do SLA para mais detalhes.

Solicitar aumento de cota

A cota para a GPU nvidia-rtx-pro-6000 do Cloud Run é concedida em milliGPUs. Os projetos que usam a GPU nvidia-rtx-pro-6000 em uma região pela primeira vez recebem automaticamente uma cota de 3.000 milliGPU (redundância zonal desativada) quando a primeira implantação é criada. Isso equivale a 3 GPUs. Os projetos que usam GPUs do Cloud Run nvidia-l4 em uma região pela primeira vez recebem automaticamente uma cota de 3 GPUs (redundância zonal desativada) quando a primeira implantação é criada.

Se você precisar de mais GPUs do Cloud Run, solicite um aumento de cota para o pool de workers do Cloud Run. Use os links fornecidos nos botões a seguir para solicitar a cota necessária.

Cota necessária	Link da cota
GPU NVIDIA RTX PRO 6000 Blackwell com redundância zonal desativada (preço mais baixo)	Solicitar cota de GPU sem redundância zonal
GPU NVIDIA RTX PRO 6000 Blackwell com redundância zonal ativada (preço mais alto)	Solicitar cota de GPU com redundância zonal
GPU L4 com redundância zonal desativada (preço mais baixo)	Solicitar cota de GPU sem redundância zonal
GPU L4 com redundância zonal ativada (preço mais alto)	Solicitar cota de GPU com redundância zonal

Para mais informações sobre como solicitar aumentos de cota, consulte Como aumentar a cota.

Antes de começar

A lista a seguir descreve os requisitos e as limitações ao usar GPUs no Cloud Run:

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
Roles required to select or create a project
- Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
- Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.
Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector
Verify that billing is enabled for your Google Cloud project.
Ative a API Cloud Run, se ainda não tiver feito isso.
Funções necessárias para ativar APIs
Para ativar APIs, você precisa da permissão serviceusage.services.enable. Se você criou o projeto, provavelmente já tem essa permissão pelo papel de proprietário (roles/owner). Caso contrário, é possível conseguir essa permissão pelo papel de administrador do Service Usage (roles/serviceusage.serviceUsageAdmin). Saiba como conceder papéis.
Ativar a API

Solicite a cota necessária.
Consulte as Práticas recomendadas de GPU: pools de workers do Cloud Run com GPUs para conferir recomendações sobre como criar a imagem do contêiner e carregar modelos grandes.
Verifique se o pool de workers do Cloud Run tem as seguintes configurações:

Defina as configurações de faturamento para faturamento com base em instâncias. Os pools de workers definidos para faturamento com base em instâncias ainda podem ser reduzidos a zero.
Para a GPU NVIDIA RTX PRO 6000 Blackwell, configure um mínimo de 20 CPUs e um mínimo de 80 GiB de memória.
Para a GPU L4, configure um mínimo de 4 CPUs para o pool de workers, sendo recomendado 8 CPUs, e um mínimo de 16 GiB de memória, sendo recomendado 32 GiB.
Determine e defina uma simultaneidade máxima ideal para o uso da GPU.

Funções exigidas

Para receber as permissões necessárias para configurar e implantar pools de workers do Cloud Run, peça ao administrador para conceder a você os seguintes papéis do IAM em workerpools:

Desenvolvedor do Cloud Run (roles/run.developer): o pool de workers do Cloud Run
Usuário da conta de serviço (roles/iam.serviceAccountUser) – a identidade de serviço

Para uma lista de papéis e permissões do IAM associados ao Cloud Run, consulte Papéis do IAM do Cloud Run e Permissões do IAM do Cloud Run. Se o pool de workers do Cloud Run interagir com APIs doGoogle Cloud , como bibliotecas de cliente do Cloud, consulte o guia de configuração de identidade de serviço. Para mais informações sobre como conceder papéis, consulte permissões de implantação e gerenciar acesso.

Configurar um pool de workers do Cloud Run com GPU

Qualquer mudança na configuração leva à criação de uma nova revisão. As próximas revisões também recebem automaticamente essa configuração, a menos que você faça atualizações explícitas para alterá-la.

É possível usar o console do Google Cloud , a Google Cloud CLI ou o YAML para configurar a GPU.

Console

No console do Google Cloud , acesse o Cloud Run:

Acessar o Cloud Run
Selecione Pools de workers no menu de navegação do Cloud Run e clique em Implantar contêiner para configurar um novo pool de workers. Se você estiver configurando um pool de workers atual, clique nele e em Editar e implantar nova revisão.
Se você estiver configurando um novo pool de workers, preencha a página inicial de configurações do pool de workers e clique em Contêineres, rede, segurança para expandir a página de configuração do pool de workers.
Clique na guia Contêineres.
- Configurar CPU, memória, simultaneidade, ambiente de execução e a sondagem de inicialização, seguindo as recomendações em Antes de começar.
- Marque a caixa de seleção da GPU e selecione o tipo de GPU no menu Tipo de GPU e o número de GPUs no menu Número de GPUs.
- Por padrão, a redundância zonal está ativada. Para mudar a configuração atual, marque a caixa de seleção da GPU para mostrar as opções de redundância de GPU.
Clique em Criar ou Implantar.

gcloud

Para criar um pool de workers com GPU, use o comando gcloud run worker-pools deploy:

  gcloud run worker-pools deploy WORKER_POOL \
    --image IMAGE_URL \
    --gpu 1

Substitua:

WORKER_POOL: o nome do pool de workers do Cloud Run.
IMAGE_URL: uma referência à imagem de contêiner que contém o pool de workers, como us-docker.pkg.dev/cloudrun/container/worker-pool:latest.

Para atualizar a configuração de GPU de um pool de workers, use o comando gcloud run worker-pools update:

  gcloud run worker-pools update WORKER_POOL \
    --image IMAGE_URL \
    --cpu CPU \
    --memory MEMORY \
    --gpu GPU_NUMBER \
    --gpu-type GPU_TYPE \
    --GPU_ZONAL_REDUNDANCY

Substitua:

WORKER_POOL: o nome do pool de workers do Cloud Run.
IMAGE_URL: uma referência à imagem de contêiner que contém o pool de workers, como us-docker.pkg.dev/cloudrun/container/worker-pool:latest.
CPU: o número de CPUs. Para a GPU NVIDIA RTX PRO 6000 Blackwell, é necessário especificar pelo menos 20 CPU. Para a GPU NVIDIA L4, é preciso especificar pelo menos 4 CPU.
MEMORY: a quantidade de memória. Para a GPU NVIDIA RTX PRO 6000 Blackwell, especifique pelo menos 80Gi (80 GiB). Para a GPU NVIDIA L4, é necessário especificar pelo menos 16Gi (16 GiB).
GPU_NUMBER: o valor 1 (um). Se isso não for especificado, mas um GPU_TYPE estiver presente, o padrão será 1.
GPU_TYPE: o tipo de GPU. GPU NVIDIA RTX PRO 6000 Blackwell, insira nvidia-rtx-pro-6000. Para a GPU L4, insira o valor nvidia-l4 (nvidia-L4 com L minúsculo, não o valor numérico 14).
GPU_ZONAL_REDUNDANCY: no-gpu-zonal-redundancy para desativar a redundância zonal ou gpu-zonal-redundancy para ativá-la.

YAML

Se você estiver criando um novo pool de workers, pule esta etapa. Se você estiver atualizando um pool de workers, faça o download da configuração YAML correspondente:
```
gcloud run worker-pools describe WORKER_POOL --format export > worker-pool.yaml
```
Atualize o atributo nvidia.com/gpu: e nodeSelector: run.googleapis.com/accelerator::
```
apiVersion: run.googleapis.com/v1
kind: WorkerPool
metadata:
  name: WORKER_POOL
spec:
  template:
    metadata:
      annotations:
        run.googleapis.com/gpu-zonal-redundancy-disabled: 'GPU_ZONAL_REDUNDANCY'
    spec:
      containers:
      - image: IMAGE_URL
        resources:
          limits:
            cpu: 'CPU'
            memory: 'MEMORY'
            nvidia.com/gpu: '1'
      nodeSelector:
        run.googleapis.com/accelerator: GPU_TYPE
```
Substitua:
- WORKER_POOL: o nome do pool de workers do Cloud Run.
- IMAGE_URL: uma referência à imagem de contêiner que contém o pool de workers, como us-docker.pkg.dev/cloudrun/container/worker-pool:latest.
- CPU: o número de CPUs. Para a GPU NVIDIA RTX PRO 6000 Blackwell, é necessário especificar pelo menos 20 CPU. Para a GPU L4, é preciso especificar pelo menos 4 CPU.
- MEMORY: a quantidade de memória. Para a GPU NVIDIA RTX PRO 6000 Blackwell, especifique pelo menos 80Gi (80 GiB). Para a GPU L4, é necessário especificar pelo menos 16Gi (16 GiB).
- GPU_TYPE: o tipo de GPU. Para a GPU NVIDIA RTX PRO 6000 Blackwell, insira nvidia-rtx-pro-6000. Para a GPU L4, insira o valor nvidia-l4 (nvidia-L4 com L minúsculo, não o valor numérico 14).
- GPU_ZONAL_REDUNDANCY: false para ativar a redundância zonal de GPU ou true para desativá-la.
Crie ou atualize o pool de workers usando o seguinte comando:
```
gcloud run worker-pools replace worker-pool.yaml
```
O comando gcloud run worker-pools replace usa o arquivo worker-pool.yaml por padrão, se ele estiver presente.

Terraform

Para saber como aplicar ou remover uma configuração do Terraform, consulte Comandos básicos do Terraform.

resource "google_cloud_run_v2_worker_pool" "default" {
  provider = google-beta
  name     = "WORKER_POOL"
  location = "REGION"

  template {
    gpu_zonal_redundancy_disabled = "GPU_ZONAL_REDUNDANCY"
    containers {
      image = "IMAGE_URL"
      resources {
        limits = {
          "cpu" = "CPU"
          "memory" = "MEMORY"
          "nvidia.com/gpu" = "1"
        }
      }
    }
    node_selector {
      accelerator = "GPU_TYPE"
    }
  }
}

Substitua:

WORKER_POOL: o nome do pool de workers do Cloud Run.
GPU_ZONAL_REDUNDANCY: false para ativar a redundância zonal de GPU ou true para desativá-la.
IMAGE_URL: uma referência à imagem de contêiner que contém o pool de workers, como us-docker.pkg.dev/cloudrun/container/worker-pool:latest.
CPU: o número de CPUs. Para a GPU NVIDIA RTX PRO 6000 Blackwell, é necessário especificar pelo menos 20 CPU. Para a GPU NVIDIA L4, é necessário especificar pelo menos 4 CPU.
MEMORY: a quantidade de memória. Para a GPU NVIDIA RTX PRO 6000 Blackwell, especifique pelo menos 80Gi (80 GiB). Para a GPU NVIDIA L4, é necessário especificar pelo menos 16Gi (16 GiB).
GPU_TYPE: o tipo de GPU. GPU NVIDIA RTX PRO 6000 Blackwell, insira nvidia-rtx-pro-6000. Para a GPU L4, insira o valor nvidia-l4 (nvidia-L4 com L minúsculo, não o valor numérico 14).

Conferir as configurações da GPU

Para ver as configurações atuais de GPU do pool de workers do Cloud Run, use o console do Google Cloud ou a Google Cloud CLI:

Console

No console do Google Cloud , acesse a página de pools de workers do Cloud Run:

Acessar os pools de workers do Cloud Run
Clique no pool de workers para abrir a página Detalhes dos pools de workers.
Clique em Editar e implantar nova revisão.
Localize a configuração da GPU nos detalhes da configuração.

gcloud

Execute este comando:

gcloud run worker-pools describe WORKER_POOL

Localize a configuração da GPU na configuração retornada.

Remover GPU

É possível remover a GPU usando o console do Google Cloud , a Google Cloud CLI ou o YAML.

Console

No console do Google Cloud , acesse o Cloud Run:

Acessar o Cloud Run
Selecione Pools de workers no menu de navegação do Cloud Run e clique em Implantar contêiner para configurar um novo pool de workers. Se você estiver configurando um pool de workers atual, clique nele e em Editar e implantar nova revisão.
Se você estiver configurando um novo pool de workers, preencha a página inicial de configurações do pool de workers e clique em Contêineres, rede, segurança para expandir a página de configuração do pool de workers.
Clique na guia Contêineres.

imagem

Desmarque a caixa de seleção da GPU.

Clique em Criar ou Implantar.

gcloud

Para remover a GPU, defina o número de GPUs como 0:

  gcloud run worker-pools update WORKER_POOL --gpu 0

Substitua WORKER_POOL pelo nome do pool de workers do Cloud Run.

YAML

Se você estiver criando um novo pool de workers, pule esta etapa. Se você estiver atualizando um pool de workers, faça o download da configuração YAML correspondente:
```
gcloud run worker-pools describe WORKER_POOL --format export > worker-pool.yaml
```
Exclua as linhas nvidia.com/gpu: e nodeSelector: run.googleapis.com/accelerator: GPU_TYPE.
Crie ou atualize o pool de workers usando o seguinte comando:
```
gcloud run worker-pools replace worker-pool.yaml
```
O comando gcloud run worker-pools replace usa o arquivo worker-pool.yaml por padrão, se ele estiver presente.

Bibliotecas de drivers

Por padrão, todas as bibliotecas de drivers da GPU NVIDIA RTX PRO 6000 Blackwell e da GPU NVIDIA L4 são montadas em /usr/local/nvidia/lib64. O Cloud Run anexa automaticamente esse caminho à variável de ambiente LD_LIBRARY_PATH (ou seja, ${LD_LIBRARY_PATH}:/usr/local/nvidia/lib64) do contêiner com a GPU. Isso permite que o vinculador dinâmico encontre as bibliotecas de drivers da NVIDIA. O vinculador pesquisa e resolve caminhos na ordem listada na variável de ambiente LD_LIBRARY_PATH. Os valores especificados nessa variável têm precedência sobre o caminho padrão das bibliotecas de driver do Cloud Run /usr/local/nvidia/lib64.

Se você quiser usar uma versão do CUDA maior que 13.0, a maneira mais fácil é depender de uma imagem base NVIDIA mais recente com pacotes de compatibilidade futura já instalados. Outra opção é instalar manualmente os pacotes de compatibilidade futura da NVIDIA e adicioná-los a LD_LIBRARY_PATH. Consulte a matriz de compatibilidade da NVIDIA para determinar quais versões do CUDA são compatíveis com a versão do driver fornecido.

Suporte a GPU para pools de workers Mantenha tudo organizado com as coleções Salve e categorize o conteúdo com base nas suas preferências.

Tipos de GPU compatíveis

Regiões compatíveis

Impacto no preço

Opções de redundância zonal de GPU

SLA

Solicitar aumento de cota

Antes de começar

Funções exigidas

Configurar um pool de workers do Cloud Run com GPU

Console

gcloud

YAML

Terraform

Conferir as configurações da GPU

Console

gcloud

Remover GPU

Console

gcloud

YAML

Bibliotecas de drivers

Suporte a GPU para pools de workers