Configura la GPU per i job Cloud Run

Puoi utilizzare la GPU con i job Cloud Run per l'AI e altri workload ad alta intensità di calcolo. Per quanto riguarda l'addestramento, la GPU eccelle nella gestione di attività LLM che richiedono molte risorse, come l'inferenza, l'elaborazione di video e i job di grafica in background. Google fornisce la GPU NVIDIA RTX PRO 6000 Blackwell con 96 GB di memoria GPU (VRAM) per una GPU completa o 48 GB di memoria GPU (VRAM) per una GPU frazionaria (0,5) e la GPU NVIDIA L4 con 24 GB di memoria GPU (VRAM). La memoria GPU è separata dalla memoria dell'istanza.

Quando utilizzi un LLM, assicurati di consultare anche le Best practice: job Cloud Run con GPU.

La GPU su Cloud Run è completamente gestita e non richiede driver o librerie aggiuntivi. Cloud Run GPU offre disponibilità on demand senza necessità di prenotazioni, in modo simile al funzionamento della CPU on demand e della memoria on demand in Cloud Run.

Le istanze container di Cloud Run con una GPU NVIDIA RTX PRO 6000 Blackwell o L4 si avviano in circa 5 secondi. Il container può utilizzare la GPU non appena l'avvio è completato.

Puoi configurare fino a una GPU per istanza di container Cloud Run. Se utilizzi container sidecar, la GPU può essere collegata a un solo container.

Tipi di GPU supportati

Cloud Run supporta due tipi di GPU:

  • GPU NVIDIA RTX PRO 6000 Blackwell:

    • GPU completa con la versione attuale del driver NVIDIA 580.x.x (13.0). Questa GPU richiede almeno 20 CPU e 80 GiB di memoria.
    • La GPU frazionaria con la versione attuale del driver NVIDIA è 580.x.x (13.0), tipo: GRID. La GPU frazionaria (0.5 GPU, 48 GB di VRAM) richiede 10, 12, 14 o 16 CPU e almeno 40 GiB di memoria (fino a 4 GiB per CPU).
  • GPU L4 con la versione attuale del driver NVIDIA: 580.x.x (13.0). Per la GPU L4, devi utilizzare almeno 4 CPU e 16 GiB di memoria. La GPU frazionaria non è supportata sulla GPU L4.

GPU frazionaria

La GPU frazionaria ti consente di ridurre l'allocazione della GPU per i modelli che non richiedono una GPU completa, pur continuando a sfruttare l'architettura e le prestazioni avanzate della GPU. Con una GPU frazionaria, puoi avere una soluzione più conveniente per i workload di inferenza che non richiedono le funzionalità complete di una GPU NVIDIA RTX PRO 6000 Blackwell di dimensioni standard. Consulta la sezione Problemi noti per le limitazioni delle GPU frazionarie.

Aree geografiche supportate

La GPU NVIDIA RTX PRO 6000 Blackwell è supportata nelle seguenti regioni:

Le GPU NVIDIA RTX PRO 6000 Blackwell frazionarie (anteprima) sono disponibili nelle seguenti regioni:

Le seguenti regioni sono supportate dalla GPU L4:

  • asia-southeast1 (Singapore)
  • asia-south1 (Mumbai) . Questa regione è disponibile solo su invito. Contatta il team degli Account Google se ti interessa questa regione.
  • europe-west1 (Belgio) icona foglia Bassi livelli di CO2
  • europe-west4 (Paesi Bassi) icona foglia Bassi livelli di CO2
  • us-central1 (Iowa) icona foglia Bassi livelli di CO2 . La scalabilità di risorse aggiuntive in questa regione potrebbe richiedere una richiesta di aumento della quota. Contatta il team degli Account Google se ti interessa questa regione.
  • us-east4 (Virginia del Nord) . La scalabilità di risorse aggiuntive in questa regione potrebbe richiedere una richiesta di aumento della quota. Contatta il team degli Account Google se ti interessa questa regione.

Impatto sui prezzi

Consulta i prezzi di Cloud Run per i dettagli sui prezzi delle GPU. Tieni presente i seguenti requisiti e considerazioni:

  • Le GPU per i job seguono i prezzi senza ridondanza a livello di zona.
  • Le configurazioni di CPU e memoria della risorsa influiscono sui prezzi.
  • La GPU viene fatturata per l'intera durata del ciclo di vita dell'istanza.

Ridondanza non a livello di zona della GPU

La funzionalità dei job Cloud Run fornisce il supporto della ridondanza non di zona solo per le istanze abilitate per GPU. Con la ridondanza non a livello di zona abilitata, Cloud Run tenta il failover per i job abilitati per GPU secondo il criterio del "best effort". Cloud Run indirizza le esecuzioni dei job ad altre zone solo se in quel momento è disponibile una capacità GPU sufficiente. Questa opzione non garantisce la capacità prenotata per gli scenari di failover, ma comporta un costo inferiore per secondo-GPU.

Consulta Configura un job Cloud Run con GPU per informazioni dettagliate sull'attivazione della ridondanza non a livello di zona.

Richiedi un aumento della quota

La quota per la GPU Cloud Run nvidia-rtx-pro-6000 viene concessa in milliGPU. Una GPU nvidia-rtx-pro-6000 intera (1) consuma 1000 milliGPU di quota, mentre una GPU nvidia-rtx-pro-6000 frazionaria (0.5) consuma 500 milliGPU di quota. Ai progetti che utilizzano la GPU nvidia-rtx-pro-6000 in una regione per la prima volta verrà concessa automaticamente una quota di 3000 milliGPU (ridondanza a livello di zona disattivata) al momento della creazione del primo deployment. Ciò equivale a 3 GPU complete o 6 GPU frazionarie (0.5). Ai progetti che utilizzano la GPU Cloud Run nvidia-l4 in una regione per la prima volta viene concessa automaticamente una quota di 3 GPU (ridondanza a livello di zona disattivata) quando viene creato il primo deployment.

Tieni presente che questa concessione automatica della quota è soggetta a disponibilità in base alla capacità della CPU e della memoria. In questo modo, viene limitato il numero di GPU che potrebbero essere attive in tutti i servizi, i job e i pool di worker del progetto in un determinato momento.

Se hai bisogno di GPU Cloud Run aggiuntive per i job, richiedi un aumento della quota.

Prima di iniziare

Il seguente elenco descrive i requisiti e le limitazioni per l'utilizzo delle GPU in Cloud Run:

  1. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator role (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  2. Verify that billing is enabled for your Google Cloud project.

  3. Abilita l'API Cloud Run, se non è già abilitata.

    Ruoli richiesti per abilitare le API

    Per abilitare le API, devi disporre dell'autorizzazione serviceusage.services.enable. Se hai creato il progetto, probabilmente disponi già di questa autorizzazione tramite il ruolo Proprietario (roles/owner). In caso contrario, puoi ottenere questa autorizzazione tramite il ruolo Amministratore Service Usage (roles/serviceusage.serviceUsageAdmin). Scopri come concedere i ruoli.

    Abilitare l'API

  4. Consulta le best practice per i job Cloud Run con GPU per ottimizzare le prestazioni quando utilizzi i job Cloud Run con GPU.
  5. Assicurati che il job soddisfi i requisiti minimi di memoria e CPU in base al tipo di GPU che stai utilizzando.

Ruoli obbligatori

Per ottenere le autorizzazioni necessarie per configurare i job Cloud Run, chiedi all'amministratore di concederti i seguenti ruoli IAM sui job:

  • Cloud Run Developer (roles/run.developer) - il job Cloud Run
  • Service Account User (roles/iam.serviceAccountUser) - l'identità di servizio

Per un elenco di ruoli e autorizzazioni IAM associati a Cloud Run, consulta Ruoli IAM di Cloud Run e Autorizzazioni IAM di Cloud Run. Se il tuo job Cloud Run interagisce con le APIGoogle Cloud , come le librerie client Cloud, consulta la guida alla configurazione dell'identità del servizio. Per saperne di più sulla concessione dei ruoli, consulta Autorizzazioni di deployment e Gestisci l'accesso.

Configura un job Cloud Run per l'utilizzo della GPU

Puoi configurare un job Cloud Run in modo che utilizzi la GPU utilizzando la consoleGoogle Cloud , gcloud CLI o YAML:

Console

  1. Nella console Google Cloud , vai alla pagina Cloud Run:

    Vai a Cloud Run

  2. Seleziona Job dal menu di navigazione di Cloud Run:

    1. Se stai creando un nuovo job, fai clic su Esegui il deployment del container per compilare la pagina delle impostazioni iniziali del job.

    2. Se stai configurando un job esistente, selezionalo e poi fai clic su Visualizza e modifica la configurazione del job.

  3. Fai clic su Container, connessioni, sicurezza per espandere la pagina delle proprietà del job.

  4. Fai clic sulla scheda Container.

  5. Configura la memoria e la CPU in base ai requisiti descritti in Tipi di GPU supportati.

  6. Seleziona la casella di controllo GPU.

  7. Seleziona il Tipo di GPU e il Numero di GPU.

  8. Fai clic su Crea o Aggiorna.

gcloud

Per attivare la ridondanza non di zona, devi specificare --no-gpu-zonal-redundancy. Questo è necessario per utilizzare la GPU con i job.

Per creare un job con GPU abilitata, utilizza il comando gcloud run jobs create:

    gcloud run jobs create JOB \
      --image=IMAGE_URL \
      --gpu=GPU_NUMBER \
      --gpu-type=GPU_TYPE \
      --no-gpu-zonal-redundancy

Sostituisci quanto segue:

  • JOB: il nome del job Cloud Run.
  • IMAGE_URL: un riferimento all'immagine container, ad esempio us-docker.pkg.dev/cloudrun/container/job:latest.
  • GPU_NUMBER: il numero di GPU da collegare (1 per una GPU completa o 0.5 per una GPU frazionaria).
  • GPU_TYPE: il tipo di GPU. Per la GPU NVIDIA RTX PRO 6000 Blackwell, inserisci nvidia-rtx-pro-6000. Per la GPU L4, inserisci il valore nvidia-l4 (nvidia-L4 con L minuscola, non il valore numerico quattordici).

Per aggiornare la configurazione della GPU per un job, utilizza il comando gcloud run jobs update:

    gcloud run jobs update JOB \
      --image IMAGE_URL \
      --cpu CPU \
      --memory MEMORY \
      --gpu GPU_NUMBER \
      --gpu-type GPU_TYPE \
      --parallelism PARALLELISM \
      --no-gpu-zonal-redundancy

Sostituisci quanto segue:

  • JOB: il nome del job Cloud Run.
  • IMAGE_URL: un riferimento all'immagine container, ad esempio us-docker.pkg.dev/cloudrun/container/job:latest.
  • CPU: il numero di CPU. Assicurati che soddisfi i requisiti minimi.
  • MEMORY: la quantità di memoria. Assicurati che soddisfi i requisiti minimi.
  • GPU_NUMBER: il numero di GPU da collegare (1 per una GPU completa o 0.5 per una GPU frazionaria).
  • GPU_TYPE: il tipo di GPU. Per la GPU NVIDIA RTX PRO 6000 Blackwell, inserisci nvidia-rtx-pro-6000. Per la GPU L4, inserisci il valore nvidia-l4 (nvidia-L4 con L minuscola, non il valore numerico quattordici).
  • PARALLELISM: un valore intero inferiore al valore più basso dei limiti di quota applicabili che hai allocato per il tuo progetto.

YAML

Devi impostare l'annotazione run.googleapis.com/gpu-zonal-redundancy-disabled: su true. In questo modo viene abilitata la ridondanza non a livello di zona, necessaria per la GPU per i job.

  1. Se stai creando un nuovo job, salta questo passaggio. Se stai aggiornando un job esistente, scarica la relativa configurazione YAML:

    gcloud run jobs describe JOB --format export > job.yaml
  2. Aggiorna l'attributo nvidia.com/gpu, annotations: run.googleapis.com/launch-stage per la fase di lancio e nodeSelector:
    run.googleapis.com/accelerator
    :

    apiVersion: run.googleapis.com/v1
    kind: Job
    metadata:
      name: JOB
      labels:
        cloud.googleapis.com/location: REGION
    spec:
      template:
        metadata:
          annotations:
            run.googleapis.com/gpu-zonal-redundancy-disabled: 'true'
        spec:
          template:
            spec:
              containers:
              - image: IMAGE_URL
                limits:
                  cpu: 'CPU'
                  memory: 'MEMORY'
                  nvidia.com/gpu: 'GPU_NUMBER'
              nodeSelector:
                run.googleapis.com/accelerator: GPU_TYPE

    Sostituisci quanto segue:

    • JOB: il nome del job Cloud Run.
    • REGION: la regione in cui vuoi eseguire il deployment del job.
    • IMAGE_URL: un riferimento all'immagine container, ad esempio us-docker.pkg.dev/cloudrun/container/job:latest
    • CPU: il numero di CPU. Assicurati che soddisfi i requisiti minimi.
    • MEMORY: la quantità di memoria. Assicurati che soddisfi i requisiti minimi.
    • GPU_NUMBER: il numero di GPU da collegare (1 per una GPU completa o 0.5 per una GPU frazionaria).
    • GPU_TYPE: il tipo di GPU. GPU NVIDIA RTX PRO 6000 Blackwell, inserisci nvidia-rtx-pro-6000. Per la GPU L4, inserisci il valore nvidia-l4 (nvidia-L4 con L minuscola, non il valore numerico quattordici).
  3. Crea o aggiorna il job utilizzando il seguente comando:

    gcloud run jobs replace job.yaml

    Per impostazione predefinita, il comando gcloud run jobs replace utilizza il file job.yaml, se presente.

Visualizza le impostazioni della GPU

Per visualizzare le impostazioni attuali della GPU per il tuo job Cloud Run, utilizza la console Google Cloud o Google Cloud CLI:

Console

  1. Nella console Google Cloud , vai alla pagina dei job Cloud Run:

    Vai ai job Cloud Run

  2. Fai clic sul job per aprire la pagina Dettagli job.

  3. Fai clic su Visualizza e modifica la configurazione del job.

  4. Individua l'impostazione della GPU nei dettagli della configurazione.

gcloud

  1. Esegui questo comando:

    gcloud run jobs describe JOB
  2. Individua l'impostazione della GPU nella configurazione restituita.

Scollega le risorse GPU da un job

Puoi scollegare le risorse GPU da un job utilizzando la console Google Cloud , Google Cloud CLI o YAML.

Console

  1. Nella console Google Cloud , vai alla pagina Job di Cloud Run:

    Vai a Cloud Run

  2. Nell'elenco dei job, fai clic su un job per aprire i relativi dettagli.

  3. Fai clic su Visualizza e modifica la configurazione del job.

  4. Fai clic su Container, connessioni, sicurezza per espandere la pagina delle proprietà del job.

  5. Fai clic sulla scheda Container.

  6. Deseleziona la casella di controllo GPU.

  7. Fai clic su Aggiorna.

gcloud

Per scollegare le risorse GPU dal job Cloud Run, imposta il numero di GPU su 0 utilizzando il comando gcloud run jobs update:

  gcloud run jobs update JOB --gpu 0
  

Sostituisci JOB con il nome del job Cloud Run.

YAML

  1. Se stai creando un nuovo job, salta questo passaggio. Se stai aggiornando un job esistente, scarica la relativa configurazione YAML:

    gcloud run jobs describe JOB --format export > job.yaml
  2. Elimina le righe nvidia.com/gpu:, run.googleapis.com/gpu-zonal-redundancy-disabled: 'true' e nodeSelector: run.googleapis.com/accelerator: GPU_TYPE.

  3. Crea o aggiorna il job utilizzando il seguente comando:

    gcloud run jobs replace job.yaml

    Per impostazione predefinita, il comando gcloud run jobs replace utilizza il file job.yaml, se presente.

Librerie di driver

Per impostazione predefinita, tutte le librerie dei driver delle GPU NVIDIA RTX PRO 6000 Blackwell e NVIDIA L4 sono montate in /usr/local/nvidia/lib64. Cloud Run aggiunge automaticamente questo percorso alla variabile di ambiente LD_LIBRARY_PATH (ovvero ${LD_LIBRARY_PATH}:/usr/local/nvidia/lib64) del container con la GPU. In questo modo, il linker dinamico può trovare le librerie dei driver NVIDIA. Il linker cerca e risolve i percorsi nell'ordine indicato nella variabile di ambiente LD_LIBRARY_PATH. I valori specificati in questa variabile hanno la precedenza sul percorso predefinito delle librerie dei driver di Cloud Run /usr/local/nvidia/lib64.

Se vuoi utilizzare una versione di CUDA successiva alla 13.0, il modo più semplice è fare affidamento su un'immagine di base NVIDIA più recente con i pacchetti di compatibilità con le versioni successive già installati. Un'altra opzione è installare manualmente i pacchetti di compatibilità con versioni successive di NVIDIA e aggiungerli a LD_LIBRARY_PATH. Consulta la matrice di compatibilità di NVIDIA per determinare quali versioni di CUDA sono compatibili con la versione del driver NVIDIA fornita.

Informazioni su GPU e parallelismo

Se esegui attività parallele in un'esecuzione del job, determina e imposta il valore di parallelismo su un valore inferiore alla quota di GPU senza ridondanza a livello di zona allocata per il tuo progetto. Per richiedere un aumento della quota, consulta Come aumentare la quota. Le attività GPU vengono avviate il più rapidamente possibile e arrivano a un massimo che varia in base alla quota di GPU allocata per il progetto e alla regione selezionata. I deployment di Cloud Run non vanno a buon fine se imposti il parallelismo su un valore superiore al limite della quota di GPU.

Una GPU nvidia-rtx-pro-6000 completa (1) consuma 1000 milliGPU di quota, mentre una GPU nvidia-rtx-pro-6000 frazionaria (0.5) consuma 500 milliGPU di quota. Per calcolare la quota di GPU utilizzata dal job per esecuzione, moltiplica il numero di GPU per attività del job per il valore di parallelismo. Ad esempio, se hai una quota di GPU pari a 10 ed esegui il deployment del job Cloud Run con --gpu=1, --parallelism=10, il job consuma l'intera quota di 10 GPU. In alternativa, se esegui il deployment con --gpu=1, --parallelism=20, i deployment non vanno a buon fine.

Per saperne di più, consulta Best practice: job Cloud Run con GPU.

Passaggi successivi