Puedes usar GPU con tus trabajos de Cloud Run para IA y otras cargas de trabajo de procesamiento intensivo. En lo que respecta al entrenamiento, la GPU se destaca en el manejo de tareas de LLM que consumen muchos recursos, como la inferencia, el procesamiento de videos y los trabajos de gráficos en segundo plano. Google proporciona la GPU NVIDIA RTX PRO 6000 Blackwell con 96 GB de memoria de GPU (VRAM) para una GPU completa o 48 GB de memoria de GPU (VRAM) para una GPU fraccionaria (0.5), y la GPU NVIDIA L4 con 24 GB de memoria de GPU (VRAM). La memoria de GPU es independiente de la memoria de la instancia.
Cuando uses un LLM, asegúrate de consultar también las Prácticas recomendadas: Trabajos de Cloud Run con GPU.
La GPU en Cloud Run está completamente administrada, sin necesidad de controladores ni bibliotecas adicionales. La GPU de Cloud Run ofrece disponibilidad a pedido sin necesidad de reservas, similar a la forma en que funcionan la CPU y la memoria a pedido en Cloud Run.
Las instancias de contenedor de Cloud Run con una GPU NVIDIA RTX PRO 6000 Blackwell o L4 se inician en unos 5 segundos. Tu contenedor puede usar la GPU en cuanto finalice el inicio.
Puedes configurar hasta una GPU por instancia de contenedor de Cloud Run. Si usas contenedores sidecar, la GPU solo se puede conectar a un contenedor.
Tipos de GPU compatibles
Cloud Run admite dos tipos de GPU:
GPU NVIDIA RTX PRO 6000 Blackwell:
- La GPU completa con la versión actual del controlador de NVIDIA es 580.x.x (13.0). Esta GPU requiere un mínimo de 20 CPU y 80 GiB de memoria.
- La GPU fraccionaria con la versión actual del controlador de NVIDIA es 580.x.x
(13.0), tipo: GRID. La GPU fraccionaria
(GPU
0.5, 48 GB de VRAM) requiere 10, 12, 14 o 16 CPU y, al menos, 40 GiB de memoria (hasta 4 GiB por CPU).
GPU L4 con la versión actual del controlador de NVIDIA: 580.x.x (13.0). Para la GPU L4, debes usar un mínimo de 4 CPU y 16 GiB de memoria. La GPU fraccionaria no es compatible con la GPU L4.
GPU fraccionaria
La GPU fraccionaria te permite reducir la asignación de GPU para los modelos que no requieren una GPU completa, a la vez que te beneficias de la arquitectura y el rendimiento avanzados de la GPU. Con una GPU fraccionaria, puedes tener una solución más rentable para las cargas de trabajo de inferencia que no necesitan todas las capacidades de una GPU NVIDIA RTX PRO 6000 Blackwell de tamaño completo. Consulta Problemas conocidos para conocer las limitaciones de las GPU fraccionarias.
Regiones admitidas
La GPU NVIDIA RTX PRO 6000 Blackwell admite las siguientes regiones:
asia-southeast1(Singapur)asia-south2(Delhi, India).europe-west4(Países Bajos)Bajo nivel de CO2
us-central1(Iowa)Bajo nivel de CO2
Las GPU NVIDIA RTX PRO 6000 Blackwell fraccionarias (versión preliminar) están disponibles en las siguientes regiones:
europe-west4(Países Bajos)Bajo nivel de CO2
us-central1(Iowa)Bajo nivel de CO2
La GPU L4 admite las siguientes regiones:
asia-southeast1(Singapur)asia-south1(Bombay) . Esta región solo está disponible por invitación. Comunícate con tu equipo de Cuentas de Google si te interesa esta región.europe-west1(Bélgica)Bajo nivel de CO2
europe-west4(Países Bajos)Bajo nivel de CO2
us-central1(Iowa)Bajo nivel de CO2 . Es posible que el escalamiento de recursos adicionales en esta región requiera una solicitud de aumento de cuota. Comunícate con tu equipo de Cuentas de Google si te interesa esta región.
us-east4(Virginia del Norte) . Es posible que el escalamiento de recursos adicionales en esta región requiera una solicitud de aumento de cuota. Comunícate con tu equipo de Cuentas de Google si te interesa esta región.
Impacto en los precios
Consulta los precios de Cloud Run para obtener detalles sobre los precios de las GPU. Ten en cuenta los siguientes requisitos y consideraciones:
- Las GPU para trabajos siguen los precios sin redundancia zonal.
- La configuración de CPU y memoria de tu recurso afecta los precios.
- La GPU se factura por la duración completa del ciclo de vida de la instancia.
Redundancia no zonal de GPU
La función de trabajos de Cloud Run proporciona compatibilidad con la redundancia no zonal solo para las instancias habilitadas para GPU. Con la redundancia no zonal habilitada, Cloud Run intenta realizar la conmutación por error para los trabajos habilitados para GPU de la mejor manera posible. Cloud Run enruta las ejecuciones de trabajos a otras zonas solo si hay suficiente capacidad de GPU disponible en ese momento. Esta opción no garantiza la capacidad reservada para situaciones de conmutación por error, pero genera un costo más bajo por segundo de GPU.
Consulta Configura un trabajo de Cloud Run con GPU para obtener detalles sobre cómo habilitar la redundancia no zonal.
Solicita un aumento de la cuota
La cuota para la GPU nvidia-rtx-pro-6000 de Cloud Run
se otorga en mili-GPU. Una GPU nvidia-rtx-pro-6000 completa (1) consume 1,000
mili-GPU de cuota, y una GPU nvidia-rtx-pro-6000 fraccionaria (0.5) consume
500 mili-GPU de cuota. A los proyectos que usen la GPU nvidia-rtx-pro-6000 en una región
por primera vez, se les otorgará automáticamente una cuota de 3,000 milliGPU
(con la redundancia zonal desactivada) cuando se cree la primera implementación. Esto equivale a 3 GPUs completas o 6 GPUs fraccionarias (0.5). A los proyectos que usan la GPU nvidia-l4 de Cloud Run en una región por primera vez, se les otorga automáticamente una cuota de 3 GPU (con la redundancia zonal desactivada) cuando se crea la primera implementación.
Ten en cuenta que este otorgamiento automático de cuota está sujeto a disponibilidad según tu capacidad de CPU y memoria. Esto limita la cantidad de GPU que podrían estar activas en todos los servicios, trabajos y grupos de trabajadores del proyecto en un momento determinado.
Si necesitas GPUs de Cloud Run adicionales para los trabajos, solicita un aumento de cuota.
Antes de comenzar
En la siguiente lista, se describen los requisitos y las limitaciones que se aplican cuando se usan GPU en Cloud Run:
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
Roles required to select or create a project
- Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
-
Create a project: To create a project, you need the Project Creator role
(
roles/resourcemanager.projectCreator), which contains theresourcemanager.projects.createpermission. Learn how to grant roles.
-
Verify that billing is enabled for your Google Cloud project.
Habilita la API de Cloud Run si aún no está habilitada.
Roles necesarios para habilitar las APIs
Para habilitar las APIs, necesitas el permiso
serviceusage.services.enable. Si creaste el proyecto, es probable que ya tengas este permiso a través del rol de propietario (roles/owner). De lo contrario, puedes obtenerlo a través del rol de administrador de Service Usage (roles/serviceusage.serviceUsageAdmin). Obtén más información para otorgar roles.- Consulta Prácticas recomendadas: Trabajos de Cloud Run con GPU para optimizar el rendimiento cuando usas trabajos de Cloud Run con GPU.
- Asegúrate de que tu trabajo cumpla con los requisitos mínimos de memoria y CPU según el tipo de GPU que uses.
Roles obligatorios
Para obtener los permisos que necesitas para configurar los trabajos de Cloud Run, pídele a tu administrador que te otorgue los siguientes roles de IAM en los trabajos:
- Desarrollador de Cloud Run (
roles/run.developer): el trabajo de Cloud Run - Usuario de la cuenta de servicio (
roles/iam.serviceAccountUser): la identidad del servicio
Para obtener una lista de los roles y los permisos de IAM asociados con Cloud Run, consulta los roles de IAM de Cloud Run y los permisos de IAM de Cloud Run. Si tu trabajo de Cloud Run interactúa con las APIs deGoogle Cloud , como las bibliotecas cliente de Cloud, consulta la guía de configuración de identidades del servicio. Para obtener más información sobre cómo otorgar roles, consulta los permisos de implementación y cómo administrar el acceso.
Configura un trabajo de Cloud Run para usar GPU
Puedes configurar un trabajo de Cloud Run para que use la GPU con la consola deGoogle Cloud , gcloud CLI o YAML:
Console
En la consola de Google Cloud , ve a la página de Cloud Run:
Selecciona Trabajos en el menú de navegación de Cloud Run:
Si creas un trabajo nuevo, haz clic en Implementar contenedor para completar la página de configuración inicial del trabajo.
Si quieres configurar un trabajo existente, selecciónalo y, luego, haz clic en Ver y editar la configuración del trabajo.
Haz clic en Contenedores, Conexiones, Seguridad para expandir la página de propiedades del trabajo.
Haz clic en la pestaña Contenedores.
Configura la memoria y la CPU según los requisitos de Tipos de GPU compatibles.
Selecciona la casilla de verificación GPU.
Selecciona el Tipo de GPU y la Cantidad de GPU.
Haz clic en Crear o Actualizar.
gcloud
Para habilitar la redundancia no zonal, debes especificar
--no-gpu-zonal-redundancy. Esto es necesario para usar la GPU con trabajos.
Para crear un trabajo con la GPU habilitada, usa el comando gcloud run jobs create:
gcloud run jobs create JOB \ --image=IMAGE_URL \ --gpu=GPU_NUMBER \ --gpu-type=GPU_TYPE \ --no-gpu-zonal-redundancy
Reemplaza lo siguiente:
- JOB por el nombre del trabajo de Cloud Run.
IMAGE_URL: Es una referencia a la imagen de contenedor, por ejemplo,us-docker.pkg.dev/cloudrun/container/job:latest.- GPU_NUMBER: Es la cantidad de GPU que se adjuntarán (
1para una GPU completa o0.5para una GPU fraccionaria). - GPU_TYPE es el tipo de GPU. Para la GPU NVIDIA RTX PRO 6000 Blackwell,
ingresa
nvidia-rtx-pro-6000. Para la GPU L4, ingresa el valornvidia-l4(nvidia-L4 con "L" minúscula, no el valor numérico catorce).
Para actualizar la configuración de la GPU de un trabajo, usa el comando gcloud run jobs update:
gcloud run jobs update JOB \ --image IMAGE_URL \ --cpu CPU \ --memory MEMORY \ --gpu GPU_NUMBER \ --gpu-type GPU_TYPE \ --parallelism PARALLELISM \ --no-gpu-zonal-redundancy
Reemplaza lo siguiente:
- JOB por el nombre del trabajo de Cloud Run.
IMAGE_URL: Es una referencia a la imagen de contenedor, por ejemplo,us-docker.pkg.dev/cloudrun/container/job:latest.- CPU: es la cantidad de CPU. Asegúrate de que cumpla con los requisitos mínimos.
- MEMORY: Es la cantidad de memoria. Asegúrate de que cumpla con los requisitos mínimos.
- GPU_NUMBER: Es la cantidad de GPU que se adjuntarán (
1para una GPU completa o0.5para una GPU fraccionaria). - GPU_TYPE es el tipo de GPU. Para la GPU NVIDIA RTX PRO 6000 Blackwell,
ingresa
nvidia-rtx-pro-6000. Para la GPU L4, ingresa el valornvidia-l4(nvidia-L4 con "L" minúscula, no el valor numérico catorce). - PARALLELISM: Es un valor entero menor que el valor más bajo de los límites de cuota aplicables que asignaste para tu proyecto.
YAML
Debes configurar la anotación run.googleapis.com/gpu-zonal-redundancy-disabled:
como true. Esto habilita la redundancia no zonal, que es necesaria para la GPU en
los trabajos.
Si creas un trabajo nuevo, omite este paso. Si actualizas un trabajo existente, descarga su configuración de YAML:
gcloud run jobs describe JOB --format export > job.yaml
Actualiza el atributo
nvidia.com/gpu,annotations: run.googleapis.com/launch-stagepara la etapa de lanzamiento ynodeSelector::
run.googleapis.com/acceleratorapiVersion: run.googleapis.com/v1 kind: Job metadata: name: JOB labels: cloud.googleapis.com/location: REGION spec: template: metadata: annotations: run.googleapis.com/gpu-zonal-redundancy-disabled: 'true' spec: template: spec: containers: - image: IMAGE_URL limits: cpu: 'CPU' memory: 'MEMORY' nvidia.com/gpu: 'GPU_NUMBER' nodeSelector: run.googleapis.com/accelerator: GPU_TYPE
Reemplaza lo siguiente:
- JOB por el nombre del trabajo de Cloud Run.
- REGION: Es la región en la que deseas implementar tu trabajo.
IMAGE_URL: Es una referencia a la imagen de contenedor, por ejemplo,us-docker.pkg.dev/cloudrun/container/job:latest.- CPU: es la cantidad de CPU. Asegúrate de que cumpla con los requisitos mínimos.
- MEMORY: Es la cantidad de memoria. Asegúrate de que cumpla con los requisitos mínimos.
- GPU_NUMBER: Es la cantidad de GPU que se adjuntarán (
1para una GPU completa o0.5para una GPU fraccionaria). - GPU_TYPE es el tipo de GPU. GPU NVIDIA RTX PRO 6000 Blackwell,
ingresa
nvidia-rtx-pro-6000. Para la GPU L4, ingresa el valornvidia-l4(nvidia-L4 con "L" minúscula, no el valor numérico catorce).
Crea o actualiza el servicio con el siguiente comando:
gcloud run jobs replace job.yaml
El comando
gcloud run jobs replaceusa de forma predeterminada el archivojob.yamlsi está presente.
Visualiza la configuración de GPU
Para ver la configuración actual de GPU de tu trabajo de Cloud Run, usa la consola de Google Cloud o Google Cloud CLI:
Console
En la consola de Google Cloud , ve a la página de trabajos de Cloud Run:
Haz clic en el trabajo para abrir la página Detalles del trabajo.
Haz clic en Ver y editar la configuración del trabajo.
Ubica la configuración de la GPU en los detalles de configuración.
gcloud
Ejecuta el comando siguiente:
gcloud run jobs describe JOB
Busca el parámetro de configuración de GPU en la configuración que se muestra.
Desconecta recursos de GPU de un trabajo
Puedes desconectar los recursos de GPU de un trabajo con la consola de Google Cloud , Google Cloud CLI o YAML.
Console
En la consola de Google Cloud , ve a la página Trabajos de Cloud Run:
En la lista de trabajos, haz clic en uno para abrir sus detalles.
Haz clic en Ver y editar la configuración del trabajo.
Haz clic en Contenedores, Conexiones, Seguridad para expandir la página de propiedades del trabajo.
Haz clic en la pestaña Contenedor.
Desmarca la casilla de verificación GPU.
Haz clic en Actualizar.
gcloud
Para desconectar los recursos de GPU de tu trabajo de Cloud Run, establece la cantidad de GPU en 0 con el comando
gcloud run jobs update:
gcloud run jobs update JOB --gpu 0
Reemplaza JOB por el nombre de tu trabajo de Cloud Run.
YAML
Si creas un trabajo nuevo, omite este paso. Si actualizas un trabajo existente, descarga su configuración de YAML:
gcloud run jobs describe JOB --format export > job.yaml
Borra las líneas
nvidia.com/gpu:,run.googleapis.com/gpu-zonal-redundancy-disabled: 'true'ynodeSelector: run.googleapis.com/accelerator: GPU_TYPE.Crea o actualiza el servicio con el siguiente comando:
gcloud run jobs replace job.yaml
El comando
gcloud run jobs replaceusa de forma predeterminada el archivojob.yamlsi está presente.
Bibliotecas de controladores
De forma predeterminada, todas las bibliotecas de controladores de GPU NVIDIA RTX PRO 6000 Blackwell y GPU NVIDIA L4
se activan en /usr/local/nvidia/lib64. Cloud Run agrega automáticamente
esta ruta a la variable de entorno LD_LIBRARY_PATH
(es decir, ${LD_LIBRARY_PATH}:/usr/local/nvidia/lib64) del contenedor con la
GPU. Esto permite que el vinculador dinámico encuentre las bibliotecas de controladores de NVIDIA. El vinculador busca y resuelve rutas de acceso en el orden que indicas en la variable de entorno LD_LIBRARY_PATH. Los valores que especifiques en esta variable tienen prioridad
sobre la ruta predeterminada de las bibliotecas de controladores de Cloud Run /usr/local/nvidia/lib64.
Si quieres usar una versión de CUDA superior a 13.0,
la forma más fácil es depender de una imagen base de NVIDIA más reciente
con paquetes de retrocompatibilidad ya instalados. Otra opción es
instalar de forma manual los paquetes de compatibilidad con versiones posteriores de NVIDIA
y agregarlos a LD_LIBRARY_PATH. Consulta la matriz de compatibilidad de NVIDIA
para determinar qué versiones de CUDA son compatibles con la versión del controlador de NVIDIA
proporcionada.
Acerca de las GPU y el paralelismo
Si ejecutas tareas paralelas en una ejecución de trabajo, determina y establece el valor de paralelismo en un valor inferior a la cuota de GPU sin redundancia zonal asignada para tu proyecto. Para solicitar un aumento de cuota, consulta Cómo aumentar la cuota. Las tareas de GPU se inician lo más rápido posible y alcanzan un máximo que varía según la cuota de GPU que asignaste para el proyecto y la región seleccionada. Las implementaciones de Cloud Run fallan si estableces el paralelismo en un valor superior al límite de la cuota de GPU.
Una GPU nvidia-rtx-pro-6000 completa (1) consume 1,000 mili-GPU de cuota, y una
GPU nvidia-rtx-pro-6000 fraccionaria (0.5) consume 500 mili-GPU de cuota. Para calcular la cuota de GPU que usa tu trabajo por ejecución, multiplica la cantidad de GPU
por tarea de trabajo por el valor de paralelismo. Por ejemplo, si tienes una cuota de GPU de
10 y, luego, implementas tu trabajo de Cloud Run con --gpu=1, --parallelism=10,
tu trabajo consumirá toda la cuota de 10 GPU. Como alternativa, si implementas con
--gpu=1, --parallelism=20, las implementaciones fallarán.
Para obtener más información, consulta Prácticas recomendadas: Trabajos de Cloud Run con GPU.
¿Qué sigue?
- Consulta un ejemplo que ilustra el ajuste con puntos de control.
- Aprende a diseñar trabajos de GPU resilientes de larga duración que creen puntos de control y se reanuden en las interrupciones de la infraestructura.
- Consulta Ejecuta inferencias de IA en Cloud Run con GPU para ver instructivos.