Google utiliza tecnología de IA para traducir contenido a tu idioma preferido. Las traducciones realizadas con IA pueden contener errores.

Crea un clúster de GKE personalizado y optimizado para IA que use A2

GPU generales

En este documento, se describe cómo puedes crear clústeres personalizados de Google Kubernetes Engine (GKE) que usan los tipos de máquinas A2 estándar (A100 de 40 GB) o A2 ultra (A100 de 80 GB) optimizados para aceleradores para admitir tus cargas de trabajo de inteligencia artificial (IA) y aprendizaje automático (AA). A2 es una serie de máquinas de GPU generales, que proporcionan recursos de procesamiento independientes diseñados para tareas de IA convencionales como el entrenamiento de modelos más pequeños y la inferencia de un solo host.

GKE proporciona una sola plataforma para ejecutar un conjunto diverso de cargas de trabajo para tu organización, lo que reduce la carga operativa de administrar varias plataformas.

Para crear un clúster de GKE optimizado para IA que use la serie de máquinas A2, haz lo siguiente:

Crea el entorno de GKE
Conéctate a tu clúster.
Configura tus manifiestos de Pods

Antes de comenzar

Antes de comenzar, asegúrate de haber realizado las siguientes tareas:

Habilita la API de Google Kubernetes Engine.

Habilitar la API de Google Kubernetes Engine

Si deseas usar Google Cloud CLI para esta tarea, instala y, luego, inicializa the gcloud CLI. Si ya instalaste gcloud CLI, ejecuta el comando gcloud components update para obtener la versión más reciente. Es posible que las versiones anteriores de gcloud CLI no admitan la ejecución de los comandos de este documento.
Nota: Para las instalaciones de gcloud CLI existentes, asegúrate de configurar la compute/region propiedad. Si usas principalmente clústeres zonales, configura compute/zone en su lugar. Cuando configuras una ubicación predeterminada, puedes evitar errores en gcloud CLI como el siguiente: One of [--zone, --region] must be supplied: Please specify location. Es posible que debas especificar la ubicación en ciertos comandos si la ubicación de tu clúster difiere de la predeterminada que estableciste.

Roles obligatorios

Para obtener los permisos que necesitas para crear y administrar un clúster de GKE, pídele a tu administrador que te otorgue los siguientes roles de IAM en el proyecto:

Administrador de Kubernetes Engine (roles/container.admin)
Administrador de Compute (roles/compute.admin)

Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso a proyectos, carpetas y organizaciones.

También puedes obtener los permisos necesarios mediante roles personalizados o cualquier otro rol predefinido.

Elige una opción de consumo y obtén capacidad

Elige una opción de consumo. Toma una decisión en función de cómo deseas obtener y usar los recursos de GPU. Para obtener más información, consulta Elige una opción de consumo.

En el caso de GKE, ten en cuenta la siguiente información adicional cuando elijas una opción de consumo:
- Para obtener más información sobre el inicio flexible (versión preliminar) y GKE, consulta Acerca de la disponibilidad de GPU con inicio flexible.
- El inicio flexible usa la posición compacta de mejor esfuerzo. Para examinar tu topología, consulta Visualiza la topología física de los nodos en tu clúster de GKE.
- Solo puedes obtener información de la topología cuando usas VMs Spot si configuras la posición compacta.
Obtén capacidad. Obtén información para obtener capacidad para tu opción de consumo.

Requisitos

Para un clúster de GKE optimizado para IA que usa máquinas A2, tus nodos de GPU deben usar la versión 450.80.02 o posterior del controlador NVIDIA.

Limitaciones

Las siguientes limitaciones se aplican a las máquinas A2 como GPU generales:

GPU de varias instancias: Si bien A2 (GPU A100) admite la partición de hardware, la GPU de varias instancias (NVIDIA) no es compatible cuando se usa GKE Autopilot. Para las cargas de trabajo que requieren la partición de GPU A100, debes usar GKE Standard.

Crea el entorno de GKE

Puedes crear un clúster en modo Autopilot o Standard.

Autopilot

Para crear un clúster de Autopilot, ejecuta el siguiente comando:

  gcloud container clusters create-auto CLUSTER_NAME \
      --region=REGION

Reemplaza lo siguiente:

CLUSTER_NAME: El nombre de tu clúster.
REGION: La región de tu clúster.

Estándar

Crea un clúster estándar y un grupo de nodos de GPU:

Para crear un clúster estándar, ejecuta el siguiente comando:
```
gcloud container clusters create CLUSTER_NAME \
    --region=REGION \
    --enable-ip-alias
```
Reemplaza lo siguiente:
- CLUSTER_NAME: El nombre de tu clúster.
- REGION: La región de tu clúster.
Crea el grupo de nodos. Después de crear el clúster, puedes agregar un grupo de nodos con GPU A2.

Ten en cuenta lo siguiente:
- Los tipos de máquinas A2 estándar (a2-highgpu) requieren que conectes de forma manual los discos SSD locales a tus nodos para usarlos como espacio de intercambio o almacenamiento en caché. Usa la marca --local-ssd-count.
- Los tipos de máquinas A2 ultra (a2-ultragpu) incluyen automáticamente una cantidad fija de discos SSD locales de forma predeterminada.
- Para las cargas de trabajo de entrenamiento de varios nodos, recomendamos usar una política de posición compacta para minimizar la latencia de red entre los nodos.
- Para las cargas de trabajo de entrenamiento de varios nodos, también recomendamos habilitar NCCL Fast Socket para mejorar el rendimiento de la red.
A2 estándar (A100 de 40 GB)
gcloud container node-pools create NODE_POOL_NAME \ --cluster=CLUSTER_NAME \ --region=REGION \ --node-locations=ZONE \ --machine-type=MACHINE_TYPE \ --accelerator=type=nvidia-tesla-a100,count=AMOUNT,gpu-driver-version=LATEST \ --placement-type=COMPACT \ --scopes="https://www.googleapis.com/auth/cloud-platform" \ --local-ssd-count=LOCAL_SSD_COUNT
A2 ultra (A100 de 80 GB)
gcloud container node-pools create NODE_POOL_NAME \ --cluster=CLUSTER_NAME \ --region=REGION \ --node-locations=ZONE \ --machine-type=MACHINE_TYPE \ --accelerator=type=nvidia-a100-80gb,count=AMOUNT,gpu-driver-version=LATEST \ --placement-type=COMPACT \ --scopes="https://www.googleapis.com/auth/cloud-platform"
Reemplaza lo siguiente:
- CLUSTER_NAME: El nombre de tu clúster.
- REGION: La región de tu clúster.
- ZONE: Una o más zonas dentro de tu región que tienen las GPU solicitadas disponibles, por ejemplo, us-central1-a. Esto es obligatorio cuando se usa la posición compacta.
- NODE_POOL_NAME: Es el nombre de tu grupo de nodos.
- MACHINE_TYPE: El tipo de máquina para tus nodos, por ejemplo, a2-highgpu-1g.
- AMOUNT: La cantidad de GPU que se conectarán a cada nodo.
- LOCAL_SSD_COUNT: La cantidad de volúmenes de SSD locales que se aprovisionarán en cada nodo.

Conéctate a tu clúster.

Conéctate a tu clúster para poder ejecutar los comandos kubectl en las siguientes secciones:

gcloud container clusters get-credentials CLUSTER_NAME \
    --region=REGION

Reemplaza lo siguiente:

CLUSTER_NAME: El nombre de tu clúster.
REGION: La región de tu clúster.

Para obtener más información, consulta Instala kubectl y configura el acceso al clúster.

Configura tu manifiesto de Pods (solo Autopilot)

Si creaste un clúster de Autopilot, debes seleccionar las GPU adecuadas en tus manifiestos de Pods para que GKE aprovisione el hardware.

Especifica el tipo de GPU elegido y la reserva específica con selectores de nodos:
```
spec:
  nodeSelector:
    cloud.google.com/gke-accelerator: ACCELERATOR
    cloud.google.com/gke-gpu-driver-version: latest
    # Optional: Include if using reserved capacity
    cloud.google.com/reservation-name: RESERVATION_NAME
    cloud.google.com/reservation-affinity: "specific"
```
Reemplaza lo siguiente:
- ACCELERATOR: El acelerador que reservaste. Debes usar nvidia-tesla-a100 (para A2 estándar) o nvidia-a100-80gb (para A2 ultra).
- RESERVATION_NAME: El nombre de la reserva de capacidad de Compute Engine. Para consumir reservas compartidas o bloques y subbloques específicos de reservas, consulta las secciones respectivas en Consume recursos zonales reservados.
Agrega los siguientes recursos al contenedor que solicita GPU:
```
containers:
  - name: my-container
    resources:
      limits:
        nvidia.com/gpu: AMOUNT
```
Reemplaza AMOUNT por la cantidad de GPU que se conectarán a cada nodo.

Crea un clúster de GKE personalizado y optimizado para IA que use A2 Organiza tus páginas con colecciones Guarda y categoriza el contenido según tus preferencias.