En este documento, se explican los requisitos y las limitaciones que se aplican cuando se usan políticas de cargas de trabajo con grupos de instancias administrados (MIG). De forma predeterminada, administras la ubicación de tus instancias de Compute Engine solo especificando sus zonas. Las políticas de cargas de trabajo te permiten definir la ubicación física y la topología de tus instancias de procesamiento dentro de una zona. Este enfoque te ayuda, por ejemplo, a minimizar la latencia de red en tus instancias de procesamiento, ya que las coloca más cerca unas de otras.
Solo puedes aplicar políticas de carga de trabajo a los MIG que usen instancias de A4X Max, A4X, A4, A3 Ultra, A3 Mega, A3 High (8 GPUs), H4D o TPU (TPU7x, v6e o v5p). Si usas instancias A4X Max o A4X, o creas un MIG con una porción de TPU de varios hosts, se requiere una política de carga de trabajo, a menos que crees una sola instancia de procesamiento con fines de prueba. Para las otras series de máquinas compatibles, las políticas de carga de trabajo son opcionales.
Para controlar la ubicación de las instancias de procesamiento que usan otras series de máquinas, usa las políticas de posición.
Información sobre las políticas de cargas de trabajo
En las siguientes secciones, se describen los casos de uso de las políticas de cargas de trabajo y las propiedades que especificas cuando creas políticas de cargas de trabajo.
Administra la ubicación y la topología de las instancias de procesamiento
Después de crear una política de carga de trabajo y aplicarla a un MIG, las políticas de carga de trabajo te ayudan a lograr lo siguiente:
Crea instancias de procesamiento cercanas entre sí: Si hay capacidad disponible, Compute Engine crea instancias de procesamiento cercanas entre sí. De lo contrario, Compute Engine creará solo algunas o ninguna de las instancias de procesamiento que solicitaste.
Obtén visibilidad de la topología de tu instancia de procesamiento: Después de aplicar una política de carga de trabajo con un tipo de alta capacidad de procesamiento (
HIGH_THROUGHPUT) a un MIG y de que el MIG cree instancias de procesamiento, puedes ver la posición de las instancias de procesamiento en relación con las demás. Esta información te ayuda a minimizar la latencia de red y solucionar errores. Para obtener más información, consulta Visualiza la ubicación física de una instancia de Compute Engine.
Puedes aplicar la misma política de carga de trabajo a varios MIG. Cuando lo haces, Compute Engine aplica las reglas de posición a cada MIG de forma independiente.
En la siguiente sección, se describen las propiedades que debes especificar cuando creas políticas de cargas de trabajo.
Configura las propiedades de la política de cargas de trabajo
Cuando creas una política de carga de trabajo, debes especificar las siguientes propiedades:
Tipo de carga de trabajo (
type): Este campo define el objetivo de alto nivel de tu clúster. Solo puedes especificarHIGH_THROUGHPUT, que indica a Compute Engine que coloque las instancias de procesamiento lo más cerca posible para acelerar la comunicación.Según la serie de máquinas que usen las instancias de procesamiento en tu MIG, puedes especificar una de las siguientes propiedades de forma opcional:
Topología del acelerador (
acceleratorTopology): Esta propiedad te ayuda a lograr un alto rendimiento para las cargas de trabajo distribuidas que se ejecutan en varias instancias de A4X Max o A4X, o en porciones de TPU de varios hosts, que usan una configuración de red especializada entre aceleradores. Para obtener más información, consulta Propiedad de topología del acelerador.Distancia máxima de la topología (
maxTopologyDistance): Esta propiedad define el límite físico más estricto para crear tus instancias de A4, A3 Ultra, A3 Mega, A3 High (8 GPUs) o H4D, como el mismo bloque o subbloque. Si Compute Engine no puede cumplir con este límite estricto debido a errores de disponibilidad de recursos, solo creará una parte o ninguna de las instancias de procesamiento que solicitaste. Para obtener más información, consulta Propiedad de distancia máxima de la topología.
Propiedad de la topología del acelerador
Para lograr un rendimiento de red sin bloqueos a gran escala, Compute Engine organiza las instancias A4X Max y A4X en una jerarquía física de bloques y subbloques.
Para crear un MIG con instancias A4X Max o A4X, o porciones de TPU de varios hosts, debes
aplicar una política de carga de trabajo al MIG que especifique la propiedad de topología del acelerador
(acceleratorTopology). Esta propiedad define la configuración de red física
para una porción de instancias de procesamiento. Una porción actúa como un único acelerador masivo que proporciona la máxima capacidad de procesamiento para tus cargas de trabajo de IA o AA distribuidas.
En la siguiente tabla, se muestran los valores de la topología del acelerador para A4X Max y A4X. Para obtener más información sobre los valores de topología de los sectores de TPU de varios hosts, consulta Topología de TPU.
| Valor de la topología del acelerador | Descripción | Serie de máquinas compatible | Cantidad máxima de instancias de procesamiento |
|---|---|---|---|
1x72 |
Compute Engine organiza las instancias de procesamiento en subbloques asignados de forma densa de 18 instancias de procesamiento, lo que suma un total de 72 GPU. Debido a que cada subbloque requiere su propio MIG, puedes crear un máximo de 18 instancias de procesamiento por MIG. Un bloque completo consta de 25 MIG, lo que suma 450 instancias de procesamiento. | A4X Max y A4X | 18 |
Para obtener más información sobre las instancias A4X Max y A4X, consulta La serie de máquinas A4X Max y A4X.
Propiedad de distancia máxima de la topología
Cuando creas y aplicas una política de carga de trabajo a un MIG, Compute Engine
intenta colocar las instancias de procesamiento cerca unas de otras de la mejor manera posible.
Si necesitas una ubicación física más cercana en una zona, puedes especificar la
propiedad de distancia máxima de la topología (maxTopologyDistance). Especificar una distancia de topología máxima
indica a Compute Engine que coloque instancias de A4, A3 Ultra, A3
Mega, A3 High (8 GPUs) o H4D en el mismo clúster, bloque o
subbloque.
Cuando decidas si especificar una distancia máxima de topología, considera la compensación entre la ubicación física estricta y la obtención de instancias de procesamiento y la garantía de capacidad:
Distancia sin especificar: Priorizas la obtención de instancias de procesamiento y la garantía de capacidad por sobre la ubicación conjunta estricta. Sin embargo, si la capacidad es limitada, Compute Engine podría colocar las instancias de procesamiento más lejos de lo que tu aplicación puede tolerar.
Distancia especificada: Necesitas una ubicación física más cercana para lograr una latencia de red más baja, lo que reduce directamente la obtención de instancias de procesamiento y la garantía de capacidad. Si tus requisitos de ubicación son demasiado estrictos para la capacidad disponible en una zona, es posible que encuentres errores de disponibilidad de recursos. Para resolver estos errores, usa una política de carga de trabajo con un valor de distancia de topología máxima menos estricto, como
CLUSTERen lugar deSUBBLOCK, o deja el valor sin especificar.
En la siguiente tabla, se muestran los valores máximos de distancia de topología y las series de máquinas que admiten:
| Valor de distancia máxima de la topología | Descripción | Serie de máquinas compatible | Cantidad máxima de instancias de procesamiento |
|---|---|---|---|
| Sin especificar | Compute Engine prioriza la obtención de instancias de procesamiento y la garantía de capacidad. Compute Engine intenta colocar las instancias de procesamiento lo más cerca posible entre sí, sin garantía de distancia máxima en una zona. Si la capacidad es limitada, Compute Engine podría colocar las instancias de procesamiento más lejos de lo que tu aplicación puede tolerar. | A4, A3 Ultra, A3 Mega, A3 High (8 GPUs) y H4D | 1,500 |
CLUSTER |
Compute Engine crea instancias de procesamiento en bloques adyacentes dentro de un clúster. | A4 y H4D | 1,500 |
BLOCK |
Compute Engine crea instancias de procesamiento en el mismo bloque. | A4, A3 Ultra, A3 Mega, A3 High (8 GPUs) o H4D |
|
SUBBLOCK |
Compute Engine crea instancias de procesamiento en el mismo subbloque, lo que minimiza la latencia de red tanto como sea posible. | A4, A3 Ultra y H4D | 22 |
Precios
No hay costos adicionales asociados con la creación, la eliminación o la aplicación de políticas de carga de trabajo a un MIG.
Serie de máquinas compatible
Solo puedes aplicar políticas de cargas de trabajo a los MIG con instancias de procesamiento que usen las siguientes combinaciones de series de máquinas y modelos de aprovisionamiento:
| Series de máquinas | Inicio flexible | Spot | Con reserva | Estándar |
|---|---|---|---|---|
| A4X Max | No | No | Sí | No |
| A4X | No | No | Sí | No |
| A4 | Sí | Sí | Sí | No |
| A3 Ultra | Sí | Sí | Sí | No |
| A3 Mega | No | Sí | Sí | No |
| A3 High (8 GPUs) | No | Sí | Sí | No |
| H4D | Sí | Sí | Sí | No |
| TPU7x | Sí | Sí | Sí | Sí |
| TPU v6e | Sí | Sí | Sí | Sí |
| TPU v5p | Sí | Sí | Sí | Sí |
Limitaciones
Para las políticas de cargas de trabajo en los MIG, se aplican las siguientes limitaciones:
Solo puedes aplicar una política de carga de trabajo a un MIG existente o cambiar su política de carga de trabajo si no hay instancias de procesamiento en el MIG.
Puedes aplicar políticas de cargas de trabajo a los MIG regionales solo si estos usan las siguientes formas de distribución objetivo:
Para los MIG con un tamaño objetivo:
ANYoANY_SINGLE_ZONEPara las solicitudes de cambio de tamaño de MIG:
ANY_SINGLE_ZONE
No puedes actualizar una política de carga de trabajo después de crearla.
No puedes configurar una segunda plantilla de instancias si tu MIG usa una política de carga de trabajo.
No puedes usar políticas de carga de trabajo junto con políticas de posición.
¿Qué sigue?
Obtén información para crear políticas de cargas de trabajo para MIG.
Obtén más información para ver las políticas de cargas de trabajo.