本文档介绍了将工作负载政策与代管式实例组 (MIG) 搭配使用时适用的要求和限制。默认情况下,您只能通过指定 Compute Engine 实例的可用区来管理其位置。借助工作负载政策,您可以定义计算实例在可用区内的物理布置和拓扑。例如,此方法可帮助您通过将计算实例布置得更近来最大限度地缩短它们之间的网络延迟时间。
您只能将工作负载政策应用于使用 A4X Max、A4X、A4、A3 Ultra、A3 Mega、A3 High(8 个 GPU)、H4D 或 TPU(TPU7x、v6e 或 v5p)实例的 MIG。如果您使用 A4X Max 或 A4X 实例,或者创建具有多主机 TPU 切片的 MIG,则必须使用工作负载政策,除非您创建单个计算实例用于测试。对于其他受支持的机器系列,工作负载政策是可选的。
如需控制使用其他机器系列的计算实例的放置,请使用放置政策。
了解工作负载政策
以下各部分介绍了工作负载政策用例以及您在创建工作负载政策时指定的属性。
管理计算实例放置和拓扑
创建工作负载政策并将其应用于 MIG 后,工作负载政策可帮助您实现以下目标:
创建彼此靠近的计算实例:如果容量充足,Compute Engine 会创建彼此靠近的计算实例。否则,Compute Engine 将仅创建部分或全部您请求的计算实例。
了解计算实例拓扑:将吞吐量高 (
HIGH_THROUGHPUT) 的工作负载政策应用于 MIG 后,当 MIG 创建计算实例时,您可以查看计算实例彼此之间的位置。此信息有助于您最大限度地减少网络延迟并排查错误。如需了解详情,请参阅查看 Compute Engine 实例拓扑。
您可以将同一工作负载政策应用于多个 MIG。在这种情况下,Compute Engine 会将布置规则分别应用于每个 MIG。
以下部分介绍了创建工作负载政策时必须指定的属性。
配置工作负载政策属性
创建工作负载政策时,您必须指定以下属性:
工作负载类型 (
type):此字段定义了集群的高级目标。您只能指定HIGH_THROUGHPUT,这会指示 Compute Engine 将计算实例布置得尽可能靠近,以加快通信速度。根据 MIG 中的计算实例所使用的机器系列,您可以选择性地指定以下属性之一:
加速器拓扑属性
为了实现大规模的无阻塞网络性能,Compute Engine 将 A4X Max 和 A4X 实例组织成 块和子块的物理层次结构。
如需创建包含 A4X Max 或 A4X 实例或多主机 TPU 切片的 MIG,您必须将工作负载政策应用于该 MIG,并在其中指定加速器拓扑 (acceleratorTopology) 属性。此属性定义了计算实例的切片的物理网络配置。切片充当单个大型加速器,可为分布式 AI 或机器学习工作负载提供最大吞吐量。
下表显示了 A4X Max 和 A4X 的加速器拓扑值。 如需详细了解多主机 TPU 切片的拓扑值,请参阅 TPU 拓扑。
| 加速器拓扑值 | 说明 | 支持的机器系列 | 计算实例数上限 |
|---|---|---|---|
1x72 |
Compute Engine 将计算实例组织成密集分配的子块,每个子块包含 18 个计算实例,总共 72 个 GPU。由于每个子块都需要自己的 MIG,因此每个 MIG 最多可以创建 18 个计算实例。一个完整块包含 25 个 MIG,总共 450 个计算实例。 | A4X Max 和 A4X | 18 |
如需详细了解 A4X Max 和 A4X 实例,请参阅 A4X Max 和 A4X 机器系列。
拓扑距离上限属性
当您为 MIG 创建并应用工作负载政策时,Compute Engine 会尽力尝试将计算实例布置得尽可能靠近。如果您需要在某个可用区内实现最大紧凑性,建议您指定拓扑距离上限 (maxTopologyDistance) 属性。最大拓扑距离值用于指定在同一集群、块或子块中创建 A4、A3 Ultra、A3 Mega、A3 High(8 个 GPU)或 H4D 实例。
下表显示了最大拓扑距离值以及它们支持的机器系列:
| 拓扑距离上限值 | 说明 | 支持的机器系列 | 计算实例数上限 |
|---|---|---|---|
| 未指定(不推荐) | Compute Engine 会尽力尝试将计算实例布置得尽可能彼此靠近,但无法保证可用区内的计算实例之间的距离上限。 | A4、A3 Ultra、A3 Mega、A3 High(8 个 GPU)和 H4D | 1,500 |
CLUSTER |
Compute Engine 会在集群内的相邻块中创建计算实例。 | A4 和 H4D | 1,500 |
BLOCK |
Compute Engine 会在同一块中创建计算实例。 | A4、A3 Ultra、A3 Mega、A3 High(8 个 GPU)或 H4D |
|
SUBBLOCK |
Compute Engine 会在同一子块中创建计算实例,从而尽可能缩短网络延迟时间。 | A4、A3 Ultra 和 H4D | 22 |
价格
创建、删除 MIG 或将工作负载政策应用于 MIG 不会产生任何额外费用。
支持的机器系列
您只能将工作负载政策应用于具有以下机器系列和预配模型组合的计算实例的 MIG:
| 机器系列 | 灵活启动 | Spot | 受预留约束 | 标准 |
|---|---|---|---|---|
| A4X Max | 否 | 否 | 是 | 否 |
| A4X | 否 | 否 | 是 | 否 |
| A4 | 是 | 是 | 是 | 否 |
| A3 Ultra | 是 | 是 | 是 | 否 |
| A3 Mega | 否 | 是 | 是 | 否 |
| A3 High(8 个 GPU) | 否 | 是 | 是 | 否 |
| H4D | 是 | 是 | 是 | 否 |
| TPU7x | 是 | 是 | 是 | 是 |
| TPU v6e | 是 | 是 | 是 | 是 |
| TPU v5p | 是 | 是 | 是 | 是 |
限制
对于 MIG 中的工作负载政策,存在以下限制:
仅当 MIG 中没有计算实例时,您才能将工作负载政策应用于现有 MIG 或更改其工作负载政策。
只有当区域级 MIG 使用以下分布目标形状时,您才能将工作负载政策应用于这些 MIG:
对于具有目标大小的 MIG:
ANY或ANY_SINGLE_ZONE对于 MIG 规模调整请求:
ANY_SINGLE_ZONE
工作负载政策一经创建便无法更新。
如果您的 MIG 使用工作负载政策,则无法配置第二个实例模板。
您无法同时使用工作负载政策和布置政策。
后续步骤
了解如何为 MIG 创建工作负载政策。
了解如何查看工作负载政策。