本文档介绍了将工作负载政策与托管式实例组 (MIG) 搭配使用时的要求和限制。默认情况下,您可以只通过指定 Compute Engine 实例的可用区来管理其位置。借助工作负载政策,您可以定义计算实例在可用区内的物理布置和拓扑。例如,此方法可帮助您将计算实例放置在更靠近彼此的位置,从而最大限度地减少计算实例之间的网络延迟。
您只能将工作负载政策应用于使用 A4X Max、A4X、A4、A3 Ultra、A3 Mega、A3 High(8 个 GPU)、H4D 或 TPU(TPU7x、v6e 或 v5p)实例的 MIG。如果您使用 A4X Max 或 A4X 实例,或者创建具有多主机 TPU 切片的 MIG,则需要工作负载政策,除非您创建单个计算实例用于测试。对于其他受支持的机器系列,工作负载政策是可选的。
如需控制使用其他机器系列的计算实例的放置,请使用放置政策。
了解工作负载政策
以下部分介绍了工作负载政策用例以及您在创建工作负载政策时指定的属性。
管理计算实例的放置和拓扑
创建工作负载政策并将其应用于 MIG 后,工作负载政策可帮助您实现以下目标:
创建彼此靠近的计算实例:如果有可用容量,Compute Engine 会创建彼此靠近的计算实例。否则,Compute Engine 只会创建部分或不创建任何请求的计算实例。
了解计算实例拓扑:将高吞吐量 (
HIGH_THROUGHPUT) 类型的工作负载政策应用于 MIG 且 MIG 创建计算实例后,您可以查看计算实例之间的相对位置。这些信息有助于您最大限度地减少网络延迟并排查错误。如需了解详情,请参阅查看 Compute Engine 实例的物理位置。
您可以将同一工作负载政策应用于多个 MIG。执行此操作时,Compute Engine 会将布置规则独立应用于每个 MIG。
以下部分介绍了您在创建工作负载政策时必须指定的属性。
配置工作负载政策属性
创建工作负载政策时,您必须指定以下属性:
工作负载类型 (
type):此字段定义集群的高级目标。您只能指定HIGH_THROUGHPUT,这会指示 Compute Engine 将计算实例布置得尽可能靠近,以加快通信速度。根据 MIG 中的计算实例使用的机器系列,您可以选择指定以下属性之一:
加速器拓扑属性
为了实现大规模、无阻塞的网络性能,Compute Engine 将 A4X Max 和 A4X 实例组织成区块和子区块的物理层次结构。
如需创建具有 A4X Max 或 A4X 实例或多主机 TPU 切片的 MIG,您必须向 MIG 应用指定加速器拓扑 (acceleratorTopology) 属性的工作负载政策。此属性定义计算实例切片的物理网络配置。切片充当单个大型加速器,可为分布式 AI 或机器学习工作负载提供最大吞吐量。
下表显示了 A4X Max 和 A4X 的加速器拓扑值。 如需详细了解多主机 TPU 切片的拓扑值,请参阅 TPU 拓扑。
| 加速器拓扑值 | 说明 | 支持的机器系列 | 计算实例数上限 |
|---|---|---|---|
1x72 |
Compute Engine 将计算实例组织成密集分配的子块,每个子块包含 18 个计算实例,总共 72 个 GPU。由于每个子块都需要自己的 MIG,因此每个 MIG 最多可以创建 18 个计算实例。一个完整的块由 25 个 MIG 组成,总共包含 450 个计算实例。 | A4X Max 和 A4X | 18 |
如需详细了解 A4X Max 和 A4X 实例,请参阅 A4X Max 和 A4X 机器系列。
拓扑距离上限属性
当您创建工作负载政策并将其应用于 MIG 时,Compute Engine 会尽力将计算实例布置得尽可能靠近。如果您需要在可用区中实现更紧凑的物理放置,则可以指定拓扑距离上限 (maxTopologyDistance) 属性。指定最大拓扑距离会指示 Compute Engine 将 A4、A3 Ultra、A3 Mega、A3 High(8 个 GPU)或 H4D 实例放置在同一集群、块或子块中。
在决定是否指定最大拓扑距离时,请考虑严格的物理共置与计算实例可获取性和容量保证之间的权衡:
未指定距离:您优先考虑计算实例的可获取性和容量保证,而不是严格的共置。但是,如果容量受限,Compute Engine 可能会将计算实例放置在超出应用可容忍范围的位置。
指定距离:您需要更近的物理共置,以降低网络延迟,这会直接降低计算实例的可获取性和容量保证。如果您的放置要求对于可用区中的可用容量而言过于严格,则可能会遇到资源可用性错误。如需解决这些错误,请使用最大拓扑距离值不太严格的工作负载政策(例如
CLUSTER而不是SUBBLOCK),或不指定该值。
下表显示了拓扑距离上限值及其支持的机器系列:
| 拓扑距离上限值 | 说明 | 支持的机器系列 | 计算实例数上限 |
|---|---|---|---|
| 未指定 | Compute Engine 优先考虑计算实例的可获取性和容量保证。Compute Engine 会尝试将计算实例布置得尽可能彼此靠近,但不保证可用区内的距离上限。如果容量受限,Compute Engine 可能会将计算实例放置在超出应用可容忍范围的位置。 | A4、A3 Ultra、A3 Mega、A3 High(8 个 GPU)和 H4D | 1,500 |
CLUSTER |
Compute Engine 会在集群内的相邻块中创建计算实例。 | A4 和 H4D | 1,500 |
BLOCK |
Compute Engine 会在同一块中创建计算实例。 | A4、A3 Ultra、A3 Mega、A3 High(8 个 GPU)或 H4D |
|
SUBBLOCK |
Compute Engine 会在同一子块中创建计算实例,从而尽可能缩短网络延迟时间。 | A4、A3 Ultra 和 H4D | 22 |
价格
创建、删除 MIG 或将工作负载政策应用于 MIG 不会产生任何额外费用。
支持的机器系列
您只能将工作负载政策应用于具有计算实例的 MIG,这些计算实例使用以下机器系列和预配模型的组合:
| 机器系列 | 灵活启动 | Spot | 受预留约束 | 标准 |
|---|---|---|---|---|
| A4X Max | 否 | 否 | 是 | 否 |
| A4X | 否 | 否 | 是 | 否 |
| A4 | 是 | 是 | 是 | 否 |
| A3 Ultra | 是 | 是 | 是 | 否 |
| A3 Mega | 否 | 是 | 是 | 否 |
| A3 High(8 个 GPU) | 否 | 是 | 是 | 否 |
| H4D | 是 | 是 | 是 | 否 |
| TPU7x | 是 | 是 | 是 | 是 |
| TPU v6e | 是 | 是 | 是 | 是 |
| TPU v5p | 是 | 是 | 是 | 是 |
限制
对于 MIG 中的工作负载政策,存在以下限制:
仅当 MIG 中没有计算实例时,您才能将工作负载政策应用于现有 MIG 或更改其工作负载政策。
只有当区域级 MIG 使用以下分布目标形状时,您才能将工作负载政策应用于这些 MIG:
对于具有目标大小的 MIG:
ANY或ANY_SINGLE_ZONE对于 MIG 规模调整请求:
ANY_SINGLE_ZONE
工作负载政策一经创建便无法更新。
如果 MIG 使用工作负载政策,则无法配置第二个实例模板。
工作负载政策不能与布置政策一起使用。
后续步骤
了解如何为 MIG 创建工作负载政策。
了解如何查看工作负载政策。