为 MIG 创建工作负载政策

本文档介绍了如何为具有 A4X Max、A4X、A4、A3 Ultra、A3 Mega、A3 High（8 个 GPU）或 H4D Compute Engine 实例的托管式实例组 (MIG) 创建工作负载政策。如需为多主机 TPU 切片创建工作负载政策，请参阅创建具有多主机 TPU 切片的 MIG。

通过工作负载政策，您可以为 MIG 中的 Compute Engine 实例指定布置或拓扑。例如，您可以使用工作负载政策将计算实例放置在更靠近的位置，从而最大限度地减少人工智能 (AI)、机器学习 (ML) 或高性能计算 (HPC) 工作负载的网络延迟时间。如需详细了解创建工作负载政策时适用的要求和限制，请参阅工作负载政策简介。

准备工作

  • 如果您尚未设置身份验证，请进行设置。身份验证用于验证您的身份，以便访问 Google Cloud 服务和 API。如需从本地开发环境运行代码或示例，您可以通过选择以下选项之一向 Compute Engine 进行身份验证：

    选择标签页以了解您打算如何使用本页面上的示例：

    gcloud

    1. 安装 Google Cloud CLI，然后 使用联合身份登录 gcloud CLI。 登录后，运行以下命令来初始化 Google Cloud CLI： 

      gcloud init
  • 设置默认区域和可用区。

    • REST

    如需在本地开发环境中使用本页面上的 REST API 示例，请使用您提供给 gcloud CLI 的凭证。

      安装 Google Cloud CLI，然后 使用联合身份登录 gcloud CLI。

    如需了解详情，请参阅 Google Cloud 身份验证文档中的使用 REST 时进行身份验证。

所需的角色

如需获得创建工作负载政策并将其应用于 MIG 所需的权限，请让您的管理员为您授予项目的 Compute Instance Admin (v1) (roles/compute.instanceAdmin.v1) IAM 角色。如需详细了解如何授予角色，请参阅管理对项目、文件夹和组织的访问权限。

此预定义角色包含创建工作负载政策并将其应用于 MIG 所需的权限。如需查看所需的确切权限，请展开所需权限部分：

所需权限

如需创建工作负载政策并将其应用于 MIG，您需要具备以下权限：

  • 创建工作负载政策：针对项目的 compute.resourcePolicies.create 权限

您也可以使用自定义角色或其他预定义角色来获取这些权限。

创建工作负载政策

如需创建工作负载政策，请根据 MIG 中的计算实例使用的机器系列，使用以下方法之一：

为 A4X Max 或 A4X 实例创建工作负载政策

如果您将工作负载政策应用于 MIG 中的 A4X Max 或 A4X 实例，则必须在创建政策时指定加速器拓扑值。此操作有助于您的工作负载实现大规模、非阻塞的网络性能。

如需为 A4X Max 或 A4X 实例创建工作负载政策，请选择以下选项之一：

gcloud

如需为 A4X Max 或 A4X 实例创建工作负载政策，请将 gcloud compute resource-policies create workload-policy 命令与 --accelerator-topology=1x72 标志结合使用：

gcloud compute resource-policies create workload-policy WORKLOAD_POLICY_NAME \
    --accelerator-topology=1x72 \
    --type=high-throughput \
    --region=REGION

替换以下内容：

  • WORKLOAD_POLICY_NAME：工作负载政策的名称。

  • REGION：要用于创建工作负载政策的区域。指定要在其中创建 MIG 且提供您要使用的机器类型的区域。如需查看 A4X Max 或 A4X 机器类型在哪些区域可用，请参阅可用区域和可用区。

REST

如需为 A4X Max 或 A4X 实例创建工作负载政策，请向 resourcePolicies.insert 方法发出 POST 请求。在请求正文中，添加设置为 1x72 的 acceleratorTopology 字段：

POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/resourcePolicies

{
  "name": "WORKLOAD_POLICY_NAME",
  "workloadPolicy": {
    "acceleratorTopology": "1x72",
    "type": "HIGH_THROUGHPUT"
  }
}

替换以下内容：

  • PROJECT_ID：要在其中创建工作负载政策的项目 ID。

  • REGION：要用于创建工作负载政策的区域。指定要在其中创建 MIG 且提供您要使用的机器类型的区域。如需查看 A4X Max 或 A4X 机器类型在哪些区域可用，请参阅可用区域和可用区。

  • WORKLOAD_POLICY_NAME：工作负载政策的名称。

为 A4、A3 Ultra、A3 Mega、A3 High（8 个 GPU）或 H4D 实例创建工作负载政策

如果您要将工作负载政策应用于 MIG 中的 A4、A3 Ultra、A3 Mega、A3 High（8 个 GPU）或 H4D 实例，则可以在创建政策时选择指定最大拓扑距离值。

在决定是否指定最大拓扑距离时，请考虑严格的物理共置与计算实例可获取性和容量保证之间的权衡：

  • 未指定距离：您优先考虑计算实例的可获取性和容量保证，而不是严格的共置。但是，如果容量受限，Compute Engine 可能会将计算实例放置在超出应用可容忍范围的位置。

  • 指定距离：您需要更近的物理共置，以降低网络延迟，这会直接降低计算实例的可获取性和容量保证。如果您的放置要求对于可用区中的可用容量而言过于严格，则可能会遇到资源可用性错误。如需解决这些错误，请使用最大拓扑距离值不太严格的工作负载政策（例如 CLUSTER 而不是 SUBBLOCK），或不指定该值。

如需为 A4、A3 Ultra、A3 Mega、A3 High（8 个 GPU）或 H4D 实例创建工作负载政策，请选择以下选项之一：

gcloud

如需创建工作负载政策，请使用 gcloud compute resource-policies create workload-policy 命令。根据您希望在 MIG 中放置计算实例的距离，在命令中添加以下标志：

  • 如需尽力将计算实例彼此靠近放置，请添加 --type=high-throughput 标志：

    gcloud compute resource-policies create workload-policy WORKLOAD_POLICY_NAME \
    --type=high-throughput \
    --region=REGION

  • 如需进一步控制计算实例的放置位置，请添加 --max-topology-distance 和 --type=high-throughput 标志：

    gcloud compute resource-policies create workload-policy WORKLOAD_POLICY_NAME \
    --max-topology-distance=TOPOLOGY_DISTANCE \
    --type=high-throughput \
    --region=REGION

替换以下内容：

  • WORKLOAD_POLICY_NAME：工作负载政策的名称。

  • REGION：要用于创建工作负载政策的区域。指定要在其中创建 MIG 且提供您要使用的机器类型的区域。如需查看提供 GPU 机器类型的区域，请参阅可用区域和可用区。

  • TOPOLOGY_DISTANCE：拓扑距离上限。 请指定以下某个值：

    • 如需将 A4 或 H4D 实例放置在同一集群中，请执行以下操作：CLUSTER

    • 如需将 A4、A3 Ultra、A3 Mega、A3 High（8 个 GPU）或 H4D 实例放置在同一块中，请执行以下操作：BLOCK

    • 如需将 A4、A3 Ultra 或 H4D 实例放置在同一子区块中，请执行以下操作： SUBBLOCK

REST

如需创建工作负载政策，请向 resourcePolicies.insert 方法发出 POST 请求。根据您希望在 MIG 中放置计算实例的紧密程度，在请求正文中添加以下字段：

  • 如需尽力将计算实例彼此靠近放置，请在请求正文中添加 type 字段：

    POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/resourcePolicies

{
  "name": "WORKLOAD_POLICY_NAME",
  "workloadPolicy": {
    "type": "HIGH_THROUGHPUT"
  }
}

  • 如需进一步控制计算实例的放置位置，请在请求正文中添加 maxTopologyDistance 和 type 字段：

    POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/resourcePolicies

{
  "name": "WORKLOAD_POLICY_NAME",
  "workloadPolicy": {
    "maxTopologyDistance": "TOPOLOGY_DISTANCE",
    "type": "HIGH_THROUGHPUT"
  }
}

替换以下内容：

  • PROJECT_ID：要在其中创建工作负载政策的项目 ID。

  • REGION：要用于创建工作负载政策的区域。指定要在其中创建 MIG 且提供您要使用的机器类型的区域。如需查看提供 GPU 机器类型的区域，请参阅可用区域和可用区。

  • WORKLOAD_POLICY_NAME：工作负载政策的名称。

  • TOPOLOGY_DISTANCE：最大拓扑距离。请指定以下某个值：

    • 如需将 A4 或 H4D 实例放置在同一集群中，请执行以下操作：CLUSTER

    • 如需将 A4、A3 Ultra、A3 Mega、A3 High（8 个 GPU）或 H4D 实例放置在同一块中，请执行以下操作：BLOCK

    • 如需将 A4、A3 Ultra 或 H4D 实例放置在同一子区块中，请执行以下操作： SUBBLOCK

后续步骤