为 MIG 创建工作负载政策

本文档介绍了如何为具有 A4X Max、A4X、A4、A3 Ultra、A3 Mega、A3 High（8 个 GPU）或 H4D Compute Engine 实例的托管式实例组 (MIG) 创建工作负载政策。如需为多主机 TPU 切片创建工作负载政策，请参阅创建具有多主机 TPU 切片的 MIG。

借助工作负载政策，您可以为 MIG 中的 Compute Engine 实例指定放置位置或拓扑。例如，您可以使用工作负载政策将计算实例布置得更近，从而最大限度地缩短人工智能 (AI)、机器学习 (ML) 或高性能计算 (HPC) 工作负载的网络延迟时间。如需详细了解在创建工作负载政策时遵循的要求和限制，请参阅关于工作负载政策。

准备工作

  • 如果您尚未设置身份验证，请进行设置。身份验证用于验证您的身份，以便访问 Google Cloud 服务和 API。如需从本地开发环境运行代码或示例，您可以通过选择以下选项之一向 Compute Engine 进行身份验证：

    选择标签页以了解您打算如何使用本页面上的示例：

    gcloud

    1. 安装 Google Cloud CLI，然后 使用联合身份登录 gcloud CLI。 登录后，运行以下命令来初始化 Google Cloud CLI： 

      gcloud init
  • 设置默认区域和可用区。

    • REST

    如需在本地开发环境中使用本页面上的 REST API 示例，请使用您提供给 gcloud CLI 的凭证。

      安装 Google Cloud CLI，然后 使用联合身份登录 gcloud CLI。

    如需了解详情，请参阅 Google Cloud 身份验证文档中的使用 REST 时进行身份验证。

所需的角色

如需获得创建工作负载政策并将其应用于 MIG 所需的权限，请让您的管理员为您授予项目的 Compute Instance Admin (v1) (roles/compute.instanceAdmin.v1) IAM 角色。 如需详细了解如何授予角色，请参阅管理对项目、文件夹和组织的访问权限。

此预定义角色包含创建工作负载政策并将其应用于 MIG 所需的权限。如需查看所需的确切权限，请展开所需权限部分：

所需权限

若要创建工作负载政策并将其应用于 MIG，您需要具备以下权限：

  • 创建工作负载政策：针对项目的 compute.resourcePolicies.create 权限

您也可以使用自定义角色或其他预定义角色来获取这些权限。

创建工作负载政策

如需创建工作负载政策，请根据 MIG 中的计算实例所使用的机器系列，使用以下方法之一：

为 A4X Max 或 A4X 实例创建工作负载政策

如果您将工作负载政策应用于 MIG 中的 A4X Max 或 A4X 实例，则必须在创建政策时指定加速器拓扑值。此操作有助于工作负载实现大规模、无阻塞的网络性能。

如需为 A4X Max 或 A4X 实例创建工作负载政策，请选择以下选项之一：

gcloud

如需为 A4X Max 或 A4X 实例创建工作负载政策，请将 gcloud compute resource-policies create workload-policy 命令与 --accelerator-topology=1x72 标志结合使用：

gcloud compute resource-policies create workload-policy WORKLOAD_POLICY_NAME \
    --accelerator-topology=1x72 \
    --type=high-throughput \
    --region=REGION

替换以下内容：

  • WORKLOAD_POLICY_NAME：工作负载政策的名称。

  • REGION：要用于创建工作负载政策的区域。指定要创建 MIG 的区域，以及提供您要使用的机器类型的区域。如需查看提供 A4X Max 或 A4X 机器类型的区域，请参阅可用区域和可用区。

REST

如需为 A4X Max 或 A4X 实例创建工作负载政策，请向 resourcePolicies.insert 方法发出 POST 请求。在请求正文中，添加设置为 1x72 的 acceleratorTopology 字段：

POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/resourcePolicies

{
  "name": "WORKLOAD_POLICY_NAME",
  "workloadPolicy": {
    "acceleratorTopology": "1x72",
    "type": "HIGH_THROUGHPUT"
  }
}

替换以下内容：

  • PROJECT_ID：要在其中创建工作负载政策的项目的 ID。

  • REGION：要用于创建工作负载政策的区域。指定要创建 MIG 的区域，以及提供您要使用的机器类型的区域。如需查看提供 A4X Max 或 A4X 机器类型的区域，请参阅可用区域和可用区。

  • WORKLOAD_POLICY_NAME：工作负载政策的名称。

为 A4、A3 Ultra、A3 Mega、A3 High（8 个 GPU）或 H4D 实例创建工作负载政策

如果您想将工作负载政策应用于 MIG 中的 A4、A3 Ultra、A3 Mega、A3 High（8 个 GPU）或 H4D 实例，建议您在创建政策时指定最大拓扑距离值。此操作有助于确保您的计算实例更紧密地放置在一起。不过，您指定的布置越紧凑，您要在其中创建计算实例的可用区中可用的资源就越少。

如需为 A4、A3 Ultra、A3 Mega 或 A3 High（8 个 GPU）实例创建工作负载政策，请选择以下选项之一：

gcloud

如需创建工作负载政策，请使用 gcloud compute resource-policies create workload-policy 命令。根据您希望 MIG 中的计算实例有多接近，在命令中添加以下标志：

  • 如需尽力将计算实例布置得彼此靠近，请添加 --type=high-throughput 标志：

    gcloud compute resource-policies create workload-policy WORKLOAD_POLICY_NAME \
    --type=high-throughput \
    --region=REGION

  • 如需进一步控制计算实例的放置位置，请添加 --max-topology-distance 和 --type=high-throughput 标志：

    gcloud compute resource-policies create workload-policy WORKLOAD_POLICY_NAME \
    --max-topology-distance=TOPOLOGY_DISTANCE \
    --type=high-throughput \
    --region=REGION

替换以下内容：

  • WORKLOAD_POLICY_NAME：工作负载政策的名称。

  • REGION：要用于创建工作负载政策的区域。指定要创建 MIG 的区域，以及提供您要使用的机器类型的区域。如需查看可以使用 GPU 的机器类型所在的区域，请参阅可用区域和可用区。

  • TOPOLOGY_DISTANCE：拓扑距离上限。较短的距离上限可能会降低实现虚拟机可用性的可能性。请指定以下某个值：

    • 如需将 A4 或 H4D 实例放置在同一集群中，请执行以下操作：CLUSTER

    • 如需将 A4、A3 Ultra、A3 Mega、A3 High（8 个 GPU）或 H4D 实例放置在同一块中，请执行以下操作：BLOCK

    • 如需将 A4、A3 Ultra 或 H4D 实例布置在同一子区块中，请执行以下操作：SUBBLOCK

REST

如需创建工作负载政策，请向 resourcePolicies.insert 方法发出 POST 请求。根据您希望在 MIG 中放置计算实例的紧凑程度，在请求正文中添加以下字段：

  • 如需尽力将计算实例布置得彼此靠近，请在请求正文中添加 type 字段：

    POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/resourcePolicies

{
  "name": "WORKLOAD_POLICY_NAME",
  "workloadPolicy": {
    "type": "HIGH_THROUGHPUT"
  }
}

  • 如需进一步控制计算实例的放置位置，请在请求正文中添加 maxTopologyDistance 和 type 字段：

    POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/resourcePolicies

{
  "name": "WORKLOAD_POLICY_NAME",
  "workloadPolicy": {
    "maxTopologyDistance": "TOPOLOGY_DISTANCE",
    "type": "HIGH_THROUGHPUT"
  }
}

替换以下内容：

  • PROJECT_ID：要在其中创建工作负载政策的项目的 ID。

  • REGION：要用于创建工作负载政策的区域。指定要创建 MIG 的区域，以及提供您要使用的机器类型的区域。如需查看可以使用 GPU 的机器类型所在的区域，请参阅可用区域和可用区。

  • WORKLOAD_POLICY_NAME：工作负载政策的名称。

  • TOPOLOGY_DISTANCE：拓扑距离上限。较短的距离上限可能会降低实现虚拟机可用性的可能性。请指定以下某个值：

    • 如需将 A4 或 H4D 实例放置在同一集群中，请执行以下操作：CLUSTER

    • 如需将 A4、A3 Ultra、A3 Mega、A3 High（8 个 GPU）或 H4D 实例放置在同一块中，请执行以下操作：BLOCK

    • 如需将 A4、A3 Ultra 或 H4D 实例布置在同一子区块中，请执行以下操作：SUBBLOCK

后续步骤