Compute Engine 中的 TPU 资源

您可以使用 Compute Engine 资源创建和管理张量处理单元 (TPU)。本页面从概念上简要介绍了如何将 TPU 与 Compute Engine 搭配使用。它将 TPU 概念映射到 Compute Engine 资源，并概述了创建 TPU 资源的高级工作流。

TPU 和 Compute Engine 概念

如需在 Compute Engine 中管理 TPU 资源，了解以下主要 TPU 和 Compute Engine 概念会很有帮助：

  • TPU 虚拟机：直接连接到 TPU 硬件的虚拟机。单个 TPU 虚拟机与单主机切片相同。
  • TPU 切片：一组互连的 TPU 芯片，通过一个或多个 TPU 虚拟机访问。切片具有以下范围之一：
    • 单宿主机切片：由一台宿主机组成的切片。单主机切片是单个 TPU 虚拟机的另一种称呼。
    • 多主机切片：由多个 TPU 虚拟机组成的切片，这些虚拟机使用高速芯片间互连 (ICI) 进行互连。

如需在 Compute Engine 中创建和管理 TPU 资源，您可以使用以下 Compute Engine 资源：

  • 虚拟机实例：Compute Engine 虚拟机。单主机 TPU 切片是作为单个虚拟机实例创建的。
  • 托管式实例组 (MIG)：作为单个单元进行管理的虚拟机实例的集合。多主机 TPU 切片会创建为 MIG，并在工作负载政策中指定加速器拓扑。

TPU 和 Compute Engine 概念图

下表介绍了 TPU 概念如何映射到 Compute Engine 资源：

TPU 概念 Compute Engine 资源 资源详情 使用场景
TPU 虚拟机 虚拟机实例 一种可直接访问 TPU 硬件的 Compute Engine 虚拟机。 单个虚拟机任务、SSH 命令执行或调试
TPU 单主机切片 虚拟机实例或包含单个虚拟机的 MIG 由一台物理宿主机组成的配置。 使用自动扩缩功能进行推理
TPU 多主机切片 在工作负载政策中指定了加速器拓扑的 MIG 一组使用 ICI 互连的 TPU 虚拟机，作为一个逻辑单元进行管理。 需要原子预配的大规模分布式训练

从 Cloud TPU API 迁移

Cloud TPU API 已停止开发。这包括适用于 Cloud TPU API 的 Google Cloud CLI 和适用于 Cloud TPU API 的 Cloud 客户端库。Cloud TPU API 将仅接收 bug 修复和安全更新。从 TPU7x (Ironwood) 开始的新一代硬件仅支持通过 Compute Engine 或 Google Kubernetes Engine (GKE) 使用。如需获取最新功能和对最新 TPU 版本的支持，请将旧版 Cloud TPU API 调用替换为 Compute Engine 或 GKE 中的等效调用，以完成迁移。

根据您的编排和工作负载要求，选择以下路径之一：

  • Compute Engine：推荐给需要直接虚拟机级控制或自定义操作系统映像的用户。如需开始在 Compute Engine 中预配 TPU，请参阅快速入门：创建 TPU 虚拟机。
  • GKE：推荐用于容器化工作负载、自动伸缩和大规模编排。如需详细了解如何在 GKE 中使用 TPU，请参阅关于 GKE 中的 TPU。
  • Batch：推荐给希望使用全代管式服务来运行容器化或基于脚本的工作负载的用户。如需详细了解如何将 TPU 与 Batch 搭配使用，请参阅创建和运行使用 TPU 的批量作业。

现有 TPU 资源

使用 Cloud TPU API（Node 或 QueuedResource REST 对象）创建的 TPU 资源与 Compute Engine 和 GKE 不兼容。如需开始使用 Compute Engine 或 GKE，请执行以下操作：

  • 重写使用 Cloud TPU API 的所有脚本，以使用 Compute Engine 或 GKE API。
  • 使用 Cloud TPU API 删除资源，并使用 Compute Engine 或 GKE API 重新创建资源。

限制

Compute Engine 中的 TPU 具有以下限制：

  • TPU 版本：Compute Engine 支持 v5p、v6e 和 TPU7x。
  • Multislice：Compute Engine 不支持创建互连的多主机 TPU 切片组。如需使用 Multislice，您必须使用 Google Kubernetes Engine (GKE)。如需了解详情，请参阅在 GKE 中部署 TPU 多切片。
  • 集合：Compute Engine 不支持集合调度。如需使用收集时间安排，您必须使用 GKE。如需了解详情，请参阅 GKE 文档中的收集时间安排。

后续步骤