规划 Cloud TPU 资源

本页面介绍了如何规划张量处理单元 (TPU) 用量。

选择使用选项

使用选项是指获取和使用计算资源的方式。您可以根据对速度、时长、费用和抢占容忍度的需求，申请 Cloud TPU 虚拟机容量。选项包括：

  • 按需： 标准随用随付实例。
  • Spot 虚拟机： 价格较低的可抢占实例。使用抢占式配额。
  • 灵活启动虚拟机： 根据需要预留容量，最多 7 天，无需长期预留或复杂的配额管理。
  • 预留： 预留特定时长的容量（最长 90 天或 1 年以上），保证可用性。使用按需配额。

下表根据 TPU 使用选项的工作原理、理想用例和支持的 TPU 版本对其进行了比较。

使用选项 工作原理 最佳用途 支持的 TPU 版本
一年或更长时间的未来预留

您可以提前一年或更长时间申请 TPU 资源。这些 资源将预留给您，供您在此期间独占使用。

预留可极高地保障容量，并且 价格低于按需资源。

未来 TPU 预留包含承诺使用折扣 (CUD) 当您购买承诺使用 合约时，CUD 可提供折扣价。如需了解详情，请参阅 一年或更长时间的未来预留

 一年或更长时间的未来预留非常适合长时间运行的 训练作业和推理工作负载。 所有 TPU 版本
最长 90 天的未来预留（日历模式）

您可以申请 TPU 资源，指定开始时间和时长， 1 到 90 天。这些资源将预留给您，供您在此期间独占 使用。如需了解详情，请参阅最长 90 天的未来预留（日历模式）

预留可极高地保障容量，并且 价格低于按需资源。

 日历模式下的未来预留非常适合需要精确开始时间且具有明确时长的训练和 实验工作负载。 TPU7x、TPU v6e 和 TPU v5p
按需

您可以申请 TPU 资源，以便立即使用，并且可使用多长时间 由您决定。

按需使用模式具有极大的灵活性。按需资源 不会被抢占，但无法保证有足够的 可用 TPU 资源来满足您的请求。创建 TPU 资源时，按需是 默认选项。如需详细了解如何创建和使用按需 TPU，请参阅创建 TPU 虚拟机。

 按需非常适合需要 灵活结束时间的紧急作业和工作负载。 所有 TPU 版本
灵活启动（预览版）

您可以申请 TPU 资源，指定使用时长（最长 7 天），无需提前预留容量。

TPU 灵活启动虚拟机来自专用容量池，因此这些资源的可用性高于按需。如需了解详情，请参阅 请求 TPU 灵活启动虚拟机。

如需详细了解如何将 TPU 灵活启动虚拟机与 Google Kubernetes Engine (GKE) 搭配使用，请参阅 关于使用灵活启动预配模式进行 GPU 和 TPU 预配。

 灵活启动非常适合实验、小规模测试、 动态预配 TPU 以用于推理工作负载、模型微调， 以及运行时间不到 7 天的工作负载。 TPU7x、TPU v6e 和 TPU v5p
Spot

您可以申请可能会被抢占的 TPU 资源。

Spot 虚拟机的价格比 按需资源低得多。与 按需资源相比，Spot 虚拟机通常更容易获取，但可能随时被抢占（关停）。运行时长没有限制。 如需详细了解 TPU Spot 虚拟机，请参阅 管理 TPU Spot 虚拟机。

 Spot 非常适合调度优先级较低的工作负载，例如模型 预训练、模型微调，以及对可用性中断具有容忍性 的模拟作业。 所有 TPU 版本

选择 TPU 版本

根据模型的训练或推理需求，选择 TPU 版本，例如 v5p、v6e 或 TPU7x (Ironwood)。如需了解详情，请参阅 TPU 版本。

申请 TPU 配额

如需使用 TPU 虚拟机，无论选择哪种使用选项，您都需要为 Cloud TPU 资源设置按需配额或抢占式配额。请确保您有足够的配额来满足所选选项、TPU 版本、大小和可用区的需求。配额特定于每个 TPU 版本，并且按需使用和抢占式使用的配额不同。某些 TPU 版本具有默认配额；对于其他版本，您必须申请配额。如需了解更多 信息，请参阅 Compute Engine 配额。

后续步骤