Compute Engine 中的 TPU 資源

您可以使用 Compute Engine 資源建立及管理 TPU。本頁面概略說明如何搭配使用 TPU 與 Compute Engine。這份指南會將 TPU 概念對應至 Compute Engine 資源，並概述遷移至 Compute Engine 的程序。

TPU 和 Compute Engine 概念

如要在 Compute Engine 中管理 TPU 資源，建議您瞭解下列 TPU 和 Compute Engine 的主要概念：

  • TPU VM：直接連結至 TPU 硬體的虛擬機器。單一 TPU VM 與單主機配量相同。
  • TPU 配量：互連 TPU 晶片的邏輯群組，可透過一或多個 TPU VM 存取。切片具有下列其中一種範圍：
    • 單一主機配量：由一部主機組成的配量。單主機配量是單一 TPU VM 的另一種說法。
    • 多主機配量：由多個 TPU VM 組成的配量，使用高速晶片間互連 (ICI) 相互連結。

如要在 Compute Engine 中建立及管理 TPU 資源，請使用下列 Compute Engine 資源：

  • VM 執行個體：Compute Engine 虛擬機器。單主機 TPU 配量會建立為個別 VM 執行個體。在舊版 Cloud TPU API 中，單一 TPU 配量是以 Node REST 物件表示。
  • 代管執行個體群組 (MIG)：以單一單位管理的一組 VM 執行個體。多主機 TPU 切片會建立為 MIG，並在工作負載政策中指定加速器拓撲。在舊版 Cloud TPU API 中，一或多個切片會以 QueuedResource 或 Node REST 物件表示。

TPU 和 Compute Engine 概念圖

下表說明 TPU 概念如何對應至 Compute Engine 資源：

TPU 概念 Compute Engine 資源 資源詳細資料 用途
TPU VM VM 執行個體 可直接存取 TPU 硬體的 Compute Engine VM。 個別 VM 工作、SSH 指令執行或偵錯
TPU 單主機或子主機配量 VM 執行個體或含有單一 VM 的 MIG 由一部實體主機組成的設定。 使用自動調度資源功能進行推論
TPU 多主機配量 在工作負載政策中指定加速器拓撲的 MIG 一組使用 ICI 互連的 TPU VM，以單一邏輯單元的形式管理。 需要原子佈建的大規模分散式訓練

從 Cloud TPU API 遷移

Cloud TPU API 已停止開發。包括 Cloud TPU API 適用的 Google Cloud CLI，以及 Cloud TPU API 適用的 Cloud 用戶端程式庫。Cloud TPU API 只會收到錯誤修正和安全性更新。從 TPU7x (Ironwood) 開始，新一代硬體僅支援 Compute Engine 或 Google Kubernetes Engine (GKE)。如要使用最新功能和支援最新 TPU 版本，請將舊版 Cloud TPU API 呼叫替換為 Compute Engine 或 GKE 中的對等項目，完成遷移作業。

請根據自動化調度管理和工作負載需求，選擇下列其中一項做法：

  • Compute Engine：建議需要直接控管 VM 層級或自訂 OS 映像檔的使用者採用。如要開始在 Compute Engine 中佈建 TPU，請參閱「快速入門導覽課程：建立 TPU VM」。
  • GKE：建議用於容器化工作負載、自動調度資源和大規模自動調度管理。如要進一步瞭解如何搭配 GKE 使用 TPU，請參閱「GKE 中的 TPU 簡介」。
  • Batch：建議用於執行容器化或指令碼型工作負載的全代管服務。如要進一步瞭解如何搭配使用 TPU 和 Batch，請參閱「建立及執行使用 TPU 的批次工作」。

現有 TPU 資源

使用 Cloud TPU API (Node 或 QueuedResource REST 物件) 建立的 TPU 資源與 Compute Engine 和 GKE 不相容。如要開始使用 Compute Engine 或 GKE，請按照下列步驟操作：

  • 重寫任何使用 Cloud TPU API 的指令碼，改用 Compute Engine 或 GKE API。
  • 使用 Cloud TPU API 刪除資源，並使用 Compute Engine 或 GKE API 重新建立資源。

限制

Compute Engine 中的 TPU 有下列限制：

  • TPU 版本：Compute Engine 支援 v5p、v6e 和 TPU7x。
  • 多配量：Compute Engine 不支援建立互連的多主機 TPU 配量群組。如要使用多配量，必須使用 Google Kubernetes Engine (GKE)。詳情請參閱「在 GKE 中部署 TPU 多配量」。
  • 集合：Compute Engine 不支援集合排程。如要使用收集排程功能，您必須使用 GKE。詳情請參閱 GKE 說明文件中的「收集排程」。

後續步驟