叢集管理功能

叢集式 GPU (例如 A4X Max、A4X、A4、A3 Ultra、A3 Mega 和 A3 High (8 個 GPU) 機器系列) 可讓您執行大規模的人工智慧 (AI) 和機器學習 (ML) 叢集，並提供下列叢集管理功能：

支援的機器系列

本頁面說明的叢集管理功能適用於叢集式 GPU 機器系列，這類機器經過最佳化調整，適合多節點的大規模工作負載。

這些功能不適用於一般 GPU 機器系列，該系列由獨立運算資源組成，使用標準虛擬私有雲網路，且不支援維護作業模式或密集共置。

下表匯總 AI Hypercomputer 支援的機器系列：

類別 機器系列 支援叢集管理
叢集式 GPU A5X、A4X Max、A4X、A4、A3 Ultra、A3 Mega、A3 High 是
一般 GPU A3 Edge、A2、G2、G4、N1 否

如要進一步瞭解各個機器系列，請參閱「關於 GPU 加速器」。

大多數叢集管理功能僅支援預留繫結容量，也就是使用預留繫結佈建模式的基礎架構，僅支援叢集式 GPU 機型。如果運算資源使用其他佈建模式，則僅提供下列叢集管理功能：

叢集式 GPU 基礎架構共置

使用叢集式 GPU (例如 A4X Max、A4X、A4、A3 Ultra、A3 Mega 和 A3 High (8 個 GPU)) 時，您可以要求 Compute Engine 盡可能將主機佈建在相近的位置。這些機器提供下列功能：

這樣的資源配置能大幅減少網路躍點，並將網路延遲降至最低。如要部署 Compute Engine 密集分配的加速器最佳化機器區塊，可以使用下列選項：

叢集拓撲感知存放位置

建立叢集式 GPU 後，您可以在節點和叢集層級取得拓撲資訊。這項資訊有助於執行以下操作：

  • 調整應用程式或工作負載設計，進一步縮短網路延遲時間。

  • 瞭解並排解經常互相通訊的執行個體網路延遲和效能問題。如果執行個體意外位於相距甚遠的位置，就可能發生這些問題。

具體來說，拓撲功能支援如下：

詳情請參閱「查看運算執行個體拓撲」。

叢集運作模式

使用叢集式 GPU 預留容量來建立運算執行個體或叢集時，預留的機器類型會決定執行個體的叢集運作模式。這個模式會指定執行個體在主機錯誤或主機故障報告後的行為。執行個體可用的作業模式包括代管模式，Compute Engine 會自動更換任何故障的機器，但會保留部分預留容量，確保執行個體有必要的資源可重新啟動。或全容量模式，您可以使用所有預留容量，但必須負責管理故障和排定的維護作業。

詳情請參閱「預留項目作業模式」。

叢集維護作業排程和控制項

您可以在資源區塊中使用拓撲感知調度，控管叢集式 GPU 的維護作業。這項功能有助於同步升級，讓工作負載更能因應主機事件，並盡可能減少中斷情形。這種做法有助於提高工作負載的有效處理量。

如要完全控管維護事件，可以使用下列功能：

維護作業排程類型

預留容量來建立運算執行個體或叢集式 GPU 叢集時，您可以定義 Compute Engine 如何維護執行個體運作的基礎架構。根據您要用於執行個體的機器類型，您可以選擇在執行個體之間同步維護 (分組)，或選擇不同的維護排程 (獨立)。

詳情請參閱「維護排程類型」。

管理主辦活動

建立叢集式 GPU 並啟動工作負載後，您可以設定快訊，在執行個體或預留區塊的維護作業排定、開始或完成時收到通知。您也可以查看執行個體或預留區塊，並視需要手動啟動維護作業，不必等到排定時間。這些選項可協助您主動控管及盡量減少工作負載的停機時間。

如要瞭解詳情，請參考下列資源：

叢集監控和診斷工具

叢集式 GPU 包含下列監控和疑難排解服務：

後續步驟