Google 會運用 AI 技術將內容翻譯成你偏好的語言，但可能會出錯。

建立全代管 Slurm 叢集，用於 AI 工作負載

叢集式 GPU

本文說明如何使用 Cluster Director 搭配 A4X、A4、A3 Ultra 或 A3 Mega 機型，設定及部署全代管 Slurm 叢集。如要進一步瞭解這些加速器最佳化機型，請參閱「關於 GPU 加速器」。

Cluster Director 是 Google Cloud產品，可自動設定 Slurm 叢集。這項產品專為 IT 管理員和 AI 研究人員設計，可避免管理叢集的負擔，專注於執行工作負載。如要進一步控管叢集部署作業，請使用 Cluster Toolkit 建立叢集。

限制

視叢集中 Compute Engine 執行個體使用的機器類型而定，適用下列限制：

A4X

使用這類機型的執行個體無法享有續用折扣或彈性承諾使用折扣。
您只能在特定區域和可用區建立執行個體。
您無法使用 Persistent Disk (區域性或可用區)。您只能使用 Google Cloud Hyperdisk。
這類機器類型僅適用於 NVIDIA Grace 平台。
A4X 不支援變更機型。如要切換至或切換出這個機器類型，您必須建立新的執行個體。
您無法在這個機器類型上執行 Windows 作業系統。如需支援的 Linux 作業系統清單，請參閱「GPU 執行個體支援的作業系統」。
如果是 A4X 執行個體，當您使用 ethtool -S 監控 GPU 網路時，以 _phy 結尾的實體通訊埠計數器不會更新。對於使用 MRDMA 虛擬函式 (VF) 架構的執行個體，這是預期行為。詳情請參閱「MRDMA 函式和網路監控工具」。
A4X 執行個體不支援下列項目：
2026 年 2 月 4 日前建立的 Hyperdisk ML 磁碟，無法連接至 A4X 機型。

A4

使用 A4 機型的執行個體不適用續用折扣和彈性承諾使用折扣。
A4 機型僅適用於特定區域和可用區。
您無法使用 Persistent Disk (區域性或可用區)。您只能使用 Google Cloud Hyperdisk。
A4 機型僅適用於 Emerald Rapids CPU 平台。
您無法將執行個體的機型變更為 A4 機型，也無法將 A4 機型變更為其他機型。您必須使用這個機型建立新的執行個體。
A4 機型不支援單一租戶。
您無法在 A4 機器類型上執行 Windows 作業系統。
如果是 A4 執行個體，當您使用 ethtool -S 監控 GPU 網路時，以 _phy 結尾的實體通訊埠計數器不會更新。對於使用 MRDMA 虛擬函式 (VF) 架構的執行個體，這是預期行為。詳情請參閱「MRDMA 函式和網路監控工具」。
2026 年 2 月 4 日前建立的 Hyperdisk ML 磁碟，無法連接至 A4 機型。

A3 Ultra

使用 A3 Ultra 機型的執行個體不適用續用折扣和彈性承諾使用折扣。
A3 Ultra 機型僅適用於特定區域和可用區。
您無法使用 Persistent Disk (區域性或可用區)。您只能使用 Google Cloud Hyperdisk。
A3 Ultra 機型僅適用於 Emerald Rapids CPU 平台。
無法變更 A3 Ultra 機型。如要切換至或切換出這個機器類型，您必須建立新的執行個體。
您無法在 A3 Ultra 機型上執行 Windows 作業系統。
A3 Ultra 機型不支援單一租戶。
如果是 A3 Ultra 執行個體，當您使用 ethtool -S 監控 GPU 網路時，以 _phy 結尾的實體通訊埠計數器不會更新。對於使用 MRDMA 虛擬函式 (VF) 架構的執行個體，這是預期行為。詳情請參閱「MRDMA 函式和網路監控工具」。

A3 Mega

使用 A3 Mega 機型的執行個體不適用續用折扣和彈性承諾使用折扣。
A3 Mega 機型僅適用於特定區域和可用區。
您無法在採用 A3 Mega 機型的執行個體上使用區域永久磁碟。
A3 Mega 機型僅適用於 Sapphire Rapids CPU 平台。
A3 Mega 機型不支援變更機型。如要切換至或切換出這個機器類型，您必須建立新的執行個體。
您無法在 A3 Mega 機型上執行 Windows 作業系統。

事前準備

建立 Slurm 叢集前，請先完成下列步驟 (如尚未完成)：

選擇使用模式：您選擇的使用模式會決定如何取得及使用 GPU 資源。詳情請參閱「選擇消耗選項」。
取得容量：取得容量的程序因消費選項而異。如要瞭解如何為所選用量方案取得運算資源，請參閱「運算資源總覽」。
確認 Filestore 容量配額充足：部署前，目標區域必須有足夠的 Filestore 配額。如果是 A4X、A4、A3 Ultra 和 A3 Mega 機型，您至少需要 10 TiB (10,240 GiB) 的 HIGH_SCALE_SSD (可用區) 容量。
如要查看配額或要求提高配額，請參閱下列說明：
- 如要查看專案配額，請參閱「查看 API 專屬配額」一節。
- 如果配額不足，請申請提高配額。
驗證可信映像檔政策：如果專案所屬的組織設有可信映像檔政策 (constraints/compute.trustedImageProjects)，請確認 clusterdirector-public-images 專案已列入允許的專案清單。詳情請參閱「設定可信映像檔政策」。

必要的角色

如要建立 Slurm 叢集，您必須具備下列 IAM 角色和權限：

如要取得完成本快速入門導覽課程所需的權限，請要求管理員授予您下列 IAM 角色：
- 如要建立及管理叢集：專案的 Cluster Director 編輯者 (roles/hypercomputecluster.editor)
- 如要在叢集中建立及管理 VM，請在專案中啟用 Compute 執行個體管理員 (v1) (roles/compute.instanceAdmin.v1)
- 如要使用單一專案預留項目：專案的 Compute 執行個體管理員 (v1) (roles/compute.instanceAdmin.v1)
- 如要使用共用預留項目：在擁有者專案和要使用預留項目的任何用戶專案中，具備 Compute 執行個體管理員 (v1) (roles/compute.instanceAdmin.v1) 角色
- 如要連線至叢集中的登入節點，請按照下列步驟操作：
  - 專案的 Compute OS 登入 (roles/compute.osLogin)
  - 專案的受 IAP 保護的通道使用者 (roles/iap.tunnelResourceAccessor)
如要進一步瞭解如何授予角色，請參閱「管理專案、資料夾和組織的存取權」。

您或許也能透過自訂角色或其他預先定義的角色，取得必要權限。
如要取得完成本快速入門導覽課程所需的權限，請要求管理員在 Compute Engine 預設服務帳戶中，授予您下列 IAM 角色：
- 如要建立叢集：服務帳戶使用者 (roles/iam.serviceAccountUser)
- 如要管理叢集中的資源：
  - 記錄檔寫入者 (roles/logging.logWriter)
  - Monitoring 指標寫入者 (roles/monitoring.metricWriter)
  - Storage 物件檢視者 (roles/storage.objectViewer)

建立 Slurm 叢集

如要使用 Cluster Director 建立 AI 最佳化叢集，請完成下列步驟：

設定運算資源
設定網路
設定儲存空間資源
設定 Slurm 環境

設定運算資源

如要在建立叢集時設定運算資源，請完成下列步驟：

前往 Google Cloud 控制台的「Cluster Director」頁面。

前往「Cluster Director」頁面
按一下「建立叢集」。
在隨即顯示的對話方塊中，按一下「Reference architecture」(參考架構)。「Create a cluster」(建立叢集) 頁面隨即開啟。
按一下其中一個可用範本。您可以視需要編輯範本，以符合工作負載的需求。
點按「自訂」。
在「Compute」(運算) 區段的「Cluster name」(叢集名稱) 欄位中，輸入叢集名稱。名稱長度最多 10 個字元，且只能使用數字或小寫字母 (a-z)。
如要將資訊新增至預先設定的運算資源設定，或編輯設定指定的運算執行個體數量和類型，請按照下列步驟操作：
1. 在「Compute」(運算) 部分，按一下「Edit resource configuration」(編輯資源設定)。「Add resource configuration」(新增資源設定) 窗格隨即顯示。
2. 選用：如要變更運算資源設定名稱，請在「Name」(名稱) 欄位中輸入新名稱。
3. 選用：如要變更叢集使用的運算執行個體數量和類型，請在「Machine configuration」(機器設定) 區段中，按照提示更新運算資源。
4. 在「Consumption options」(用量方案) 部分，指定要用來取得資源的用量方案：
  - 如要使用預留項目建立運算執行個體，請按照下列步驟操作：
    1. 按一下「Use reservation」(使用預留項目) 分頁標籤。
    2. 按一下「Select reservation」(選取預留項目)。「Choose a reservation」(選擇預留項目) 窗格隨即顯示。如要使用 A4X VM 的預留項目，可以選擇區塊或子區塊，控制 VM 的位置。
    3. 選取要使用的預留項目。然後按一下「Choose」(選擇)。這項操作會自動設定運算資源的「Region」(區域) 和「Zone」(可用區)。
  - 如要建立彈性啟動型 VM，請按照下列步驟操作：
    1. 按一下「Flex start」分頁標籤。
    2. 在「Time limit for the VM」(VM 時間限制) 區段中，指定運算執行個體的執行時間長度。值必須介於 10 分鐘至 7 天之間。
    3. 在「Location」(位置) 部分，選取要建立彈性啟動型 VM 的區域。Google Cloud 控制台會自動篩選可用區域，只顯示支援所選機型彈性啟動型 VM 的區域。
  - 如要建立 Spot VM，請按照下列步驟操作：
    1. 按一下「使用 Spot」分頁標籤。
    2. 在「On VM termination」(在 VM 終止時) 清單中，選取下列其中一個選項：
      - 如要在先占時刪除 Spot VM，請選取「Delete」(刪除)。
      - 如要在先占時停止 Spot VM，請選取「Stop」(停止)。
    3. 在「Location」(位置) 區段，選取要建立 Spot VM 的「Region」(區域) 和「Zone」(可用區)。Google Cloud 控制台會自動篩選可用區域，只顯示支援所選機型 Spot VM 的區域。
5. 按一下「完成」。
6. 選用：如要為分區建立其他運算資源設定，請按一下「Add resource configuration」(新增資源設定)，然後按照提示指定運算資源。
按一下「繼續」。

設定網路

如要設定叢集使用的網路，請完成下列步驟：

在「Choose a Virtual Private Cloud (VPC) network」(選擇虛擬私有雲 (VPC) 網路) 區段中，執行下列其中一項操作：
- 建議做法：如要讓 AI Hypercomputer 自動為叢集建立預先設定的虛擬私有雲網路，請按照下列步驟操作：
  1. 選取「建立新的虛擬私有雲網路」。
  2. 在「Network name」(網路名稱) 欄位中，輸入虛擬私有雲網路的名稱。
- 如要使用現有的虛擬私有雲網路或 Shared VPC 網路，請按照下列步驟操作：
  1. 選取「Use a VPC network in the current project」(使用目前專案的虛擬私有雲網路) 或「Use a Shared VPC network hosted in another project」(使用託管於其他專案的 Shared VPC 網路)。
  2. 在「Select VPC network」(選取虛擬私有雲網路) 或「Shared VPC network」(Shared VPC 網路) 清單中，選取符合必要設定的虛擬私有雲或 Shared VPC 網路。
  3. 在「Select subnetwork」(選取子網路) 清單中，選取現有子網路。
按一下「繼續」。

設定儲存空間資源

使用 Cluster Director 範本建立叢集時，Cluster Director 會自動設定 Filestore 或 Managed Lustre 執行個體，做為叢集的儲存空間資源。

如要新增或編輯叢集使用的儲存空間資源 (選用)，請在「Storage」(儲存空間) 區段中完成下列步驟。如要進一步瞭解可設定的儲存空間服務，請參閱「Cluster Director 支援的儲存空間服務」。

選用：如要編輯儲存空間資源，請按一下「Edit storage plan」(編輯儲存空間方案)，然後按照提示更新儲存空間資源的設定。
選用：如要為叢集新增儲存空間資源，請按一下「Add storage configuration」(新增儲存空間設定)，然後按照提示指定儲存空間資源的設定。

如要查看可設定的儲存空間服務，請參閱「Cluster Director 支援的儲存空間服務」。
按一下「繼續」。

設定 Slurm 環境

如要在叢集中設定 Slurm 環境，請完成下列步驟：

選用：如要編輯登入節點使用的運算執行個體數量和類型，請展開「Login node」(登入節點) 區段，然後按照提示更新運算資源。
選用：如要編輯叢集的分區，以便整理運算資源，請展開「Partitions」(分區) 專區，然後執行下列任一操作：
- 如要新增分區，請按一下「Add partition」(新增分區)，然後執行下列操作：
  1. 在「Partition name」(分區名稱) 欄位中，輸入分區名稱。
  2. 如要編輯節點集，請按一下「Toggle nodeset」(切換節點集)。如要新增節點集，請按一下「Add nodeset」(新增節點集)。
  3. 在「Nodeset name」(節點集名稱) 欄位中，輸入節點集的名稱。
  4. 在「Resource configuration」(資源設定) 欄位中，選取您在先前步驟中建立的運算資源設定。
  5. 在「Source image」(來源映像檔) 清單中，選取其中一個支援 AI Hypercomputer 的 OS 映像檔。
  6. 在「Static node count」(靜態節點數量) 欄位中，輸入叢集中一律須執行的運算執行個體數量下限。
  7. 在「Dynamic node count」(動態節點數量) 欄位中，輸入流量增加時，AI Hypercomputer 可為叢集增加的運算執行個體數量上限。
    
    重要事項：如果您使用預留項目 (尤其是共用預留項目) 在節點集中建立運算執行個體，請確認預留項目有足夠的資源，可建立您指定的運算執行個體數量上限。使用相同預留項目的其他工作負載可能會完全耗用該預留項目，因此 AI Hypercomputer 可能無法在節點集中建立更多運算執行個體。
  8. 在「Boot disk type」(開機磁碟類型) 清單和「Boot disk size」(開機磁碟大小) 欄位中，輸入運算執行個體要使用的開機磁碟類型和大小。
  9. 按一下「完成」。
- 如要移除分區，請按一下「Delete partition」(刪除分區)。
選用：如要將前置或後置指令碼新增至 Slurm 環境，請按照下列步驟操作：
1. 展開「Advanced orchestration settings」(進階自動化調度管理設定) 專區。
2. 在「Scripts」部分，按照提示新增指令碼。
點選「建立」。「Clusters」(叢集) 頁面隨即顯示。叢集可能需要一段時間才會建立完畢。完成時間取決於您要求的運算執行個體數量，以及運算執行個體可用區的資源可用性。如果要求的資源無法使用，AI Hypercomputer 會保留建立要求，直到資源可用為止。如要查看叢集建立作業的狀態，請查看叢集詳細資料。

連線至 Slurm 叢集

AI Hypercomputer 建立登入節點後，叢集狀態會變更為「Ready」(就緒)。接著，您可以連線至叢集，但必須等到 AI Hypercomputer 在叢集中建立運算節點後，才能執行工作負載。

如要使用Google Cloud 控制台，透過 SSH 連線至叢集的登入節點，請完成下列步驟：

前往 Google Cloud 控制台的「Clusters」(叢集) 頁面。

前往叢集
在「Clusters」(叢集) 資料表的「Name」(名稱) 欄中，按一下您在前一節建立的叢集名稱。系統會顯示叢集詳細資料頁面，並選取「Details」(詳細資料) 分頁。
按一下「Nodes」(節點) 分頁標籤。
在「Login nodes」(登入節點) 區段的「Connect」(連線) 欄中，找出叢集的登入節點，名稱為 CLUSTER_NAME-login-001。
在登入節點的「連線」欄中，按一下「SSH」按鈕。「SSH-in-browser」(直接透過瀏覽器進行 SSH 連線) 視窗隨即開啟。
如果出現提示訊息，請點選「Authorize」(授權)。系統會在 1 分鐘內連線至節點。

注意：連線至節點時，如果發生錯誤，請參閱「排解 SSH 錯誤」。

驗證 Slurm 叢集健康狀態

在運算節點上執行工作前，Slurm 會自動對節點執行快速 GPU 健康狀態檢查。如果節點未通過檢查，Slurm 會清空節點，並防止在節點上排定新工作。

如要更全面地測試叢集分區中運算節點的 GPU 健康狀態和網路頻寬，可以手動執行 NVIDIA Collective Communications Library (NCCL) 測試。如果 NCCL 測試發現任何健康狀態不良的節點，您可以修復節點或修改叢集。NCCL 測試可協助您在執行重要工作負載前，驗證叢集的健康狀態。詳情請參閱「驗證叢集健康狀態」。

刪除 Slurm 叢集

如要刪除專案中的 Slurm 叢集，請選取下列其中一個選項：

前往 Google Cloud 控制台的「Clusters」(叢集) 頁面。

前往叢集
在「Clusters」(叢集) 資料表的「Name」(名稱) 欄中，按一下要刪除的叢集名稱。系統會顯示叢集詳細資料頁面，並選取「Details」(詳細資料) 分頁。
按一下「刪除」圖示。
在顯示的對話方塊中，輸入叢集名稱，然後按一下「Delete」(刪除) 進行確認。「Clusters」(叢集) 頁面隨即顯示。叢集可能需要一段時間才會刪除完畢。