運用 Compute Advisor 設計 AI 基礎架構

本文說明如何透過 Compute Advisor 規劃及設計 GPU 執行個體或叢集。Compute Advisor 是採用 Gemini 技術的 AI 輔助介面，如要進一步瞭解建立叢集前或建立時必須設定的元件，請參閱「規劃及建立 AI 基礎架構」。

Compute Advisor 可協助您評估硬體選項、估算部署費用，以及查看叢集的建議設定。為提供量身打造的建議，Compute Advisor 會評估您的Google Cloud 專案，檢查配額限制、現有預留項目、承諾使用折扣 (CUD)、預設區域和可用區，以及任何資源位置限制。在建立或修改叢集前，您可以透過 Compute Advisor 規劃，為工作負載找出最佳設定。

限制

在 Google Cloud 控制台提示 Compute Advisor 時，無法直接建立、修改或刪除資源。

事前準備

使用 Google Cloud 控制台存取 Google Cloud 服務和 API 時，不必設定驗證機制。

必要的角色

如要取得存取及提示 Gemini 所需的權限，請要求管理員授予您專案的 Cluster Director 檢視者 (roles/hypercomputecluster.viewer) IAM 角色。如要進一步瞭解如何授予角色，請參閱「管理專案、資料夾和組織的存取權」。

這個預先定義的角色具備存取及提示 Gemini 所需的權限。如要查看確切的必要權限，請展開「Required permissions」(必要權限) 部分：

所需權限

必須具備下列權限，才能存取及提示 Gemini：

  • 如要查看叢集清單，請按照下列步驟操作： hypercomputecluster.clusters.list

您或許還可透過自訂角色或其他預先定義的角色取得這些權限。

在 Google Cloud 控制台存取 Compute Advisor

如要在 Google Cloud 控制台存取 Compute Advisor，請完成下列步驟：

  1. 前往 Google Cloud 控制台的「Compute Advisor」頁面。

    前往 Compute Advisor

  2. 頁面準備就緒後，您可以查看下列內容：

    Compute Advisor 頁面的介面元素。

    上圖顯示的 UI 元素如下：

    • 對話記錄側邊面板：顯示近期對話。您可以透過下列方式與這個面板互動：

      • 如要發起新對話，請點按「新對話」。

      • 如要繼續最近的對話，請在「近期對話」部分點選該對話。

      • 如要查看所有對話清單，請按一下「查看全部」。在「我的記錄」頁面，您可以查看過往對話的詳細資料並繼續對話，或刪除不再需要的對話。

    • 快速操作提示卡：一組資訊卡，每張卡片都包含一個範例提示。點選資訊卡後， Google Cloud 控制台會自動在提示詞輸入框填入範例提示詞。

    • 提示詞輸入框：您可以在這個欄位輸入及提交提示詞。如要提交提示，請按一下「Submit prompt」(提交提示)。

提示 Compute Advisor

提交提示後，Compute Advisor 會開始生成回覆。 Google Cloud 控制台會顯示一個窗格，並在其中顯示提示的回覆，如下方螢幕截圖所示：

Compute Advisor 窗格中生成的建議回覆。

回覆窗格會根據提示顯示下列元素：

  • 情境基準：Compute Advisor 會自動評估專案情境，提供高度客製化的建議，包括配額限制、現有預留項目、CUD、預設區域和可用區，以及任何資源位置限制。

  • 互動式程式碼片段：Compute Advisor 會產生 gcloud 指令、REST API 方法或 Terraform 資源。您可以複製並貼上這些程式碼片段，或在 Cloud Shell 中執行。

  • 視覺化畫布：Compute Advisor 會將建議整理成結構化表格和並排比較，這個檢視畫面可協助您評估產品功能和架構方法。並提供用途的實作計畫。

以下各節將說明撰寫提示的最佳做法，並提供範例提示，供您在建立或修改叢集前使用。

提示詞最佳做法

為確保 Compute Advisor 提供最準確且可行的建議，建議您按照程式碼區塊的方式建構提示。這種方法會使用明確的參數宣告、角色定義、特定指令和明確的輸出格式，引導生成式 AI。

提示 Compute Advisor 時，請考量下列最佳做法：

  • 著重於設計和規劃：建議您不要提示 Compute Advisor 排解叢集錯誤。如要解決這些錯誤，請改為參閱「排解建立、更新及刪除運算執行個體的問題」。

  • 指定角色或身分：宣告目標角色或身分，例如 IT 管理員、AI 研究員或平台工程師，讓 Compute Advisor 採用。這有助於引導生成建議的語氣、深度和專業程度。

  • 提供明確、編號的指示：將目標拆解成具體的逐步問題或任務。這種做法可建構 Compute Advisor 的推論程序，並確保 Compute Advisor 滿足您的所有需求。

  • 定義特定輸出格式：明確說明建議的格式，例如逐步說明、Markdown 比較表，或可直接使用的 gcloud 程式碼區塊。

  • 運用自動情境建立功能：您不必在提示中加入預設區域或可用區、可用配額、CUD 或資源位置限制。Compute Advisor 可存取 Google Cloud 專案中的這項資訊。

  • 反覆調整設計：您可以傳送新的提示，修改或擴充 Compute Advisor 生成的回覆。舉例來說，您可以要求助理將網路建議新增至部署計畫，或修改儲存空間需求，不必重新開始對話。

範例提示詞

以下是可用來設計及最佳化叢集的提示範例：

  • 叢集拓撲和刊登位置策略：如要判斷高效能 AI 工作負載的最佳部署模式和刊登位置政策，請使用類似下列的提示：

    Act as an AI researcher. I need to design a GPU cluster topology in
Cluster Director to train a foundation large language model that
maximizes ML goodput and secures accelerator capacity. Please provide the
following:

1. A comparison of clustered GPU machine series across available regions.
2. An explanation of how compact placement policies and workload policies
   reduce network latency and boost goodput.
3. The optimal configuration for future reservations in
   AI Hypercomputer to secure capacity for this workload.

Format the comparison as a Markdown table, and provide the deployment steps
as a ready-to-use gcloud code block.

  • 佈建模式和成本最佳化：如要評估佈建模式並降低批次處理成本，請使用類似下列的提示：

    Act as an IT administrator. I need to select the most cost-effective
consumption option to run large fault-tolerant AI batch jobs on clusters in
Cluster Director without data loss. Please provide the following:

1. A cost and availability comparison of Flex-start VMs against
   Spot VMs for AI workloads.

2. An explanation of how atomic allocation in Flex-start VMs
   provisions all accelerator nodes at the exact same time.

3. A cluster configuration with checkpoint storage to save model state
   before Compute Engine reclaims a Spot VM.

Format the comparison as a Markdown table, and provide the configuration
steps to complete in the Google Cloud console.

後續步驟