使用 Agent Platform 評估模型

本頁面說明如何使用 Gemini Enterprise Agent Platform 評估模型。如需總覽，請參閱「Agent Platform 中的模型評估」。

必要條件

  1. 按照「設定專案和開發環境」中的步驟操作。此外，請啟用下列服務：

  2. Agent Platform 可評估透過 AutoML 或自訂訓練訓練的模型。如要參考 Google Cloud 控制台指南，您必須先將訓練好的模型匯入 Gemini Enterprise Agent Platform Model Registry。

  3. 將測試資料集上傳至 BigQuery 或 Cloud Storage。測試資料集應包含基準真相，也就是推論的實際預期結果。取得檔案連結或資料集 ID。

  4. 具備 BigQuery 資料表或 Cloud Storage URI 形式的批次推論輸出內容。

  5. 確認預設 Compute Engine 服務帳戶具備下列 IAM 權限：

    • Agent Platform 管理員 (roles/aiplatform.admin)
    • Vertex AI 服務代理 (roles/aiplatform.serviceAgent)
    • Storage 物件管理員 (roles/storage.objectAdmin)
    • Dataflow Worker (roles/dataflow.worker)
    • BigQuery 資料編輯者 (roles/bigquery.dataEditor) (只有在以 BigQuery 資料表形式提供資料時才需要)

建立評估作業

控制台

  1. 前往 Google Cloud 控制台的「Gemini Enterprise Agent Platform Models」頁面。

    前往「Models」(模型) 頁面

  2. 按一下您要評估的模型名稱。

  3. 按一下模型的版本號碼。

  4. 在「Evaluate」(評估) 分頁中，按一下「Create Evaluation」(建立評估)。

  5. 輸入評估名稱。

  6. 選取「目標」，例如分類或迴歸。

  7. 輸入「Evaluation target column name」(評估目標資料欄名稱)，也就是訓練資料中，模型訓練後要預測的資料欄。

  8. 在「選取來源」部分，選取測試資料集的來源。

    1. 在「BigQuery 資料表」部分，輸入 BigQuery 路徑。

    2. 在「File on Cloud Storage」(Cloud Storage 中的檔案) 部分，輸入 Cloud Storage 路徑。

  9. 在「Batch prediction output」(批次預測輸出) 部分，選取輸出格式。

    1. 輸入 BigQuery 路徑或 Cloud Storage URI。

  10. 按一下「Start Evaluation」(開始評估)。

Python

如要在 Gemini Enterprise Agent Platform Pipelines 查看 Agent Platform API 模型評估工作流程，請參閱下列模型類型的範例筆記本：

Python SDK

使用 Agent Platform 評估模型的 SDK 處於實驗階段。如需存取權，請與 Google Cloud 客戶經理聯絡。

模型評估工作完成後，Agent Platform 會自動傳送電子郵件通知。

查看評估指標

控制台

  1. 前往 Google Cloud 控制台的「Gemini Enterprise Agent Platform Models」頁面。

    前往「Models」(模型) 頁面

  2. 前往模型版本。

  3. 在「評估」分頁中查看指標。

Python

如要在 Gemini Enterprise Agent Platform Pipelines 查看 Agent Platform API 模型評估工作流程，請參閱下列模型類型的範例筆記本：

Python SDK

使用 Agent Platform 評估模型的 SDK 處於實驗階段。如要註冊實驗功能，請填寫新手上路表單。

比較評估指標

您可以比較不同模型、模型版本和評估工作的評估結果。如要進一步瞭解模型版本管理，請參閱「Model Registry 中的版本管理」。

您只能比較相同類型的模型，例如分類、迴歸或預測。比較不同模型時，所有模型版本都必須是相同類型。

一次最多只能比較 5 項評估。

  1. 前往 Google Cloud 控制台的 Gemini Enterprise Agent Platform Model Registry：

    前往「Models」(模型) 頁面

  2. 前往模型或模型版本：

    • 如要在「Models」(模型) 頁面比較不同模型，請找出要比較的模型，然後勾選名稱旁的核取方塊。

    • 如要比較不同模型版本，請按照下列步驟操作：

      1. 在「Models」(模型) 頁面中，按一下模型名稱，開啟模型版本清單。

      2. 找出要比較的版本，然後勾選旁邊的核取方塊。

    • 如要比較相同模型版本的評估工作，請按照下列步驟操作：

      1. 在「Models」(模型) 頁面中，按一下模型名稱，開啟模型版本清單。

      2. 按一下版本號碼。

      3. 找出要比較的評估工作，然後勾選旁邊的核取方塊。

  3. 按一下 [Compare] (比較) 。

後續步驟