モデルをモニタリングする

このドキュメントでは、Gemini Enterprise Agent Platform でフルマネージド モデルの動作、正常性、パフォーマンスをモニタリングする方法について説明します。このドキュメントでは、事前構築済みモデルのオブザーバビリティ ダッシュボードを使用して、モデルの使用状況に関する分析情報を取得し、レイテンシの問題を特定して、エラーをトラブルシューティングする方法について説明します。

次の操作の実行方法について学びます。

  • モデルのオブザーバビリティ ダッシュボードにアクセスして解釈する。
  • 利用可能なモニタリング指標を表示する。
  • Metrics Explorer を使用してモデル エンドポイントのトラフィックをモニタリングする。

モデルのオブザーバビリティ ダッシュボードにアクセスして解釈する

Agent Platform には、フルマネージド モデルの動作、健全性、パフォーマンスを表示するための事前構築済みモデルのオブザーバビリティ ダッシュボードが用意されています。フルマネージド モデル（Model as a Service（MaaS）とも呼ばれます）は Google が提供し、Google の Gemini モデルとマネージド エンドポイントを備えたパートナー モデルが含まれます。セルフホスト型モデルの指標はダッシュボードに含まれません。

Agent Platform は、MaaS モデルのアクティビティを自動的に収集してレポートするため、レイテンシの問題を迅速にトラブルシューティングし、容量をモニタリングできます。

Cloud コンソールにおけるモデルのオブザーバビリティ ダッシュボードの例
モデルのオブザーバビリティ ダッシュボードの例

ユースケース

アプリケーション デベロッパーは、公開したモデルに対するユーザーの操作を確認できます。たとえば、モデルの使用状況（1 秒あたりのモデル リクエスト数）とユーザー プロンプトのコンピューティング強度（モデル呼び出しのレイテンシ）の推移を確認できます。したがって、これらの指標はモデルの使用量に関連しているため、各モデルの実行費用を見積もることもできます。

問題が発生した場合は、ダッシュボードからすばやくトラブルシューティングできます。API エラー率、最初のトークンのレイテンシ、トークンのスループットを表示することで、モデルが信頼性の高い応答をタイムリーに行っているかどうかを確認できます。

使用可能なモニタリング指標

モデルのオブザーバビリティ ダッシュボードには、Cloud Monitoring によって収集された指標のサブセット（モデルの秒間リクエスト数（QPS）、トークン スループット、最初のトークンのレイテンシなど）が表示されます。ダッシュボードを表示すると、使用可能なすべての指標が表示されます。

制限事項

Agent Platform は、モデルのエンドポイントに対する API 呼び出しのダッシュボード指標のみをキャプチャします。Agent Studio の指標など、 Google Cloud コンソールの使用状況はダッシュボードに追加されません。

ダッシュボードを表示する

  1. Google Cloud コンソールの [Agent Platform] セクションで、[ダッシュボード] ページに移動します。

Agent Platform に移動 1. ダッシュボードの [モデルのオブザーバビリティ] で、[すべての指標を表示] をクリックして、Google Cloud Observability コンソールでモデルのオブザーバビリティ ダッシュボードを表示します。

  1. 特定のモデルまたは特定のロケーションの指標を表示するには、ダッシュボード ページの上部にあるフィルタを 1 つ以上設定します。

    各指標の説明については、Google Cloud 指標ページの「aiplatform」セクションをご覧ください。

1 秒の解像度を表示する

推論リクエストのメタデータ ロギングがオンになっている場合、モデル オブザーバビリティ ダッシュボードの既存のグラフに 1 秒の解像度オプションが追加されます。1 秒のオプションでは、1 分間の集計指標ではなく、推論リクエストのメタデータログが読み取られるため、1 分間の平均では隠れてしまうバーストが表示されます。

1 秒のオプションを使用するには、プロジェクトで推論リクエスト メタデータのロギングを有効にし、_Default ログバケットをオブザーバビリティ分析にアップグレードする必要があります。ロギングを有効にするには、推論リクエスト メタデータ ログを有効にするをご覧ください。

これらを表示するには、[すべての指標を表示] をクリックして、モデルのオブザーバビリティ ダッシュボードを開きます。1 秒の解像度をサポートするグラフには、ヘッダーにプルダウンがあります。1 秒あたりのモデル リクエスト数（QPS）、モデル別のトークン数、レスポンス コード別のモデル呼び出し、モデル呼び出しエラー率（%）、[トークン] セクションのグラフです。各プルダウンでは、既存の [1-minute resolution from metrics] オプションがデフォルトとして保持され、[1-second resolution from logs] オプションが追加されます。1 秒のオプションを選択し、期間を 200 秒以下に設定すると、1 秒あたり 1 つのポイントが表示されます。期間を長くすると、各ポイントはバケット内の 1 秒あたりの平均になります。ロギングがオンになるまで、1 秒のオプションには「このウィンドウに推論リクエスト ログはありません。Turn on logging to see 1-second data.」というメッセージが表示され、1 分のオプションは以前と同様に機能します。

1 秒の解像度オプションが選択されたモデル オブザーバビリティ グラフ
プルダウンがログオプションから 1 秒の解像度に設定されたモデル オブザーバビリティ グラフ。

モデルのエンドポイント トラフィックをモニタリングする

次の手順に沿って、Metrics Explorer でエンドポイントへのトラフィックをモニタリングします。

  1. Google Cloud コンソールで、[Metrics Explorer] ページに移動します。

    [Metrics Explorer] に移動

  2. 指標を表示するプロジェクトを選択します。

  3. [指標] プルダウン メニューの [指標を選択] をクリックします。

  4. [リソース名または指標名でフィルタ] 検索バーに「Gemini Enterprise Agent Platform Endpoint」と入力します。

  5. [Agent Platform エンドポイント] > [予測] 指標カテゴリを選択します。[有効な指標] で、次のいずれかの指標を選択します。

    • prediction/online/error_count
    • prediction/online/prediction_count
    • prediction/online/prediction_latencies
    • prediction/online/response_count

    [適用] をクリックします。複数の指標を追加するには、[クエリを追加] をクリックします。

    次のプルダウン メニューを使用して、指標をフィルタまたは集計できます。

    • 指定した条件に基づいてデータのサブセットを選択して表示するには、[フィルタ] プルダウン メニューを使用します。たとえば、モデル gemini-2.0-flash-001 をフィルタするには、endpoint_id = gemini-2p0-flash-001 を使用します（モデル バージョンの . は p に置き換えられます）。

    • 複数のデータポイントを 1 つの値に結合して、指標の概要を示すには、[集計] プルダウン メニューを使用します。たとえば、response_code の合計を集計できます。

  6. 必要に応じて、エンドポイントのアラートを設定できます。詳細については、アラート ポリシーを管理するをご覧ください。

ダッシュボードを使用してプロジェクトに追加した指標を表示するには、ダッシュボードの概要をご覧ください。

次のステップ