llm-d

このドキュメントでは、Google Kubernetes Engine の Deployment で Google Cloud Managed Service for Prometheus を使用して llm-d から指標を収集する方法について説明します。llm-d は、llm-d ルーター（エンドポイント ピッカー、スタンドアロン モードまたは GKE Gateway を使用したゲートウェイ モードでデプロイ）と、vLLM などのモデルサーバーで構成されています。

llm-d Router と vLLM から指標を収集する方法については、以下をご覧ください。

  • llm-d ルーター（EPP）: llm-d Helm チャートを使用してルーターをデプロイする場合は、 monitoring-gke.values.yaml レシピ（router.monitoring.provider.name=gmp と router.monitoring.prometheus.enabled=true）を含めて、ワークロードの名前空間に PodMonitoring リソースと metrics-reader Secret を自動的に作成します。スタンドアロンの GKE Inference Gateway デプロイまたは v0.8.0 より前の llm-d バージョンについては、 GKE Inference Gateway をご覧ください。
  • vLLM: 自動アプリケーション モニタリングを有効にするか、このドキュメントで説明されている PodMonitoring 構成を使用して、プリフィル/デコード（P/D）の分離のために llm-d.ai/role Pod ラベルをマッピングします。

これらのドキュメントの手順は、Managed Service for Prometheus で マネージド コレクションを使用している場合にのみ適用されます。セルフデプロイ コレクションを使用している場合は、llm-d のドキュメントをご覧ください。

llm-d Router と vLLM を構成したら、Cloud Monitoring の事前定義のダッシュボードにアクセスして指標を表示できます。

前提条件

Managed Service for Prometheus とマネージド コレクションを使用して llm-d から指標を収集するには、デプロイが次の要件を満たしている必要があります。

  • クラスタで Google Kubernetes Engine バージョン 1.28.15-gke.2475000 以降を実行している必要があります。
  • マネージド コレクションを有効にして、Managed Service for Prometheus を実行する必要があります。詳細については、マネージド コレクションを使ってみるをご覧ください。

vLLM 指標を llm-d.ai/role Pod ラベル（プリフィル/デコードの分離における prefill や decode など）でグループ化するには、ワークロードの名前空間に次の PodMonitoring リソースを適用します。

apiVersion: monitoring.googleapis.com/v1
kind: PodMonitoring
metadata:
  name: llm-d-metrics
spec:
  selector:
    matchLabels:
      llm-d.ai/InferenceServing: "true"
  endpoints:
  - port: 8000
    interval: 15s
    path: /metrics
  targetLabels:
    fromPod:
    - from: llm-d.ai/role
      to: role
    metadata:
    - pod
    - container
    - node
    - top_level_controller_name
    - top_level_controller_type

ダッシュボードを表示する

Cloud Monitoring インテグレーションには、スタンドアロン モードとゲートウェイ モードの両方に対応する次の統合ダッシュボードが含まれています（llm-d プロキシが GKE Inference Gateway を使用している場合、[アプリケーション ロードバランサ] セクションにデータが入力されます）。

  • llm-d の概要: llm-d バージョン v0.8.0 以降（Application Load Balancer、GPU ネットワーキング、vLLM 指標とともに llm_d_epp_* EPP 指標をクエリします）。
  • llm-d の概要（v0.8.0 未満）: v0.8.0 より前の llm-d バージョン（inference_objective_* 指標をクエリ）。

ダッシュボードは、インテグレーションを構成すると自動的にインストールされます。インテグレーションをインストールすることなく、ダッシュボードの静的プレビューを表示することもできます。

インストールされているダッシュボードを表示する手順は次のとおりです。

  1. Google Cloud コンソールで [ダッシュボード] ページに移動します。

    [ダッシュボード] に移動

    検索バーを使用してこのページを検索する場合は、小見出しが [Monitoring] の結果を選択します。

  2. [ダッシュボード リスト] タブを選択します。
  3. [統合] カテゴリを選択します。
  4. 表示するダッシュボードの名前をクリックします。

ダッシュボードの静的プレビューを表示する手順は次のとおりです。

  1. Google Cloud コンソールで [インテグレーション] ページに移動します。

    [インテグレーション] に移動

    検索バーを使用してこのページを検索する場合は、小見出しが [Monitoring] の結果を選択します。

  2. [デプロイメント プラットフォーム] フィルタの [Kubernetes Engine] をクリックします。
  3. llm-d インテグレーションを見つけ、[詳細を表示] をクリックします。
  4. [ダッシュボード] タブを選択します。