llm-d

Dokumen ini menjelaskan cara deployment Google Kubernetes Engine Anda dapat menggunakan Google Cloud Managed Service for Prometheus untuk mengumpulkan metrik dari llm-d. llm-d terdiri dari Router llm-d (Endpoint Picker, yang di-deploy dalam Mode Standalone atau Mode Gateway dengan GKE Gateway) dan server model seperti vLLM.

Untuk mengetahui informasi tentang cara mengumpulkan metrik dari Router llm-d dan vLLM, lihat referensi berikut:

  • llm-d Router (EPP): Saat men-deploy router dengan chart Helm llm-d, sertakan resep monitoring-gke.values.yaml (router.monitoring.provider.name=gmp dan router.monitoring.prometheus.enabled=true) untuk otomatis membuat resource PodMonitoring dan Secret metrics-reader di namespace workload Anda. Untuk deployment GKE Inference Gateway mandiri atau versi llm-d sebelum v0.8.0, lihat GKE Inference Gateway.
  • vLLM: Aktifkan pemantauan aplikasi otomatis atau gunakan konfigurasi PodMonitoring yang dijelaskan dalam dokumen ini untuk memetakan label pod llm-d.ai/role untuk disaggregasi Prefill/Decode (P/D).

Petunjuk dalam dokumen ini hanya berlaku jika Anda menggunakan koleksi terkelola dengan Managed Service for Prometheus. Jika Anda menggunakan pengumpulan yang di-deploy sendiri, lihat dokumentasi llm-d.

Setelah mengonfigurasi Router llm-d dan vLLM, Anda dapat mengakses dasbor standar di Cloud Monitoring untuk melihat metrik.

Prasyarat

Untuk mengumpulkan metrik dari llm-d menggunakan Managed Service for Prometheus dan koleksi terkelola, deployment Anda harus memenuhi persyaratan berikut:

  • Cluster Anda harus menjalankan Google Kubernetes Engine versi 1.28.15-gke.2475000 atau yang lebih baru.
  • Anda harus menjalankan Managed Service for Prometheus dengan koleksi terkelola yang diaktifkan. Untuk informasi selengkapnya, lihat Mulai menggunakan koleksi terkelola.

Untuk mengelompokkan metrik vLLM berdasarkan label pod llm-d.ai/role (misalnya, prefill dan decode dalam disaggregasi Prefill/Decode), terapkan resource PodMonitoring berikut di namespace workload Anda:

apiVersion: monitoring.googleapis.com/v1
kind: PodMonitoring
metadata:
  name: llm-d-metrics
spec:
  selector:
    matchLabels:
      llm-d.ai/InferenceServing: "true"
  endpoints:
  - port: 8000
    interval: 15s
    path: /metrics
  targetLabels:
    fromPod:
    - from: llm-d.ai/role
      to: role
    metadata:
    - pod
    - container
    - node
    - top_level_controller_name
    - top_level_controller_type

Melihat dasbor

Integrasi Cloud Monitoring mencakup dasbor terpadu berikut untuk Mode Standalone dan Mode Gateway (bagian Load Balancer Aplikasi diisi saat proxy llm-d menggunakan Gateway Inferensi GKE):

  • llm-d Overview: Untuk llm-d versi v0.8.0 dan yang lebih baru (membuat kueri metrik EPP llm_d_epp_* bersama dengan metrik Load Balancer Aplikasi, jaringan GPU, dan vLLM).
  • llm-d Overview (< v0.8.0): Untuk llm-d versi sebelum v0.8.0 (membuat kueri metrik inference_objective_*).

Dasbor akan otomatis diinstal saat Anda mengonfigurasi integrasi. Anda juga dapat melihat pratinjau statis dasbor tanpa menginstal integrasi.

Untuk melihat dasbor yang terinstal, lakukan tindakan berikut:

  1. Di konsol Google Cloud , buka halaman  Dashboards:

    Buka Dashboards

    Jika Anda menggunakan kotak penelusuran untuk menemukan halaman ini, pilih hasil yang subjudulnya adalah Monitoring.

  2. Pilih tab Dashboard List.
  3. Pilih kategori Integrasi.
  4. Klik nama dasbor yang ingin Anda lihat.

Untuk melihat pratinjau statis dasbor, lakukan tindakan berikut:

  1. Di konsol Google Cloud , buka halaman  Integrations:

    Buka Integrations

    Jika Anda menggunakan kotak penelusuran untuk menemukan halaman ini, pilih hasil yang subjudulnya adalah Monitoring.

  2. Klik filter platform deployment Kubernetes Engine.
  3. Temukan integrasi llm-d, lalu klik View Details.
  4. Pilih tab Dasbor.