Memantau model

Dokumen ini menjelaskan cara memantau perilaku, kondisi, dan performa model yang terkelola sepenuhnya di Gemini Enterprise Agent Platform. Panduan ini menjelaskan cara menggunakan dasbor kemampuan observasi model bawaan untuk mendapatkan insight tentang penggunaan model, mengidentifikasi masalah latensi, dan memecahkan masalah error.

Anda akan mempelajari cara melakukan hal berikut:

  • Mengakses dan menafsirkan dasbor kemampuan observasi model.
  • Melihat metrik pemantauan yang tersedia.
  • Memantau traffic endpoint model menggunakan Metrics Explorer.

Mengakses dan menafsirkan dasbor kemampuan observasi model

Agent Platform menyediakan dasbor kemampuan observasi model bawaan untuk melihat perilaku, kondisi, dan performa model yang terkelola sepenuhnya. Model yang terkelola sepenuhnya, juga dikenal sebagai Model as a Service (MaaS), disediakan oleh Google dan mencakup model Gemini Google dan model partner dengan endpoint terkelola. Metrik dari model yang dihosting sendiri tidak disertakan dalam dasbor.

Agent Platform otomatis mengumpulkan dan melaporkan aktivitas dari model MaaS untuk membantu Anda memecahkan masalah latensi dan memantau kapasitas dengan cepat.

Contoh dasbor kemampuan observasi model di Konsol Cloud
Contoh dasbor kemampuan observasi model

Kasus penggunaan

Sebagai developer aplikasi, Anda dapat melihat cara pengguna berinteraksi dengan model yang telah Anda ekspos. Misalnya, Anda dapat melihat tren penggunaan model (permintaan model per detik) dan intensitas komputasi perintah pengguna (latensi pemanggilan model) dari waktu ke waktu. Oleh karena itu, karena metrik ini terkait dengan penggunaan model, Anda juga dapat memperkirakan biaya untuk menjalankan setiap model.

Jika timbul masalah, Anda dapat dengan cepat memecahkan masalah dari dasbor. Anda dapat memeriksa apakah model merespons dengan andal dan tepat waktu dengan melihat tingkat error API, latensi token pertama, dan throughput token.

Metrik pemantauan yang tersedia

Dasbor kemampuan observasi model menampilkan subset metrik yang dikumpulkan oleh Cloud Monitoring, seperti permintaan model per detik (QPS), throughput token, dan latensi token pertama. Lihat dasbor untuk melihat semua metrik yang tersedia.

Batasan

Agent Platform hanya mencatat metrik dasbor untuk panggilan API ke endpoint model. Penggunaan konsol Google Cloud , seperti metrik dari Agent Studio, tidak ditambahkan ke dasbor.

Melihat dasbor

  1. Di bagian Agent Platform pada konsol Google Cloud , buka halaman Dashboard.

Buka Agent Platform 1. Di dasbor, di bagian Model observability, klik Show all metrics untuk melihat dasbor kemampuan observasi model di konsol Google Cloud Observability.

  1. Untuk melihat metrik untuk model tertentu atau di lokasi tertentu, tetapkan satu atau beberapa filter di bagian atas halaman dasbor.

    Untuk deskripsi setiap metrik, lihat bagian "aiplatform" di halaman metrikGoogle Cloud .

Lihat resolusi 1 detik

Dasbor kemampuan observasi model menambahkan opsi resolusi 1 detik ke diagram yang ada saat logging metadata permintaan inferensi diaktifkan. Opsi 1 detik membaca log metadata permintaan inferensi, bukan metrik agregat satu menit, sehingga menampilkan lonjakan yang disembunyikan oleh rata-rata satu menit.

Opsi 1 detik memerlukan logging metadata permintaan inferensi pada project dan bucket log _Default yang diupgrade ke Observability Analytics. Untuk mengaktifkan logging, lihat Mengaktifkan log metadata permintaan inferensi.

Untuk melihatnya, klik Show all metrics untuk membuka dasbor kemampuan observasi model. Diagram yang mendukung resolusi 1 detik memiliki drop-down di header-nya: Permintaan model per detik (QPS), Jumlah token menurut model, Pemanggilan model menurut kode respons, Rasio error pemanggilan model (%), dan diagram di bagian Token. Setiap drop-down mempertahankan opsi 1-minute resolution from metrics yang ada sebagai default dan menambahkan opsi 1-second resolution from logs. Pilih opsi 1 detik dan tetapkan rentang waktu ke 200 detik atau kurang untuk melihat satu titik per detik; pada rentang yang lebih panjang, setiap titik adalah rata-rata per detik dalam bucket-nya. Sebelum logging diaktifkan, opsi 1 detik akan menampilkan "No inference request logs in this window. Aktifkan logging untuk melihat data 1 detik." di legenda diagram, dan opsi 1 menit berfungsi seperti sebelumnya.

Diagram kemampuan observasi model dengan opsi resolusi 1 detik dipilih
Diagram kemampuan observasi model dengan drop-down yang disetel ke opsi resolusi 1 detik dari log.

Memantau traffic endpoint model

Gunakan petunjuk berikut untuk memantau traffic ke endpoint Anda di Metrics Explorer.

  1. Di konsol Google Cloud , buka halaman Metrics Explorer.

    Buka Metrics Explorer

  2. Pilih project yang ingin Anda lihat metriknya.

  3. Dari menu drop-down Metrik, klik Pilih metrik.

  4. Di kotak penelusuran Filter by resource or metric name, masukkan Gemini Enterprise Agent Platform Endpoint.

  5. Pilih kategori metrik Agent Platform Endpoint > Prediction. Di bagian Metrik aktif, pilih salah satu metrik berikut:

    • prediction/online/error_count
    • prediction/online/prediction_count
    • prediction/online/prediction_latencies
    • prediction/online/response_count

    Klik Terapkan. Untuk menambahkan lebih dari satu metrik, klik Tambahkan kueri.

    Anda dapat memfilter atau menggabungkan metrik menggunakan menu drop-down berikut:

    • Untuk memilih dan melihat subkumpulan data berdasarkan kriteria yang ditentukan, gunakan menu drop-down Filter. Misalnya, untuk memfilter model gemini-2.0-flash-001, gunakan endpoint_id = gemini-2p0-flash-001 (perhatikan bahwa . dalam versi model diganti dengan p).

    • Untuk menggabungkan beberapa titik data menjadi satu nilai dan melihat tampilan ringkasan metrik Anda, gunakan menu drop-down Aggregation. Misalnya, Anda dapat menggabungkan Total response_code.

  6. Jika mau, Anda dapat menyiapkan pemberitahuan untuk endpoint. Untuk mengetahui informasi selengkapnya, lihat Mengelola kebijakan pemberitahuan.

Untuk melihat metrik yang Anda tambahkan ke project menggunakan dasbor, lihat Ringkasan dasbor.

Langkah berikutnya