Monitorare i modelli

Questo documento spiega come monitorare il comportamento, l'integrità e le prestazioni dei tuoi modelli completamente gestiti in Gemini Enterprise Agent Platform. Descrive come utilizzare la dashboard di osservabilità dei modelli predefiniti per ottenere insight sull'utilizzo dei modelli, identificare i problemi di latenza e risolvere gli errori.

Imparerai a:

• Accedere alla dashboard di osservabilità del modello e interpretarla.
• Visualizza le metriche di monitoraggio disponibili.
• Monitora il traffico degli endpoint del modello utilizzando Metrics Explorer.

Accedi alla dashboard di osservabilità del modello e interpretala

Agent Platform fornisce una dashboard di osservabilità dei modelli predefinita per visualizzare il comportamento, l'integrità e le prestazioni dei modelli completamente gestiti. I modelli completamente gestiti, noti anche come Model as a Service (MaaS), sono forniti da Google e includono i modelli Gemini di Google e i modelli dei partner con endpoint gestiti. Le metriche dei modelli in hosting autonomo non sono incluse nella dashboard.

Agent Platform raccoglie e segnala automaticamente l'attività dei modelli MaaS per aiutarti a risolvere rapidamente i problemi di latenza e monitorare la capacità.

^{Esempio di dashboard di osservabilità del modello}

Caso d'uso

In qualità di sviluppatore di applicazioni, puoi visualizzare il modo in cui gli utenti interagiscono con i modelli che hai esposto. Ad esempio, puoi visualizzare l'andamento nel tempo dell'utilizzo del modello (richieste del modello al secondo) e dell'intensità di calcolo dei prompt degli utenti (latenze di chiamata del modello). Di conseguenza, poiché queste metriche sono correlate all'utilizzo del modello, puoi anche stimare i costi per l'esecuzione di ciascun modello.

Quando si verifica un problema, puoi risolverlo rapidamente dalla dashboard. Puoi verificare se i modelli rispondono in modo affidabile e tempestivo visualizzando i tassi di errore dell'API, le latenze del primo token e la velocità effettiva dei token.

Metriche di monitoraggio disponibili

La dashboard di osservabilità del modello mostra un sottoinsieme di metriche raccolte da Cloud Monitoring, come le query al secondo (QPS) del modello, il throughput dei token e le latenze del primo token. Visualizza la dashboard per vedere tutte le metriche disponibili.

Limitazioni

Agent Platform acquisisce le metriche della dashboard solo per le chiamate API all'endpoint di un modello. L'utilizzo della console Google Cloud , ad esempio le metriche di Agent Studio, non viene aggiunto alla dashboard.

Visualizzare la dashboard

1. Nella sezione Agent Platform della console Google Cloud , vai alla pagina Dashboard.

Vai ad Agent Platform 1. Nella dashboard, in Osservabilità del modello, fai clic su Mostra tutte le metriche per visualizzare la dashboard di osservabilità del modello nella console Google Cloud Observability.

Nota: la sezione sull'osservabilità è disponibile solo se tu o un altro utente avete effettuato chiamate API a un modello MaaS nel progetto.

1. Per visualizzare le metriche per un modello specifico o in una località particolare, imposta uno o più filtri nella parte superiore della pagina della dashboard.

   Per le descrizioni di ogni metrica, consulta la sezione "aiplatform" nella pagina delle metriche di Google Cloud .

Visualizza la risoluzione di 1 secondo

La dashboard di osservabilità del modello aggiunge opzioni di risoluzione di 1 secondo ai grafici esistenti quando il logging dei metadati delle richieste di inferenza è attivo. Le opzioni di 1 secondo leggono i log dei metadati delle richieste di inferenza anziché le metriche aggregate di un minuto, quindi mostrano i picchi che una media di un minuto nasconde.

Le opzioni di 1 secondo richiedono il logging dei metadati delle richieste di inferenza nel progetto e un bucket di log _Default con upgrade ad Analisi di osservabilità. Per attivare il logging, consulta Abilita i log dei metadati delle richieste di inferenza.

Nota: il logging dei metadati delle richieste di inferenza copre i modelli Gemini e Claude, sul throughput riservato e su ogni opzione con pagamento a consumo supportata dai log. Si applicano i costi di Cloud Logging.

Per visualizzarle, fai clic su Mostra tutte le metriche per aprire la dashboard di osservabilità del modello. I grafici che supportano la risoluzione di 1 secondo hanno un menu a discesa nell'intestazione: Richieste al secondo (QPS) del modello, Conteggio dei token per modello, Chiamate del modello per codice di risposta, Percentuale di errori delle chiamate del modello (%) e i grafici nella sezione Token. Ogni menu a discesa mantiene l'opzione Risoluzione di 1 minuto dalle metriche esistente come predefinita e aggiunge l'opzione Risoluzione di 1 secondo dai log. Seleziona l'opzione 1 secondo e imposta l'intervallo di tempo su 200 secondi o meno per visualizzare un punto al secondo. Per intervalli più lunghi, ogni punto rappresenta la media al secondo nel relativo bucket. Finché il logging non è attivo, le opzioni di 1 secondo mostrano "Nessun log delle richieste di inferenza in questa finestra. Attiva il logging per visualizzare i dati di 1 secondo" nella legenda del grafico, mentre le opzioni di 1 minuto funzionano come prima.

Un grafico di osservabilità del modello con il menu a discesa impostato sull'opzione di risoluzione di 1 secondo dai log.

Monitora il traffico degli endpoint del modello

Segui queste istruzioni per monitorare il traffico verso l'endpoint in Metrics Explorer.

1. Nella console Google Cloud , vai alla pagina Esplora metriche.

   Vai a Esplora metriche

2. Seleziona il progetto per cui vuoi visualizzare le metriche.

3. Dal menu a discesa Metrica, fai clic su Seleziona una metrica.

4. Nella barra di ricerca Filtra in base al nome della risorsa o della metrica, inserisci Gemini Enterprise Agent Platform Endpoint.

5. Seleziona la categoria di metriche Endpoint Agent Platform > Previsione. In Metriche attive, seleziona una delle seguenti metriche:

   • prediction/online/error_count
   • prediction/online/prediction_count
   • prediction/online/prediction_latencies
   • prediction/online/response_count

   Fai clic su Applica. Per aggiungere più di una metrica, fai clic su Aggiungi query.

   Puoi filtrare o aggregare le metriche utilizzando i seguenti menu a discesa:

   • Per selezionare e visualizzare un sottoinsieme dei dati in base a criteri specificati, utilizza il menu a discesa Filtro. Ad esempio, per filtrare in base al modello gemini-2.0-flash-001, utilizza endpoint_id = gemini-2p0-flash-001 (tieni presente che . nella versione del modello viene sostituito con p).

   • Per combinare più punti dati in un unico valore e visualizzare una vista riepilogativa delle metriche, utilizza il menu a discesa Aggregazione. Ad esempio, puoi aggregare la Somma di response_code.

6. Facoltativamente, puoi configurare avvisi per l'endpoint. Per saperne di più, consulta Gestisci le policy di avviso.

Per visualizzare le metriche aggiunte al progetto utilizzando una dashboard, consulta Panoramica delle dashboard.

Passaggi successivi

• Per analizzare le singole richieste, inclusi i burst di secondo livello e la percentuale di successo della cache, consulta Registra i metadati delle richieste di inferenza.
• Per scoprire come creare avvisi per la dashboard, consulta Panoramica degli avvisi.
• Per scoprire di più sulla conservazione dei dati delle metriche, consulta Quote e limiti di Monitoring.
• Per scoprire di più sui dati at-rest, consulta Protezione dei dati at-rest.
• Per visualizzare un elenco di tutte le metriche raccolte da Cloud Monitoring, consulta la sezione "aiplatform" nella pagina delle metriche diGoogle Cloud .