Panoramica di Gen AI evaluation service

Il servizio di valutazione dell'AI generativa fornisce strumenti di livello enterprise per la valutazione oggettiva e basata sui dati dei modelli di AI generativa. Supporta e fornisce informazioni su una serie di attività di sviluppo, come le migrazioni dei modelli, la modifica dei prompt e l'ottimizzazione.

Funzionalità di Gen AI evaluation service

La caratteristica distintiva del Gen AI evaluation service è la possibilità di utilizzare griglie di valutazione adattive, un insieme di test di superamento o fallimento personalizzati per ogni singolo prompt. Le griglie di valutazione sono simili ai test delle unità nello sviluppo software e mirano a migliorare le prestazioni del modello in una serie di attività.

Funzionalità di Gen AI evaluation service

Il servizio di valutazione dell'AI generativa supporta i seguenti metodi di valutazione comuni:

  • Griglie adattive (consigliato): genera un insieme univoco di griglie di superamento o fallimento per ogni singolo prompt nel set di dati.

  • Griglie di valutazione statiche: applica un insieme fisso di criteri di punteggio a tutti i prompt.

  • Metriche basate su calcolo: utilizza algoritmi deterministici come ROUGE o BLEU quando è disponibile un dato di fatto.

  • Funzioni personalizzate: definisci la tua logica di valutazione in Python per requisiti specializzati.

Generazione del set di dati di valutazione

Puoi creare un set di dati di valutazione utilizzando i seguenti metodi:

  • Carica un file contenente istanze di prompt complete o fornisci un template di prompt insieme a un file corrispondente di valori delle variabili per compilare i prompt completati.

  • Campiona direttamente dai log di produzione per valutare l'utilizzo reale del tuo modello.

  • Utilizza la generazione di dati sintetici per generare un numero elevato di esempi coerenti per qualsiasi template di prompt.

Interfacce supportate

Puoi definire ed eseguire le valutazioni utilizzando le seguenti interfacce:

Casi d'uso

Il servizio di valutazione dell'AI generativa ti consente di vedere il rendimento di un modello in base alle tue attività specifiche e ai tuoi criteri unici, fornendo insight preziosi che non possono essere ricavati da classifiche pubbliche e benchmark generali. Ciò supporta attività di sviluppo critiche, tra cui:

  • Migrazioni dei modelli: confronta le versioni dei modelli per comprendere le differenze di comportamento e perfezionare i prompt e le impostazioni di conseguenza.

  • Trovare il modello migliore: esegui confronti diretti tra i modelli di Google e di terze parti sui tuoi dati per stabilire una base di riferimento per le prestazioni e identificare la soluzione più adatta al tuo caso d'uso.

  • Miglioramento dei prompt: utilizza i risultati della valutazione per guidare le tue attività di personalizzazione. La ripetizione di una valutazione crea un ciclo di feedback serrato, fornendo un feedback immediato e quantificabile sulle modifiche.

  • Ottimizzazione del modello: valuta la qualità di un modello ottimizzato applicando criteri di valutazione coerenti a ogni esecuzione.

  • Valutazione dell'agente: valuta le prestazioni di un agente utilizzando metriche specifiche per l'agente, come le tracce dell'agente e la qualità delle risposte.

Flusso di lavoro di valutazione

Il completamento di una valutazione richiede in genere i seguenti passaggi:

  • Crea un set di dati di valutazione: assembla un set di dati di istanze di prompt che riflettono il tuo caso d'uso specifico. Puoi includere risposte di riferimento (dati di fatto) se prevedi di utilizzare metriche basate su calcolo.

  • Definisci le metriche di valutazione: scegli le metriche che vuoi utilizzare per misurare le prestazioni del modello.

  • Genera risposte del modello: seleziona uno o più modelli per generare risposte per il tuo set di dati. L'SDK Agent Platform supporta qualsiasi modello richiamabile tramite LiteLLM, mentre la console supporta i modelli Gemini.

  • Esegui la valutazione: esegui il job di valutazione, che valuta le risposte di ciascun modello rispetto alle metriche selezionate.

  • Interpreta i risultati: esamina i punteggi aggregati e le singole risposte per analizzare le prestazioni del modello.

Metriche di valutazione

Di seguito sono riportati i concetti fondamentali relativi alle metriche di valutazione:

  • Rubriche: i criteri per valutare la risposta di un modello o di un'applicazione LLM.

  • Metriche: un punteggio che misura l'output del modello rispetto alle rubriche di valutazione.

Il servizio di valutazione dell'AI generativa offre le seguenti categorie di metriche:

  • Metriche basate su griglie di valutazione: incorporano gli LLM nei flussi di lavoro di valutazione per valutare la qualità delle risposte del modello. Le valutazioni basate su griglie sono adatte per una varietà di attività, in particolare per la qualità della scrittura, la sicurezza e il rispetto delle istruzioni, che spesso sono difficili da valutare con algoritmi deterministici.

    • Griglie adattive (consigliate): le griglie vengono generate dinamicamente per ogni prompt, come i test delle unità. Le risposte vengono valutate con un insieme univoco di test di superamento o fallimento per ogni singolo prompt nel set di dati. Le griglie di valutazione mantengono la valutazione pertinente all'attività richiesta e mirano a fornire risultati oggettivi, spiegabili e coerenti.

      Le griglie adattive sono in genere il modo più rapido per iniziare con le valutazioni, garantendo che ogni valutazione sia pertinente all'attività specifica in esame.

    • Griglie statiche: le griglie vengono definite in modo esplicito e la stessa griglia viene applicata a tutti i prompt. Le risposte vengono valutate con lo stesso insieme di valutatori numerici basati sul punteggio. Un singolo punteggio numerico (ad esempio da 1 a 5) per prompt. Utilizza le rubriche statiche quando è richiesta una valutazione su una dimensione molto specifica o quando è richiesta esattamente la stessa rubrica per tutti i prompt.

  • Metriche basate su calcolo: valutano le risposte con algoritmi deterministici, di solito utilizzando dati di fatto. Un punteggio numerico (ad esempio 0,0-1,0) per prompt. Quando sono disponibili dati di fatto che possono essere abbinati a un metodo deterministico.

  • Metriche delle funzioni personalizzate (solo SDK Agent Platform): definisci la tua metrica tramite una funzione Python.

Esempio di griglie adattive

Il processo di valutazione per ogni prompt utilizza un sistema in due passaggi:

  1. Generazione di griglie: il servizio analizza innanzitutto il prompt e genera un elenco di test specifici e verificabili, ovvero le griglie, che una buona risposta deve soddisfare.

  2. Convalida della rubrica: dopo che il modello genera una risposta, il servizio la valuta in base a ogni rubrica, fornendo un verdetto chiaro (Pass o Fail) e una motivazione.

Il risultato finale è una percentuale di superamento aggregata e un'analisi dettagliata delle rubriche superate dal modello, che fornisce insight utili per diagnosticare i problemi e misurare i miglioramenti.

Passando da punteggi soggettivi di alto livello a risultati di test granulari e oggettivi, puoi adottare un ciclo di sviluppo basato sulla valutazione e applicare le best practice di software engineering al processo di creazione di applicazioni di AI generativa.

L'esempio seguente mostra griglie adattive di esempio generate per un insieme di prompt:

Prompt dell'utente: Write a four-sentence summary of the provided article about renewable energy, maintaining an optimistic tone.

Per questo prompt, il passaggio di generazione della griglia potrebbe produrre le seguenti griglie:

  • Rubrica 1: la risposta è un riassunto dell'articolo fornito.

  • Criterio 2: la risposta contiene esattamente quattro frasi.

  • Rubrica 3: la risposta mantiene un tono ottimista.

Il modello potrebbe generare la seguente risposta: The article highlights significant growth in solar and wind power. These advancements are making clean energy more affordable. The future looks bright for renewables. However, the report also notes challenges with grid infrastructure.

Durante la convalida della rubrica, il servizio di valutazione dell'AI generativa valuta la risposta in base a ogni rubrica:

  • Rubrica 1: la risposta è un riassunto dell'articolo fornito.

    • Verdict: Pass

    • Motivo: la risposta riassume accuratamente i punti principali.

  • Criterio 2: la risposta contiene esattamente quattro frasi.

    • Verdict: Pass

    • Motivo: la risposta è composta da quattro frasi distinte

  • Rubrica 3: la risposta mantiene un tono ottimista.

    • Verdict: Fail

    • Motivo: la frase finale introduce un punto negativo, che sminuisce il tono ottimista.

La percentuale di superamento finale per questa risposta è del 66,7%. Per confrontare due modelli, puoi valutare le loro risposte rispetto allo stesso insieme di test generati e confrontare le loro percentuali di superamento complessive.

Inizia a utilizzare le valutazioni

Puoi iniziare a utilizzare le valutazioni utilizzando la console.

In alternativa, il seguente codice mostra come completare una valutazione con il client GenAI nell'SDK Agent Platform:

from vertexai import Client
from vertexai import types
import pandas as pd

client = Client(project=PROJECT_ID, location=LOCATION)

# Create an evaluation dataset
prompts_df = pd.DataFrame({
    "prompt": [
        "Write a simple story about a dinosaur",
        "Generate a poem about Agent Platform",
    ],
})

# Get responses from one or multiple models
eval_dataset = client.evals.run_inference(model="gemini-2.5-flash", src=prompts_df)

# Define the evaluation metrics and run the evaluation job
eval_result = client.evals.evaluate(
    dataset=eval_dataset,
    metrics=[types.RubricMetric.GENERAL_QUALITY]
)

# View the evaluation results
eval_result.show()

Il servizio di valutazione dell'AI generativa offre due interfacce dell'SDK Agent Platform:

  • Client GenAI nell'SDK Agent Platform (consigliato) (anteprima)

    from vertexai import client

    Il client GenAI è l'interfaccia più recente e consigliata per la valutazione, a cui si accede tramite la classe Client unificata. Supporta tutti i metodi di valutazione ed è progettato per flussi di lavoro che includono il confronto modelli, la visualizzazione in-notebook e insight per la personalizzazione dei modelli.

  • Modulo di valutazione nell'SDK Agent Platform (GA)

    from vertexai.evaluation import EvalTask

    Il modulo di valutazione è l'interfaccia precedente, mantenuta per la compatibilità con le versioni precedenti dei flussi di lavoro esistenti, ma non più in fase di sviluppo attivo. È possibile accedervi tramite la classe EvalTask. Questo metodo supporta le metriche standard basate su calcolo e LLM come giudice, ma non supporta i metodi di valutazione più recenti come le rubriche adattive.

Aree geografiche supportate

Le seguenti regioni sono supportate per il servizio di valutazione dell'AI generativa:

  • Iowa (us-central1)

  • Carolina del Sud (us-east1)

  • Virginia del Nord (us-east4)

  • Columbus, Ohio (us-east5)

  • Dallas, Texas (us-south1)

  • Oregon (us-west1)

  • Las Vegas, Nevada (us-west4)

  • Varsavia, Polonia (europe-central2)

  • Finlandia (europe-north1)

  • Madrid, Spagna (europe-southwest1)

  • Belgio (europe-west1)

  • Paesi Bassi (europe-west4)

  • Milano, Italia (europe-west8)

  • Parigi, Francia (europe-west9)

  • Globale (global)

Notebook disponibili

Link ai notebook Descrizione
Inizia: valutazione rapida dell'AI generativa Fornisce un'introduzione al servizio di valutazione dell'AI generativa.
Valutazione di modelli di terze parti con il servizio di valutazione Gen AI Mostra come utilizzare l'**SDK Agent Platform** per valutare vari tipi di modelli di terze parti, inclusi i modelli a cui si accede tramite API (come OpenAI, Anthropic), Model as a Service (MaaS) di Model Garden di Gemini Enterprise Agent Platform ed endpoint Bring Your Own Model (BYOM).
Migrazione dei modelli con il Gen AI evaluation service Mostra come utilizzare l'**SDK Agent Platform** per il servizio di valutazione dell'AI generativa per confrontare due modelli proprietari (ad esempio Gemini 2.0 Flash con Gemini 2.5 Flash). Viene evidenziato l'utilizzo di metriche predefinite basate su rubriche adattive e il modo in cui i risultati della valutazione possono guidare l'ottimizzazione dei prompt. Vengono inoltre trattate funzionalità chiave come la valutazione di più candidati, la visualizzazione nel notebook e la valutazione batch asincrona.
Valutazione della qualità da testo a immagine con Gen AI evaluation service Mostra come utilizzare l'SDK Vertex AI per Gen AI evaluation service per valutare la qualità delle immagini create dall'AI in base ai prompt testuali. Mostra l'utilizzo della metrica Gecko adattiva predefinita basata su rubriche.
Valutazione della qualità della generazione da testo a video con Gen AI evaluation service Mostra come utilizzare l'**SDK Agent Platform** per Gen AI evaluation service per valutare la qualità dei video generati in base ai prompt testuali. Mostra l'utilizzo della metrica Gecko adattiva predefinita basata su rubriche.

Passaggi successivi