Gen AI Evaluation Service – Übersicht

Der Gen AI Evaluation Service bietet Tools auf Unternehmensniveau für eine objektive, datengestützte Bewertung von Modellen, die auf generativer KI basieren. Es unterstützt und informiert über eine Reihe von Entwicklungsaufgaben wie Modellmigrationen, Prompt-Bearbeitung und Feinabstimmung.

Funktionen des Gen AI Evaluation Service

Das entscheidende Merkmal des Gen AI Evaluation Service ist die Möglichkeit, adaptive Bewertungsschemas zu verwenden, also eine Reihe von maßgeschneiderten Tests, die für jeden einzelnen Prompt bestanden oder nicht bestanden werden können. Bewertungsschemas ähneln Unit-Tests in der Softwareentwicklung und sollen die Modellleistung bei einer Vielzahl von Aufgaben verbessern.

Funktionen des Gen AI Evaluation Service

Der Gen AI Evaluation Service unterstützt die folgenden gängigen Bewertungsmethoden:

  • Adaptive Rubriken (empfohlen): Generiert für jeden einzelnen Prompt in Ihrem Dataset einen eindeutigen Satz von Rubriken für „Bestanden“ oder „Nicht bestanden“.

  • Statische Rubriken: Es wird ein fester Satz von Bewertungskriterien für alle Prompts angewendet.

  • Berechnungsbasierte Messwerte: Verwenden Sie deterministische Algorithmen wie ROUGE oder BLEU, wenn eine Grundwahrheit verfügbar ist.

  • Benutzerdefinierte Funktionen: Sie können Ihre eigene Bewertungslogik in Python für spezielle Anforderungen definieren.

Generierung von Bewertungs-Datasets

Sie können ein Bewertungs-Dataset mit den folgenden Methoden erstellen:

  • Laden Sie eine Datei hoch, die vollständige Prompt-Instanzen enthält, oder stellen Sie eine Prompt-Vorlage zusammen mit einer entsprechenden Datei mit Variablenwerten bereit, um die vollständigen Prompts zu füllen.

  • Stichproben direkt aus Produktionslogs entnehmen, um die tatsächliche Nutzung Ihres Modells zu bewerten.

  • Verwenden Sie die Generierung synthetischer Daten, um eine große Anzahl konsistenter Beispiele für jede Prompt-Vorlage zu generieren.

Unterstützte Schnittstellen

Sie können Ihre Bewertungen über die folgenden Schnittstellen definieren und ausführen:

Anwendungsfälle

Mit dem Gen AI Evaluation Service können Sie sehen, wie ein Modell bei Ihren spezifischen Aufgaben und anhand Ihrer individuellen Kriterien abschneidet. So erhalten Sie wertvolle Informationen, die sich nicht aus öffentlichen Bestenlisten und allgemeinen Benchmarks ableiten lassen. Dies unterstützt wichtige Entwicklungsaufgaben, darunter:

  • Modellmigrationen: Vergleichen Sie Modellversionen, um Verhaltensunterschiede zu verstehen und Ihre Prompts und Einstellungen entsprechend anzupassen.

  • Das beste Modell finden: Vergleichen Sie Google- und Drittanbietermodelle anhand Ihrer Daten, um eine Leistungsbaseline zu erstellen und das beste Modell für Ihren Anwendungsfall zu finden.

  • Prompt-Verbesserung: Verwenden Sie die Bewertungsergebnisse, um Ihre Anpassungen zu optimieren. Wenn Sie eine Bewertung noch einmal ausführen, erhalten Sie sofort quantifizierbares Feedback zu Ihren Änderungen.

  • Modellabstimmung: Bewerten Sie die Qualität eines abgestimmten Modells, indem Sie bei jedem Durchlauf einheitliche Bewertungskriterien anwenden.

  • Agentenbewertung: Bewerten Sie die Leistung eines Agenten anhand von agentenspezifischen Messwerten wie Agenten-Traces und Antwortqualität.

Bewertungs-Workflow

Für eine Bewertung sind in der Regel die folgenden Schritte erforderlich:

  • Bewertungs-Dataset erstellen: Stellen Sie ein Dataset mit Prompt-Instanzen zusammen, die Ihren spezifischen Anwendungsfall widerspiegeln. Sie können Referenzantworten (Grundwahrheit) einbeziehen, wenn Sie berechnungsbasierte Messwerte verwenden möchten.

  • Bewertungsmesswerte definieren: Wählen Sie die Messwerte aus, mit denen Sie die Modellleistung messen möchten.

  • Modellantworten generieren: Wählen Sie ein oder mehrere Modelle aus, um Antworten für Ihr Dataset zu generieren. Das Agent Platform SDK unterstützt alle Modelle, die über LiteLLM aufgerufen werden können. Die Console unterstützt Gemini-Modelle.

  • Bewertung ausführen: Führen Sie den Bewertungsjob aus, bei dem die Antworten der einzelnen Modelle anhand der ausgewählten Messwerte bewertet werden.

  • Ergebnisse interpretieren: Sehen Sie sich die aggregierten Bewertungen und die einzelnen Antworten an, um die Modellleistung zu analysieren.

Bewertungsmesswerte

Im Folgenden finden Sie die wichtigsten Konzepte im Zusammenhang mit Bewertungsmesswerten:

  • Rubriken: Die Kriterien für die Bewertung der Antwort eines LLM-Modells oder einer LLM-Anwendung.

  • Messwerte: Ein Wert, der die Modellausgabe anhand der Bewertungsrubriken misst.

Der Gen AI Evaluation Service bietet die folgenden Kategorien von Messwerten:

  • Rubrikbasierte Messwerte: LLMs in Bewertungsworkflows einbinden, um die Qualität von Modellantworten zu bewerten. Rubrikbasierte Bewertungen eignen sich für eine Vielzahl von Aufgaben, insbesondere für die Schreibqualität, die Sicherheit und die Befolgung von Anweisungen, die mit deterministischen Algorithmen oft nur schwer zu bewerten sind.

    • Adaptive Bewertungsschemas (empfohlen): Bewertungsschemas werden für jeden Prompt dynamisch generiert, ähnlich wie Unittests. Antworten werden mit einem eindeutigen Satz von Tests für jeden einzelnen Prompt in Ihrem Dataset ausgewertet. Die Bewertungsschemas sorgen dafür, dass die Bewertung für die angeforderte Aufgabe relevant ist, und zielen darauf ab, objektive, erklärbare und konsistente Ergebnisse zu liefern.

      Adaptive Rubriken sind in der Regel die schnellste Möglichkeit, mit Bewertungen zu beginnen. Sie sorgen dafür, dass jede Bewertung für die jeweilige Aufgabe relevant ist.

    • Statische Rubriken: Rubriken werden explizit definiert und dieselbe Rubrik gilt für alle Prompts. Antworten werden mit denselben numerischen, bewertungsbasierten Evaluatoren bewertet. Eine einzelne numerische Bewertung (z. B. 1–5) pro Prompt. Verwenden Sie statische Rubriken, wenn eine Bewertung für eine sehr spezifische Dimension erforderlich ist oder wenn für alle Prompts genau dieselbe Rubrik erforderlich ist.

  • Berechnungsbasierte Messwerte: Antworten werden mit deterministischen Algorithmen bewertet, in der Regel anhand von Grundwahrheiten. Ein numerischer Wert (z.B.0,0–1,0) pro Prompt. Wenn die Grundwahrheit verfügbar ist und mit einer deterministischen Methode abgeglichen werden kann.

  • Benutzerdefinierte Funktionsmesswerte (nur Agent Platform SDK): Definieren Sie Ihren eigenen Messwert über eine Python-Funktion.

Beispiel für adaptive Bewertungsschemas

Der Bewertungsprozess für jeden Prompt erfolgt in zwei Schritten:

  1. Rubrikerstellung: Der Dienst analysiert zuerst Ihren Prompt und generiert eine Liste spezifischer, überprüfbarer Tests (die Rubriken), die eine gute Antwort erfüllen sollte.

  2. Rubrikvalidierung: Nachdem Ihr Modell eine Antwort generiert hat, bewertet der Dienst die Antwort anhand jeder Rubrik und liefert ein klares Pass- oder Fail-Urteil sowie eine Begründung.

Das Endergebnis ist eine aggregierte Erfolgsquote und eine detaillierte Aufschlüsselung der Rubriken, die das Modell bestanden hat. So erhalten Sie umsetzbare Informationen, um Probleme zu diagnostizieren und Verbesserungen zu messen.

Durch den Wechsel von allgemeinen, subjektiven Bewertungen zu detaillierten, objektiven Testergebnissen können Sie einen bewertungsgesteuerten Entwicklungszyklus einführen und Best Practices für die Softwareentwicklung auf den Prozess der Erstellung generativer KI-Anwendungen anwenden.

Das folgende Beispiel zeigt adaptive Beispielrubriken, die für eine Reihe von Prompts generiert wurden:

Nutzer-Prompt: Write a four-sentence summary of the provided article about renewable energy, maintaining an optimistic tone.

Für diesen Prompt könnte der Schritt Bewertungsschema generieren die folgenden Bewertungsschemas erzeugen:

  • Rubrik 1: Die Antwort ist eine Zusammenfassung des bereitgestellten Artikels.

  • Rubrik 2: Die Antwort enthält genau vier Sätze.

  • Rubrik 3: Die Antwort hat einen optimistischen Ton.

Ihr Modell erzeugt möglicherweise die folgende Antwort: The article highlights significant growth in solar and wind power. These advancements are making clean energy more affordable. The future looks bright for renewables. However, the report also notes challenges with grid infrastructure.

Während der Rubrikvalidierung bewertet der Gen AI Evaluation Service die Antwort anhand der einzelnen Rubriken:

  • Rubrik 1: Die Antwort ist eine Zusammenfassung des bereitgestellten Artikels.

    • Urteil: Pass

    • Grund: Die Antwort fasst die wichtigsten Punkte korrekt zusammen.

  • Rubrik 2: Die Antwort enthält genau vier Sätze.

    • Urteil: Pass

    • Grund: Die Antwort besteht aus vier verschiedenen Sätzen.

  • Rubrik 3: Die Antwort hat einen optimistischen Ton.

    • Urteil: Fail

    • Grund: Der letzte Satz enthält einen negativen Punkt, der den optimistischen Ton beeinträchtigt.

Die endgültige Bestehensquote für diese Antwort beträgt 66,7 %. Wenn Sie zwei Modelle vergleichen möchten, können Sie ihre Antworten anhand derselben generierten Tests bewerten und ihre Gesamtbestandsraten vergleichen.

Erste Schritte mit Bewertungen

Sie können mit Bewertungen über die Console beginnen.

Alternativ zeigt der folgende Code, wie Sie eine Bewertung mit dem GenAI-Client im Agent Platform SDK durchführen:

from vertexai import Client
from vertexai import types
import pandas as pd

client = Client(project=PROJECT_ID, location=LOCATION)

# Create an evaluation dataset
prompts_df = pd.DataFrame({
    "prompt": [
        "Write a simple story about a dinosaur",
        "Generate a poem about Agent Platform",
    ],
})

# Get responses from one or multiple models
eval_dataset = client.evals.run_inference(model="gemini-2.5-flash", src=prompts_df)

# Define the evaluation metrics and run the evaluation job
eval_result = client.evals.evaluate(
    dataset=eval_dataset,
    metrics=[types.RubricMetric.GENERAL_QUALITY]
)

# View the evaluation results
eval_result.show()

Der Gen AI Evaluation Service bietet zwei Agent Platform SDK-Schnittstellen:

  • GenAI-Client im Agent Platform SDK (empfohlen) (Vorabversion)

    from vertexai import client

    Der GenAI-Client ist die neuere, empfohlene Schnittstelle für die Bewertung, auf die über die einheitliche Client-Klasse zugegriffen wird. Es unterstützt alle Bewertungsmethoden und ist für Workflows konzipiert, die Modellvergleiche, Visualisierungen im Notebook und Statistiken zur Modellanpassung umfassen.

  • Bewertungsmodul im Agent Platform SDK (GA)

    from vertexai.evaluation import EvalTask

    Das Bewertungsmodul ist die ältere Oberfläche, die aus Gründen der Abwärtskompatibilität mit vorhandenen Workflows beibehalten wird, aber nicht mehr aktiv weiterentwickelt wird. Der Zugriff erfolgt über die Klasse EvalTask. Diese Methode unterstützt standardmäßige LLM-as-a-Judge- und berechnungsbasierte Messwerte, aber keine neueren Bewertungsmethoden wie adaptive Rubriken.

Unterstützte Regionen

Die folgenden Regionen werden für den Gen AI Evaluation Service unterstützt:

  • Iowa (us-central1)

  • South Carolina (us-east1)

  • Virginia (us-east4)

  • Columbus, Ohio-us-east5

  • Dallas, Texas (us-south1)

  • Oregon (us-west1)

  • Las Vegas, Nevada (us-west4)

  • Warschau, Polen (europe-central2)

  • Finnland (europe-north1)

  • Madrid, Spanien (europe-southwest1)

  • Belgien (europe-west1)

  • Niederlande (europe-west4)

  • Mailand, Italien (europe-west8)

  • Paris, Frankreich (europe-west9)

  • Landesweit (global)

Verfügbare Notebooks

Notebook-Links Beschreibung
Erste Schritte: Schnelle Bewertung der generativen KI Bietet eine Einführung in den Gen AI Evaluation Service.
Drittanbietermodelle mit dem Gen AI Evaluation Service bewerten Hier wird gezeigt, wie Sie mit dem **Agent Platform SDK** verschiedene Arten von Drittanbietermodellen bewerten können, darunter Modelle, auf die über eine API zugegriffen wird (z. B. OpenAI, Anthropic), Model as a Service (MaaS) aus dem Gemini Enterprise Agent Platform Model Garden und BYOM-Endpunkte (Bring Your Own Model).
Modellmigration mit dem Gen AI Evaluation Service Hier wird gezeigt, wie Sie das **Agent Platform SDK** für den Gen AI Evaluation Service verwenden, um zwei Erstanbieter-Modelle (z. B. Gemini 2.0 Flash und Gemini 2.5 Flash) zu vergleichen. Dabei wird die Verwendung vordefinierter adaptiver, rubrikbasierter Messwerte hervorgehoben und gezeigt, wie die Bewertungsergebnisse zur Optimierung von Prompts beitragen können. Wichtige Funktionen wie die Bewertung mehrerer Kandidaten, die Visualisierung im Notebook und die asynchrone Batchbewertung werden ebenfalls behandelt.
Text-zu-Bild-Qualität mit dem Gen AI Evaluation Service bewerten Hier wird gezeigt, wie Sie mit dem Vertex AI SDK for Gen AI Evaluation Service die Qualität generierter Bilder anhand von Text-Prompts bewerten. Dabei wird der vordefinierte adaptive rubrikbasierte Gecko-Messwert verwendet.
Text-zu-Video-Qualität mit dem Gen AI Evaluation Service bewerten Hier wird gezeigt, wie Sie das **Agent Platform SDK** für den Gen AI Evaluation Service verwenden, um die Qualität generierter Videos anhand von Text-Prompts zu bewerten. Dabei wird der vordefinierte adaptive rubrikbasierte Gecko-Messwert verwendet.

Nächste Schritte