Descripción general de Gen AI Evaluation Service

El Gen AI Evaluation Service proporciona herramientas de nivel empresarial para la evaluación objetiva y basada en datos de modelos de IA generativa. Apoya y fundamenta una serie de tareas de desarrollo, como migraciones de modelos, edición de instrucciones y ajuste.

Funciones de Gen AI Evaluation Service

La característica que define al Gen AI Evaluation Service es la capacidad de usar rúbricas adaptables, un conjunto de pruebas de aprobación o reprobación personalizadas para cada instrucción individual. Las rúbricas de evaluación son similares a las pruebas de unidades en el desarrollo de software y tienen como objetivo mejorar el rendimiento del modelo en una variedad de tareas.

Funciones de Gen AI Evaluation Service

Gen AI Evaluation Service admite los siguientes métodos de evaluación comunes:

  • Rúbricas adaptables (recomendado): Genera un conjunto único de rúbricas de aprobación o reprobación para cada instrucción individual de tu conjunto de datos.

  • Rúbricas estáticas: Aplica un conjunto fijo de criterios de puntuación en todas las instrucciones.

  • Métricas basadas en cálculos: Usa algoritmos deterministas, como ROUGE o BLEU, cuando haya una verdad fundamental disponible.

  • Funciones personalizadas: Define tu propia lógica de evaluación en Python para requisitos especializados.

Generación de conjuntos de datos de evaluación

Puedes crear un conjunto de datos de evaluación con los siguientes métodos:

  • Sube un archivo que contenga instancias de instrucciones completas o proporciona una plantilla de instrucciones junto con un archivo correspondiente de valores de variables para completar las instrucciones.

  • Toma muestras directamente de los registros de producción para evaluar el uso real de tu modelo.

  • Usa la generación de datos sintéticos para generar una gran cantidad de ejemplos coherentes para cualquier plantilla de instrucciones.

Interfaces compatibles

Puedes definir y ejecutar tus evaluaciones con las siguientes interfaces:

Casos de uso

Gen AI Evaluation Service te permite ver cómo se desempeña un modelo en tus tareas específicas y en función de tus criterios únicos, lo que proporciona estadísticas valiosas que no se pueden obtener de las tablas de clasificación públicas ni de las comparativas generales. Esto admite tareas de desarrollo críticas, incluidas las siguientes:

  • Migraciones de modelos: Compara las versiones de los modelos para comprender las diferencias de comportamiento y ajustar tus instrucciones y parámetros de configuración según corresponda.

  • Encuentra el mejor modelo: Ejecuta comparaciones directas de los modelos de Google y de terceros con tus datos para establecer un modelo de referencia de rendimiento y determinar cuál es el más adecuado para tu caso de uso.

  • Mejora de instrucciones: Usa los resultados de la evaluación para guiar tus esfuerzos de personalización. Volver a ejecutar una evaluación crea un ciclo de reacción estrecho, lo que proporciona comentarios inmediatos y cuantificables sobre tus cambios.

  • Ajuste de modelos: Evalúa la calidad de un modelo ajustado aplicando criterios de evaluación coherentes a cada ejecución.

  • Evaluación de agentes: Evalúa el rendimiento de un agente con métricas específicas del agente, como los seguimientos del agente y la calidad de la respuesta.

Flujo de trabajo de evaluación

Para completar una evaluación, por lo general, se deben seguir estos pasos:

  • Crea un conjunto de datos de evaluación: Reúne un conjunto de datos de instancias de instrucciones que reflejen tu caso de uso específico. Puedes incluir respuestas de referencia (verdad fundamental) si planeas usar métricas basadas en cálculos.

  • Define las métricas de evaluación: Elige las métricas que quieras usar para medir el rendimiento del modelo.

  • Generar respuestas del modelo: Selecciona uno o más modelos para generar respuestas para tu conjunto de datos. El SDK de Agent Platform admite cualquier modelo al que se pueda llamar a través de LiteLLM, mientras que la consola admite modelos de Gemini.

  • Ejecuta la evaluación: Ejecuta el trabajo de evaluación, que evalúa las respuestas de cada modelo en función de las métricas que seleccionaste.

  • Interpreta los resultados: Revisa las puntuaciones agregadas y las respuestas individuales para analizar el rendimiento del modelo.

Métricas de evaluación

Los siguientes son conceptos básicos relacionados con las métricas de evaluación:

  • Rúbricas: Son los criterios para calificar la respuesta de un modelo o una aplicación de LLM.

  • Métricas: Es una puntuación que mide el resultado del modelo en comparación con las rúbricas de calificación.

Gen AI Evaluation Service ofrece las siguientes categorías de métricas:

  • Métricas basadas en rúbricas: Incorpora LLM en los flujos de trabajo de evaluación para analizar la calidad de las respuestas del modelo. Las evaluaciones basadas en rúbricas son adecuadas para una variedad de tareas, en especial la calidad de la escritura, la seguridad y el seguimiento de instrucciones, que suelen ser difíciles de evaluar con algoritmos deterministas.

    • Rúbricas adaptables (recomendado): Las rúbricas se generan de forma dinámica para cada instrucción, como las pruebas de unidades. Las respuestas se evalúan con un conjunto único de pruebas de aprobación o reprobación para cada instrucción individual de tu conjunto de datos. Las rúbricas mantienen la evaluación pertinente para la tarea solicitada y tienen como objetivo proporcionar resultados objetivos, explicables y coherentes.

      Las rúbricas adaptables suelen ser la forma más rápida de comenzar con las evaluaciones, lo que garantiza que cada evaluación sea pertinente para la tarea específica que se evalúa.

    • Rúbricas estáticas: Las rúbricas se definen de forma explícita y se aplica la misma rúbrica a todas las instrucciones. Las respuestas se evalúan con el mismo conjunto de evaluadores numéricos basados en puntuaciones. Una sola puntuación numérica (como del 1 al 5) por instrucción Usa rúbricas estáticas cuando se requiera una evaluación en una dimensión muy específica o cuando se requiera exactamente la misma rúbrica en todas las instrucciones.

  • Métricas basadas en cálculos: Evalúan las respuestas con algoritmos determinísticos, por lo general, con la verdad fundamental. Una puntuación numérica (como 0.0-1.0) por instrucción. Cuando la verdad fundamental está disponible y se puede hacer coincidir con un método determinista.

  • Métricas de funciones personalizadas (solo para el SDK de Agent Platform): Define tu propia métrica a través de una función de Python.

Ejemplo de rúbricas adaptables

El proceso de evaluación de cada instrucción usa un sistema de dos pasos:

  1. Generación de rúbricas: El servicio primero analiza tu instrucción y genera una lista de pruebas específicas y verificables (las rúbricas) que debe cumplir una buena respuesta.

  2. Validación de rúbricas: Después de que tu modelo genera una respuesta, el servicio evalúa la respuesta en función de cada rúbrica y entrega un veredicto claro de Pass o Fail y una justificación.

El resultado final es una tasa de aprobación agregada y un desglose detallado de las rúbricas que aprobó el modelo, lo que te brinda estadísticas prácticas para diagnosticar problemas y medir las mejoras.

Si pasas de puntuaciones subjetivas de alto nivel a resultados de pruebas objetivos y detallados, puedes adoptar un ciclo de desarrollo basado en la evaluación y aplicar las prácticas recomendadas de ingeniería de software al proceso de creación de aplicaciones de IA generativa.

En el siguiente ejemplo, se muestran rúbricas adaptables de muestra que se generaron para un conjunto de instrucciones:

Instrucción del usuario: Write a four-sentence summary of the provided article about renewable energy, maintaining an optimistic tone.

Para esta instrucción, el paso de generación de rúbricas podría producir las siguientes rúbricas:

  • Rúbrica 1: La respuesta es un resumen del artículo proporcionado.

  • Rúbrica 2: La respuesta contiene exactamente cuatro oraciones.

  • Rúbrica 3: La respuesta mantiene un tono optimista.

Es posible que tu modelo produzca la siguiente respuesta: The article highlights significant growth in solar and wind power. These advancements are making clean energy more affordable. The future looks bright for renewables. However, the report also notes challenges with grid infrastructure.

Durante la validación de la rúbrica, el servicio de evaluación de IA generativa evalúa la respuesta en función de cada rúbrica:

  • Rúbrica 1: La respuesta es un resumen del artículo proporcionado.

    • Veredicto: Pass

    • Motivo: La respuesta resume con precisión los puntos principales.

  • Rúbrica 2: La respuesta contiene exactamente cuatro oraciones.

    • Veredicto: Pass

    • Motivo: La respuesta se compone de cuatro oraciones distintas.

  • Rúbrica 3: La respuesta mantiene un tono optimista.

    • Veredicto: Fail

    • Motivo: La oración final presenta un punto negativo, lo que resta valor al tono optimista.

La tasa de aprobación final de esta respuesta es del 66.7%. Para comparar dos modelos, puedes evaluar sus respuestas con este mismo conjunto de pruebas generadas y comparar sus tasas de aprobación generales.

Comienza a usar las evaluaciones

Puedes comenzar a realizar evaluaciones con la consola.

Como alternativa, en el siguiente código, se muestra cómo completar una evaluación con el cliente de IA generativa en el SDK de Agent Platform:

from vertexai import Client
from vertexai import types
import pandas as pd

client = Client(project=PROJECT_ID, location=LOCATION)

# Create an evaluation dataset
prompts_df = pd.DataFrame({
    "prompt": [
        "Write a simple story about a dinosaur",
        "Generate a poem about Agent Platform",
    ],
})

# Get responses from one or multiple models
eval_dataset = client.evals.run_inference(model="gemini-2.5-flash", src=prompts_df)

# Define the evaluation metrics and run the evaluation job
eval_result = client.evals.evaluate(
    dataset=eval_dataset,
    metrics=[types.RubricMetric.GENERAL_QUALITY]
)

# View the evaluation results
eval_result.show()

El servicio de evaluación de IA generativa ofrece dos interfaces del SDK de Agent Platform:

  • Cliente de IA generativa en el SDK de Agent Platform (recomendado, versión preliminar)

    from vertexai import client

    El cliente de IA generativa es la interfaz más nueva y recomendada para la evaluación, a la que se accede a través de la clase Client unificada. Admite todos los métodos de evaluación y está diseñado para flujos de trabajo que incluyen la comparación de modelos, la visualización en el notebook y las estadísticas para la personalización de modelos.

  • Módulo de evaluación en el SDK de Agent Platform (DG)

    from vertexai.evaluation import EvalTask

    El módulo de evaluación es la interfaz más antigua, que se mantiene para la retrocompatibilidad con los flujos de trabajo existentes, pero que ya no se desarrolla de forma activa. Se accede a través de la clase EvalTask. Este método admite métricas estándar de LLM como juez y basadas en cálculos, pero no admite métodos de evaluación más nuevos, como las rúbricas adaptables.

Regiones admitidas

Se admiten las siguientes regiones para el servicio de evaluación de IA generativa:

  • Iowa (us-central1)

  • Carolina del Sur (us-east1)

  • Virginia del Norte (us-east4)

  • Columbus, Ohio (us-east5)

  • Dallas, Texas (us-south1)

  • Oregón (us-west1)

  • Las Vegas, Nevada - (us-west4)

  • Varsovia, Polonia (europe-central2)

  • Finlandia (europe-north1)

  • Madrid, España (europe-southwest1)

  • Bélgica (europe-west1)

  • Países Bajos (europe-west4)

  • Milán, Italia (europe-west8)

  • París, Francia (europe-west9)

  • Global (global)

Cuadernos disponibles

Vínculos a notebooks Descripción
Comienza a usar la evaluación rápida de IA generativa Proporciona una introducción al Gen AI Evaluation Service.
Evalúa modelos de terceros con el servicio de evaluación de IA generativa Demuestra cómo usar el **SDK de Agent Platform** para evaluar varios tipos de modelos de terceros, incluidos los modelos a los que se accede con la API (como OpenAI, Anthropic), el modelo como servicio (MaaS) de Model Garden de Gemini Enterprise Agent Platform y los extremos de Bring Your Own Model (BYOM).
Migración de modelos con Gen AI Evaluation Service Muestra cómo usar el **SDK de Agent Platform** para el servicio de evaluación de IA generativa con el objetivo de comparar dos modelos propios (como Gemini 2.0 Flash con Gemini 2.5 Flash). Se destaca el uso de métricas predefinidas basadas en rúbricas adaptables y cómo los resultados de la evaluación pueden guiar la optimización de las instrucciones. También se abordan funciones clave, como la evaluación de varios candidatos, la visualización en el notebook y la evaluación por lotes asíncrona.
Evalúa la calidad de texto a imagen con el Gen AI Evaluation Service Muestra cómo usar el SDK de Vertex AI para el servicio de evaluación de IA generativa para evaluar la calidad de las imágenes generadas en función de instrucciones de texto. Se muestra el uso de la métrica Gecko predefinida basada en rúbricas adaptables.
Evalúa la calidad de texto a video con el servicio de evaluación de IA generativa Muestra cómo usar el **SDK de Agent Platform** para el servicio de evaluación de IA generativa con el objetivo de evaluar la calidad de los videos generados a partir de instrucciones de texto. Se muestra el uso de la métrica Gecko predefinida basada en rúbricas adaptables.

¿Qué sigue?