Un entorno de evaluación de AlphaEvolve debe procesar las actualizaciones de código candidatas de forma sistemática a través de una canalización de ejecución determinista. En lugar de ejecutar y calificar una solución de una sola vez, el entorno de pruebas divide la canalización en tres puertas de pruebas progresivas:
Puntos de control de evaluación
En el siguiente diagrama, se muestra cómo fluyen los programas candidatos a través de los tres niveles de pruebas distintos antes de devolver metadatos estructurados a AlphaEvolve.
Validación de la solución
El bucle de evaluación comienza aplicando restricciones estructurales estrictas sin ejecutar la lógica principal del código. El harness verifica que la solución candidata tenga la sintaxis correcta en el tiempo de compilación básico, que no tenga errores de análisis y que no haya incumplimientos de seguridad estructurales.
Ruta de éxito: Si el programa pasa todas las verificaciones de validación, el código avanza de forma segura hasta el bucle de tiempo de ejecución de verificación de la solución.
Ruta de acceso de falla (cortocircuito): Si falla alguna prueba de validación, el harness interrumpe la ejecución de inmediato. Omite por completo los niveles de verificación y pruebas de rendimiento que consumen muchos recursos para proteger la infraestructura del sistema. El bucle pasa directamente a la producción de comentarios, lo que genera una penalización de búsqueda plana masiva (como
-1e12) junto con puntuaciones de rendimiento de valor cero.
Verificación de la solución
Una vez que se valida que un programa candidato es sintácticamente correcto y seguro para ejecutarlo, el entorno de pruebas lo inicia en un entorno aislado para aplicar restricciones funcionales flexibles. En esta fase, se ejecutan las verificaciones estándar de unidades y de corrección funcional.
En lugar de generar una señal binaria de aprobación o falla, el harness evalúa el programa en función de la cantidad o el porcentaje exactos de pruebas funcionales aprobadas. Esto se tiene en cuenta para una puntuación de penalización general, lo que proporciona a AlphaEvolve un gradiente de búsqueda numérico denso para corregir de forma incremental las estructuras lógicas dañadas en generaciones sucesivas.
Evaluación de la solución
Cuando un programa candidato demuestra ser sintácticamente seguro y algorítmicamente correcto, llega a la capa de comparativas de rendimiento.
El harness ejecuta pruebas empíricas, cálculos lógicos directos de productos o simulaciones analíticas para cuantificar tus métricas de optimización empresarial objetivo (como la velocidad de ejecución algorítmica, el espacio en memoria de la infraestructura de nube o los límites de calibración de resultados).
Comentarios de la evaluación integral
Al final de la canalización de ejecución, el harness agrega datos de todas las fases completadas en una carga útil de comentarios estructurada. Esta carga útil se devuelve directamente a AlphaEvolve para guiar la selección de padres para mutaciones posteriores.
El resultado de los comentarios estandarizados consta de los siguientes tres componentes principales:
Puntuación general de escalada de colinas: Es un valor escalar único y combinado que calcula de forma determinista el arnés que AlphaEvolve maximiza directamente durante la optimización.
Niveles de optimización y penalizaciones detallados: Las submétricas individuales, los tiempos de ejecución y los desgloses de penalizaciones de restricciones flexibles. Esta distribución explícita de datos permite que el motor razone con claridad sobre las compensaciones de ingeniería subyacentes.
Estadísticas textuales: Registros estructurales sin procesar y detalles del modo de falla que se pasan de vuelta a contextos de instrucciones futuros, lo que permite que el LLM aprenda de forma explícita de sus errores de generación.