Un outil d'évaluation AlphaEvolve doit traiter systématiquement les mises à jour de code candidates via un pipeline d'exécution déterministe. Plutôt que d'exécuter et de noter une solution en une seule fois, le harnais divise le pipeline en trois portes de test progressives :
Portes d'évaluation
Le schéma suivant illustre la manière dont les programmes candidats passent par les trois niveaux de test distincts avant de renvoyer des métadonnées structurées à AlphaEvolve.
Validation de la solution
La boucle d'évaluation commence par appliquer des contraintes structurelles strictes sans exécuter la logique de base du code. Le harnais vérifie que la solution candidate est correcte au niveau de la syntaxe de base au moment de la compilation, des bugs d'analyse et des violations de sécurité structurelles.
Chemin de réussite : si le programme réussit toutes les vérifications de validation, le code passe en toute sécurité à la boucle d'exécution de vérification de la solution.
Chemin d'échec (court-circuit) : si un test de validation échoue, le harnais interrompt immédiatement l'exécution. Il contourne complètement les niveaux de validation et de test des performances, qui consomment beaucoup de ressources, afin de protéger l'infrastructure du système. La boucle passe directement à la production de commentaires, en appliquant une pénalité de recherche forfaitaire massive (telle que
-1e12) ainsi que des scores de performances nuls.
Vérification de la solution
Une fois qu'un programme candidat est validé comme étant syntaxiquement correct et sûr à exécuter, le harnais le lance dans un environnement isolé pour appliquer des contraintes fonctionnelles souples. Cette phase exécute vos vérifications standards d'exactitude fonctionnelle et unitaire.
Au lieu de générer un signal binaire de réussite ou d'échec, le harnais évalue le programme en fonction du nombre ou du pourcentage exact de tests fonctionnels réussis. Cela contribue à un score de pénalité global, fournissant à AlphaEvolve un gradient de recherche numérique dense pour corriger progressivement les structures logiques défectueuses au fil des générations successives.
Évaluation de la solution
Lorsqu'un programme candidat s'avère à la fois sûr sur le plan syntaxique et correct sur le plan algorithmique, il atteint la couche d'analyse comparative des performances.
Le harnais exécute des tests empiriques, des calculs de logique de produit directs ou des simulations analytiques pour quantifier vos métriques d'optimisation métier cibles (telles que la vitesse d'exécution algorithmique, l'espace mémoire utilisé par l'infrastructure cloud ou les limites d'étalonnage de sortie).
Commentaires d'évaluation complets
À la fin du pipeline d'exécution, le harnais regroupe les données de toutes les phases terminées dans une charge utile de commentaires structurée. Cette charge utile est renvoyée directement à AlphaEvolve pour guider la sélection des parents pour les mutations ultérieures.
La sortie de commentaires standardisée se compose des trois composants principaux suivants :
Score global de l'algorithme de recherche locale : valeur scalaire unique et combinée calculée de manière déterministe par le harnais qu'AlphaEvolve maximise directement pendant l'optimisation.
Scores d'optimisation et pénalités précises : sous-métriques individuelles, temps d'exécution et répartition des pénalités pour les contraintes souples. Cette distribution explicite des données permet au moteur de raisonner clairement sur les compromis d'ingénierie sous-jacents.
Insights textuels : les journaux structurels bruts et les détails du mode de défaillance sont réinjectés dans les contextes de prompts futurs, ce qui permet au LLM d'apprendre explicitement de ses erreurs de génération.