Um harness de avaliação do AlphaEvolve precisa processar as atualizações de código candidatas de forma sistemática por um pipeline de execução determinista. Em vez de executar e avaliar uma solução de uma só vez, o harness divide o pipeline em três portas de teste progressivas:
Fases de avaliação
O diagrama a seguir mostra como os programas candidatos passam pelos três níveis de teste antes de retornar metadados estruturados para o AlphaEvolve.
Validação da solução
O loop de avaliação começa aplicando restrições estruturais rígidas sem executar a lógica principal do código. O harness verifica se a solução candidata tem correção de sintaxe básica em tempo de compilação, bugs de análise e violações de segurança estrutural.
Caminho de sucesso: se o programa passar em todas as verificações de validação, o código vai avançar com segurança para o loop de execução de verificação da solução.
Caminho de falha (curto-circuito): se algum teste de validação falhar, o harness interrompe imediatamente a execução. Ele ignora completamente os níveis de verificação e teste de desempenho que consomem muitos recursos para proteger a infraestrutura do sistema. O loop vai direto para a produção de feedback, aplicando uma penalidade de pesquisa fixa enorme (como
-1e12) e pontuações de desempenho com valor zero.
Verificação da solução
Depois que um programa candidato é validado como sintaticamente correto e seguro para execução, o harness o inicia em um ambiente isolado para aplicar restrições funcionais flexíveis. Essa fase executa as verificações padrão de unidade e de correção funcional.
Em vez de gerar um sinal binário de aprovação ou reprovação, o harness avalia o programa com base no número ou na porcentagem exata de testes funcionais aprovados. Isso é contabilizado em uma pontuação de penalidade geral, fornecendo ao AlphaEvolve um gradiente de pesquisa numérica denso para corrigir de forma incremental as estruturas lógicas corrompidas ao longo de gerações sucessivas.
Avaliação da solução
Quando um programa candidato se mostra sintaticamente seguro e algoritmicamente correto, ele chega à camada de comparativo de mercado de desempenho.
O harness executa testes empíricos, cálculos diretos de lógica de produto ou simulações analíticas para quantificar as métricas de otimização de negócios desejadas (como velocidade de execução algorítmica, consumo de memória da infraestrutura em nuvem ou limites de calibração de saída).
Feedback de avaliação abrangente
No final do pipeline de execução, o harness agrega dados de todas as fases concluídas em um payload de feedback estruturado. Esse payload é retornado diretamente ao AlphaEvolve para orientar a seleção de pais para mutações subsequentes.
A saída de feedback padronizada consiste nos três componentes principais a seguir:
Pontuação geral de subida de encosta: um único valor escalar combinado calculado de forma determinística pelo harness que o AlphaEvolve maximiza diretamente durante a otimização.
Pontuações e penalidades de otimização granulares: as submétricas individuais, os tempos de execução e as penalidades de restrição flexível. Essa distribuição explícita de dados permite que o mecanismo entenda claramente as compensações de engenharia subjacentes.
Insights textuais: registros estruturais brutos e detalhes do modo de falha transmitidos para contextos de comandos futuros, permitindo que o LLM aprenda explicitamente com os erros de geração.