AlphaEvolve 的评估框架的逻辑架构

AlphaEvolve 评估框架必须通过确定性执行流水线系统地处理候选代码更新。该测试框架不会一次性执行和评估解决方案,而是将流水线分为三个渐进式测试关卡:

  1. 解决方案验证

  2. 解决方案验证

  3. 解决方案评估

评估门

下图展示了候选程序在将结构化元数据返回给 AlphaEvolve 之前,如何通过三个不同的测试层级。

评估框架内的逻辑流程

解决方案验证

评估循环首先会强制执行严格的结构约束,而不运行代码的核心逻辑。该框架会检查候选解决方案是否存在基本的编译时语法错误、解析 bug 和结构性安全违规。

  • 成功路径:如果程序通过了所有验证检查,代码就会安全地进入解决方案验证运行时循环。

  • 失败路径(短路):如果任何验证测试失败,测试框架会立即中断执行。它会完全绕过资源密集型验证和性能测试层,以保护系统基础设施。 该循环会直接进入反馈生成阶段,并施加巨大的固定搜索惩罚(例如 -1e12),同时将性能得分设为零。

解决方案验证

一旦候选程序被验证为语法正确且可安全执行,测试框架就会在隔离环境中启动该程序,以强制执行软功能约束。此阶段会运行标准单元和功能正确性检查。

测试框架不会输出通过或失败的二进制信号,而是根据通过的功能测试的确切数量或百分比来评估程序。这会计入总体惩罚分数,为 AlphaEvolve 提供密集的数值搜索梯度,以便在后续世代中逐步纠正损坏的逻辑结构。

解决方案评估

当候选程序被证明在语法上安全且在算法上正确时,它会进入性能基准测试层。

该测试框架会运行经验测试、直接产品逻辑计算或分析模拟,以量化您的目标业务优化指标(例如算法执行速度、云基础设施内存占用或输出校准边界)。

全面评估反馈

在执行流水线结束时,自动化测试框架会将所有已完成阶段的数据汇总到结构化反馈载荷中。此载荷会直接返回给 AlphaEvolve,以指导后续变异的父级选择。

标准化反馈输出由以下三个主要组件组成:

  1. 总体爬山得分:由测试框架以确定性方式计算出的单个组合标量值,AlphaEvolve 会在优化过程中直接最大化该值。

  2. 精细的优化得分和惩罚:各个子指标、执行时间和软约束惩罚明细。这种明确的数据分布使引擎能够清楚地了解底层工程权衡。

  3. 文本数据分析:将原始结构化日志和故障模式详细信息传回未来的提示上下文,使 LLM 能够从其生成错误中明确学习。