AlphaEvolve 평가 하네스를 위한 평가 측정항목을 설계할 때는 다음 세 가지 테스트 등급을 설정하세요.
1등급: 솔루션 검증 테스트
이러한 테스트는 전체 실행 전에 기본 코드 실행 안전 및 정책 준수를 확인합니다.
실행 안전성: 코드가 실행되는지 확인합니다. 여기에는 구문 검토, 컴파일 시간 확인, 정적 분석 실행, 인프라 호환성 확인이 포함됩니다.
실행 정책: 코드가 작동하더라도 실행해야 하는지 여부를 결정합니다. 여기에는 린트, 일반 코드 품질 검사, 정보 보안 검토, 위험 및 규정 준수 검증, API 공급망 검사가 포함됩니다.
고려사항
유효성 검사가 실패하면
-10000또는-100000과 같은 높은 음수 점수를 반환합니다. AlphaEvolve는 이러한 프로그램을 무시합니다.디버깅을 위해 실패 유형과 로그를 포함합니다. AlphaEvolve는 이 메타데이터를 검색 신호로 사용하지 않지만 실패 모드의 사후 분석에 유용합니다.
2등급: 솔루션 확인 테스트
이러한 테스트는 단위 테스트와 기능 테스트를 사용하여 알고리즘의 정확성과 제약 조건 준수를 확인합니다.
기능 정확성: 단위 테스트와 기능 테스트를 사용하여 코드가 올바르게 작동하는지 확인합니다.
제약 조건 준수: 솔루션의 타당성 또는 제약 조건 만족 여부를 확인합니다.
보상 해킹 완화: 확인 점수를 피트니스 함수에 부정적인 페널티로 적용하여 보상 해킹을 방지합니다.
-10000또는-100000점수를 어설션하는 것은 효과적인 페널티로 작용합니다.
고려사항
통과한 테스트의 수 또는 비율을 반환합니다. 이 접근 방식은 그라데이션 신호를 제공합니다. 5개 테스트 중 4개를 통과한 프로그램은 5개 중 0개를 통과한 프로그램보다 올바른 프로그램에 더 가깝다고 인식됩니다.
확인을 약한 제약 조건 만족으로 처리합니다. 하드 시스템 제약 조건의 경우에도 실행 가능한 공간과의 근접성을 기반으로 소프트 페널티로 표현하면 AlphaEvolve에 이진 통과 또는 실패보다 더 실행 가능한 검색 신호를 제공합니다.
3단계: 솔루션 평가 테스트 (성능 테스트)
이러한 테스트는 최적화 타겟 유형에 따라 객관적인 실적 측정항목을 측정합니다.
직접 측정: 계측이 허용되는 곳에서 직접 목표를 추적합니다.
결정적 추정치: 고전적인 운영 연구 스타일의 목표를 분석적으로 계산합니다.
아웃오브샘플 검증: 머신러닝 파이프라인 최적화 또는 에이전트 하네스 조정과 관련된 사용 사례에 대해 검증 데이터 세트를 기준으로 테스트합니다.
시뮬레이션 기반 추정치: 마르코프 체인 몬테카를로 (MCMC) 시뮬레이션, 베이즈 최적화 유형 프록시 함수 또는 기타 모델 기반 접근 방식을 사용합니다.
고려사항
세부 점수와 집계 점수를 모두 반환합니다.
점수 계산을 LLM에 오프로드하지 마세요. 평가자 하네스 내에서 결정적으로 계산하세요. AlphaEvolve는 미리 계산된 집계 성능 점수를 기준으로 언덕을 오릅니다.
부분 점수는 검색 수렴을 가속화하는 경사 신호를 제공합니다. 예를 들어 5개 테스트 중 4개를 통과한 프로그램은
None이 아닌0.8점수를 받아야 합니다.None를 반환하면 AlphaEvolve가 프로그램을 완전히 무시하여 유용한 의견이 제공되지 않습니다.0.8점수는 후보가 정답에 가깝고 최적화 가능성이 있음을 나타냅니다.