Harness evaluasi AlphaEvolve harus memproses update kode kandidat secara sistematis melalui pipeline eksekusi deterministik. Alih-alih mengeksekusi dan menilai solusi sekaligus, harness membagi pipeline menjadi tiga gerbang pengujian progresif:
Gerbang evaluasi
Diagram berikut memetakan alur program kandidat melalui tiga tingkat pengujian yang berbeda sebelum menampilkan metadata terstruktur ke AlphaEvolve.
Validasi solusi
Loop evaluasi dimulai dengan menerapkan batasan struktural yang ketat tanpa menjalankan logika inti kode. Harness memeriksa solusi kandidat untuk mengetahui kebenaran sintaksis waktu kompilasi dasar, bug penguraian, dan pelanggaran keamanan struktural.
Jalur keberhasilan: Jika program lulus semua pemeriksaan validasi, kode akan berlanjut dengan aman ke loop runtime verifikasi solusi.
Jalur kegagalan (Short-circuit): Jika ada pengujian validasi yang gagal, harness akan segera menghentikan eksekusi. Tindakan ini sepenuhnya mengabaikan tingkat verifikasi dan pengujian performa yang menggunakan banyak resource untuk melindungi infrastruktur sistem. Loop langsung beralih ke produksi masukan, yang menegaskan penalti penelusuran tetap yang besar (seperti
-1e12) bersama dengan skor performa bernilai nol.
Verifikasi solusi
Setelah program kandidat divalidasi sebagai aman dan benar secara sintaksis untuk dijalankan, harness akan meluncurkannya dalam lingkungan yang terisolasi untuk menerapkan batasan fungsional yang fleksibel. Fase ini menjalankan pemeriksaan kebenaran fungsional dan unit standar Anda.
Alih-alih menghasilkan sinyal biner lulus atau gagal, harness mengevaluasi program berdasarkan jumlah atau persentase pengujian fungsional yang lulus. Hal ini diperhitungkan dalam skor penalti keseluruhan, sehingga memberi AlphaEvolve gradien penelusuran numerik yang padat untuk memperbaiki struktur logika yang rusak secara bertahap dari generasi ke generasi.
Evaluasi solusi
Jika program kandidat terbukti aman secara sintaksis dan benar secara algoritma, program tersebut akan mencapai lapisan tolok ukur performa.
Harness menjalankan pengujian empiris, penghitungan logika produk langsung, atau simulasi analisis untuk mengukur metrik pengoptimalan bisnis target Anda (seperti kecepatan eksekusi algoritmik, jejak memori infrastruktur cloud, atau batas kalibrasi output).
Masukan evaluasi yang komprehensif
Di akhir pipeline eksekusi, harness menggabungkan data dari semua fase yang telah selesai ke dalam payload masukan terstruktur. Payload ini ditampilkan langsung ke AlphaEvolve untuk memandu pemilihan induk untuk mutasi berikutnya.
Output masukan yang distandardisasi terdiri dari tiga komponen utama berikut:
Skor hill-climbing keseluruhan: Nilai skalar gabungan tunggal yang dihitung secara deterministik oleh harness yang dimaksimalkan AlphaEvolve secara langsung selama pengoptimalan.
Skor dan penalti pengoptimalan terperinci: Sub-metrik individual, waktu eksekusi, dan perincian penalti batasan ringan. Distribusi data eksplisit ini memungkinkan mesin untuk memahami dengan jelas konsekuensi rekayasa yang mendasarinya.
Insight tekstual: Log struktural mentah dan detail mode kegagalan diteruskan kembali ke konteks perintah mendatang, sehingga LLM dapat belajar secara eksplisit dari error pembuatan.