Pencegahan peretasan reward

Ada sejumlah risiko yang terkait dengan peretasan reward. Lihat hal berikut untuk mengetahui risiko dan strategi mitigasi yang sesuai.

Risiko 1:

Peretasan reward yang serakah. Jika Obj = w1*S1 + w2*S2 + w3*S3, AlphaEvolve mungkin menemukan S2 untuk ditingkatkan dan berfokus sepenuhnya pada S2, dengan mengabaikan S1 dan S3.

Mitigasi:

Kurangi bobot sub-skor. Mungkin memerlukan 2-3 uji coba untuk mengkalibrasi bobot. Simulasi dasar pengukuran awal dari beberapa hasil penilaian akan membantu.

Risiko 2:

Pengabaian penalti batasan. Jika batasan fleksibel adalah penalti (Obj = Score - w*Penalty), AlphaEvolve mungkin menemukan bahwa mengabaikan batasan akan menghasilkan Obj yang lebih tinggi.

Mitigasi:

Tingkatkan bobot penalti secara signifikan. Jika perilaku ini berlanjut, tambahkan petunjuk eksplisit dalam deskripsi masalah seperti "Solusi yang melanggar batasan X tidak valid, terlepas dari skornya".

Risiko 3:

Eksploitasi fungsi evaluasi. AlphaEvolve mungkin menemukan input yang menyebabkan evaluator menampilkan skor yang terlalu tinggi (kasus ekstrem floating point, kebocoran data pengujian).

Mitigasi:

Evaluasi deterministik dengan nilai awal acak tetap. Validasi pemenang pada data holdout setelah eksperimen.

Untuk mencegah peretasan reward, terapkan teknik umum berikut:

  • Gunakan pemeriksaan AST untuk primitif yang dilarang (sys, os, inspect, eval, exec, getattr, setattr) dan tampilkan None jika ditemukan.

  • Verifikasi bahwa kode di luar EVOLVE-BLOCK tidak berubah (perbedaan teks atau AST).

  • Jalankan fungsi yang dikembangkan dua kali dengan input yang sama dan verifikasi output yang identik (menangkap peretasan keacakan).

  • Periksa waktu evaluasi. Jika selesai dalam mikrodetik, kemungkinan jawabannya di-hard code.

  • Tempatkan logika penilaian dalam file terpisah yang tidak terlihat oleh LLM.