Un framework di valutazione AlphaEvolve deve elaborare gli aggiornamenti del codice candidato in modo sistematico attraverso una pipeline di esecuzione deterministica. Anziché eseguire e valutare una soluzione in un'unica volta, l'harness divide la pipeline in tre fasi di test progressive:
Gate di valutazione
Il seguente diagramma illustra il flusso dei programmi candidati attraverso i tre livelli di test distinti prima di restituire i metadati strutturati ad AlphaEvolve.
Convalida della soluzione
Il ciclo di valutazione inizia con l'applicazione di vincoli strutturali rigidi senza eseguire la logica di base del codice. Il sistema di test verifica la correttezza della sintassi di base in fase di compilazione, gli errori di analisi e le violazioni della sicurezza strutturale della soluzione candidata.
Percorso di esito positivo: se il programma supera tutti i controlli di convalida, il codice procede in sicurezza fino al loop di runtime di verifica della soluzione.
Percorso di errore (cortocircuito): se un test di convalida non va a buon fine, l'harness interrompe immediatamente l'esecuzione. Ignora completamente i livelli di verifica e test delle prestazioni che richiedono molte risorse per proteggere l'infrastruttura del sistema. Il loop passa direttamente alla produzione del feedback, applicando una penalità di ricerca fissa molto elevata (ad esempio
-1e12) insieme a punteggi di rendimento pari a zero.
Verifica della soluzione
Una volta convalidato un programma candidato come sintatticamente corretto e sicuro da eseguire, l'infrastruttura lo avvia in un ambiente isolato per applicare vincoli funzionali flessibili. In questa fase vengono eseguiti i controlli standard di unità e correttezza funzionale.
Anziché generare un segnale binario di superamento o mancato superamento, l'harness valuta il programma in base al numero o alla percentuale esatta di test funzionali superati. Questo contribuisce a un punteggio di penalità complessivo, fornendo ad AlphaEvolve un gradiente di ricerca numerico denso per correggere in modo incrementale le strutture logiche errate nel corso delle generazioni successive.
Valutazione della soluzione
Quando un programma candidato si dimostra sicuro dal punto di vista sintattico e corretto dal punto di vista algoritmico, raggiunge il livello di benchmarking delle prestazioni.
Il framework esegue test empirici, calcoli logici diretti dei prodotti o simulazioni analitiche per quantificare le metriche di ottimizzazione aziendale target (ad esempio la velocità di esecuzione degli algoritmi, il footprint della memoria dell'infrastruttura cloud o i limiti di calibrazione dell'output).
Feedback sulla valutazione completa
Al termine della pipeline di esecuzione, l'harness aggrega i dati di tutte le fasi completate in un payload di feedback strutturato. Questo payload viene restituito direttamente ad AlphaEvolve per guidare la selezione degli elementi principali per le mutazioni successive.
L'output del feedback standardizzato è costituito dai seguenti tre componenti principali:
Punteggio complessivo di hill climbing: un singolo valore scalare combinato calcolato in modo deterministico dall'harness che AlphaEvolve massimizza direttamente durante l'ottimizzazione.
Punteggi di ottimizzazione granulari e penalità: le singole sottomatrici, i tempi di esecuzione e le suddivisioni delle penalità dei vincoli flessibili. Questa distribuzione esplicita dei dati consente al motore di ragionare chiaramente sui compromessi di progettazione sottostanti.
Insight testuali: i log strutturali non elaborati e i dettagli della modalità di errore vengono reinseriti nei contesti dei prompt futuri, consentendo all'LLM di imparare esplicitamente dai suoi errori di generazione.