Ein AlphaEvolve-Evaluierungs-Harness muss Code-Updates systematisch über eine deterministische Ausführungspipeline verarbeiten. Anstatt eine Lösung auf einmal auszuführen und zu bewerten, unterteilt das Harness die Pipeline in drei progressive Testphasen:
Evaluierungsphasen
Das folgende Diagramm zeigt, wie Kandidatenprogramme die drei verschiedenen Testebenen durchlaufen, bevor strukturierte Metadaten an AlphaEvolve zurückgegeben werden.
Lösungsvalidierung
Die Evaluierungsschleife beginnt mit der Erzwingung harter struktureller Einschränkungen, ohne die Kernlogik des Codes auszuführen. Das Harness prüft die Kandidatenlösung auf grundlegende Syntaxkorrektheit zur Kompilierzeit, Parsing-Fehler und strukturelle Sicherheitsverstöße.
Erfolgspfad: Wenn das Programm alle Validierungsprüfungen besteht, wird der Code sicher zur Laufzeitschleife der Lösungsprüfung weitergeleitet.
Fehlerpfad (Kurzschluss): Wenn ein Validierungstest fehlschlägt, bricht das Harness die Ausführung sofort ab. Es umgeht die ressourcenintensive Überprüfung und die Leistungsprüfungsphasen vollständig, um die Systeminfrastruktur zu schützen. Die Schleife springt direkt zur Feedbackerstellung und setzt neben Leistungsbewertungen mit dem Wert null eine massive pauschale Suchstrafe (z. B.
-1e12) fest.
Lösungsprüfung
Sobald ein Kandidatenprogramm als syntaktisch korrekt und sicher für die Ausführung validiert wurde, startet das Harness es in einer isolierten Umgebung, um weiche funktionale Einschränkungen zu erzwingen. In dieser Phase werden die Standardprüfungen auf Unit- und funktionale Korrektheit ausgeführt.
Anstatt ein binäres Signal für „Bestanden“ oder „Nicht bestanden“ auszugeben, bewertet das Harness das Programm anhand der genauen Anzahl oder des Prozentsatzes der bestandenen Funktionstests. Dies wird auf eine Gesamtstrafe angerechnet und liefert AlphaEvolve einen dichten numerischen Suchgradienten, um fehlerhafte Logikstrukturen über aufeinanderfolgende Generationen hinweg schrittweise zu korrigieren.
Lösungsevaluierung
Wenn sich ein Kandidatenprogramm als syntaktisch sicher und algorithmisch korrekt erweist, erreicht es die Ebene für Leistungsbenchmarking.
Das Harness führt empirische Tests, direkte Berechnungen der Produktlogik oder analytische Simulationen durch, um die Zielmesswerte für die Geschäftsoptimierung zu quantifizieren (z. B. algorithmische Ausführungsgeschwindigkeit, Arbeitsspeicherbedarf der Cloud-Infrastruktur oder Grenzwerte für die Ausgabekalibrierung).
Umfassendes Evaluierungsfeedback
Am Ende der Ausführungspipeline aggregiert das Harness Daten aus allen abgeschlossenen Phasen zu einer strukturierten Feedbacknutzlast. Diese Nutzlast wird direkt an AlphaEvolve zurückgegeben, um die Auswahl des übergeordneten Elements für nachfolgende Mutationen zu steuern.
Die standardisierte Feedbackausgabe besteht aus den folgenden drei Hauptkomponenten:
Gesamtbewertung für die Hill-Climbing-Methode: Ein einzelner kombinierter Skalarwert, der deterministisch vom Harness berechnet wird und den AlphaEvolve während der Optimierung direkt maximiert.
Detaillierte Optimierungsbewertungen und Strafen: Die einzelnen Unterkennzahlen, Ausführungszeiten und Aufschlüsselungen der Strafen für weiche Einschränkungen. Diese explizite Datenverteilung ermöglicht es der Engine, klar über die zugrunde liegenden technischen Kompromisse zu argumentieren.
Textuelle Erkenntnisse: Rohprotokolle zur Struktur und Details zu Fehlermodi werden an zukünftige Prompt-Kontexte zurückgegeben, sodass das LLM explizit aus seinen Generierungsfehlern lernen kann.