Eine AlphaEvolve-Evaluierungsumgebung muss Codeaktualisierungsvorschläge systematisch über eine deterministische Ausführungspipeline verarbeiten. Anstatt eine Lösung auf einmal auszuführen und zu bewerten, wird die Pipeline in drei progressive Test-Gates unterteilt:
Bewertungs-Gates
Das folgende Diagramm zeigt, wie Kandidatenprogramme die drei verschiedenen Teststufen durchlaufen, bevor strukturierte Metadaten an AlphaEvolve zurückgegeben werden.
Lösungsvalidierung
Die Bewertungsschleife beginnt mit der Durchsetzung harter struktureller Einschränkungen, ohne die Kernlogik des Codes auszuführen. Die Testumgebung prüft die Kandidatenlösung auf grundlegende Syntaxkorrektheit zur Kompilierzeit, Parsing-Fehler und strukturelle Sicherheitsverletzungen.
Erfolgspfad: Wenn das Programm alle Validierungsprüfungen besteht, wird der Code sicher an die Laufzeitschleife für die Lösungsprüfung weitergeleitet.
Fehlerpfad (Kurzschluss): Wenn ein Validierungstest fehlschlägt, wird die Ausführung sofort abgebrochen. Die ressourcenintensiven Verifizierungs- und Leistungsteststufen werden vollständig umgangen, um die Systeminfrastruktur zu schützen. Die Schleife geht direkt zur Feedback-Produktion über und verhängt eine massive pauschale Suchstrafe (z. B.
-1e12) sowie Leistungswerte von null.
Lösungsprüfung
Sobald ein Kandidatenprogramm als syntaktisch korrekt und sicher für die Ausführung validiert wurde, wird es vom Harness in einer isolierten Umgebung gestartet, um weiche funktionale Einschränkungen durchzusetzen. In dieser Phase werden Ihre Standard-Unittests und Prüfungen der funktionalen Korrektheit ausgeführt.
Anstatt ein binäres Signal für „Bestanden“ oder „Nicht bestanden“ auszugeben, bewertet die Testumgebung das Programm anhand der genauen Anzahl oder des Prozentsatzes der bestandenen Funktionstests. Dies fließt in eine Gesamtstrafe ein, die AlphaEvolve einen dichten numerischen Suchgradienten liefert, um fehlerhafte logische Strukturen über aufeinanderfolgende Generationen hinweg schrittweise zu korrigieren.
Lösungsbewertung
Wenn sich ein Kandidatenprogramm als syntaktisch sicher und algorithmisch korrekt erweist, erreicht es die Ebene für das Leistungs-Benchmarking.
Die Testumgebung führt empirische Tests, direkte Berechnungen der Produktlogik oder analytische Simulationen aus, um Ihre Zielmesswerte für die Geschäftsoptimierung zu quantifizieren (z. B. algorithmische Ausführungsgeschwindigkeit, Speicherbedarf der Cloud-Infrastruktur oder Grenzen der Ausgabekalibrierung).
Umfassendes Feedback zur Bewertung
Am Ende der Ausführungspipeline aggregiert die Harness-Komponente Daten aus allen abgeschlossenen Phasen in eine strukturierte Feedback-Nutzlast. Diese Nutzlast wird direkt an AlphaEvolve zurückgegeben, um die Auswahl der übergeordneten Elemente für nachfolgende Mutationen zu steuern.
Die standardisierte Feedbackausgabe besteht aus den folgenden drei Hauptkomponenten:
Gesamt-Hill-Climbing-Score: Ein einzelner, kombinierter skalarer Wert, der deterministisch vom Harness berechnet wird und den AlphaEvolve während der Optimierung direkt maximiert.
Detaillierte Optimierungsfaktoren und Strafen: Die einzelnen Unter-Messwerte, Ausführungszeiten und Aufschlüsselungen der Strafen für weiche Beschränkungen. Durch diese explizite Datenverteilung kann die Engine die zugrunde liegenden technischen Kompromisse klar nachvollziehen.
Textbasierte Insights: Unformatierte Strukturlogs und Details zu Fehlermodi werden in zukünftige Prompt-Kontexte zurückgegeben, sodass das LLM explizit aus seinen Generierungsfehlern lernen kann.