כלי ההערכה של AlphaEvolve חייב לעבד עדכוני קוד מועמדים באופן שיטתי באמצעות פייפליין של הרצה דטרמיניסטית. במקום להריץ את הפתרון ולתת לו ציון בבת אחת, כלי הבדיקה מחלק את צינור עיבוד הנתונים לשלושה שלבי בדיקה הדרגתיים:
שערי הערכה
התרשים הבא ממפה את האופן שבו תוכניות מועמדות עוברות דרך שלוש רמות הבדיקה השונות לפני שהן מחזירות מטא-נתונים מובְנים ל-AlphaEvolve.
אימות הפתרון
לולאת ההערכה מתחילה באכיפת אילוצים מבניים קשיחים בלי להריץ את הלוגיקה המרכזית של הקוד. ה-harness בודק את הפתרון המועמד כדי לוודא שהתחביר נכון בזמן הקימפול, שאין באגים בניתוח ושאין הפרות של אבטחה מבנית.
מסלול הצלחה: אם התוכנית עוברת את כל בדיקות האימות, הקוד ממשיך בבטחה ללולאת זמן הריצה של אימות הפתרון.
נתיב כשל (קצר חשמלי): אם אחת מבדיקות האימות נכשלת, רתמת הבדיקה מפסיקה מיד את ההפעלה. הוא עוקף לחלוטין את שלבי האימות ובדיקת הביצועים שצורכים הרבה משאבים, כדי להגן על תשתית המערכת. הלולאה עוברת ישירות להפקת משוב, ומפעילה קנס קבוע משמעותי על החיפוש (למשל
-1e12) לצד ציוני ביצועים עם ערך אפס.
אימות הפתרון
אחרי שמוודאים שהתחביר של תוכנית המועמדים תקין ושהיא בטוחה להפעלה, רתמת הבדיקה מפעילה אותה בסביבה מבודדת כדי לאכוף אילוצים פונקציונליים קלים. בשלב הזה מתבצעות בדיקות תקינות פונקציונליות ובדיקות יחידה סטנדרטיות.
במקום להפיק אות בינארי של הצלחה או כישלון, הרתמה מעריכה את התוכנית על סמך המספר המדויק או האחוז המדויק של בדיקות הפונקציונליות שעברו בהצלחה. הניקוד הזה נכלל בציון העונש הכולל, ומספק ל-AlphaEvolve שיפוע חיפוש מספרי צפוף כדי לתקן בהדרגה מבנים לוגיים פגומים בדורות הבאים.
הערכת הפתרון
כשהתוכנית המועמדת מוכיחה שהיא בטוחה מבחינה תחבירית ונכונה מבחינה אלגוריתמית, היא מגיעה לשכבת השוואת הביצועים.
הכלי מריץ בדיקות אמפיריות, חישובים לוגיים ישירים של המוצר או סימולציות אנליטיות כדי לכמת את מדדי האופטימיזציה של היעדים העסקיים (כמו מהירות הביצוע של האלגוריתם, הזיכרון שבשימוש בתשתית הענן או גבולות הכיול של הפלט).
משוב על הערכה מקיפה
בסוף צינור עיבוד הנתונים, ה-harness צובר נתונים מכל השלבים שהושלמו למטען ייעודי (payload) מובנה של משוב. המטען הייעודי הזה מוחזר ישירות ל-AlphaEvolve כדי להנחות את בחירת ההורה למוטציות הבאות.
פלט המשוב הסטנדרטי מורכב משלושת הרכיבים העיקריים הבאים:
ציון כולל של טיפוס על גבעה: ערך סקלרי משולב יחיד שמחושב באופן דטרמיניסטי על ידי הרתמה, ש-AlphaEvolve ממקסם ישירות במהלך האופטימיזציה.
ציוני אופטימיזציה וקנסות מפורטים: פירוט של מדדי המשנה, זמני הביצוע והקנסות על אילוצים גמישים. ההפצה המפורשת הזו של הנתונים מאפשרת למנוע להסיק מסקנות ברורות לגבי פשרות הנדסיות בסיסיות.
תובנות טקסטואליות: יומני מבנה גולמיים ופרטים על מצבי כשל מועברים בחזרה להקשרים של הנחיות עתידיות, וכך המודל מסוג LLM יכול ללמוד באופן מפורש מהשגיאות שנוצרו.