דפוסי הטמעה של כלי ההערכה

כשאתם מתכננים מדדי הערכה למערכת הערכה של AlphaEvolve, הגדירו את שלוש רמות הבדיקה הבאות.

רמה 1: בדיקות לאימות הפתרון

הבדיקות האלה מוודאות שהקוד בטוח להרצה ועומד בדרישות המדיניות לפני שמריצים אותו באופן מלא.

• בטיחות ההרצה: בודקים אם הקוד מורץ. הבדיקות כוללות בדיקת תחביר, בדיקת משך הזמן לקימפול, ביצוע ניתוח סטטי ובדיקת תאימות לתשתית.

• מדיניות הרצה: קובעת אם הקוד יופעל גם אם הוא פונקציונלי. זה כולל ניתוח קוד סטטי, בדיקות איכות כלליות של הקוד, בדיקות אבטחת מידע, אימות סיכונים ותאימות ובדיקות של שרשרת האספקה של ה-API.

שיקולים:

• אם האימות נכשל, מחזירים ציון שלילי גבוה, כמו -10000 או -100000. ‫AlphaEvolve מתעלם מהתוכניות האלה.

• צריך לכלול את סוג הכשל ויומנים לניפוי באגים. ‫AlphaEvolve לא משתמש במטא-נתונים האלה כאות חיפוש, אבל הם שימושיים לניתוח בדיעבד של מצבי כשל.

רמה 2: בדיקות לאימות הפתרון

הבדיקות האלה מאמתות את תקינות האלגוריתם ואת העמידה באילוצים באמצעות בדיקות יחידה ובדיקות פונקציונליות.

• דיוק פונקציונלי: בודקים אם הקוד פועל כמו שצריך באמצעות בדיקות יחידה ובדיקות פונקציונליות.

• עמידה באילוצים: בודקים אם הפתרון אפשרי או אם הוא עומד באילוצים.

• הפחתת הסיכון לפריצה לתגמולים: החלת ציוני אימות כעונשים שליליים על פונקציית הכושר כדי למנוע פריצה לתגמולים. הצהרה על ציון של -10000 או -100000 משמשת כעונש יעיל.

שיקולים:

• הפונקציה מחזירה את המספר או האחוז של הבדיקות שעברו בהצלחה. הגישה הזו מספקת אות הדרגתי: תוכנית שעוברת 4 מתוך 5 בדיקות מזוהה כקרובה יותר לתוכנית נכונה מאשר תוכנית שעוברת 0 מתוך 5 בדיקות.

• התייחסו לאימות כאל עמידה באילוץ גמיש. גם במקרה של אילוצי מערכת קשיחים, אם מבטאים אותם כעונשים רכים על סמך הקרבה למרחב האפשרי, AlphaEvolve מקבל אות חיפוש שניתן לפעול לפיו, ולא רק מעבר או כישלון בינאריים.

רמה 3: בדיקות להערכת הפתרון (בדיקות ביצועים)

הבדיקות האלה מודדות מדדי ביצועים אובייקטיביים בהתאם לסוג יעד האופטימיזציה.

• מדידה ישירה: מעקב אחרי יעדים באופן ישיר, כשהמכשור מאפשר זאת.

• אומדנים דטרמיניסטיים: חישוב יעדים באופן אנליטי לסגנונות קלאסיים של מחקר תפעולי.

• אימות מחוץ לדגימה: בדיקה מול מערכי נתונים לאימות בתרחישים לדוגמה שכוללים אופטימיזציה של צינור עיבוד נתונים של למידת מכונה או כוונון של מעטפת אג'נטית.

• אומדנים מבוססי-סימולציה: שימוש בסימולציות של Markov Chain Monte Carlo ‏ (MCMC), פונקציות פרוקסי מסוג אופטימיזציה בייסיאנית או גישות אחרות שמבוססות על מודלים.

שיקולים:

• החזרת ציונים מפורטים ומצטברים.

• אל תעבירו את חישוב הניקוד ל-LLM, אלא חשבו אותו באופן דטרמיניסטי בתוך רתמת ההערכה. ‫AlphaEvolve מבצעת טיפוס גבעה (hill climbing) בהתאם לציוני הביצועים המצטברים שחושבו מראש.

• קרדיט חלקי מספק אות הדרגתי שמאיץ את ההתכנסות של החיפוש. לדוגמה, תוכנית שעוברת 4 מתוך 5 בדיקות צריכה לקבל ציון של 0.8 ולא None. אם מחזירים None, ‏AlphaEvolve מתעלם מהתוכנית לגמרי, וזה מונע ממנו לקבל משוב שימושי. ציון של 0.8 מציין שהמועמד קרוב לפתרון הנכון ויש לו פוטנציאל לאופטימיזציה.