במסמך הזה ריכזנו כמה הנחיות שיעזרו לכם להעריך, להבטיח ולבקר את האיכות של פיתוח פתרונות חיזוי באמצעות למידת מכונה (ML). הוא כולל הצעות לכל שלב בתהליך, החל מפיתוח מודלים של ML ועד לפריסת מערכות האימון ומערכות ההצגה בסביבת הייצור. המסמך מרחיב את המידע שמופיע במאמר מדריך למומחים בנושא MLOps, ומדגיש ומזקק את היבטי האיכות בכל תהליך במחזור החיים של MLOps.
המסמך הזה מיועד לכל מי שמעורב בפיתוח, בפריסה ובהפעלה של פתרונות למידת מכונה. המסמך מתבסס על ההנחה שאתם מכירים את MLOps באופן כללי. הוא לא מניח שיש לכם ידע בפלטפורמת למידת מכונה ספציפית.
סקירה כללית על איכות הפתרונות של למידת המכונה
בהנדסת תוכנה, פותחו הרבה תקנים, תהליכים, כלים ושיטות כדי להבטיח את איכות התוכנה. המטרה היא לוודא שהתוכנה פועלת כמצופה בסביבת הייצור, ושהיא עומדת בדרישות הפונקציונליות והלא פונקציונליות. השיטות האלה כוללות נושאים כמו בדיקת תוכנה, אימות ותיקוף של תוכנה, ורישום ביומן ומעקב אחרי תוכנה. ב-DevOps, השיטות האלה בדרך כלל משולבות בתהליכי CI/CD ומופעלות באופן אוטומטי.
MLOps היא קבוצה של תהליכים ויכולות סטנדרטיים ליצירה, לפריסה ולתפעול של מערכות למידת מכונה במהירות ובאמינות. כמו בפתרונות תוכנה אחרים, גם בפתרונות תוכנה של למידת מכונה צריך לשלב את השיטות האלה לאיכות התוכנה ולהחיל אותן לאורך מחזור החיים של MLOps. השיטות האלה עוזרות לוודא שהמודלים אמינים וניתנים לחיזוי, ושהם עומדים בדרישות שלכם.
עם זאת, המשימות של בנייה, פריסה והפעלה של מערכות ML מציבות אתגרים נוספים שמחייבים שיטות איכות מסוימות, שאולי לא רלוונטיות למערכות תוכנה אחרות. בנוסף למאפיינים של רוב מערכות התוכנה האחרות, למערכות למידת מכונה יש את המאפיינים הבאים:
מערכות שתלויות בנתונים. איכות המודלים שעברו אימון והתחזיות שלהם תלויה בתקינות הנתונים שמשמשים לאימון, ובתקינות הנתונים שנשלחים בבקשות לחיזוי. כל מערכת תוכנה תלויה בנתונים תקינים, אבל מערכות למידת מכונה מסיקות את הלוגיקה לקבלת החלטות מהנתונים באופן אוטומטי, ולכן הן תלויות במיוחד באיכות הנתונים.
מערכות כפולות לאימון ולהצגה. עומסי עבודה של למידת מכונה מורכבים בדרך כלל משתי מערכות ייצור נפרדות אבל קשורות: מערכת האימון ומערכת ההצגה. צינור עיבוד נתונים לאימון רציף מפיק מודלים חדשים שעברו אימון, שנפרסים לאחר מכן לצורך הצגת חיזויים. לכל מערכת נדרשת קבוצה שונה של שיטות איכות שמאזנות בין יעילות לבין אפקטיביות, כדי ליצור ולתחזק מודל עם ביצועים טובים בסביבת הייצור. בנוסף, חוסר עקביות בין שתי המערכות האלה גורם לשגיאות ולביצועי חיזוי נמוכים.
הנתונים עלולים להיות לא עדכניים. המודלים בדרך כלל מתדרדרים אחרי שהם נפרסים בסביבת הייצור, כי הם לא מצליחים להסתגל לשינויים בסביבה שהם מייצגים, כמו שינויים עונתיים בהתנהגות הרכישה. בנוסף, יכול להיות שהמודלים לא יצליחו להסתגל לשינויים בנתונים, כמו מוצרים ומיקומים חדשים. לכן, מעקב אחרי היעילות של המודל בסביבת הייצור הוא אתגר נוסף במערכות למידת מכונה.
מערכות אוטומטיות לקבלת החלטות. בניגוד למערכות תוכנה אחרות, שבהן הפעולות מקודדות ידנית בקפידה לפי קבוצה של דרישות וכללים עסקיים, מודלים של למידת מכונה לומדים כללים מנתונים כדי לקבל החלטה. הטיה מרומזת בנתונים יכולה לגרום למודלים להפיק תוצאות לא הוגנות.
כשמודל ML שנפרס מפיק חיזויים לא טובים, האיכות הנמוכה של ML יכולה לנבוע ממגוון רחב של בעיות. חלק מהבעיות האלה יכולות לנבוע מבאגים רגילים שקיימים בכל תוכנה. אבל בעיות ספציפיות ל-ML יכולות לכלול גם חלוקת נתונים לא מאוזנת (partition skew) וחריגות, וגם היעדר נהלים תקינים להערכה ולאימות של המודל כחלק מתהליך האימון. בעיה פוטנציאלית נוספת היא חוסר עקביות בפורמט הנתונים בין הממשק המובנה של המודל לבין ה-API להצגת מודעות. בנוסף, ביצועי המודל יורדים עם הזמן גם בלי הבעיות האלה, והוא יכול להיכשל בלי שום התראה אם לא עוקבים אחריו כמו שצריך. לכן, כדאי לכלול סוגים שונים של בדיקות ומעקב אחרי מודלים ומערכות של למידת מכונה במהלך הפיתוח, במהלך הפריסה ובסביבת הייצור.
הנחיות איכות לפיתוח מודלים
כשמפתחים מודל ML בשלב הניסוי, יש שתי קבוצות של מדדי יעד שאפשר להשתמש בהן כדי להעריך את ביצועי המודל:
- המדדים שלפיהם המודל מבצע אופטימיזציה. המדד הזה משקף את יעילות החיזוי של המודל. המדד כולל את הערכים accuracy ו-f-measure במשימות סיווג, את הערך mean absolute percentage error במשימות רגרסיה וחיזוי, את הערך discounted cumulative gain במשימות דירוג ואת הציונים perplexity ו-BLEU במודלים של שפה. ככל שהערך של המדד הזה טוב יותר, כך המודל מתאים יותר למשימה נתונה. במקרים מסוימים, כדי להבטיח הוגנות, חשוב להשיג יעילות חיזוי דומה בפרוסות שונות של הנתונים – לדוגמה, בדמוגרפיות שונות של לקוחות.
- מדדי הסף של המודל. המדד הזה משקף אילוץ תפעולי שהמודל צריך לעמוד בו, כמו זמן אחזור של חיזוי. אתם מגדירים ערך מסוים לסף זמן האחזור, למשל 200 אלפיות השנייה. מודל שלא עומד בסף לא יתקבל. דוגמה נוספת למדד סף היא גודל המודל, שחשוב כשרוצים לפרוס את המודל בחומרה עם הספק נמוך, כמו מכשירים ניידים ומכשירים מוטמעים.
במהלך הניסוי, אתם מפתחים, מאמנים, מעריכים ומנפים באגים במודל כדי לשפר את היעילות שלו ביחס למדדי האופטימיזציה, בלי לחרוג מספי המדדים לשביעות רצון.
הנחיות לביצוע ניסויים
- להגדיר ערכי סף קבועים מראש לאופטימיזציה של מדדים ולמדדים מספקים.
- להטמיע שגרת הערכה יעילה שמקבלת מודל ונתונים ומפיקה קבוצה של מדדי הערכה. מטמיעים את השגרה כך שהיא תפעל בלי קשר לסוג המודל (לדוגמה, עצי החלטות או רשתות נוירונים) או למסגרת של המודל (לדוגמה, TensorFlow או Scikit-learn).
- חשוב לוודא שיש לכם מודל בסיס להשוואה. הבסיס הזה יכול להיות מורכב מהיוריסטיקות בתוך הקוד, או להיות מודל פשוט שחוזה את ערך היעד הממוצע או השכיח. משתמשים במודל הבסיס כדי לבדוק את הביצועים של המודל ללמידת מכונה. אם מודל למידת המכונה לא טוב יותר ממודל הבסיס, יש בעיה בסיסית במודל למידת המכונה.
- מעקב אחרי כל ניסוי שבוצע כדי לעזור לכם לשחזר את התוצאות ולשפר אותן בהדרגה. בכל ניסוי, שומרים את ערכי ההיפר-פרמטרים, את בחירת התכונות ואת ה-random seeds.
הנחיות בנושא איכות הנתונים
- כדי לטפל בסוגים לא מאוזנים בשלב מוקדם של הניסויים, צריך לבחור את מדד ההערכה הנכון. בנוסף, כדאי להשתמש בטכניקות כמו הגדלת המשקל של מופעים מסוג מיעוט או הקטנת הדגימה של מופעים מסוג רוב.
- חשוב להבין את מקור הנתונים ולבצע את העיבוד המקדים של הנתונים והנדסת הפיצ'רים הרלוונטיים כדי להכין את מערך הנתונים לאימון. תהליך מהסוג הזה צריך להיות ניתן לחזרה ואוטומטי.
- חשוב לוודא שיש לכם פיצול נפרד של נתוני הבדיקה (holdout) להערכה הסופית של המודל. קבוצת הנתונים לבדיקה לא אמורה להופיע במהלך האימון, ואסור להשתמש בה לכוונון היפר-פרמטרים.
- חשוב לוודא שפיצולי האימון, האימות והבדיקה מייצגים באופן שווה את נתוני הקלט. הדגימה של פיצול הבדיקה תלויה באופי הנתונים ובמשימת למידת המכונה. לדוגמה, פיצול מרובּד רלוונטי למשימות סיווג, ופיצול כרונולוגי רלוונטי למשימות של סדרות עתיות.
- חשוב לוודא שהעיבוד המקדים של פיצולי האימות והבדיקה מתבצע בנפרד מהפיצול של נתוני האימון. אם הפיצולים עוברים עיבוד מראש בתערובת, זה מוביל לזליגת נתונים. לדוגמה, כשמשתמשים בנתונים סטטיסטיים כדי לשנות נתונים לצורך נרמול או כדי לחלק מאפיינים מספריים לקטגוריות, מחשבים את הנתונים הסטטיסטיים מנתוני האימון ומחילים אותם כדי לנרמל את פיצולי האימות והבדיקה.
- יוצרים סכימה של מערך נתונים שכוללת את סוגי הנתונים וכמה מאפיינים סטטיסטיים של התכונות. אתם יכולים להשתמש בסכימה הזו כדי למצוא נתונים חריגים או לא תקינים במהלך הניסויים והאימון.
- חשוב לוודא שנתוני האימון מעורבבים כראוי בקבוצות, אבל שהם עדיין עומדים בדרישות לאימון המודל. לדוגמה, המשימה הזו יכולה לחול על התפלגויות של מופעים חיוביים ושליליים.
- להשתמש בקבוצת נתונים נפרדת לאימות כדי לכוונן את הפרמטרים של היפר ולבחור את המודל. אפשר גם להשתמש במערך הנתונים לאימות כדי לבצע עצירה מוקדמת. אחרת, אפשר לאמן את המודל עד למספר המקסימלי של האיטרציות שהוגדר. עם זאת, כדאי לשמור תמונת מצב חדשה של המודל רק אם הביצועים שלו בקבוצת הנתונים לאימות משתפרים ביחס לתמונת המצב הקודמת.
הנחיות בנושא איכות המודל
- חשוב לוודא שאין במודלים בעיות בסיסיות שמונעות מהם ללמוד את הקשר בין הקלט לפלט. כדי להשיג את המטרה הזו, אתם יכולים לאמן את המודל עם מעט מאוד דוגמאות. אם המודל לא משיג רמת דיוק גבוהה בדוגמאות האלה, יכול להיות שיש באג בהטמעה של המודל או בשגרת האימון.
- כשמאמנים רשתות נוירונים, צריך לעקוב אחרי ערכי
NaNבהפסד ואחרי אחוז המשקלים עם ערכי אפס במהלך אימון המודל. ערכיNaNאו אפס יכולים להצביע על חישובים אריתמטיים שגויים, או על גרדיאנטים נעלמים או מתפוצצים. הצגה חזותית של השינויים בהתפלגות ערכי המשקל לאורך זמן יכולה לעזור לכם לזהות את השינויים הפנימיים במשתנים המשותפים שמאטים את האימון. כדי להקל על ההאטה הזו, אפשר להחיל נורמליזציה של אצווה. - כדי להבין אם המודל שלכם סובל מהתאמת יתר או מהתאמת חסר, השוו בין הביצועים של המודל בנתוני האימון לבין הביצועים שלו בנתוני הבדיקה. אם אתם נתקלים באחת מהבעיות האלה, בצעו את השיפורים הרלוונטיים. לדוגמה, אם יש התאמת חסר, אפשר להגדיל את יכולת הלמידה של המודל. אם הייתה התאמת יתר (overfitting), אפשר להחיל רגולריזציה.
- לנתח מקרים של סיווג שגוי, במיוחד מקרים עם רמת סמך גבוהה של חיזוי והסיווגים המבלבלים ביותר במטריצת הבלבול של ריבוי סיווגים. השגיאות האלה יכולות להצביע על דוגמאות לאימון שסומנו בתוויות שגויות. השגיאות יכולות גם לזהות הזדמנות לעיבוד מראש של נתונים, כמו הסרת חריגים, או ליצירת תכונות חדשות שיעזרו להבחין בין סוגים כאלה.
- לנתח את ציוני החשיבות של המאפיינים ולנקות מאפיינים שלא משפרים מספיק את איכות המודל. עדיף להשתמש במודלים פשוטים ולא במודלים מורכבים.
הנחיות איכות לפריסת צינור עיבוד נתונים לאימון
כשמטמיעים את המודל ואת צינור עיבוד הנתונים לאימון המודל, צריך ליצור קבוצת בדיקות בשגרת CI/CD. הבדיקות האלה פועלות באופן אוטומטי כשאתם דוחפים שינויים חדשים בקוד, או לפני שאתם פורסים את צינור עיבוד הנתונים לאימון בסביבת היעד.
הנחיות
- בדיקת יחידה (unit test) של הפונקציונליות של הנדסת הפיצ'רים.
- בדיקת יחידה (unit test) של קידוד הקלט למודל.
- בדיקת יחידה של מודולים (בהתאמה אישית) של המודלים שהמשתמשים הטמיעו באופן עצמאי – לדוגמה, בדיקת יחידה של שכבות קונבולוציה ואיחוד של גרפים בהתאמה אישית, או שכבות קשב בהתאמה אישית.
- בדיקת יחידה (unit test) של כל פונקציית אובדן או הערכה בהתאמה אישית.
- בודקים את סוגי הפלט והצורות של המודל מול קלט צפוי.
- מבצעים בדיקת יחידה (unit test) כדי לוודא שהפונקציה
fitשל המודל פועלת בלי שגיאות בכמה קבוצות קטנות של נתונים. הבדיקות צריכות לוודא שההפסד פוחת ושהזמן של שלב האימון הוא כמו שציפיתם. אתם מבצעים את הבדיקות האלה כי שינויים בקוד המודל יכולים להוביל לבאגים שמאטים את תהליך האימון. - בדיקת יחידה של פונקציונליות השמירה והטעינה של המודל.
- מבצעים בדיקת יחידה (unit test) לממשקים של פרסום המודל שיוצאו, על סמך קלט גולמי ופלט צפוי.
- בודקים את הרכיבים של שלבי צינור עיבוד הנתונים באמצעות קלט מדומה ופריטי פלט.
- פורסים את צינור עיבוד הנתונים בסביבת בדיקה ומבצעים בדיקת שילוב של צינור עיבוד הנתונים מקצה לקצה. כדי לוודא שתהליך העבודה פועל כמו שצריך לכל אורכו ומפיק את פריטי המידע שציפיתם להם, כדאי להשתמש בנתוני בדיקה.
- כשאתם פורסים גרסה חדשה של צינור עיבוד הנתונים לאימון בסביבת הייצור, השתמשו בפריסת צל. פריסת צל עוזרת לוודא שגרסת צינור עיבוד הנתונים שנפרסה לאחרונה מופעלת על נתונים בזמן אמת, במקביל לגרסה הקודמת של צינור עיבוד הנתונים.
הנחיות איכות לאימון מתמשך
תהליך האימון המתמשך עוסק בתזמור ובאוטומציה של ההפעלה של צינורות עיבוד הנתונים לאימון. תהליכי עבודה אופייניים לאימון כוללים שלבים כמו הטמעת נתונים ופיצול, טרנספורמציה של נתונים, אימון מודלים, הערכת מודלים ורישום מודלים. חלק מצינורות הנתונים לאימון מורכבים מתהליכי עבודה מורכבים יותר. משימות נוספות יכולות לכלול אימון מודל בפיקוח עצמי שמשתמש בנתונים ללא תוויות, או בניית אינדקס של השכנים הקרובים ביותר (ANN) להטמעות. הקלט העיקרי של כל צינור עיבוד נתונים לאימון הוא נתוני אימון חדשים, והפלט העיקרי הוא מודל מועמד חדש לפריסה בסביבת הייצור.
צינור עיבוד הנתונים לאימון פועל בסביבת הייצור באופן אוטומטי, לפי לוח זמנים (למשל, מדי יום או מדי שבוע) או לפי טריגר (למשל, כשנתונים חדשים עם תוויות זמינים). לכן, צריך להוסיף שלבים של בקרת איכות לתהליך העבודה של האימון, ובמיוחד שלבים של אימות נתונים ושלבים של אימות מודלים. השלבים האלה מאמתים את הקלט והפלט של הצינורות.
מוסיפים את שלב אימות הנתונים אחרי שלב הטמעת הנתונים בתהליך העבודה של האימון. בשלב אימות הנתונים, המערכת יוצרת פרופיל של נתוני האימון החדשים שהוזנו לצינור עיבוד הנתונים. במהלך יצירת הפרופיל, צינור עיבוד הנתונים משתמש בסכימת נתונים מוגדרת מראש שנוצרה במהלך פיתוח ה-ML כדי לזהות חריגות. בהתאם לתרחיש לדוגמה, אתם יכולים להתעלם מרשומות לא חוקיות מסוימות או פשוט להסיר אותן מקבוצת הנתונים. עם זאת, יכול להיות שבעיות אחרות בנתונים החדשים שנקלטו יעצרו את ההפעלה של צינור עיבוד הנתונים לאימון, ולכן צריך לזהות את הבעיות האלה ולטפל בהן.
הנחיות לאימות נתונים
- מוודאים שהמאפיינים של נתוני האימון שחולצו מלאים ותואמים לסכימה הצפויה – כלומר, שאין מאפיינים חסרים או מאפיינים שנוספו. חשוב גם לוודא שהתכונות תואמות לנפח הצפוי.
- מאמתים את סוגי הנתונים ואת צורות המאפיינים במערך הנתונים שמוטמעים בצינור עיבוד הנתונים לאימון.
- מוודאים שהפורמטים של תכונות מסוימות (לדוגמה, תאריכים, שעות, כתובות URL, מיקודים וכתובות IP) תואמים לביטויים הרגולריים הצפויים. צריך גם לוודא שהמאפיינים נמצאים בטווחים תקינים.
- בודקים את החלק המקסימלי של הערכים החסרים בכל מאפיין. אם חסרים הרבה ערכים במאפיין מסוים, זה יכול להשפיע על אימון המודל. ערכים חסרים בדרך כלל מצביעים על מקור תכונות לא אמין.
- מאמתים את הדומיינים של מאפייני הקלט. לדוגמה, בודקים אם יש שינויים באוצר המילים של מאפיינים קטגוריים או שינויים בטווח של מאפיינים מספריים, ומתאימים את העיבוד המקדים של הנתונים בהתאם. דוגמה נוספת: טווחים של מאפיינים מספריים עשויים להשתנות אם עדכון במערכת במעלה הזרם שמאכלסת את המאפיינים משתמש ביחידות מידה שונות. לדוגמה, המערכת במעלה הזרם עשויה לשנות את המטבע מדולרים לין, או לשנות את המרחקים מקילומטרים למטרים.
- מוודאים שההתפלגויות של כל מאפיין תואמות לציפיות.
לדוגמה, אתם יכולים לבדוק שהערך הנפוץ ביותר של מאפיין לסוג תשלום הוא
cash, ושהערך הזה מהווה 50% מכל הערכים. עם זאת, הבדיקה הזו יכולה להיכשל אם יש שינוי בסוג התשלום הנפוץ ביותר ל-credit_card. שינוי חיצוני כזה עשוי לחייב שינויים במודל.
כדי לוודא שרק מודלים שעומדים בקריטריונים של האימות נרשמים לפריסה בסביבת הייצור, מוסיפים שלב של אימות המודל לפני שלב הרישום.
הנחיות לאימות המודל
- כדי להעריך את המודל הסופי, משתמשים בפיצול נפרד לבדיקה שלא השתמשתם בו לאימון המודל או לכוונון של היפר-פרמטרים.
- מדרגים את המודל המועמד לפי פיצול נתוני הבדיקה, מחשבים את מדדי ההערכה הרלוונטיים ומוודאים שהמודל המועמד עומד בספי האיכות שהוגדרו מראש.
- חשוב לוודא שפיצול נתוני הבדיקה מייצג את הנתונים בכללותם, כדי להביא בחשבון דפוסי נתונים שונים. בנתונים של סדרות זמנים, ודאו שפיצול הבדיקה מכיל נתונים עדכניים יותר מפיצול האימון.
- בודקים את איכות המודל בפרוסות נתונים חשובות, כמו משתמשים לפי מדינה או סרטים לפי ז'אנר. כשבודקים נתונים מחולקים, נמנעים מבעיה שבה בעיות בביצועים ברזולוציה גבוהה מוסתרות על ידי מדד סיכום גלובלי.
- מעריכים את המודל הנוכחי (המוביל) ביחס לחלוקת נתוני הבדיקה, ומשווים אותו למודל המועמד (המתחרה) שנוצר על ידי צינור עיבוד הנתונים לאימון.
- מאמתים את המודל מול Fairness Indicators כדי לזהות הטיה מרומזת – לדוגמה, הטיה מרומזת יכולה להיגרם בגלל חוסר גיוון בנתוני האימון. Fairness Indicators יכולים לחשוף את שורש הבעיות שצריך לטפל בהן לפני שפורסים את המודל בסביבת הייצור.
במהלך אימון רציף, אפשר לאמת את המודל גם לפי מדדי אופטימיזציה וגם לפי מדדי שביעות רצון. לחלופין, אפשר לאמת את המודל רק לפי מדדי האופטימיזציה, ולדחות את האימות לפי מדד הסף לשלב פריסת המודל. אם אתם מתכננים לפרוס וריאציות של אותו מודל בסביבות שונות של הצגת מודעות או בעומסי עבודה שונים, יכול להיות שיהיה מתאים יותר לדחות את האימות מול המדד המספק. יכול להיות שסביבות הצגה או עומסי עבודה שונים (כמו סביבות ענן לעומת סביבות במכשיר, או סביבות בזמן אמת לעומת סביבות של שליפת נתונים ב-batch) ידרשו ספים שונים של מדדי שביעות רצון. אם אתם פורסים בכמה סביבות, יכול להיות שצינור עיבוד הנתונים לאימון רציף יאמן שני מודלים או יותר, כשכל מודל עובר אופטימיזציה לסביבת הפריסה שאליה הוא מיועד.
כשמכניסים לייצור יותר צינורות עיבוד נתונים לאימון מתמשך עם תהליכי עבודה מורכבים, צריך לעקוב אחרי המטא-נתונים והפריטים שנוצרים בהרצות של צינורות עיבוד הנתונים. מעקב אחרי המידע הזה עוזר לכם לאתר ולנפות באגים בכל בעיה שעלולה להתעורר בסביבת הייצור. מעקב אחרי המידע גם עוזר לשחזר את הפלט של פייפליינים, כדי שתוכלו לשפר את ההטמעה שלהם באיטרציות הבאות של פיתוח ML.
הנחיות למעקב אחרי מטא-נתונים ופריטי מידע שנוצרו בתהליך הפיתוח (Artifact) של למידת מכונה
- מעקב אחרי שושלת היוחסין של קוד המקור, צינורות עיבוד הנתונים שנפרסו, רכיבי צינורות עיבוד הנתונים, הרצות של צינורות עיבוד הנתונים, מערך הנתונים שבשימוש והפריטים שנוצרו.
- מעקב אחרי ההיפר-פרמטרים וההגדרות של הרצות צינור עיבוד הנתונים.
- מעקב אחרי פריטי מידע שנוצרו בשלבי צינור עיבוד הנתונים, כמו נתונים סטטיסטיים של מערך הנתונים, חריגות במערך הנתונים (אם יש כאלה), נתונים וסכימות שעברו טרנספורמציה, נקודות ביקורת של המודל ותוצאות הערכת המודל.
- עוקבים אחרי השלבים המותנים בצינור עיבוד הנתונים שפועלים בתגובה לתנאים, ומוודאים שניתן לצפות בהם על ידי הוספת מנגנוני שינוי למקרה ששלבים מרכזיים לא פועלים או נכשלים.
הנחיות איכות לפריסת מודלים
נניח שיש לכם מודל מאומן שעבר אימות מנקודת מבט של מדדי אופטימיזציה, ושהמודל אושר מנקודת מבט של ניהול מודלים (כפי שמתואר בהמשך בקטע ניהול מודלים). המודל מאוחסן במרשם המודלים ומוכן לפריסה בסביבת הייצור. בשלב הזה, צריך להטמיע קבוצה של בדיקות כדי לוודא שהמודל מתאים להצגה בסביבת היעד שלו. צריך גם להפוך את הבדיקות האלה לאוטומטיות בשגרת CI/CD של המודל.
הנחיות
- מוודאים שאפשר לטעון את פריט המידע שנוצר באופן מלאכותי של המודל ולהפעיל אותו בהצלחה עם יחסי התלות שלו בזמן הריצה. כדי לבצע את האימות הזה, אתם יכולים להעביר את המודל לסביבת staging בגרסת ארגז חול (sandbox) של סביבת ההצגה. האימות הזה עוזר לוודא שהפעולות והקבצים הבינאריים שבהם המודל משתמש נמצאים בסביבה.
- מאמתים את מדדי שביעות הרצון של המודל (אם יש כאלה) בסביבת Staging, כמו גודל המודל וזמן האחזור.
- בדיקת יחידה של הממשקים להצגת פריטי המידע שנוצרו על ידי המודל בסביבת Staging, בהשוואה לקלט גולמי ולפלט צפוי.
- מבצעים בדיקת יחידה של פריט המידע שנוצר מהמודל בסביבת Staging, על קבוצה של בקשות חיזוי טיפוסיות ובקשות חיזוי של מקרי קצה. לדוגמה, בדיקת יחידה (unit-test) של מופע בקשה שבו כל התכונות מוגדרות כ-
None. - מבצעים בדיקת עשן ל-API של שירות המודל אחרי שהוא נפרס בסביבת היעד שלו. כדי לבצע את הבדיקה הזו, שולחים מופע בודד או קבוצה של מופעים לשירות המודל ומאמתים את התגובה של השירות.
- בדיקת Canary של גרסת המודל החדשה שנפרסה על זרם קטן של נתונים פעילים. הבדיקה הזו מוודאת ששירות המודל החדש לא מייצר שגיאות לפני שהמודל נחשף למספר גדול של משתמשים.
- בודקים בסביבת Staging שאפשר לחזור בה לגרסה קודמת של מודל להצגת מודעות במהירות ובבטחה.
- מבצעים ניסוי אונליין כדי לבדוק את המודל החדש שאומן, באמצעות קבוצת משנה קטנה של אוכלוסיית היעד. הבדיקה הזו מודדת את הביצועים של המודל החדש בהשוואה למודל הנוכחי. אחרי שתשוו בין הביצועים של המודל החדש לביצועים של המודל הנוכחי, תוכלו להחליט אם להשיק את המודל החדש באופן מלא כדי לשרת את כל בקשות החיזוי בזמן אמת. שיטות הניסויים אונליין כוללות בדיקות A/B וMulti-Armed Bandit (MAB).
הנחיות איכות לפרסום המודל
בדרך כלל, ביצועי החיזוי של מודלים של ML שנפרסו ופועלים בסביבת הייצור יורדים עם הזמן. הירידה הזו יכולה לנבוע מחוסר עקביות בין המאפיינים שמוצגים לבין המאפיינים שהמודל מצפה להם. חוסר העקביות הזה נקרא training-serving skew. לדוגמה, מודל המלצות עשוי לצפות לקבל ערך קלט אלפאנומרי למאפיין כמו קוד המוצר שנצפה לאחרונה. אבל במקום זאת, שם המוצר ולא קוד המוצר מועבר במהלך הצגת המודעות, בגלל עדכון לאפליקציה שמשתמשת בשירות המודל.
בנוסף, המודל יכול להתיישן ככל שהמאפיינים הסטטיסטיים של נתוני ההצגה משתנים עם הזמן, והדפוסים שנלמדו על ידי המודל הנוכחי שנפרס כבר לא מדויקים. בשני המקרים, המודל לא יכול יותר לספק תחזיות מדויקות.
כדי למנוע את הירידה הזו בביצועי החיזוי של המודל, צריך לעקוב באופן רציף אחרי היעילות של המודל. המעקב מאפשר לכם לוודא באופן קבוע ויזום שביצועי המודל לא יורדים.
הנחיות
- לתעד דגימה של המטען הייעודי (payload) של בקשות ותגובות להצגת מודעות במאגר נתונים לצורך ניתוח קבוע. הבקשה היא המכונה של הקלט, והתגובה היא החיזוי שהמודל יוצר למכונה הזו של הנתונים.
- מטמיעים תהליך אוטומטי שיוצר פרופיל של נתוני הבקשה והתגובה שמאוחסנים, על ידי חישוב נתונים סטטיסטיים תיאוריים. מחשבים את הנתונים הסטטיסטיים האלה לגבי הצגת המודעות ושומרים אותם במרווחי זמן קבועים.
- כדי לזהות את ה-training-serving skew שנגרם כתוצאה משינוי וסטייה בנתונים, משווים בין הנתונים הסטטיסטיים של נתוני ההצגה לבין הנתונים הסטטיסטיים הבסיסיים של נתוני האימון. בנוסף, כדאי לנתח את השינויים בנתונים הסטטיסטיים של הצגת המודעות לאורך זמן.
- לזהות שינוי בקונספט על ידי ניתוח השינויים בשיוך התכונות לחיזויים לאורך זמן.
- זיהוי מופעים של נתוני הצגה שנחשבים לחריגים ביחס לנתוני האימון. כדי למצוא את החריגים האלה, משתמשים בשיטות לזיהוי חידושים ועוקבים אחרי השינויים לאורך זמן באחוז החריגים בנתוני ההצגה.
- להגדיר התראות למקרים שבהם המודל מגיע לספי ציון של סטייה במאפייני החיזוי העיקריים במערך הנתונים.
- אם יש תוויות (כלומר, אמת קרקע), צריך לצרף את התוויות האמיתיות לתוויות החזויות של המכונות שמוצגות כדי לבצע הערכה רציפה. הגישה הזו דומה למערכת ההערכה שמטמיעים כבדיקת A/B במהלך ניסוי אונליין. הערכה רציפה יכולה לזהות לא רק את יכולת החיזוי של המודל בסביבת הייצור, אלא גם את סוג הבקשה שבה הוא פועל היטב וסוג הבקשה שבה הוא פועל בצורה גרועה.
- הגדירו יעדים למדדי המערכת שחשובים לכם, ומדדו את ביצועי המודלים בהתאם ליעדים האלה.
- עוקבים אחרי יעילות השירות כדי לוודא שהמודל יכול לשרת את הייצור בקנה מידה גדול. המעקב הזה גם עוזר לכם לחזות ולנהל את תכנון הקיבולת, ולהעריך את עלות תשתית ההצגה שלכם. עוקבים אחרי מדדי יעילות, כולל ניצול המעבד (CPU), ניצול ה-GPU, ניצול הזיכרון, זמן האחזור של השירות, קצב העברת הנתונים ושיעור השגיאות.
פיקוח על המודל
ניהול מודלים הוא פונקציה מרכזית בחברות, שמספקת הנחיות ותהליכים שיעזרו לעובדים ליישם את עקרונות ה-AI של החברה. העקרונות האלה יכולים לכלול הימנעות ממודלים שיוצרים או אוכפים הטיה, ויכולת להצדיק החלטות שמתקבלות על ידי AI. פונקציית הפיקוח על המודל מוודאת שיש אדם שבתהליך. בדיקה אנושית חשובה במיוחד לעומסי עבודה רגישים ובעלי השפעה רבה (לרוב כאלה שגלויים למשתמשים). עומסי עבודה כאלה יכולים לכלול ניקוד של סיכון אשראי, דירוג מועמדים למשרות, אישור פוליסות ביטוח והפצת מידע ברשתות החברתיות.
הנחיות
- להכין מטריצת הקצאת אחריות לכל מודל לפי משימה. המטריצה צריכה להתייחס לצוותים רב-תחומיים (ענפים כלכליים, הנדסת נתונים, מדע נתונים, הנדסת למידת מכונה, סיכונים ותאימות וכו') לאורך כל ההיררכיה של הארגון.
- לשמור את התיעוד והדיווח של המודל במרשם המודלים שמקושר לגרסת המודל – לדוגמה, באמצעות כרטיסי מודל. המטא-נתונים האלה כוללים מידע על הנתונים ששימשו לאימון המודל, על הביצועים של המודל ועל מגבלות ידועות.
- לפני שמאשרים את פריסת המודל בסביבת הייצור, כדאי להטמיע תהליך בדיקה של המודל. בתהליך כזה, אתם שומרים גרסאות של רשימת המשימות של המודל, מסמכים משלימים וכל מידע נוסף שבעלי העניין עשויים לבקש.
- להעריך את המודל באמצעות מערכי נתונים להשוואה (שנקראים גם מערכי נתונים מוזהבים), שכוללים גם מקרים רגילים וגם מקרי קצה. בנוסף, כדאי לאמת את המודל מול Fairness Indicators כדי לזהות הטיה מרומזת.
- להסביר למשתמשים של המודל את התנהגות החיזוי של המודל באופן כללי ובמקרים ספציפיים של קלט לדוגמה. המידע הזה עוזר לכם להבין תכונות חשובות והתנהגות לא רצויה אפשרית של המודל.
- לנתח את התנהגות החיזוי של המודל באמצעות כלי ניתוח What-If כדי להבין את החשיבות של מאפייני נתונים שונים. הניתוח הזה יכול גם לעזור לכם להמחיש את ההתנהגות של המודל בכמה מודלים וקבוצות משנה של נתוני קלט.
- בודקים את המודל מול התקפות אדברסריות כדי לוודא שהמודל עמיד בפני ניצול לרעה בסביבת הייצור.
- מעקב אחרי התראות על ביצועי החיזוי של מודלים שנמצאים בסביבת הייצור, על שינויים בקבוצות הנתונים ועל סטיות. מגדירים את ההתראות כדי להודיע לבעלי העניין במודל.
- לנהל ניסויים אונליין, השקה והחזרה למצב קודם של המודלים.
המאמרים הבאים
- The ML Test Score: A Rubric for ML Production Readiness and Technical Debt Reduction, מאת צוות המחקר של Google.
- מדריך קצר להפעלת מערכות למידת מכונה בסביבת ייצור, מאת O'Reilly.
- כללים ללמידת מכונה
- נסו את ההדרכה בדיקה וניפוי באגים בלמידת מכונה.
- קראו את המאמר אימות נתונים בלמידת מכונה.
- מאגר המקורות של הקוד E2E MLOps on Google Cloud
- לסקירה כללית של עקרונות והמלצות לארכיטקטורה שספציפיים לעומסי עבודה של AI ו-ML ב- Google Cloud, קראו את המאמר נקודת המבט של AI ו-ML ב-Well-Architected Framework.
- לדוגמאות נוספות של ארכיטקטורות, תרשימים ושיטות מומלצות, עיינו במאמר Cloud Architecture Center.
שותפים ביצירת התוכן
מחבר: מייק סטייר | אדריכל פתרונות AI גנרטיבי
משתתפת נוספת: אמנדה ברינהוסה | Customer Engineer