במאמר הזה נסביר איך לבצע אופטימיזציה של התפוקה, שהיא קצב העברת הנתונים השימושיים, עבור עומסי העבודה שלכם. כדי לבצע את האופטימיזציה הזו, יצרנו מתכונים לשחזור של תפוקה טובה, שמשתמשים במסגרות ובמודלים נפוצים של למידת מכונה (ML). כדי לעיין במתכונים האלה, אפשר להיכנס לארגון AI Hypercomputer ב-GitHub. המתכונים של goodput נבדקו באשכולות שנוצרו באמצעות Cluster Toolkit.
כדי להבטיח את המהימנות האופטימלית של עומסי העבודה ולמקסם את קצב העברת הנתונים, אפשר גם לזהות באופן יזום צמתים באשכול Google Kubernetes Engine (GKE) שסביר שיחול בהם שיפור ברמת הביצועים בחמש השעות הבאות. האזהרה המוקדמת הזו עוזרת לכם להימנע מתזמון של עומסי עבודה חדשים במכונות וירטואליות בסיכון, וכך לצמצם את הסיכון לשיבושים בעבודות. מידע נוסף זמין במאמר הפעלת חיזוי של תקינות הצמתים.
לפני שמתחילים
לפני שמשתמשים במתכונים של קצב העברת נתונים טוב שמופיעים במסמך הזה, צריך לבצע את השלבים הבאים אם עוד לא ביצעתם אותם:
מתכונים
המתכונים הבאים ל-goodput ניתנים לשחזור וזמינים לאימון מראש באשכולות GKE:
| שם המתכון | מאיץ | מודל | Framework | סוג עומס העבודה |
|---|---|---|---|---|
| Llama3.1 70B - A3 Mega | A3 Mega | Llama3.1 70B | NeMo | אימון מראש ב-GKE |