מידע על הסקת מסקנות ממודלים של AI/ML ב-GKE

בדף הזה מוסברים המושגים המרכזיים, היתרונות והשלבים להרצת עומסי עבודה של הסקת מסקנות במודלים של AI גנרטיבי או למידת מכונה ב-Google Kubernetes Engine‏ (GKE), באמצעות יכולות ה-AI הגנרטיבי של GKE.

הסקת מסקנות היא שלב קריטי בפריסת מודלים של AI גנרטיבי באפליקציות בעולם האמיתי. ‫GKE מספק פלטפורמה חזקה וניתנת להתאמה לניהול עומסי עבודה בקונטיינרים, ולכן הוא בחירה מצוינת להצגת המודלים בפיתוח או בסביבת הייצור. ב-GKE, אתם יכולים להשתמש ביכולות של Kubernetes לתזמור, להתאמה לעומס (scaling) ולזמינות גבוהה כדי לפרוס ולנהל ביעילות את שירותי ההסקה.

כדי לענות על הדרישות הספציפיות של הסקת מסקנות ב-AI/ML, ‏ Google Cloud השיקה את יכולות ה-AI הגנרטיבי ב-GKE – חבילת תכונות שתוכננה במיוחד כדי לשפר ולייעל את הצגת ההסקה ב-GKE. למידע נוסף על תכונות ספציפיות, ראו יכולות AI גנרטיבי ב-GKE.

איך מתחילים להסיק מסקנות ממודלים של AI או למידת מכונה ב-GKE

אתם יכולים להתחיל להריץ הסקות של מודלים של AI/ML ב-GKE תוך כמה דקות. אתם יכולים להשתמש בתוכנית בחינם של GKE, שמאפשרת להתחיל לעבוד עם Kubernetes בלי לשלם על ניהול האשכולות.

  1. כניסה לדף GKE AI/ML במסוף Google Cloud

  2. כדי לפרוס מודל בקונטיינר ושרת מודל, נסו את השלבים שמפורטים במאמר פריסת מודלים.
  3. במאמר סקירה כללית של השיטות המומלצות להסקה ב-GKE יש הנחיות ומשאבים לתכנון ולהרצה של עומסי עבודה של הסקה ב-GKE.

הסברים על המונחים

בדף הזה אנחנו משתמשים במונחים הבאים שקשורים להסקת מסקנות ב-GKE:

  • הסקה: התהליך של הפעלת מודל AI גנרטיבי, כמו מודל שפה גדול (LLM) או מודל דיפוזיה, בתוך אשכול GKE כדי ליצור טקסט, הטמעות או פלט אחר מנתוני קלט. הסקת מסקנות של מודלים ב-GKE משתמשת במאיצים כדי לטפל ביעילות בחישובים מורכבים לעיבוד בזמן אמת או לעיבוד באצווה.
  • מודל: מודל AI גנרטיבי שלמד דפוסים מנתונים ומשמש להסקת מסקנות. המודלים משתנים בגודל ובארכיטקטורה, החל ממודלים קטנים יותר שספציפיים לתחום ועד לרשתות נוירונים עצומות עם מיליארדי פרמטרים, שמותאמות למשימות שונות שקשורות לשפה.
  • שרת מודל: שירות בקונטיינר שאחראי לקבל בקשות להסקת מסקנות ולהחזיר את המסקנות. השירות הזה יכול להיות אפליקציית Python או פתרון חזק יותר כמו vLLM,‏ TensorFlow Serving או Triton Inference Server. שרת המודל מטפל בטעינת המודלים לזיכרון, ומבצע חישובים במאיצים כדי להחזיר הסקות ביעילות.
  • מאיץ: חומרה ייעודית, כמו יחידות עיבוד גרפי (GPU) של NVIDIA ויחידות עיבוד Tensor‏ (TPU) של Google, שאפשר לחבר לצומתי GKE כדי להאיץ את החישובים, במיוחד למשימות אימון והסקת מסקנות.
  • קוונטיזציה: שיטה שמשמשת להקטנת המודלים של AI או למידת מכונה ולשיפור מהירות ההסקה, על ידי המרת משקלים והפעלות של מודלים מסוגי נתונים ברמת דיוק גבוהה יותר לסוגי נתונים ברמת דיוק נמוכה יותר.

היתרונות של GKE להסקה

להצגת הסקות ב-GKE יש כמה יתרונות:

  • יחס יעיל בין מחיר לביצועים: ערך ומהירות לצרכים שלכם בהצגת הסקות. ב-GKE אתם יכולים לבחור מתוך מגוון מאיצים עוצמתיים (GPU ו-TPU), כך שאתם משלמים רק על הביצועים שאתם צריכים.
  • פריסה מהירה יותר: יכולות ה-AI הגנרטיבי של GKE מספקות שיטות מומלצות, אישורים ושיטות מומלצות מותאמות אישית, כדי לקצר את זמן היציאה לשוק.
  • ביצועים ניתנים להתאמה: הרחבה אופקית של הביצועים בהתאם לעומס (scale out) באמצעות ניטור מובנה, בעזרת GKE Inference Gateway, התאמה אופקית של קבוצות Pod לעומס (HPA) ומדדים מותאמים אישית. אתם יכולים להריץ מגוון מודלים שעברו אימון מראש או מודלים בהתאמה אישית, מ-8 מיליארד פרמטרים ועד 671 מיליארד פרמטרים.
  • ניידות מלאה: נהנים מניידות מלאה עם תקנים פתוחים. ‫Google תורמת לממשקי API מרכזיים של Kubernetes, כולל Gateway ו-LeaderWorkerSet, וכל ממשקי ה-API ניתנים להעברה עם הפצות של Kubernetes.
  • תמיכה בסביבה העסקית: אתם יכולים להשתמש בסביבה העסקית העשירה של GKE, שתומכת בכלים כמו Kueue לניהול מתקדם של תורים ומשאבים, ו-Ray למחשוב מבוזר, כדי לאמן מודלים ולהסיק מסקנות בצורה יעילה וניתנת להתאמה.

איך פועלת הסקת מסקנות ב-GKE

בקטע הזה מתוארים באופן כללי השלבים לשימוש ב-GKE להצגת הסקות:

  1. הכנסת המודל לקונטיינר: כדי להכניס אפליקציה לקונטיינר, צריך ליצור קובץ אימג' של קונטיינר. זהו חבילה של קובצי הפעלה שכוללת את כל מה שצריך כדי להריץ את האפליקציה: קוד, זמן ריצה, כלי מערכת, ספריות מערכת והגדרות. אפליקציה פשוטה יכולה להיות מאוחסנת בקונטיינר כיחידה אחת, ואפליקציה מורכבת יותר יכולה להיות מפוצלת לכמה רכיבים שמאוחסנים בקונטיינרים. פורסים מודל על ידי הפיכת שרת המודל (כמו vLLM) לקונטיינר, וטוענים את משקלי המודל מ-Cloud Storage או ממאגר כמו Hugging Face. כשמשתמשים ב-GKE Inference Quickstart, קובץ האימג' של הקונטיינר מנוהל בשבילכם באופן אוטומטי במניפסט.

  2. יצירת אשכול GKE: יוצרים אשכול GKE לאירוח הפריסה. בוחרים ב-Autopilot לחוויה מנוהלת או ב-Standard להתאמה אישית. מגדירים את גודל האשכול, סוגי הצמתים והמאיצים. כדי להגדיר בצורה אופטימלית, השתמשו במדריך למתחילים בנושא הסקה.

  3. פריסת המודל כפריסת Kubernetes: יוצרים פריסת Kubernetes כדי לנהל את שירות ההסקה. פריסה היא אובייקט API של Kubernetes שמאפשר להריץ כמה רפליקות של Pods שמופצים בין הצמתים באשכול. מציינים את קובץ האימג' של Docker, את הרפליקות ואת ההגדרות. ‫Kubernetes שולף את קובץ האימג' ומריץ את הקונטיינרים בצמתים של אשכול GKE. מגדירים את ה-Pods עם שרת המודל והמודל, כולל מתאמי LoRA אם צריך.

  4. חשיפת שירות ההסקה: כדי ששירות ההסקה יהיה נגיש, יוצרים שירות Kubernetes שמספק נקודת קצה ברשת לפריסה. אתם יכולים להשתמש ב-Inference Gateway כדי לאזן עומסים ולנתב בצורה חכמה, שמותאמת במיוחד לעומסי עבודה של הסקת מסקנות ב-AI גנרטיבי, או לעיין בהשוואה בין אסטרטגיות של איזון עומסים כדי לבחור את האפשרות שהכי מתאימה לצרכים שלכם.

  5. טיפול בבקשות להסקת מסקנות: שליחת נתונים מהלקוחות של האפליקציה לנקודת הקצה של השירות, בפורמט הצפוי (JSON, ‏ gRPC). אם אתם משתמשים במאזן עומסים, הוא מפיץ את הבקשות לרפליקות של המודל. שרת המודל מעבד את הבקשה, מריץ את המודל ומחזיר את ההסקה.

  6. שינוי קנה המידה של פריסת ההסקה ומעקב אחריה: משנים את קנה המידה של ההסקה באמצעות HPA כדי להתאים באופן אוטומטי את הרפליקות על סמך המעבד (CPU) או זמן האחזור. ‫Horizontal Pod Autoscaler ‏(HPA) הוא בקר של Kubernetes שמגדיל או מקטין באופן אוטומטי את מספר ה-Pods בעומס עבודה (כמו פריסה) על סמך מדדים שנצפו, כמו ניצול מעבד (CPU) או מדדים בהתאמה אישית. אפשר להשתמש במדריך למתחילים בנושא הסקת מסקנות כדי לקבל המלצות להתאמה לעומס (scaling) שנוצרות באופן אוטומטי. כדי לעקוב אחרי הביצועים, אתם יכולים להשתמש ב-Cloud Monitoring וב-Cloud Logging עם יכולת תצפית מובנית, כולל מרכזי בקרה לשרתי מודלים פופולריים כמו vLLM.

במאמר דוגמאות להסקת מסקנות מופיעות דוגמאות מפורטות לשימוש במודלים, בשרתי מודלים ובמאיצים ספציפיים.

יכולות של GKE Gen AI

אתם יכולים להשתמש ביכולות האלה ביחד או בנפרד כדי להתמודד עם אתגרים מרכזיים בהצגת מודלים של AI גנרטיבי ולשפר את ניצול המשאבים בסביבת GKE, ללא עלות נוספת.

שם תיאור יתרונות
המדריך למתחילים בנושא הסקת מסקנות ב-GKE

ניתוח הביצועים והיעילות מבחינת עלות של עומסי העבודה להסקת מסקנות. ציינו את הצרכים של העסק שלכם וקבלו שיטות מומלצות בהתאמה אישית לשילוב של מאיצים, הגדרות של התאמה לעומס (scaling) ואחסון ושרתי מודלים שהכי מתאימים לצרכים שלכם. אפשר לגשת לשירות הזה באמצעות ה-CLI של gcloud ומסוף Google Cloud .

מידע נוסף זמין במאמר ניתוח הביצועים והעלויות של פרסום המודל באמצעות המדריך למתחילים בנושא הסקת מסקנות ב-GKE.

  • חוסך זמן על ידי אוטומציה של השלבים הראשונים של בחירת התשתית והגדרתה.
  • מאפשרת לכם לשמור על שליטה מלאה בהגדרות של Kubernetes כדי לבצע התאמות נוספות.
GKE Inference Gateway

כדי לשפר את זמן האחזור, אפשר להגדיר ניתוב על סמך מדדים, כמו ניצול המטמון של KV.

מידע נוסף זמין במאמר מידע על GKE Inference Gateway.

  • שיתוף מודלים שעברו כוונון באמצעות קובצי LoRA, עם בחירת נקודת קצה (endpoint) מבוססת-קרבה לחיסכון בעלויות.
  • זמינות גבוהה באמצעות גישה דינמית לקיבולת של GPU ו-TPU באזורים שונים.
  • לשפר את האבטחה של המודלים באמצעות כללי מדיניות של תוספים להגנה מוגברת על המודל.
מאיצים לטעינת משקלי מודלים

גישה מהירה לנתונים ב-Cloud Storage באמצעות Cloud Storage FUSE עם שמירה במטמון והורדות במקביל. מידע נוסף על השימוש ב-Cloud Storage FUSE לעומסי עבודה של AI/ML מופיע בארכיטקטורת העזר.

‫Google Cloud Managed Lustre היא מערכת קבצים מקבילה, מנוהלת לחלוטין, עם ביצועים גבוהים, שעברה אופטימיזציה ל-AI ואפשר לצרף אותה ל-10,000 פודים או יותר. מידע נוסף על השימוש ב-Managed Lustre לעומסי עבודה של AI או ML זמין בארכיטקטורת העזר.

‫Google Cloud Hyperdisk ML הוא דיסק שמחובר לרשת ואפשר לחבר אותו לעד 2,500 פודים.

  • אופטימיזציה של זמן ההפעלה של ההסקה על ידי צמצום זמן האחזור של מודל טעינת המשקלים ב-GKE.
  • בפריסות עם התאמה מוגבלת של קנה המידה של הצמתים, כדאי להשתמש ב-Cloud Storage FUSE כדי לטעון את משקלי המודל.
  • בעומסי עבודה של הסקת מסקנות שדורשים ביצועים עקביים של הרחבה אופקית בהתאם לעומס (scale out), מערכת Google Cloud Managed Lustre תומכת בגישה לקבצים עם תפוקה גבוהה וזמן אחזור קצר מכמה Pods בו-זמנית.
  • לתרחישים בקנה מידה עצום שדורשים גישה עקבית עם זמן אחזור קצר למשקלי מודלים גדולים, Google Cloud Hyperdisk ML מציע פתרון ייעודי לאחסון בלוקים.

מדדי ביצועים של הסקת מסקנות

כדי לבצע אופטימיזציה של עומסי העבודה של ההסקה, חשוב להבין איך למדוד את הביצועים שלהם. בטבלה הבאה מתוארים המדדים העיקריים להשוואה בין ביצועי ההסקה ב-GKE.

אינדיקטורים של נקודות השוואה מטרי (יחידה) תיאור
זמן אחזור הזמן עד לטוקן הראשון (TTFT) (באלפיות השנייה) הזמן שלוקח ליצור את הטוקן הראשון לבקשה.
הזמן המנורמל לכל טוקן פלט (NTPOT) (באלפיות השנייה) זמן האחזור של הבקשה מנורמל לפי מספר הטוקנים של הפלט, ונמדד בתור request_latency / total_output_tokens.
הזמן לכל טוקן פלט (TPOT) (באלפיות השנייה) הזמן שלוקח ליצור אסימון פלט אחד, נמדד בתור (request_latency - time_to_first_token) / (total_output_tokens - 1).
זמן האחזור בין טוקנים (ITL) (באלפיות השנייה) מודד את זמן האחזור בין שני טוקנים של פלט. בניגוד ל-TPOT, שמודד את זמן האחזור של הבקשה כולה, ITL מודד את הזמן שנדרש כדי ליצור כל אסימון פלט בנפרד. לאחר מכן, המדידות הנפרדות האלה נצברות כדי להפיק ערכים של ממוצע, חציון ואחוזון, כמו p90.
זמן האחזור של הבקשה (באלפיות השנייה) הזמן הכולל להשלמת בקשה.
תפוקה בקשות לשנייה המספר הכולל של הבקשות שאתם מציגים בשנייה. חשוב לזכור שהמדד הזה לא בהכרח משקף את קצב העיבוד של מודל ה-LLM, כי הוא יכול להשתנות מאוד בהתאם לאורך ההקשר.
טוקנים של פלט לשנייה מדד נפוץ שנמדד בתור total_output_tokens_generated_by_server / elapsed_time_in_seconds.
טוקנים של קלט לשנייה נמדד בתור total_input_tokens_generated_by_server / elapsed_time_in_seconds.
טוקנים לשנייה נמדד בתור total_tokens_generated_by_server / elapsed_time_in_seconds. המדד הזה סופר גם טוקנים של קלט וגם טוקנים של פלט, ועוזר לכם להשוות בין עומסי עבודה עם זמני מילוי מראש ארוכים לבין זמני פענוח ארוכים.

תכנון להסקת מסקנות

כדי לפרוס בהצלחה מודל להסקת מסקנות, צריך לתכנן בקפידה כמה תחומים מרכזיים, כולל עלות-תועלת, ביצועים, גמישות, יעילות וזמינות של קיבולת המאיצים. במאמר סקירה כללית של השיטות המומלצות להסקת מסקנות ב-GKE מפורטות המלצות לבניית פלטפורמה להסקת מסקנות שהיא ניתנת להתאמה, חסכונית ובעלת ביצועים טובים.

דוגמאות להסקת מסקנות

דוגמאות לפריסה ב-GKE של מודלים של AI גנרטיבי, מאיצים ושרתי מודלים. אם אתם רק מתחילים, מומלץ לעיין במדריך הצגת מודלים פתוחים של Gemma באמצעות GPUs ב-GKE עם vLLM.

אפשר גם לחפש מדריך לפי מילת מפתח:

Accelerator שרת מודל מדריך
מעבדים גרפיים (GPU) vLLM הצגת מודלי LLM כמו DeepSeek-R1 671B או Llama 3.1 405B ב-GKE
מעבדים גרפיים (GPU) vLLM הצגת מודלים פתוחים של Gemma באמצעות מעבדים גרפיים ב-GKE עם vLLM
מעבדים גרפיים (GPU) vLLM הצגת LLM באמצעות GKE Inference Gateway
מעבדים גרפיים (GPU) vLLM הצגת מודלי LLM פתוחים ב-GKE באמצעות ארכיטקטורה מוגדרת מראש
מעבדים גרפיים (GPU) Ray Serve הצגת LLM במעבדי GPU מסוג L4 באמצעות Ray
מעבדים גרפיים (GPU) TGI הצגת LLM עם כמה מעבדי GPU ב-GKE
מעבדים גרפיים (GPU) TorchServe הצגת T5 ב-GKE באמצעות TorchServe
מעבדי TPU vLLM איך מפעילים מודל LLM באמצעות TPU Trillium ב-GKE עם vLLM
מעבדי TPU vLLM הצגת LLM באמצעות יחידות TPU ב-GKE עם KubeRay
מעבדי TPU MaxDiffusion הצגת Stable Diffusion XL ‏(SDXL) באמצעות יחידות TPU ב-GKE עם MaxDiffusion
מעבדי TPU vLLM הצגת מודלי LLM פתוחים ב-TPU עם ארכיטקטורה מוגדרת מראש

המאמרים הבאים

  • בפורטל תזמור של AI/ML ב-GKE תוכלו למצוא מדריכים רשמיים, שיעורים ותרחישים לדוגמה להרצת עומסי עבודה של AI/ML ב-GKE.
  • ב-GKE AI Labs תוכלו למצוא דוגמאות ניסיוניות לשימוש ב-GKE כדי להאיץ את יוזמות ה-AI/ML שלכם.