מסמכי תיעוד בנושא תזמור של AI/ML ב-GKE

‫Google Kubernetes Engine ‏(GKE) מספק פלטפורמה אחת מאוחדת לניהול כל מחזור החיים של AI/ML. הוא נותן לכם את העוצמה והגמישות לשפר את עומסי העבודה של האימון, ההסקה והסוכנים, כדי שתוכלו לייעל את התשתית ולהתחיל להשיג תוצאות. יכולות התזמור המתקדמות ביותר של GKE מספקות את היתרונות הבאים:

  • מאיצי חומרה: גישה וניהול של מעבדי GPU ו-TPU בעלי ביצועים גבוהים שדרושים לכם, גם לאימון וגם להסקת מסקנות, בקנה מידה נרחב.
  • גמישות במחסנית: שילוב עם מסגרות העבודה של מחשוב מבוזר, עיבוד נתונים ופרסום מודלים שאתם כבר מכירים וסומכים עליהן.
  • הפשטות של Kubernetes מנוהל: אתם נהנים מכל היתרונות של פלטפורמה מנוהלת כדי להפוך את כל מחזור החיים של ה-AI/ML לאוטומטי, להרחיב אותו ולשפר את האבטחה שלו, תוך שמירה על גמישות.

בבלוגים, במדריכים ובשיטות המומלצות שלנו תוכלו לראות איך GKE יכול לשפר את עומסי העבודה של AI/ML. למידע נוסף על היתרונות והתכונות הזמינות, קראו את הסקירה הכללית על עומסי עבודה של AI/ML ב-GKE.

免费试用

Google Cloud新用户首次注册即可获得300美元赠金。此外，无论新老用户，均可免费使用20多款产品，积累动手实践经验。

免费试用

Google Cloud新用户首次注册即可获得300美元赠金。此外，无论新老用户，均可免费使用20多款产品，积累动手实践经验。

מאמרי עזרה

כאן תוכלו למצוא מדריכים למתחילים ומדריכים נוספים, לעיין בחומרי עזר חשובים ולקבל עזרה לפתרון בעיות נפוצות.
כדי להבין איך משתמשים בפועל בשירותי Google Cloud ומחברים ביניהם, אתם יכולים להיעזר בהדרכות בקצב אישי, בתרחישי שימוש, בארכיטקטורות לדוגמה ובדוגמאות קודים.
ארכיטקטורה לדוגמה
הדרכות ומדריכים

איך משתמשים ב-Cloud Storage FUSE כדי לשפר את הביצועים של עומסי עבודה של AI ו-ML ב-GKE.

הסקה של AI/ML אימון של AI/ML אחסון

ארכיטקטורה לדוגמה
הדרכות ומדריכים

איך משתמשים ב-Managed Lustre כדי לשפר את הביצועים של עומסי עבודה של AI ו-ML ב-GKE.

הסקה של AI/ML אימון של AI/ML אחסון

מדריך
הדרכות ומדריכים

איך משתמשים בקונטיינרים של Kata בקוד פתוח עם Agent Sandbox ב-GKE כדי לבודד הרצת קוד לא מהימן.

הדרכה מדריך AI אקטיבי Agent Sandbox

מדריך
הדרכות ומדריכים

בשיעור הזה תלמדו איך לפרוס ולנהל אפליקציית AI אקטיבי בקונטיינרים ב-GKE, באמצעות הערכה לפיתוח סוכנים (ADK) ו-vLLM להסקת מסקנות ניתנת להתאמה עם Llama 3.1.

מדריך הסקה ב-AI/ML AI אקטיבי

מדריך
הדרכות ומדריכים

בשיעור הזה תלמדו איך לפרוס ולנהל אפליקציית AI אקטיבי בקונטיינר ב-GKE, באמצעות הערכה לפיתוח סוכנים (ADK) ופלטפורמת Agent Platform להסקת מסקנות ניתנת להתאמה עם Gemini 2.0 Flash.

מדריך הסקה ב-AI/ML AI אקטיבי

מדריך
הדרכות ומדריכים

איך משתמשים ב-GKE כדי לאמן מודל עם Ray ו-PyTorch ב-GPU.

מדריך אימון AI/ML Ray יחידות GPU

מדריך
הדרכות ומדריכים

איך לאמן מודל LLM ב-GKE באמצעות JAX,‏ MaxText,‏ Ray Train ו-TPU.

מדריך אימון AI/ML Ray יחידות TPU

מדריך
הדרכות ומדריכים

איך מריצים עומסי עבודה של אימון גמיש וריבוי-פרוסות (Multislice) ב-TPU באמצעות Ray Train ב-GKE.

מדריך אימון AI/ML Ray יחידות TPU

guide
הדרכות ומדריכים

איך פורסים ומציגים מודלים פתוחים של LLM ב-GKE להסקת מסקנות באמצעות ארכיטקטורה שהוגדרה מראש עם Terraform.

מדריך למתחילים הסקה של AI/ML יחידות GPU

מדריך
הדרכות ומדריכים

איך להגיש מודלים גדולים של שפה (LLM), כמו DeepSeek-R1 671B ו-Llama 3.1 405B, במעבדים גרפיים (GPU) עם כמה מארחים ב-GKE באמצעות vLLM ו-LeaderWorkerSet‏ (LWS).

מדריך הסקה של AI/ML יחידות GPU

מדריך
הדרכות ומדריכים

איך להפעיל מודלים פתוחים של Gemma באמצעות GPUs ב-GKE עם vLLM.

מדריך הסקה של AI/ML יחידות GPU

מדריך
הדרכות ומדריכים

איך מגישים LLM באמצעות TPU Trillium ב-GKE עם vLLM.

מדריך הסקה של AI/ML יחידות TPU

מדריך
הדרכות ומדריכים

איך מגדירים פרסום מודל בכמה אשכולות באמצעות Ray Serve ו-GKE Inference Gateway.

מדריך הסקה של AI/ML Ray

מדריך
הדרכות ומדריכים

איך פורסים מודלי LLM באמצעות יחידות TPU ב-GKE, עם מסגרת השירות Optimum TPU של Hugging Face.

מדריך הסקה של AI/ML TPU

מדריך
הדרכות ומדריכים

איך משתמשים ב-DWS Flex-start כדי לבצע אופטימיזציה של העלויות של עומסי עבודה להצגת LLM ב-GKE.

אופטימיזציה של עלויות GPU DWS

הדרכה
הדרכות ומדריכים

איך להציג מודלים גדולים של שפה (LLM) באמצעות KubeRay ב-TPU, ואיך זה יכול לעזור לשפר את הביצועים של המודלים.

סרטון Ray יחידות TPU

הדרכה
הדרכות ומדריכים

איך לפשט ולהאיץ את הטעינה של משקלי מודלים של AI או למידת מכונה ב-GKE באמצעות Hyperdisk ML.

מדריך טעינת נתונים של AI/ML

הדרכה
הדרכות ומדריכים

איך מפעילים מודל שפה גדול (LLM) באמצעות יחידות TPU ב-GKE עם JetStream דרך PyTorch.

מדריך הסקה של AI/ML יחידות TPU

הדרכה
הדרכות ומדריכים

שיטות מומלצות לאופטימיזציה של ביצועי ההסקה של LLM באמצעות GPUs ב-GKE, בעזרת מסגרות השירות vLLM ו-Text Generation Inference ‏(TGI).

מדריך הסקה של AI/ML יחידות GPU

הדרכה
הדרכות ומדריכים

מתי משתמשים ב-NVIDIA GPU Operator ואיך מפעילים אותו ב-GKE.

מדריך יחידות GPU

הדרכה
הדרכות ומדריכים

איך מגדירים תשתית להתאמה לעומס באמצעות Horizontal Pod Autoscaler‏ (HPA) של GKE כדי לפרוס את Gemma LLM באמצעות JetStream במארח יחיד.

מדריך יחידות TPU

הדרכה
הדרכות ומדריכים

איך פורסים מודל Stable Diffusion ב-GKE ומציגים אותו באמצעות יחידות TPU,‏ Ray Serve והתוסף Ray Operator.

מדריך הסקה של AI או למידת מכונה Ray יחידות TPU

הדרכה
הדרכות ומדריכים

איך מגדירים תשתית להתאמה לעומס באמצעות Horizontal Pod Autoscaler ‏(HPA) של GKE כדי לפרוס את Gemma LLM עם מסגרת ההגשה של Hugging Face Text Generation Interface ‏(TGI).

מדריך יחידות GPU

הדרכה
הדרכות ומדריכים

איך מריצים עומס עבודה של Megatron-LM PyTorch שמבוסס על קונטיינרים ב-A3 Mega.

מדריך אימון AI/ML יחידות GPU

הדרכה
הדרכות ומדריכים

איך מבקשים שיפור מהירות באמצעות חומרה (GPU) בעומסי העבודה של GKE Autopilot.

מדריך יחידות GPU

הדרכה
הדרכות ומדריכים

איך להציג את Llama 2 70B או Falcon 40B באמצעות כמה מעבדי GPU של NVIDIA L4 עם GKE.

מדריך הסקה של AI/ML יחידות GPU

הדרכה
הדרכות ומדריכים

איך מתחילים להשתמש בקלות ב-Ray ב-GKE על ידי הפעלת עומס עבודה באשכול Ray.

מדריך Ray

הדרכה
הדרכות ומדריכים

איך להציג את Falcon 7b,‏ Llama2 7b,‏ Falcon 40b או Llama2 70b באמצעות מסגרת Ray ב-GKE.

מדריך הסקה של AI/ML Ray יחידות GPU

הדרכה
הדרכות ומדריכים

איך מתזמרים עומס עבודה של Jax בכמה פרוסות TPU ב-GKE באמצעות JobSet ו-Kueue.

מדריך יחידות TPU

הדרכה
הדרכות ומדריכים

איך בודקים את עומסי העבודה של ה-GPU ב-GKE באמצעות NVIDIA Data Center GPU Manager‏ (DCGM).

מדריך תצפיתיות ב-AI/ML יחידות GPU

הדרכה
הדרכות ומדריכים

במדריך למתחילים הזה מוסבר איך לפרוס מודל אימון עם מעבדי GPU ב-GKE ולאחסן את החיזויים ב-Cloud Storage.

מדריך אימון AI/ML יחידות GPU

הדרכה
הדרכות ומדריכים

בסרטון הזה נסביר איך GKE עוזר לפתור אתגרים נפוצים באימון מודלי AI גדולים בקנה מידה נרחב, ומהן השיטות המומלצות לאימון מודלים של למידת מכונה בקנה מידה נרחב ב-GKE ולהכניס אותם לשימוש בסביבת הייצור.

וידאו אימון AI/ML הסקת מסקנות של AI/ML

מדריך
הדרכות ומדריכים

הפוסט הזה בבלוג הוא מדריך מפורט ליצירה, להפעלה ולפירוק של מחברת Jupyter עם TensorFlow.

בלוג אימון AI/ML הסקת AI/ML יחידות GPU

הדרכה
הדרכות ומדריכים

במדריך הזה נשתמש ב-Kueue כדי להראות איך להטמיע מערכת לתור משימות, ולהגדיר שיתוף של מכסות ומשאבי עומסי עבודה בין מרחבי שמות שונים ב-GKE.

מדריך AI/ML Batch

הדרכה
הדרכות ומדריכים

במדריך הזה נסביר איך לשלב אפליקציה של מודל שפה גדול (LLM) שמבוססת על יצירה משולבת-אחזור (RAG) עם קובצי PDF שאתם מעלים לקטגוריה של Cloud Storage.

מדריך טעינת נתונים של AI/ML

הדרכה
הדרכות ומדריכים

במדריך הזה נסביר איך לנתח מערכי נתונים גדולים ב-GKE באמצעות BigQuery לאחסון ולעיבוד נתונים, Cloud Run לטיפול בבקשות ומודל Gemma LLM לניתוח נתונים ולחיזויים.

מדריך טעינת נתונים של AI/ML

תרחיש לדוגמה
תרחישים לדוגמה

איך משתמשים ב-GKE וב-Ray כדי לעבד מראש ביעילות מערכי נתונים גדולים ללמידת מכונה.

MLOps אימון Ray

תרחיש לדוגמה
תרחישים לדוגמה

במאמר הזה מוסבר איך לקצר את זמני הטעינה של הנתונים באפליקציות של למידת מכונה ב-Google Kubernetes Engine.

הסקה Hyperdisk ML Cloud Storage FUSE

תרחיש לדוגמה
תרחישים לדוגמה

איך לשפר את עלויות ההסקה של GPU באמצעות כוונון של Horizontal Pod Autoscaler ב-GKE ליעילות מקסימלית.

הסקה GPU HPA

תרחיש לדוגמה
תרחישים לדוגמה

איך פורסים בקלות מיקרו-שירותים מתקדמים של NVIDIA NIM ב-GKE ומאיצים את עומסי העבודה של ה-AI.

AI NVIDIA NIM

תרחיש לדוגמה
תרחישים לדוגמה

איך Ray Operator ב-GKE מפשט את פריסות הייצור של AI/ML, ומשפר את הביצועים ואת יכולת ההתאמה לעומס.

AI TPU Ray

תרחיש לדוגמה
תרחישים לדוגמה

איך למקסם את קצב העיבוד של מודל שפה גדול (LLM) ב-GPUs ב-GKE, כולל החלטות לגבי התשתית ואופטימיזציה של שרת המודל.

LLM GPU NVIDIA

תרחיש לדוגמה
תרחישים לדוגמה

איך מפתחים פלטפורמות לעיבוד באצווה ב-GKE ומבצעים בהן אופטימיזציה

Batch ביצועים אופטימיזציה של עלויות

תרחיש לדוגמה
תרחישים לדוגמה

איך משתמשים בכונני SSD מקומיים כדי לספק אחסון בעל ביצועים גבוהים ל-AI/ML ב-GKE.

AI NVMe Local SSD

תרחיש לדוגמה
תרחישים לדוגמה

איך מריצים אפליקציות JAX עם כמה יחידות GPU וכמה צמתים ב-GKE עם יחידות GPU של NVIDIA.

GPUs JAX ML

תרחיש לדוגמה
תרחישים לדוגמה

איך LiveX AI משתמשת ב-GKE כדי ליצור סוכני AI שמשפרים את שביעות רצון הלקוחות ומפחיתים עלויות.

GenAI NVIDIA GPU

תרחיש לדוגמה
תרחישים לדוגמה

ארכיטקטורת עזר להרצת אפליקציית AI גנרטיבי עם יצירה משולבת-אחזור (RAG) באמצעות GKE,‏ Cloud SQL,‏ Ray,‏ Hugging Face ו-LangChain.

GenAI RAG Ray

תרחיש לדוגמה
תרחישים לדוגמה

ארכיטקטורת עזר לפלטפורמה של עיבוד באצווה ב-GKE במצב Standard, שמשתמשת ב-Kueue לניהול מכסות המשאבים.

AI Kueue Batch

תרחיש לדוגמה
תרחישים לדוגמה

איך חברת IPRally משתמשת ב-GKE וב-Ray כדי לבנות פלטפורמת למידת מכונה יעילה וניתנת להתאמה, שמאפשרת לבצע חיפושי פטנטים מהירים ומדויקים יותר.

AI Ray GPU

תרחיש לדוגמה
תרחישים לדוגמה

שימוש ב-Gemma במעבדים גרפיים ל-Cloud וב-Cloud TPU להסקה וליעילות האימון ב-GKE.

AI Gemma ביצועים

תרחיש לדוגמה
תרחישים לדוגמה

אתם יכולים להשתמש במודלים הפתוחים והמובילים של Gemma כדי לפתח אפליקציות AI ניידות וניתנות להתאמה אישית, ולפרוס אותן ב-GKE.

AI Gemma ביצועים

תרחיש לדוגמה
תרחישים לדוגמה

תזמור אפליקציות Ray ב-GKE באמצעות KubeRay ו-Kueue.

Kueue Ray KubeRay

תרחיש לדוגמה
תרחישים לדוגמה

איך מיישמים תובנות אבטחה וטכניקות הקשחה לאימון עומסי עבודה של AI/ML באמצעות Ray ב-GKE.

AI Ray אבטחה

תרחיש לדוגמה
תרחישים לדוגמה

לבחור את השילוב הטוב ביותר של אפשרויות אחסון לעומסי עבודה של AI ו-ML ב-Google Cloud.

AI ML אחסון

תרחיש לדוגמה
תרחישים לדוגמה

התקנה אוטומטית של מנהלי התקנים של Nvidia GPU ב-GKE.

GPU NVIDIA התקנה

תרחיש לדוגמה
תרחישים לדוגמה

אימון מודלים של AI גנרטיבי באמצעות GKE ו-NVIDIA NeMo framework.

GenAI NVIDIA NeMo

תרחיש לדוגמה
תרחישים לדוגמה

שימוש ב-GKE לעומסי עבודה של Ray משפר את יכולת ההתאמה לעומס, את היעילות מבחינת עלות, את העמידות בפני תקלות, את הבידוד ואת הניידות.

AI Ray Scale

תרחיש לדוגמה
תרחישים לדוגמה

איך מפשטים את תהליך הפיתוח והפריסה של המודל באמצעות Weights & Biases עם GKE.

אופטימיזציה של עלויות יחידות TPU יחידות GPU

תרחיש לדוגמה
תרחישים לדוגמה

תמיכה משופרת ב-GPU, ביצועים טובים יותר ומחירים נמוכים יותר לעומסי עבודה של AI/ML באמצעות GKE Autopilot.

GPU Autopilot ביצועים

תרחיש לדוגמה
תרחישים לדוגמה

חברת סטארט-אפ מגדילה את היקף הפלט של סרטונים מותאמים אישית באמצעות GKE.

GPU Scale Containers

תרחיש לדוגמה
תרחישים לדוגמה

איך Ray משנה את פיתוח למידת המכונה ב-Spotify.

למידת מכונה Ray קונטיינרים

תרחיש לדוגמה
תרחישים לדוגמה

חברת Ordaōs Bio, אחת מהחברות המובילות בתחום מאיצי AI למחקרים ביו-רפואיים, מוצאת פתרונות לאימונותרפיות חדשות בתחום האונקולוגיה ומחלות דלקתיות כרוניות.

ביצועים TPU אופטימיזציה של עלויות

תרחיש לדוגמה
תרחישים לדוגמה

איך Moloco, סטארט-אפ מעמק הסיליקון, רתם את העוצמה של GKE ו-Tensor Flow Enterprise כדי לשדרג את תשתית למידת המכונה (ML) שלו.

ML התאמה לעומס אופטימיזציה של עלויות

תרחיש לדוגמה
תרחישים לדוגמה

איך לשפר את זמן ההפעלה של Stable Diffusion ב-GKE.

ביצועים התאמה לעומס PD

דוגמת קוד
דוגמאות קוד

אפליקציות לדוגמה שמשמשות במדריכים הרשמיים של מוצרי GKE.

דוגמת קוד
דוגמאות קוד

דוגמאות ניסיוניות לשימוש ב-GKE כדי לקדם את היוזמות שלכם בתחום ה-AI ולמידת המכונה.

דוגמת קוד
דוגמאות קוד

דוגמאות לארכיטקטורות ופתרונות לפריסת עומסי עבודה מואצים ב-GKE.

סרטונים קשורים