שירותי רשת לפריסות

שירותי הרשת שאתם מגדירים תלויים באפשרות הפריסה שבחרתם (מכונות וירטואליות או אשכולות) ובתשתית.

המסמך הזה מיועד לאדריכלים, למהנדסי רשת ולמפתחים שרוצים להבין את שירותי הרשת לפריסות של AI Hypercomputer. ההנחה במאמר הזה היא שיש לכם היכרות בסיסית עם מושגים של רשתות בענן ושל מחשוב מבוזר. למידע נוסף על אפשרויות הפריסה, קראו את סקירה כללית של אפשרויות הפריסה.

מידע מפורט על ארכיטקטורת הרשת, הפרוטוקולים והטופולוגיות של החומרה זמין בסקירה הכללית על רשתות GPU.

רישות לפריסות GKE שעברו אופטימיזציה ל-AI באמצעות Cluster Toolkit

כשיוצרים אשכול GKE שמותאם ל-AI באמצעות Cluster Toolkit, התוכנית מגדירה את הרשת באופן הבא:

  • התוכנית משתמשת ברשת ברירת המחדל של VPC לאשכול הראשי של GKE.
  • הוא יוצר שני VPC נוספים: אחד לכרטיס רשת (NIC) מארח שני, ואחד לתנועת גישה ישירה מרוחקת לזיכרון (RDMA) בין יחידות GPU.
  • התוכנית מחילה פרופיל רשת מוגדר מראש ומנוהל על ידי Google על ה-VPC שמשמש לתעבורת הנתונים של ה-GPU. הפרופיל הזה מגדיר באופן אוטומטי את הרשת לביצועי RDMA במהירות גבוהה וזמן אחזור קצר.
  • התבנית יוצרת באופן אוטומטי שמונה רשתות משנה ייעודיות בתוך ה-VPC של ה-RDMA, אחת לכל RDMA NIC ב-VM של המאיץ.
  • הוא מגדיר כללים של חומת אש שמאפשרים את כל תעבורת הנתונים מסוג TCP,‏ UDP ו-ICMP בין הצמתים באשכול.

רשתות לפריסות של GKE

הגדרת הרשת של GKE תלויה בסוג עומס העבודה ובתשתית:

  • למעבדי GPU כלליים או לעומסי עבודה לא מבוזרים, צרו אשכול GKE בלי GPUDirect RDMA. בהגדרה הזו משתמשים ברשת VPC אחת לכל התקשורת.
  • לאשכולות GPU או לעומסי עבודה מבוזרים, צרו אשכול GKE עם GPUDirect RDMA מופעל. ההגדרה הזו משתמשת בסביבה עם כמה רשתות VPC שמפרידה בין תעבורת נתונים למטרות כלליות לבין תקשורת בין יחידות GPU ברוחב פס גבוה.

רשתות לפריסות של אשכולות Slurm

אתם יכולים להשתמש ב-Cluster Toolkit כדי לפרוס עומסי עבודה של AI ו-ML באמצעות תוכניות מותאמות אישית, כמו לסדרות A4 או A3 Ultra.

אלה רכיבי הרשת שמוגדרים בתוכנית לפריסות של Slurm באשכול GPU:

  • התוכנית יוצרת שלושה VPC נפרדים: VPC ראשי למישור הבקרה של Slurm, ‏VPC משני לתנועה כללית ברמת המארח ו-VPC ייעודי עם ביצועים גבוהים לתקשורת בין GPU ל-GPU.
  • במישור הנתונים של ה-GPU, התוכנית מיישמת פרופיל רשת מוגדר מראש בניהול Google, שעבר אופטימיזציה ל-RoCE.
  • התוכנית מגדירה טווח ייעודי של כתובות IP שנדרש לשירות Filestore, שמספק את הספרייה המשותפת /home לאשכול.
  • היא יוצרת VPC זמני ומבודד ליצירת קובץ אימג', שמשמש רק במהלך התהליך של יצירת קובץ האימג' של ה-VM בהתאמה אישית לצומתי האשכול.

רשתות למכונות Compute Engine

אתם יכולים להשתמש ב-Compute Engine כדי ליצור מכונות וירטואליות עצמאיות, מכונות בכמות גדולה וקבוצות של מכונות מנוהלות (MIG). דרישות הרשת הספציפיות תלויות במודל התשתית של סוג המכונה:

  • אשכולות GPU: בסדרות המכונות האלה (A5X,‏ A4X Max,‏ A4X,‏ A4,‏ A3 Ultra,‏ A3 Mega ו-A3 High עם 8 מעבדי GPU) בדרך כלל צריך להגדיר כמה רשתות VPC כדי להפריד בין תעבורת הנתונים הכללית בין המארחים לבין התקשורת בין מעבדי ה-GPU ברוחב פס גבוה. בפריסות של A5X,‏ A4X Max ו-A4X בתוך בלוק משנה יחיד, רשת ה-VPC של RDMA היא אופציונלית כי מארג ה-NVLink עם כמה צמתים מטפל בתקשורת בין יחידות ה-GPU.
  • מעבדי GPU כלליים: בסדרות המכונות האלה (G2,‏ G4,‏ A2 ו-N1 עם T4 או V100) משתמשים בארכיטקטורת VPC יחידה בממשקי gVNIC לכל התקשורת. מכונות A3 Edge הן יוצאות דופן, וצריך להגדיר בהן ארבעה VPC של נתונים ו-GPUDirect-TCPX.

מידע מפורט על כרטיסי הרשת והגדרת הרשת של סוג המכונה מופיע במאמר מכונות GPU ורשתות.

המאמרים הבאים