יצירת אשכול GKE מותאם אישית שעבר אופטימיזציה ל-AI ומשתמש ב-G2 או ב-G4

General GPUs

במאמר הזה מוסבר איך ליצור אשכולות מותאמים אישית של Google Kubernetes Engine ‏ (GKE) שמשתמשים בסדרת המכונות G2 (NVIDIA L4) או G4 (NVIDIA RTX PRO 6000) שעברו אופטימיזציה להאצה, כדי לתמוך בעומסי העבודה של בינה מלאכותית (AI) ולמידת מכונה (ML). ‫G2 ו-G4 הן סדרות מכונות GPU כלליות, שמספקות משאבי מחשוב עצמאיים שמיועדים למשימות AI נפוצות, כמו הסקה קטנה עד בינונית ואפליקציות עתירות גרפיקה.

‫GKE מספק פלטפורמה יחידה להרצת מגוון רחב של עומסי עבודה בארגון, וכך מצמצם את העומס התפעולי שנובע מניהול של כמה פלטפורמות.

כדי ליצור אשכול GKE שעבר אופטימיזציה ל-AI עם G2 או G4, צריך:

1. יצירת סביבת GKE
2. התחברות לאשכול
3. הגדרת מניפסטים של Pod

לפני שמתחילים

לפני שמתחילים, חשוב לוודא שביצעתם את הפעולות הבאות:

• מפעילים את ממשק Google Kubernetes Engine API.
הפעלת Google Kubernetes Engine API
• כדי להשתמש ב-CLI של Google Cloud למשימה הזו, צריך להתקין ואז לאתחל את ה-CLI של gcloud. אם התקנתם בעבר את ה-CLI של gcloud, מריצים את הפקודה gcloud components update כדי לקבל את הגרסה העדכנית. יכול להיות שגרסאות קודמות של ה-CLI של gcloud לא יתמכו בהרצת הפקודות שמופיעות במסמך הזה.
  הערה: אם כבר התקנתם את ה-CLI של gcloud, הקפידו להגדיר את compute/region המאפיין. אם אתם משתמשים בעיקר באשכולות אזוריים, עליכם להגדיר את compute/zone במקום זאת. אם מגדירים מיקום ברירת מחדל, אפשר להימנע משגיאות ב-CLI של gcloud כמו השגיאה הבאה: One of [--zone, --region] must be supplied: Please specify location. יכול להיות שתצטרכו לציין את המיקום בפקודות מסוימות אם המיקום של האשכול שונה מברירת המחדל שהגדרתם.

התפקידים הנדרשים

כדי לקבל את ההרשאות שדרושות ליצירה ולניהול של אשכול GKE, צריך לבקש מהאדמין להקצות לכם את תפקידי ה-IAM הבאים בפרויקט:

• אדמין ב-Kubernetes Engine (roles/container.admin)
• אדמין ב-Compute (roles/compute.admin)

להסבר על מתן תפקידים, ראו איך מנהלים את הגישה ברמת הפרויקט, התיקייה והארגון.

יכול להיות שאפשר לקבל את ההרשאות הנדרשות גם באמצעות תפקידים בהתאמה אישית או תפקידים מוגדרים מראש.

בחירת אפשרות צריכה וקבלת קיבולת

1. בוחרים אפשרות צריכה. הבחירה צריכה להתבסס על האופן שבו רוצים לקבל ולהשתמש במשאבי GPU. מידע נוסף זמין במאמר בנושא בחירת אפשרות צריכה.

   ב-GKE, כדאי לקרוא את המידע הנוסף הבא כשבוחרים אפשרות צריכה:

   • מידע נוסף על flex-start ‏(Preview) ו-GKE זמין במאמר מידע על זמינות של GPU עם flex-start.
   • המיקום של מודעות עם גמישות בתאריכי ההתחלה נעשה בצורה קומפקטית ככל האפשר. כדי לבדוק את הטופולוגיה, אפשר לעיין במאמר הצגת הטופולוגיה הפיזית של הצמתים באשכול GKE.
   • אפשר לקבל מידע על הטופולוגיה רק כשמשתמשים במכונות וירטואליות מסוג Spot אם מגדירים מיקום קומפקטי.

2. קבלת קיבולת. כך מקבלים קיבולת לאפשרות התשלום לפי צריכה.

דרישות

כדי ליצור אשכול GKE שעבר אופטימיזציה ל-AI ומשתמש ב-G2 או ב-G4, צריך לוודא שאתם עומדים בדרישות הבאות:

• גרסת GKE: מכונות G4‏ (RTX PRO 6000) דורשות גרסה 1.32.4-gke.1698000 של GKE ואילך.
• מנהלי התקנים (דרייברים) של GPU: בצמתי ה-GPU צריך להשתמש בדרייבר NVIDIA מגרסה 535 ואילך.

מגבלות

המגבלות הבאות חלות על סדרות המכונות G2 ו-G4 כסדרות של GPU כללי:

• אחסוני SSD מקומיים: סוגי המכונות G2 ו-G4 לא כוללים כברירת מחדל דיסקים של אחסוני SSD מקומיים. אם צריך, אפשר לצרף אותם באופן ידני.
• NCCL Fast Socket: אי אפשר להשתמש ב-NCCL Fast Socket במכונות G2 או G4 ב-GKE. מכונות G2 ו-G4 תומכות בתקשורת בין צמתים, אבל הן משתמשות ברישות VPC רגיל. לאימון מבוזר בקנה מידה גדול שדורש תפוקת רשת מקסימלית, מומלץ להשתמש בסדרת מכונות GPU באשכול, כמו A3 High או A3 Mega (שמשתמשות ב-GPUDirect TCPX) או A3 Ultra ו-A4 (שמשתמשות ב-GPUDirect RDMA).

יצירת סביבת GKE

אפשר ליצור אשכול במצב Autopilot או במצב רגיל.

טייס אוטומטי

כדי ליצור אשכול Autopilot, מריצים את הפקודה הבאה:

gcloud container clusters create-auto CLUSTER_NAME \
    --region=REGION

מחליפים את מה שכתוב בשדות הבאים:

• ‫CLUSTER_NAME: השם של האשכול.
• ‫REGION: האזור של האשכול.

רגילה

יוצרים אשכול רגיל ומאגר צמתים של GPU:

1. כדי ליצור אשכול רגיל, מריצים את הפקודה הבאה:

   gcloud container clusters create CLUSTER_NAME \
       --region=REGION \
       --enable-ip-alias
   

   מחליפים את מה שכתוב בשדות הבאים:

   • ‫CLUSTER_NAME: השם של האשכול.
   • ‫REGION: האזור של האשכול.

2. יוצרים את מאגר הצמתים. אחרי שיוצרים את האשכול, אפשר להוסיף מאגר צמתים עם G2 או G4. במקרה של עומסי עבודה מרובי-צמתים שמשתמשים ב-G2‏ (L4) או ב-G4‏ (RTX PRO 6000), מומלץ להשתמש במדיניות מיקום קומפקטית כדי לצמצם את זמן האחזור ברשת בין הצמתים.

   כדי ליצור מאגר צמתים, משתמשים בפקודה הבאה:

   טיפ: כדי להריץ עומסי עבודה עתירי גרפיקה במכונת ה-VM הזו, צריך להשתמש בסוג המאיץ nvidia-l4-vws (ל-G2) או nvidia-rtx-pro-6000-vws (ל-G4) כי הוא תומך ב-NVIDIA RTX Virtual Workstation (vWS). כשיוצרים מכונה וירטואלית שמשתמשת ב-NVIDIA RTX Virtual Workstation, ‏ Compute Engine מוסיף באופן אוטומטי רישיון vWS. מידע על התמחור של תחנות עבודה וירטואליות זמין בדף התמחור של יחידות ה-GPU.

   G2 (NVIDIA L4)‎

   gcloud container node-pools create NODE_POOL_NAME \
       --cluster=CLUSTER_NAME \
       --region=REGION \
       --node-locations=ZONE \
       --machine-type=MACHINE_TYPE \
       --accelerator=type=nvidia-l4,count=AMOUNT,gpu-driver-version=LATEST \
       --placement-type=COMPACT \
       --scopes="https://www.googleapis.com/auth/cloud-platform" \
       --local-ssd-count=LOCAL_SSD_COUNT
   

   G4 (NVIDIA RTX PRO 6000)‎

   gcloud container node-pools create NODE_POOL_NAME \
       --cluster=CLUSTER_NAME \
       --region=REGION \
       --node-locations=ZONE \
       --machine-type=MACHINE_TYPE \
       --accelerator=type=nvidia-rtx-pro-6000,count=AMOUNT,gpu-driver-version=LATEST \
       --disk-type=hyperdisk-balanced \
       --placement-type=COMPACT \
       --scopes="https://www.googleapis.com/auth/cloud-platform" \
       --local-ssd-count=LOCAL_SSD_COUNT
   

   G4 Virtual Workstation (vWS)

   gcloud container node-pools create NODE_POOL_NAME \
       --cluster=CLUSTER_NAME \
       --region=REGION \
       --node-locations=ZONE \
       --machine-type=MACHINE_TYPE \
       --accelerator=type=nvidia-rtx-pro-6000-vws,count=AMOUNT,gpu-driver-version=LATEST \
       --disk-type=hyperdisk-balanced \
       --placement-type=COMPACT \
       --scopes="https://www.googleapis.com/auth/cloud-platform" \
       --local-ssd-count=LOCAL_SSD_COUNT
   

   מחליפים את מה שכתוב בשדות הבאים:

   • ‫NODE_POOL_NAME: השם של מאגר הצמתים.
   • ‫CLUSTER_NAME: השם של האשכול.
   • ‫REGION: האזור של האשכול.
   • ‫ZONE: אזור אחד או יותר באזור שלכם שבו יחידות ה-GPU המבוקשות זמינות, לדוגמה, us-central1-a. הפעולה הזו נדרשת כשמשתמשים במיקום מודעה קומפקטי.
   • ‫MACHINE_TYPE: סוג המכונה של הצמתים, לדוגמה, g2-standard-4 למכונות G2 ו-g4-standard-48 למכונות G4.
   • ‫AMOUNT: מספר יחידות ה-GPU לצירוף לכל צומת.
   • ‫LOCAL_SSD_COUNT: מספר נפחי ה-SSD המקומיים שיוקצו לכל צומת.

התחברות לאשכול

מתחברים לאשכול כדי להריץ את הפקודות של kubectl בקטעים הבאים:

gcloud container clusters get-credentials CLUSTER_NAME \
    --region=REGION

מחליפים את מה שכתוב בשדות הבאים:

• ‫CLUSTER_NAME: השם של האשכול.
• ‫REGION: האזור של האשכול.

מידע נוסף זמין במאמר התקנה של kubectl והגדרת גישה לאשכול.

הגדרת מניפסטים של Pod (ב-Autopilot בלבד)

אם יצרתם אשכול Autopilot, אתם צריכים לבחור את ה-GPU המתאים במניפסטים של ה-Pod כדי ש-GKE יקצה את החומרה.

1. מציינים את סוג ה-GPU שנבחר ואת ההזמנה הספציפית באמצעות בוררי צמתים:

   spec:
     nodeSelector:
       cloud.google.com/gke-accelerator: ACCELERATOR
       cloud.google.com/gke-gpu-driver-version: latest
       # Optional: Include if using reserved capacity
       cloud.google.com/reservation-name: RESERVATION_NAME
       cloud.google.com/reservation-affinity: "specific"
   

   מחליפים את מה שכתוב בשדות הבאים:

   • ‫ACCELERATOR: המאיץ שהזמנתם. צריך להשתמש ב-nvidia-l4 (ל-G2), ב-nvidia-rtx-pro-6000 (ל-G4) או ב-nvidia-rtx-pro-6000-vws (ל-G4 עם תחנת עבודה וירטואלית).
   • ‫RESERVATION_NAME: השם של הזמנת הקיבולת ב-Compute Engine. כדי להשתמש בהזמנות משותפות או בבלוקים ספציפיים ובלוקים משניים של הזמנות, אפשר לעיין בקטעים הרלוונטיים במאמר שימוש במשאבים שמורים בנתיב אזורי.

2. מוסיפים את המשאבים הבאים למאגר שמבקש מעבדי GPU:

   containers:
     - name: my-container
       resources:
         limits:
           nvidia.com/gpu: AMOUNT
   

   מחליפים את AMOUNT במספר ה-GPU לצירוף לכל צומת.

המאמרים הבאים

• תזמון של עומסי עבודה ב-GKE
• הפעלת חיזוי של תקינות הצמתים