אזורי AI

במאמר הזה מוסבר על אזורי AI ב-Cloud Storage. אזורי AI הם אזורים ייעודיים שמיועדים לספק קיבולת מחשוב לעומסי עבודה של בינה מלאכותית (AI) ולמידת מכונה (ML). Google Cloud הם מספקים קיבולת משמעותית של מאיצי למידת מכונה (GPU ו-TPU).

אזורי AI מותאמים לעומסי עבודה של AI ו-ML, כמו:

  • אימון בקנה מידה גדול
  • אימון בקנה מידה קטן, כוונון, הסקת מסקנות בכמות גדולה ואימון מחדש
  • הסקת מסקנות בזמן אמת באמצעות למידת מכונה

למידע רקע על אזורי AI, קראו את המאמר אזורי AI במסמכי התיעוד של Compute Engine.

באזור מסוים, יכול להיות שאזורי ה-AI יהיו מרוחקים גיאוגרפית מאזורים רגילים (ללא AI).

אזורי AI תואמים לתכונות אחרות של Cloud Storage ושל Google Cloud.

המלצות לארכיטקטורת אחסון

מומלץ להשתמש בארכיטקטורת אחסון מדורגת כדי לאזן בין עלות, עמידות וביצועים:

  • שכבת אחסון בארכיון: שימוש בקטגוריות אזוריות של Cloud Storage באזורים רגילים לאחסון עמיד ומתמיד ('מקור האמת') של מערכי נתוני האימון ונקודות הביקורת של המודלים.

  • שכבת ביצועים: שימוש בשירותי אחסון ייעודיים לאזורים, שישמשו כמטמון במהירות גבוהה או כמרחב זמני לטיוטות. הגישה הזו מבטלת את זמן האחזור בין האזורים ומגדילה את קצב הנתונים במהלך משימות פעילות.

כדי לשפר את הביצועים של מערכות AI ו-ML באמצעות אזורי AI, מומלץ להשתמש בפתרונות האחסון הבאים:

מוצר או שירות אחסון תיאור תרחישים לדוגמה
מוצר Rapid Cache של Cloud Storage

מטמון קריאה אזורי מנוהל לחלוטין, שמגובה ב-SSD ומעביר נתונים שנקראים לעיתים קרובות מקטגוריה לאזור ה-AI.

יוצרים מכונה של Rapid Cache באזור AI בשביל קטגוריית המקור האזורית שמכילה את המודלים או את מערכי הנתונים לאימון שרוצים להציג. כשמשימת האימון קוראת קובץ, הקובץ נשלף למטמון המהיר באזור. פעולות קריאה עוקבות מוגשות ישירות מהמטמון, תוך עקיפת הרשת האזורית. זה אידיאלי לדפוסי גישה חוזרים לנתונים באימון מודלים ולפרסום מודלים עם זמן אחזור קצר.

מומלץ בשביל:

  • עומסי עבודה שכוללים הרבה קריאה
  • אימון מודלים ומילוי בקשות בזמן אחזור קצר
‫Rapid Bucket ב-Cloud Storage

יכולת עם ביצועים גבוהים שמאפשרת לאתר קטגוריות באזורים ולהשתמש בסוג האחסון Rapid. הם מותאמים לעומסי עבודה שדורשים הרבה פעולות קלט/פלט, ומיועדים במיוחד לאפליקציות AI/ML שצריכות להיות באותו מיקום פיזי כמו הנתונים שהן צריכות לגשת אליהם.

כדי לבצע אופטימיזציה של מאגר הנתונים לעומסי עבודה שדורשים זמן אחזור קצר ותפוקה גבוהה, יוצרים קטגוריה ברמת האזור שמשתמשת ב-Rapid Storage, ואז טוענים את הקטגוריה כספרייה במכונה הווירטואלית באמצעות Cloud Storage FUSE. אחר כך אתם יכולים להגדיר את האפליקציה כך שתאחסן נתונים בקטגוריה האזורית או תיגש אליהם דרך נקודת הקישור של הקטגוריה. לדוגמה, כדי לאחסן נקודות אימות של מודלים בקטגוריה האזורית, מגדירים את ספריית נקודות האימות לנקודת ההרכבה בקוד האימון.

כדי לשמור על עמידות אזורית, אתם יכולים לגבות את נקודות הבדיקה בקטגוריות אזוריות, במספר אזורים או בשני אזורים. משתמשים ב-Storage Transfer Service כדי להעביר נתונים מקטגוריה אזורית לקטגוריה במיקום אחר. אפשר להשתמש בניהול מחזור החיים של אובייקטים כדי להגדיר תפוגה ומחיקה של נתונים אחרי פרק זמן מסוים.

מומלץ בשביל:

  • עומסי עבודה של קריאה וכתיבה בתפוקה גבוהה
  • נקודות ביקורת במהירות גבוהה
  • אימון מודלים ומילוי בקשות בזמן אחזור קצר

שיטות מומלצות

כדאי לפעול לפי השיטות המומלצות הבאות לאחסון כשמשתמשים באזורי AI:

  • מקצים את שכבת הביצועים באותו אזור AI שבו נמצאים משאבי המחשוב. הצבת המחשוב והאחסון באותו מיקום עוזרת לוודא שה-GPU וה-TPU נשארים רוויים לחלוטין, וכך למקסם את ה-goodput (קצב העברת נתונים שימושי).

  • ב-Rapid Cache, לפני שמתחילים את תקופת האימון הראשונית, צריך לקרוא מראש את קבוצת הנתונים כדי לאכלס או לחמם את המטמון שמגובה ב-SSD.

אזורי AI זמינים

בטבלה הבאה מפורטים אזורי ה-AI והאזורים הראשיים שלהם ב- Google Cloud.

אזור גיאוגרפי אזור הורה אזור ה-AI
אירופה europe-west4 europe-west4-ai1a
ארצות הברית us-central1 us-central1-ai1a
ארצות הברית us-south1 us-south1-ai1b

לתשומת ליבכם

  • אפשר לגשת למוצרי Google Cloud באזור Google Cloud דרך אזור ה-AI של האזור. עם זאת, גישה לשירותים באזור Google Cloudמאזור AI יכולה להוסיף זמן אחזור ברשת, כי המיקום של אזור ה-AI עשוי להיות נפרד פיזית מהמיקומים של האזורים הרגילים באזור.

  • מומלץ להריץ עומסי עבודה שלא קשורים ל-ML באזורים רגילים, ולא באזורי AI, כי באזורי AI לא כל שירותי Google Cloud זמינים באופן מקומי.

המאמרים הבאים