ב-Cloud Storage יש את Rapid Bucket ואת Rapid Cache, שעוזרים לכם לבצע אופטימיזציה של אחסון הנתונים לתרחישי שימוש עם ביצועים גבוהים, כמו בינה מלאכותית (AI), למידת מכונה (ML) וניתוח נתונים עתירי נתונים. במאמר הזה נציג את האפשרויות האלה ונעזור לכם לבחור את האפשרות שהכי מתאימה לצרכים של עומסי העבודה שלכם.
משפחת המוצרים Cloud Storage Rapid
Cloud Storage Rapid היא משפחה של מוצרים עם ביצועים גבוהים ב-Cloud Storage, שנועדו לפתור צווארי בקבוק של נתונים בעומסי עבודה של AI/ML וניתוח נתונים. ככל שהמורכבות של מודלים של AI/ML גדלה וקבוצות הנתונים מגיעות לגודל של פטה-בייט, ביצועי האחסון הופכים לעיתים קרובות לצוואר הבקבוק העיקרי של אשכולות GPU ו-TPU יקרים. ב-Cloud Storage Rapid נעשה שימוש בארכיטקטורות אזוריות כדי לקרב את הנתונים למשאבי המחשוב, וכך לשמור על רוויה של המאיצים, לקצר את זמני האימון ולהפחית את עלות הבעלות הכוללת (TCO) של עומסי העבודה הכי תובעניים.
Cloud Storage Rapid כולל את Rapid Bucket ואת Rapid Cache.
אחסון נתונים בקטגוריית האחסון Rapid Storage באמצעות Rapid Bucket
Rapid Bucket הוא פתרון לאחסון אובייקטים באזורים ספציפיים, שמאפשר לאחסן נתונים בסוג האחסון Rapid על ידי הגדרת אזור כמיקום של הקטגוריה. בעזרת Rapid Bucket אתם יכולים למקם את הנתונים באותו אזור פיזי שבו נמצאים מאיצי ה-AI, וכך ליהנות מהזמן האחזור הכי קצר ומקצב העברת הנתונים הכי גבוה מבין כל המוצרים של Cloud Storage. Rapid Bucket מספק זמן אחזור של פחות מאלפית השנייה, קצב העברת נתונים מצטבר של עד 15TB לשנייה, ותומך בעד 20 מיליון שאילתות לשנייה (QPS).
ב-Rapid Bucket אפשר להוסיף אובייקטים בסטרימינג עם שמירת מצב, וכך אפליקציות יכולות לכתוב נתונים לאובייקטים קיימים בזמן אמת. היכולת הזו מאפשרת לכם להימנע משכתובים יקרים של אובייקטים, ומאפשרת לראות את הנתונים באופן מיידי, כך שאפליקציות צרכניות יכולות לקרוא נתונים בזמן שהם נכתבים.
השימוש הכי טוב: אימון, נקודות ביקורת והצגת מודלי AI שדורשים זמן אחזור נמוך במיוחד וביצועים דטרמיניסטיים גבוהים
מתי כדאי להשתמש באפשרות הזו: כשרוצים ביצועים גבוהים ייעודיים גם לקריאה וגם לכתיבה
במאמר יצירת קטגוריות לפי אזור מוסבר איך יוצרים קטגוריות לפי אזור באמצעות Rapid Bucket.
יצירת מטמונים אזוריים באמצעות Rapid Cache
Rapid Cache הוא מטמון קריאה מנוהל לחלוטין שמבוסס על SSD, ופועל עם הקטגוריות הקיימות שלכם באזור, בשני אזורים או במספר אזורים בלי צורך בשינויים ב-API. המטמון מספק קיבולת אחסון זמנית ורוחב פס שמותאמים אוטומטית לעומס (scaling) בהתאם לצורכי עומסי העבודה. הנתונים נקלטים באופן אוטומטי במטמון מהקטגוריה כשהם נקראים על ידי מכונה וירטואלית שנמצאת באותו אזור כמו המטמון.
Rapid Cache מספקת תפוקה מצטברת של 2.5TB/s ומפחיתה את זמן האחזור לקריאות מהירות יותר, על ידי מיקום הנתונים באותם אזורים שבהם נמצאות המכונות הווירטואליות. בנוסף להצגת נתונים מהר יותר, נתונים שמוצגים ממטמון יכולים להיות כרוכים בעמלות נמוכות יותר על העברת נתונים, על אחזור נתונים ועל תפעול, בהשוואה לנתונים שמוצגים ישירות מקטגוריה. מידע נוסף זמין בקטע יתרונות של Rapid Cache.
השימוש הכי טוב: אימון, שחזור נקודות ביקורת והצגת מודלים של AI שדורשים רוחב פס גבוה לקריאה מקטגוריה קיימת של Cloud Storage
מתי כדאי להשתמש באפשרות הזו? אם יש לכם מאגר נתונים קיים בקטגוריה של Cloud Storage שאתם רוצים להאיץ.
כדי ללמוד איך להשתמש ב-Rapid Cache, ראה איך יוצרים ומנהלים מטמונים.