המדריך הזה יעזור לכם להעריך את דרישות האחסון של עומס העבודה בענן, להבין את אפשרויות האחסון שזמינות ב- Google Cloudולתכנן אסטרטגיית אחסון שתספק ערך טכני ועסקי אופטימלי.
למידע על בחירת שירותי אחסון לעומסי עבודה של AI ו-ML, קראו את המאמר סקירה כללית על שירותי אחסון לעומסי עבודה של AI ו-ML ב-AI Hypercomputer.
סקירה כללית של תהליך העיצוב
כ-Cloud Architect, כשמתכננים אחסון לעומס עבודה בענן, צריך קודם להביא בחשבון את המאפיינים הפונקציונליים של עומס העבודה, את מגבלות האבטחה, את דרישות העמידות, את הציפיות לגבי הביצועים ואת יעדי העלות. אחר כך צריך לבדוק את שירותי האחסון והתכונות שזמינים ב-Google Cloud. לאחר מכן, בהתאם לדרישות שלכם ולאפשרויות הזמינות, אתם בוחרים את שירותי האחסון והתכונות שאתם צריכים. בתרשים הבא מוצג תהליך התכנון התלת-שלבי:
הגדרת הדרישות
השתמשו בשאלונים שבקטע הזה כדי להגדיר את דרישות האחסון העיקריות של עומס העבודה שאתם רוצים לפרוס ב- Google Cloud.
הנחיות להגדרת דרישות האחסון
כשעונים על השאלונים, כדאי לפעול לפי ההנחיות הבאות:
הגדרת דרישות ברמת פירוט גבוהה
לדוגמה, אם האפליקציה שלכם צריכה אחסון קבצים שמבוסס על מערכת קובצי רשת (NFS), צריך לזהות את גרסת ה-NFS הנדרשת.
התחשבות בדרישות עתידיות
לדוגמה, יכול להיות שהפריסה הנוכחית שלכם משרתת משתמשים במדינות באסיה, אבל אתם מתכננים להרחיב את העסק ליבשות אחרות. במקרה כזה, כדאי להביא בחשבון את כל הדרישות הרגולטוריות שקשורות לאחסון באזורים העסקיים החדשים.
הזדמנויות ודרישות ספציפיות לענן
לנצל הזדמנויות ספציפיות לענן.
לדוגמה, כדי לשפר את עלות האחסון של נתונים ב-Cloud Storage, אתם יכולים לשלוט במשך האחסון באמצעות מדיניות שמירת נתונים והגדרות של מחזור חיים.
כדאי להביא בחשבון דרישות ספציפיות לענן.
לדוגמה, יכול להיות שהנתונים המקומיים נמצאים במרכז נתונים אחד, ואתם צריכים לשכפל את הנתונים שהועברו בשני מיקומים ב-Google Cloud כדי ליצור יתירות.
שאלונים
השאלונים הבאים הם לא רשימות מקיפות של משימות לתכנון. השתמשו בהם כנקודת התחלה לניתוח שיטתי של כל דרישות האחסון של עומס העבודה שאתם רוצים לפרוס ב- Google Cloud.
הערכת המאפיינים של עומס העבודה
איזה סוג של נתונים אתם צריכים לאחסן?
דוגמאות
- תוכן סטטי של אתר
- גיבויים וארכיונים לתוכנית התאוששות מאסון (DR)
- יומני ביקורת לצורכי תאימות
- אובייקטים גדולים של נתונים שהמשתמשים מורידים ישירות
- נתוני עסקאות
- נתונים לא מובנים והטרוגניים
כמה נפח אחסון דרוש לך? חשבו על הדרישות הנוכחיות והעתידיות שלכם.
האם הקיבולת צריכה להשתנות באופן אוטומטי בהתאם לשימוש?
מהן דרישות הגישה? לדוגמה, האם צריכה להיות גישה לנתונים מחוץ ל- Google Cloud?
מהן תבניות הקריאה והכתיבה הצפויות?
דוגמאות
- כתיבה וקריאה תכופות
- כתיבה תכופה, אבל קריאה מדי פעם
- כתיבה וקריאה מדי פעם
- כתיבה מדי פעם, אבל קריאה לעיתים קרובות
האם עומס העבודה צריך גישה מבוססת-קובץ, למשל באמצעות NFS?
האם כמה לקוחות צריכים להיות מסוגלים לקרוא או לכתוב נתונים בו-זמנית?
זיהוי אילוצי אבטחה
מהן הדרישות שלכם להצפנת נתונים? לדוגמה, האם אתם צריכים להשתמש במפתחות בשליטתכם?
האם יש דרישות לגבי מיקום אחסון הנתונים?
הגדרת דרישות לעמידות הנתונים
- האם עומס העבודה שלכם דורש שמירה במטמון עם זמן אחזור קצר או שטח זמני?
- האם צריך לשכפל את הנתונים בענן לצורך יתירות?
- האם אתם צריכים עקביות קפדנית של קריאה וכתיבה במערכי נתונים משוכפלים?
הגדרת ציפיות לגבי הביצועים
מה קצב הקלט/פלט הנדרש?
מהן רמות הקצב של הקריאה והכתיבה שהאפליקציה צריכה?
לאילו סביבות דרוש לך אחסון? לעומס עבודה מסוים, יכול להיות שתצטרכו אחסון עם ביצועים גבוהים לסביבת הייצור, אבל תוכלו לבחור באפשרות עם ביצועים נמוכים יותר לסביבות ללא ייצור.
אפשרויות האחסון
ב-Google Cloud יש שירותי אחסון לכל הפורמטים העיקריים של אחסון: בלוקים, קבצים ואובייקטים. בדקו והעריכו את התכונות, אפשרויות העיצוב והיתרונות היחסיים של השירותים שזמינים לכל פורמט אחסון.
סקירה כללית
אחסון בלוקים (block storage)
הנתונים שאתם מאחסנים באחסון בלוקים מחולקים למקטעים, שכל אחד מהם מאוחסן כבלוק נפרד עם כתובת ייחודית. אפליקציות ניגשות לנתונים על ידי הפניה לכתובות הבלוקים המתאימות. אחסון בלוקים מותאם לעומסי עבודה עם IOPS גבוה, כמו עיבוד עסקאות. הוא דומה למערכות של רשתות אזור אחסון (SAN) מקומיות ואחסון מחובר ישירות (DAS).
אפשרויות האחסון בבלוקים ב- Google Cloud הן חלק משירות Compute Engine.
| אפשרות | סקירה כללית |
|---|---|
| Persistent Disk | כוננים קשיחים (HDD) וכונני SSD ייעודיים לאפליקציות של ארגונים ומסדי נתונים, שנפרסו במכונות וירטואליות של Compute Engine ובאשכולות של Google Kubernetes Engine (GKE). |
| Google Cloud Hyperdisk | אחסון מהיר ויתיר ברשת למכונות וירטואליות ב-Compute Engine ולאשכולות GKE, עם קיבולת שאפשר להגדיל באופן דינמי וביצועים שאפשר להגדיר. |
| SSD מקומי | אחסון בלוקים (block storage) זמני עם חיבור מקומי לאפליקציות עם ביצועים גבוהים. |
אחסון קבצים
הנתונים מאורגנים ומיוצגים בהיררכיה של קבצים שמאוחסנים בתיקיות, בדומה לאחסון ברשת (NAS) מקומי. אפשר לטעון מערכות קבצים בלקוחות באמצעות פרוטוקולים כמו NFS ופרוטוקול SMB (SMB). האפליקציות ניגשות לנתונים באמצעות שם הקובץ והנתיב לספרייה הרלוונטיים.
Google Cloud מספק מגוון פתרונות מנוהלים לאחסון קבצים.
| פתרון | סקירה כללית |
|---|---|
| Filestore |
אחסון מבוסס-קבצים באמצעות שרתי קבצים מסוג NFS למכונות וירטואליות ב-Compute Engine ולאשכולות GKE. |
| Google Cloud Managed Lustre |
מערכת קבצים מקבילה עם זמן אחזור קצר ל-AI, למחשוב עתיר ביצועים (HPC) ולאפליקציות עתירות נתונים. |
| Google Cloud NetApp Volumes | אחסון מבוסס-קבצים באמצעות פרוטוקולים של NFS, SMB או אחסון בלוקים. |
אחסון אובייקטים
הנתונים מאוחסנים כאובייקטים בהיררכיה שטוחה של קטגוריות. לכל אובייקט מוקצה מזהה ייחודי באופן גלובלי. לאובייקטים יכולים להיות מטא-נתונים שהמערכת מקצה או שהמשתמש מגדיר, כדי לעזור לכם לארגן ולנהל את הנתונים. אפליקציות ניגשות לנתונים באמצעות הפניה למזהי האובייקטים, באמצעות ממשקי API בארכיטקטורת REST או ספריות לקוח.
Cloud Storage מספק מאגר אובייקטים בעלות נמוכה, עמיד מאוד ועם יכולת התאמה רחבה לסוגי נתונים שונים. אפשר לגשת לנתונים שמאוחסנים ב-Cloud Storage מכל מקום, בתוך Google Cloudומחוץ לו. יתירות אופציונלית בין אזורים מספקת זמינות גבוהה ואמינות. אתם יכולים לבחור סוג אחסון שמתאים לדרישות שלכם לגבי שמירת נתונים ותדירות הגישה.
ניתוח השוואתי
בטבלה הבאה מפורטות היכולות העיקריות של שירותי האחסון ב-Google Cloud.
| Persistent Disk | Hyperdisk | אחסון SSD מקומי | Filestore | Managed Lustre | NetApp Volumes | Cloud Storage | |
|---|---|---|---|---|---|---|---|
| מגבלת קיבולת |
64TiB לכל דיסק ו-257TiB לכל VM. המפרטים העדכניים: מסמכי התיעוד של Persistent Disk |
64TiB לכל דיסק, 512TiB לכל VM ו-5PiB לכל מאגר אחסון. Google Cloud Hyperdisk Exapools הם מאגרי Hyperdisk עם קיבולת גדולה יותר. המפרטים העדכניים: מסמכי התיעוד של Hyperdisk |
375GiB לכל דיסק ו-12,000GiB לכל מכונה וירטואלית. דיסקים מסוג Titanium SSD תומכים בנפח של עד 6TiB לדיסק ו-84,000GiB לכל מכונה וירטואלית. המפרטים העדכניים: מסמכי התיעוד של SSD מקומי |
100TiB לכל מכונה, בהתאם לרמת השירות. | 80.1PiB לכל מכונה, בהתאם לרמת הביצועים. |
20PiB לכל Storage Pool ו-20PiB לכל נפח. המפרטים העדכניים: מסמכי התיעוד של NetApp Volumes |
5 TiB לכל אובייקט, בלי הגבלה לכל קטגוריה (חוץ מ-Rapid Bucket). המפרטים העדכניים: מסמכי התיעוד של Cloud Storage |
|
התאמה לעומס |
|
|
לא ניתן להתאמה | הגדלה והקטנה של קנה המידה (רמות אזוריות ושל תחום מוגדר) | הגדלה | הגדלה והקטנה של התצוגה | התאמה אוטומטית לעומס (scaling) על סמך השימוש |
| שיתוף |
יש תמיכה | יש תמיכה | אי אפשר לשתף | אפשר לטעון אותו בכמה מכונות וירטואליות של Compute Engine, לקוחות מרוחקים ואשכולות GKE. | אפשר לטעון אותו בכמה מכונות וירטואליות של Compute Engine ואשכולות GKE | אפשר לטעון אותו בכמה מכונות וירטואליות של Compute Engine, לקוחות מרוחקים ואשכולות GKE |
|
| אפשרויות למפתח הצפנה |
|
|
Google-owned and Google-managed encryption keys |
|
|
|
|
| התמדה |
משך החיים של הדיסק | משך החיים של הדיסק | זמני (הנתונים אובדים כשהמכונה הווירטואלית נעצרת או נמחקת) | משך החיים של מכונת Filestore | משך החיים של המכונה ב-Managed Lustre | משך החיים של הכרך | משך החיים של הקטגוריה |
| זמינות |
|
|
אזורי |
|
אזורי |
|
|
| ביצועים |
שינוי קנה מידה לינארי בהתאם לגודל הדיסק ולמספר המעבדים | אחסון מתמיד עם התאמה דינמית לעומס | אחסון זמני בביצועים גבוהים | לפי אזור ולפי תחום מוגדר: ביצועים בהתאמה אישית | התאמה לעומס (scaling) על סמך רמת הביצועים שנבחרה. | ביצועים ניתנים להתאמה הציפיות תלויות ברמת השירות. |
|
| ניהול |
פורמט וטעינה ידניים | פורמט וטעינה ידניים | פרמוט, חלוקה וטעינה ידניים | מנוהל באופן מלא | מנוהל באופן מלא | מנוהל באופן מלא | מנוהל באופן מלא |
בטבלה הבאה מפורטים סוגי עומסי העבודה שמתאימים לכל אחת מאפשרויות האחסון ב- Google Cloud:
| אפשרות אחסון | סוגי עומסי עבודה |
|---|---|
| Hyperdisk או Persistent Disk |
|
| אחסון SSD מקומי |
|
| Filestore |
|
| Managed Lustre |
|
| NetApp Volumes |
|
| Cloud Storage |
|
בחירת אפשרות אחסון
בחירת אפשרות אחסון כוללת שני חלקים:
- החלטה על שירותי האחסון שאתם צריכים.
- בחירת התכונות ואפשרויות העיצוב הנדרשות בשירות מסוים.
דוגמאות לתכונות ספציפיות לשירות ולאפשרויות עיצוב
Persistent Disk
- אזור ותחום (zone) לפריסה
- רפליקציה אזורית
- סוג הדיסק, הגודל ו-IOPS (ל-Extreme Persistent Disk)
- מפתחות הצפנה: Google-owned and Google-managed encryption keysאו בניהול הלקוח
- לוח זמנים של תמונות מצב
Hyperdisk
- אזור ותחום (zone) לפריסה
- סוג הדיסק, הגודל וקצב הנתונים או ה-IOPS שהוקצו
- מפתחות הצפנה: Google-owned and Google-managed encryption keysאו בניהול הלקוח
- שכפול: סינכרוני או אסינכרוני
- לוח זמנים של תמונות מצב
Filestore
- אזור ותחום (zone) לפריסה
- רמת המכונה
- קיבולת
- טווח כתובות IP: הקצאה אוטומטית או בהתאמה אישית
- בקרת גישה
Managed Lustre
- אזור הפריסה
- רמת הקיבולת והביצועים
- מפתחות הצפנה: Google-owned and Google-managed encryption keysאו בניהול הלקוח
NetApp Volumes
- אזור הפריסה
- רמת השירות של מאגר האחסון
- קיבולת המאגר והנפח
- פרוטוקול עוצמת הקול
- כללי ייצוא של אמצעי אחסון
Cloud Storage
- מיקום: מספר אזורים, שני אזורים, אזור יחיד, תחום יחיד
- סוג האחסון: Standard, Nearline, Coldline, Archive או Rapid
- בקרת גישה: אחידה או פרטנית
- מפתחות הצפנה: Google-owned and Google-managed encryption keys, בניהול הלקוח או באספקת הלקוח
- מדיניות שמירת נתונים
המלצות לגבי נפח האחסון
ההמלצות הבאות יכולות לשמש כנקודת התחלה לבחירת שירותי האחסון והתכונות שעונים על הדרישות שלכם. במאמר סקירה כללית של שירותי אחסון לעומסי עבודה של AI ו-ML ב-AI Hypercomputer מוסבר איך לבחור שירותי אחסון לעומסי עבודה של AI ו-ML.
לאפליקציות של AI, למידת מכונה ו-HPC שצריכות מערכת קבצים מקבילה, השתמשו ב-Managed Lustre.
לאפליקציות שצריכות גישה מבוססת-קובץ, בחרו שירות אחסון קבצים שמתאים לדרישות שלכם לגבי פרוטוקול גישה, זמינות וביצועים.
פרוטוקול גישה המלצה NFS - אם אתם צריכים זמינות אזורית וביצועים גבוהים שניתנים להגדרה, השתמשו ב-Filestore Regional או ב-NetApp Volumes Flex Unified.
- אם הזמינות באזור מספיקה:
- כדי להגדיר את הביצועים בנפרד מהקיבולת, צריך להשתמש ב-Filestore Zonal או ב-NetApp Volumes Flex Unified.
- כדי שהביצועים יותאמו לקיבולת, צריך להשתמש ב-Filestore Zonal או ב-NetApp Volumes Standard, Premium או Extreme.
מידע נוסף זמין במאמרים רמות השירות של Filestore ורמות השירות של NetApp Volumes.
SMB שימוש ב-NetApp Volumes. לעומסי עבודה שדורשים אחסון ראשי עם ביצועים גבוהים, השתמשו ב-Hyperdisk, ב-SSD מקומי או ב-Persistent Disk, בהתאם לדרישות שלכם.
דרישה המלצה דיסק אחסון נדיף (scratch disk) או מטמון מהיר שימוש בדיסקים של SSD מקומי (זמני). אחסון בלוקים עם ביצועים וקיבולת שניתן להתאים לעומס באופן עצמאי להשתמש ב-Hyperdisk, שהוא אחסון הבלוקים העמיד שמומלץ על ידי Google ונדרש לסדרות המכונות העדכניות ביותר. בוחרים את סוג הדיסק המתאים בהתאם לדרישות:
- עומסי עבודה למטרות כלליות:
hyperdisk-balanced - עומסי עבודה גבוהים של קלט/פלט, כמו מסדי נתונים עם ביצועים גבוהים:
hyperdisk-extreme - ניתוח נתונים בהרחבה אופקית, כונני נתונים לאפליקציות שרגישות לעלויות ואחסון נתונים בשימוש נדיר (cold storage):
hyperdisk-throughput - עומסי עבודה של ML שדורשים תפוקה גבוהה לכמה מכונות וירטואליות במצב קריאה בלבד:
hyperdisk-mlבמצב קריאה בלבד - כמה מכונות וירטואליות עם גישת כתיבה בו-זמנית לאותו דיסק:
hyperdisk-balanced-high-availability(בשני אזורים באותו מחוז) אוhyperdisk-balancedאוhyperdisk-extreme(באזור אחד) במצב multi-writer
מידע נוסף זמין במאמר מידע על Hyperdisk.
אחסון בלוקים (block storage) עם קיבולת ניתנת להתאמה למכונות וירטואליות מהדור הקודם שימוש בדיסק אחסון מתמיד (persistent disk). בוחרים את סוג הדיסק המתאים לפי הדרישות:
- IOPS רציף:
pd-standard - עומסי עבודה שדורשים הרבה פעולות קלט/פלט לשנייה:
pd-extremeאוpd-ssd - איזון בין ביצועים לעלות:
pd-balanced
מידע נוסף זמין במאמר מידע על Persistent Disk.
- בהתאם לדרישות היתירות, בוחרים בין דיסקים אזוריים לדיסקים של אזור נתון.
דרישה המלצה יתירות בתחום אחד באזור משתמשים ב-Hyperdisk או ב-Persistent Disk של תחום מוגדר. יתירות בכמה אזורים בתוך אזור משתמשים ב-Google Cloud Hyperdisk Balanced High Availability או ב-Persistent Disk אזורי.
- עומסי עבודה למטרות כלליות:
לאחסון בקנה מידה גדול וזמין ברחבי העולם, השתמשו ב-Cloud Storage.
בהתאם לתדירות הגישה לנתונים ולמשך האחסון, בוחרים סוג אחסון מתאים ב-Cloud Storage.
דרישה המלצה תדירות הגישה משתנה, או שתקופת שמירת הנתונים לא ידועה או לא צפויה. אתם יכולים להשתמש בתכונה סיווג אוטומטי כדי להעביר באופן אוטומטי את האובייקטים שבקטגוריה לסוגי אחסון מתאימים, בהתאם לתדירות הגישה לכל אובייקט. אחסון אזורי לעומסי עבודה שדורשים זמן אחזור של פחות מאלפית השנייה וקצב נתונים גבוה, כמו אימון AI ו-ML, נקודות ביקורת, הסקת מסקנות וניתוח נתונים. משתמשים ב-Rapid Bucket עם סוג האחסון Rapid. אחסון לנתונים שניגשים אליהם לעיתים קרובות, כולל ניתוח נתונים עם תפוקה גבוהה, אגמי נתונים, אתרים, סרטוני וידאו בסטרימינג ואפליקציות לנייד. משתמשים בסוג האחסון Standard.
כדי לשמור במטמון נתונים שניגשים אליהם לעיתים קרובות ולהציג אותם ממיקומים שקרובים ללקוחות, משתמשים ב-Cloud CDN.
בעומסי עבודה שכוללים הרבה קריאות, עם שינויים לא תכופים בנתונים וקריאות תכופות (כמו אימון ML, הסקת מסקנות וניתוח נתונים), אתם יכולים לשפר את ביצועי הקריאה ולהפחית את עלויות העברת הנתונים באמצעות Rapid Cache.
אחסון בעלות נמוכה לנתונים שניגשים אליהם לעיתים רחוקות, שאפשר לאחסן למשך 30 ימים לפחות (לדוגמה, גיבויים ותוכן מולטימדיה "זנב ארוך"). משתמשים בסוג האחסון Nearline. אחסון בעלות נמוכה לנתונים שניגשים אליהם לעיתים רחוקות, שאפשר לאחסן למשך 90 ימים לפחות (לדוגמה, תוכנית התאוששות מאסון). משתמשים בסוג האחסון Coldline. אחסון בעלות הנמוכה ביותר לנתונים שניגשים אליהם לעיתים רחוקות, שאפשר לאחסן למשך 365 ימים לפחות, כולל ארכיונים רגולטוריים. משתמשים בסוג האחסון Archive. לניתוח השוואתי מפורט, ראו סוגי אחסון ב-Cloud Storage.
אפשרויות להעברת נתונים
אחרי שבוחרים את שירותי האחסון המתאימים של Google Cloud , כדי לפרוס ולהריץ עומסי עבודה צריך להעביר את הנתונים אל Google Cloud. יכול להיות שהנתונים שאתם צריכים להעביר נמצאים בארגון או בפלטפורמות אחרות של שירותי ענן.
אפשר להשתמש בשיטות הבאות כדי להעביר נתונים אל Google Cloud:
- העברת נתונים אונליין באמצעות Storage Transfer Service: אוטומציה של העברת כמויות גדולות של נתונים בין מערכות לאחסון אובייקטים וקבצים, כולל Cloud Storage, Amazon S3, שירותי אחסון של Azure ומקורות נתונים מקומיים.
- העברת נתונים אופליין באמצעות Transfer Appliance: העברה וטעינה של כמויות גדולות של נתונים אופליין ל- Google Cloud במצבים שבהם החיבור לרשת ורוחב הפס לא זמינים, מוגבלים או יקרים.
- העלאת נתונים ל-Cloud Storage: העלאת נתונים אונליין לקטגוריות של Cloud Storage באמצעות מסוף Google Cloud , Google Cloud CLI, Cloud Storage API או ספריות לקוח.
כשבוחרים שיטה להעברת נתונים, צריך להביא בחשבון גורמים כמו גודל הנתונים, מגבלות זמן, זמינות רוחב הפס, יעדי עלות ודרישות אבטחה ותאימות. למידע על תכנון והטמעה של העברות נתונים אל Google Cloud, קראו את המאמר אפשרויות להעברת נתונים.
המאמרים הבאים
- הערכת עלות האחסון באמצעות מחשבון העלויות שלGoogle Cloud .
- מידע ולמידה על שיטות מומלצות לבניית טופולוגיית ענן שמותאמת לאבטחה, לעמידות, לעלות ולביצועים.
- לדוגמאות נוספות של ארכיטקטורות, תרשימים ושיטות מומלצות, עיינו במאמר Cloud Architecture Center.
שותפים ביצירת התוכן
מחבר: Kumar Dhanagopal | מפתח פתרונות חוצי-מוצרים
תורמים אחרים:
- Brennan Doyle | Solutions Architect
- דין הילדברנד | מנהל טכני, משרד ה-CTO
- ג'פרי נור | מנהל קבוצת מוצרים
- ג'ק ז'ו | כותב טכני
- ג'ייסון וו | מנהל, ניהול מוצר
- ג'ף אלן | אדריכל פתרונות
- סמנתה הי | כותבת טכנית
- שון דרינגטון | מנהל קבוצת מוצרים, אחסון