מערכות קבצים מקבילות לעומסי עבודה של HPC

Last reviewed 2025-05-19 UTC

במאמר הזה נציג את אפשרויות האחסון ב- Google Cloud לעומסי עבודה של מחשוב עתיר ביצועים (HPC), ונסביר מתי כדאי להשתמש במערכות קבצים מקבילות לעומסי עבודה של HPC. במערכת קבצים מקבילה, כמה לקוחות משתמשים בנתיבי קלט/פלט מקבילים כדי לגשת לנתונים משותפים שמאוחסנים בכמה צומתי אחסון ברשת.

המידע במאמר הזה מיועד לאדריכלים ולאדמינים שמתכננים, מקצים ומנהלים אחסון לעומסי עבודה של HPC שדורשים הרבה נתונים. במאמר אנחנו מניחים שאתם מכירים את המושגים מערכות קובצי רשת (NFS), מערכות קבצים מקבילות, POSIX ודרישות האחסון של אפליקציות HPC.

מה זה HPC?

מערכות HPC פותרות בעיות חישוביות גדולות במהירות על ידי צבירת משאבי מחשוב מרובים. מחשוב HPC מקדם מחקר וחדשנות בתעשיות שונות, כמו בריאות, מדעי החיים, מדיה, בידור, שירותים פיננסיים ואנרגיה. חוקרים, מדענים ואנליסטים משתמשים במערכות HPC כדי לבצע ניסויים, להריץ סימולציות ולהעריך אבות טיפוס. עומסי עבודה של HPC, כמו עיבוד סייסמי, ריצוף גנומי, רינדור מדיה ומודלים אקלימיים, יוצרים כמויות גדולות של נתונים וניגשים אליהם בקצבי נתונים הולכים וגדלים ובזמני אחזור הולכים וקטנים. אחסון וניהול נתונים עם ביצועים גבוהים הם אבני בניין קריטיות בתשתית HPC.

אפשרויות אחסון לעומסי עבודה של HPC ב- Google Cloud

ההגדרה וההפעלה של תשתית HPC מקומית הן יקרות, והתשתית דורשת תחזוקה שוטפת. בנוסף, בדרך כלל אי אפשר לשנות במהירות את קנה המידה של תשתית מקומית כדי להתאים אותה לשינויים בביקוש. תכנון, רכישה, פריסה והוצאה משימוש של חומרה מקומית דורשים זמן רב, וכתוצאה מכך יש עיכוב בהוספת משאבי HPC או ניצול חלקי של הקיבולת. בענן, אתם יכולים להקצות ביעילות תשתית HPC שמשתמשת בטכנולוגיה העדכנית ביותר, ולהתאים את הקיבולת לפי דרישה.

‫Google Cloud ושותפי הטכנולוגיה שלנו מציעים אפשרויות אחסון חסכוניות, גמישות וניתנות להתאמה, לפריסת תשתית HPC בענן ולהרחבת תשתית ה-HPC המקומית. מדענים, חוקרים ואנליסטים יכולים לגשת במהירות לקיבולת HPC נוספת לפרויקטים שלהם כשהם צריכים אותה.

כדי לפרוס עומס עבודה של HPC ב- Google Cloud, אתם יכולים לבחור מבין מוצרי ושירותי האחסון הבאים, בהתאם לדרישות של עומס העבודה:

סוג עומס העבודה מוצרים ושירותים מומלצים לאחסון
עומסי עבודה שצריכים גישה לנתונים עם זמן אחזור קצר, אבל לא דורשים קלט/פלט קיצוני למערכי נתונים משותפים, ושיש להם שיתוף נתונים מוגבל בין לקוחות. שימוש באחסון NFS. בוחרים אחת מהאפשרויות הבאות:
עומסי עבודה שיוצרים קלט/פלט מורכב, תלוי הדדית ובקנה מידה גדול, כמו אפליקציות HPC עם צימוד חזק שמשתמשות ב-Message-Passing Interface (MPI) לתקשורת אמינה בין תהליכים. להשתמש במערכת קבצים מקבילה. בוחרים אחת מהאפשרויות הבאות:
למידע נוסף על דרישות עומסי העבודה שמערכות קבצים מקבילות יכולות לתמוך בהן, קראו את המאמר מתי להשתמש במערכות קבצים מקבילות.

מתי כדאי להשתמש במערכות קבצים מקבילות

במערכת קבצים מקבילה, כמה לקוחות מאחסנים נתונים משותפים וניגשים אליהם בצמתים מרובים של אחסון ברשת, באמצעות נתיבי קלט/פלט מקבילים. מערכות קבצים מקבילות מתאימות במיוחד לעומסי עבודה של HPC עם צימוד חזק, כמו עומסי עבודה של בינה מלאכותית (AI) עם הרבה נתונים ועומסי עבודה של ניתוח נתונים שמשתמשים באפליקציות SAS. כדאי להשתמש במערכת קבצים מקבילה כמו Managed Lustre לעומסי עבודה של HPC שרגישים לזמן אחזור, אם יש להם את הדרישות הבאות:

  • עיבוד נתונים בצימוד חזק: עומסי עבודה של HPC, כמו מידול מזג אוויר וחיפוש סייסמי, צריכים לעבד נתונים באופן חוזר באמצעות משימות רבות שתלויות זו בזו ופועלות בו-זמנית בכמה שרתים. בדרך כלל, בתהליכים האלה משתמשים ב-MPI כדי להחליף נתונים במרווחי זמן קבועים, ובנקודות בדיקה כדי להתאושש במהירות מכשלים. מערכות קבצים מקבילות מאפשרות ללקוחות שתלויים זה בזה לאחסן כמויות גדולות של נתונים משותפים ולגשת אליהם בו-זמנית, דרך רשת עם זמן אחזור קצר.
  • תמיכה ב-POSIX I/O API ובסמנטיקה: מערכות קבצים מקבילות כמו Managed Lustre מתאימות במיוחד לעומסי עבודה שדורשים גם את POSIX API וגם סמנטיקה. ה-API של מערכת הקבצים והסמנטיקה שלו הם יכולות נפרדות. לדוגמה, NFS תומך ב-POSIX API, שבאמצעותו אפליקציות קוראות וכותבות נתונים באמצעות פונקציות כמו open(),‏ read() ו-write(). אבל הדרך שבה NFS מתאם את הגישה לנתונים בין לקוחות שונים לא זהה לסמנטיקה של POSIX לתיאום הגישה לנתונים בין שרשורים שונים במכונה. לדוגמה, NFS לא תומך בעקביות של מטמון POSIX read-after-write בין לקוחות. הוא מסתמך על עקביות חלשה ב-NFSv3 ועל עקביות close-to-open ב-NFSv4.
  • קיבולת של פטה-בייטים: אפשר להרחיב מערכות קבצים מקבילות לקיבולת של כמה פטה-בייטים במרחב שמות אחד של מערכת קבצים. ‫NetApp Volumes תומך בנפח של עד 1PB, ו-Filestore Regional ו-Zonal תומכים בנפח של עד 100TiB לכל מערכת קבצים. ב-Cloud Storage יש קיבולת אמינה וזולה שמתאימה את עצמה לעומס באופן אוטומטי, אבל יכול להיות שהיא לא תעמוד בדרישות של עומסי עבודה ב-HPC מבחינת סמנטיקה של שיתוף נתונים וזמן אחזור קצר.
  • זמן אחזור קצר ורוחב פס גבוה: בעומסי עבודה של HPC שצריכים גישה מהירה לקבצים גדולים מאוד או למיליוני קבצים קטנים, מערכות קבצים מקבילות יכולות להציג ביצועים טובים יותר מ-NFS ומאחסון אובייקטים. זמן האחזור של פחות מאלפית השנייה שמערכות קבצים מקבילות מספקות נמוך משמעותית מזה של מאגר אובייקטים, מה שיכול להשפיע על מספר ה-IOPS המקסימלי. בנוסף, רוחב הפס המקסימלי שנתמך במערכות קבצים מקבילות יכול להיות גדול בכמה סדרי גודל מזה של מערכות מבוססות NFS, מה שעלול להעמיס על כרטיס הרשת של ה-VM.
  • הרחבה קיצונית של לקוחות: אחסון NFS יכול לתמוך באלפי לקוחות. מערכות קבצים מקבילות יכולות להתרחב כדי לתמוך בגישה בו-זמנית לנתונים משותפים מיותר מ-10,000 לקוחות, וגם יכולות לספק קצב העברת נתונים גבוה בלי קשר למספר הלקוחות.

דוגמאות לאפליקציות HPC עם צימוד חזק

בקטע הזה מתוארות דוגמאות לאפליקציות HPC עם צימוד חזק, שצריכות אחסון עם זמן אחזור קצר וקצב העברת נתונים גבוה שמסופק על ידי מערכות קבצים מקבילות.

מודלים מולקולריים מבוססי-AI

מחקר פרמצבטי הוא תהליך יקר שכולל הרבה נתונים. ארגונים מודרניים שעוסקים במחקר תרופות מסתמכים על AI כדי להפחית את עלויות המחקר והפיתוח, להרחיב את הפעילות ביעילות תפעולית ולהאיץ את המחקר המדעי. לדוגמה, חוקרים משתמשים באפליקציות מבוססות-AI כדי לדמות את האינטראקציות בין המולקולות בתרופה ולחזות את ההשפעה של שינויים בתרכובות בתרופה. האפליקציות האלה פועלות על מעבדי GPU מקבילים וחזקים, שטוענים, מארגנים ומנתחים כמות עצומה של נתונים כדי להשלים סימולציות במהירות. מערכות קבצים מקבילות מספקות את ה-IOPS והתפוקה של האחסון שנדרשים כדי למקסם את הביצועים של אפליקציות AI.

ניתוח סיכוני אשראי באמצעות אפליקציות SAS

מוסדות של שירותים פיננסיים, כמו מלווים למשכנתאות ובנקים להשקעות, צריכים לנתח ולנטר באופן קבוע את כושר ההחזר של הלקוחות שלהם ואת תיקי ההשקעות שלהם. לדוגמה, חברות גדולות למתן משכנתאות אוספות מדי יום נתונים שקשורים לסיכונים לגבי אלפי לקוחות פוטנציאליים. צוותים של מנתחי אשראי משתמשים באפליקציות של ניתוח נתונים כדי לבדוק ביחד חלקים שונים של הנתונים של כל לקוח, כמו הכנסה, היסטוריית אשראי ודפוסי הוצאות. התובנות מהניתוח הזה עוזרות למנתחי האשראי לתת המלצות מדויקות ובזמן הנכון לגבי הלוואות.

כדי להאיץ ולהרחיב את ניתוח הנתונים של מערכי נתונים גדולים, מוסדות של שירותים פיננסיים משתמשים בפלטפורמות של מחשוב סריגי (Grid Computing), כמו SAS Grid Manager. מערכות קבצים מקבילות כמו Managed Lustre תומכות בדרישות האחסון של אפליקציות SAS עם ריבוי תהליכונים, שכוללות תפוקה גבוהה וזמן אחזור קצר.

תחזית מזג האוויר

כדי לחזות דפוסי מזג אוויר באזור גיאוגרפי מסוים, החזאים מחלקים את האזור לכמה תאים, ומציבים מכשירי ניטור כמו מכ"מים קרקעיים ובלוני מזג אוויר בכל תא. המכשירים האלה מודדים את התנאים האטמוספריים במרווחי זמן קבועים. המכשירים מעבירים נתונים בסטרימינג באופן רציף לאפליקציה לחיזוי מזג אוויר שפועלת באשכול HPC.

האפליקציה לחיזוי מזג האוויר מעבדת את הנתונים שמועברים בסטרימינג באמצעות מודלים מתמטיים שמבוססים על קשרים פיזיים ידועים בין הפרמטרים של מזג האוויר שנמדדו. משימה נפרדת מעבדת את הנתונים מכל תא באזור. כשהאפליקציה מקבלת מדידות חדשות, כל משימה עוברת על הנתונים האחרונים של התא שהוקצה לה, ומחליפה פלט עם המשימות של התאים האחרים באזור. כדי לחזות דפוסי מזג אוויר בצורה מהימנה, האפליקציה צריכה לאחסן ולשתף נתונים בנפח של טרה-בייטים, שנוצרים על ידי אלפי משימות שפועלות במקביל וניגשות אליהם.

CFD לעיצוב מטוסים

דינמיקת נוזלים חישובית (CFD) כוללת שימוש במודלים מתמטיים, חוקים פיזיקליים ולוגיקה חישובית כדי לדמות את ההתנהגות של גז או נוזל סביב אובייקט נע. כשמהנדסי מטוסים מתכננים את גוף המטוס, אחד הגורמים שהם מביאים בחשבון הוא אווירודינמיקה. CFD מאפשר למעצבים לדמות במהירות את ההשפעה של שינויים בעיצוב על האווירודינמיקה, לפני שהם משקיעים זמן וכסף בבניית אבות טיפוס יקרים. אחרי ניתוח התוצאות של כל הרצת סימולציה, המעצבים משפרים מאפיינים כמו הנפח והצורה של רכיבים ספציפיים בגוף המטוס, ומריצים סימולציה נוספת של האווירודינמיקה. באמצעות CFD, מעצבי מטוסים יכולים לדמות ביחד את ההשפעה של מאות שינויים כאלה בעיצוב במהירות.

כדי להשלים ביעילות סימולציות של עיצוב, אפליקציות CFD צריכות גישה לנתונים משותפים תוך פחות מאלפית השנייה, ויכולת לאחסן כמויות גדולות של נתונים במהירויות של עד 100GBps.

סקירה כללית של אפשרויות למערכת קבצים מקבילה

בקטע הזה מופיעה סקירה כללית ברמה גבוהה של האפשרויות שזמינות ב-Google Cloud למערכות קבצים מקבילות.

Google Cloud Managed Lustre

‫Managed Lustre הוא שירות בניהול Google שמספק אחסון עם תפוקה גבוהה וזמן אחזור קצר לעומסי עבודה של HPC עם צימוד חזק. הוא מאיץ באופן משמעותי את עומסי העבודה של HPC ואת האימון וההסקה של AI, על ידי מתן גישה עם תפוקה גבוהה וזמן אחזור קצר למערכי נתונים עצומים. מידע נוסף על השימוש ב-Managed Lustre לעומסי עבודה של AI ו-ML מופיע במאמר סקירה כללית של שירותי אחסון לעומסי עבודה של AI ו-ML ב-AI Hypercomputer. ‫Managed Lustre מפיץ נתונים בין כמה צומתי אחסון, וכך מאפשר גישה בו-זמנית של הרבה מכונות וירטואליות. הגישה המקבילה הזו מונעת צווארי בקבוק שמתרחשים במערכות קבצים רגילות, ומאפשרת לעומסי עבודה להטמיע ולעבד במהירות את כמויות הנתונים העצומות שנדרשות.

DDN Infinia

אם אתם צריכים תזמור מתקדם של נתוני AI, אתם יכולים להשתמש ב-DDN Infinia, שזמין ב-Google Cloud Marketplace. ‫Infinia מספקת פתרון לתובנות מניתוח נתונים שמתמקד ב-AI ומותאם להסקת מסקנות, לאימון ולניתוח בזמן אמת. הוא מאפשר הטמעת נתונים מהירה במיוחד, הוספה לאינדקס עם מטא-נתונים עשירים ושילוב חלק עם מסגרות AI כמו TensorFlow ו-PyTorch.

אלה התכונות העיקריות של DDN Infinia:

  • ביצועים גבוהים: זמן אחזור של פחות מאלפית השנייה וקצב העברת נתונים של כמה טרה-בייטים לשנייה.
  • יכולת התאמה לעומס (scaling): תמיכה בהתאמה לעומס מטרה-בייטים לאקסה-בייטים, ועד יותר מ-100,000 מעבדי GPU ומיליון לקוחות בו-זמנית בפריסה אחת.
  • ריבוי דיירים עם איכות שירות (QoS) צפויה: סביבות מאובטחות ומבודדות לכמה דיירים עם איכות שירות צפויה, לביצועים עקביים בעומסי עבודה שונים.
  • גישה מאוחדת לנתונים: מאפשרת שילוב חלק עם אפליקציות ותהליכי עבודה קיימים באמצעות תמיכה מובנית בכמה פרוטוקולים, כולל תאימות ל-Amazon S3, ל-CSI ול-Cinder.
  • אבטחה מתקדמת: כולל הצפנה מובנית, קידוד מחיקה עם מודעות לתחום התקלה ותמונות מצב שעוזרות להבטיח הגנה על הנתונים ותאימות.

Sycomp Intelligent Data Storage Platform

Sycomp Intelligent Data Storage Platform, שזמינה ב-Google Cloud Marketplace, מאפשרת להריץ ב- Google Cloudעומסי עבודה של מחשוב עתיר ביצועים (HPC), של AI ו-ML ושל Big Data. באמצעות Sycomp Storage אתם יכולים לגשת בו-זמנית לנתונים מאלפי מכונות וירטואליות, להפחית עלויות על ידי ניהול אוטומטי של שכבות אחסון ולהריץ את האפליקציה באופן מקומי או ב- Google Cloud. אפשר לפרוס את Sycomp Storage במהירות, והוא תומך בגישה לנתונים דרך NFS ולקוח IBM Storage Scale.

‫IBM Storage Scale היא מערכת קבצים מקבילה שעוזרת לנהל באופן מאובטח כמויות גדולות (פטא-בייטים) של נתונים. ‫Sycomp Storage Scale היא מערכת קבצים מקבילה שמתאימה ל-HPC, ל-AI, ל-ML, ל-Big Data ולאפליקציות אחרות שדורשות מערכת קבצים משותפת שתואמת ל-POSIX. עם קיבולת אחסון ניתנת להתאמה ושינוי קנה מידה של ביצועים, Sycomp Storage יכול לתמוך בעומסי עבודה קטנים עד גדולים של HPC,‏ AI ו-ML.

אחרי שפורסים אשכול ב- Google Cloud, אתם מחליטים איך להשתמש בו. אתם יכולים לבחור אם להשתמש באשכול רק בענן או במצב היברידי, על ידי התחברות לאשכולות IBM Storage Scale מקומיים קיימים, לפתרונות NFS NAS של צד שלישי או לפתרונות אחסון אחרים שמבוססים על אובייקטים.

שותפים ביצירת התוכן

מחבר: Kumar Dhanagopal | מפתח פתרונות חוצי-מוצרים

תורמים אחרים: