העיקרון הזה, שמופיע בעמוד התווך של הקיימוּת ב-Google Cloud Well-Architected Framework, מספק המלצות שיעזרו לכם לשפר את היעילות האנרגטית ואת טביעת הרגל הפחמנית של משאבי האחסון ב- Google Cloud.
סקירה כללית של העקרונות
הנתונים שמאוחסנים הם לא משאב פסיבי. בכל מחזור החיים של הנתונים, יש צריכת אנרגיה ופליטות פחמן. כל ג'יגה-בייט של נתונים שמאוחסנים דורש תשתית פיזית שמופעלת, מקוררת ומנוהלת באופן רציף. כדי ליצור ארכיטקטורת ענן בת קיימא, צריך להתייחס לנתונים כנכס חשוב אבל יקר מבחינה סביבתית, ולתת עדיפות למשילות מידע (data governance) יזומה.
ההחלטות שלכם לגבי שמירת הנתונים, האיכות והמיקום שלהם יכולות לעזור לכם להפחית באופן משמעותי את עלויות הענן ואת צריכת האנרגיה. צמצמו את כמות הנתונים שאתם מאחסנים, בצעו אופטימיזציה של המיקום ושל אופן האחסון של הנתונים, והטמיעו אסטרטגיות אוטומטיות למחיקה ולארכוב. כשמצמצמים את עומס הנתונים, משפרים את ביצועי המערכת ומפחיתים באופן משמעותי את טביעת הרגל הסביבתית של הנתונים לטווח הארוך.
המלצות
כדי לייעל את מחזור החיים של הנתונים ואת משאבי האחסון למטרות קיימוּת, כדאי לפעול לפי ההמלצות שבקטעים הבאים.
תעדוף נתונים בעלי ערך גבוה
נתונים מאוחסנים שלא בשימוש, כפולים או מיושנים ממשיכים לצרוך אנרגיה כדי להפעיל את התשתית הבסיסית. כדי לצמצם את טביעת הרגל הפחמנית שקשורה לאחסון, אפשר להשתמש בשיטות הבאות.
זיהוי והסרה של כפילויות
לקבוע כללי מדיניות כדי למנוע רפליקציה מיותרת של מערכי נתונים בכמה פרויקטים או שירותים של Google Cloud . השתמשו במאגרי נתונים מרכזיים כמו מערכי נתונים ב-BigQuery או קטגוריות של Cloud Storage כמקורות מידע מהימנים, ותנו גישה מתאימה למאגרים האלה.
הסרת נתונים לא מתועדים ונתונים לא מנוהלים
נתונים אפלים הם נתונים שהתועלת או הבעלים שלהם לא ידועים. נתונים לא מורשים הם עותקים לא מורשים של נתונים. סורקים את מערכות האחסון ומאתרים נתונים לא ידועים ונתונים לא מנוהלים באמצעות פתרון לחיפוש נתונים וליצירת קטלוגים, כמו Knowledge Catalog. חשוב לבדוק את הממצאים האלה באופן קבוע ולהטמיע תהליך להעברה לארכיון או למחיקה של נתונים לא מתועדים ונתונים לא מנוהלים, לפי הצורך.
צמצום נפח הנתונים של עומסי עבודה של AI
שומרים רק את המאפיינים והנתונים המעובדים שנדרשים לאימון המודל ולהצגת התוצאות. כשאפשר, כדאי להשתמש בשיטות כמו דגימת נתונים, צבירת נתונים ויצירת נתונים סינתטיים כדי לשפר את ביצועי המודל בלי להסתמך על מערכי נתונים גולמיים עצומים.
שילוב בדיקות של איכות הנתונים
הטמיעו צינורות עיבוד נתונים אוטומטיים לאימות ולניקוי נתונים באמצעות שירותים כמו Managed Service for Apache Spark, Dataflow או Knowledge Catalog בנקודת הטמעת הנתונים. נתונים באיכות נמוכה מבזבזים נפח אחסון. הוא גם מוביל לצריכת אנרגיה מיותרת כשמשתמשים בנתונים האלה מאוחר יותר לניתוח או לאימון AI.
בדיקת צפיפות הערכים של הנתונים
בודקים מדי פעם קבוצות נתונים בנפח גבוה, כמו יומנים וסטרימינג של IoT. בדקו אם אפשר לסכם, לצבור או לדגום את הנתונים כדי לשמור על צפיפות המידע הנדרשת ולהקטין את נפח האחסון הפיזי.
בחינה ביקורתית של הצורך בגיבויים
העריכו את הצורך בגיבויים של נתונים שאתם יכולים ליצור מחדש במאמץ מינימלי. דוגמאות לנתונים כאלה כוללות תוצאות ETL זמניות, מטמונים זמניים ונתוני אימון שנגזרים ממקור יציב וקבוע. שמרו גיבויים רק של נתונים ייחודיים או כאלה שקשה לשחזר.
אופטימיזציה של ניהול מחזור החיים של האחסון
להפוך את מחזור החיים של האחסון לאוטומטי, כך שכאשר התועלת של הנתונים פוחתת, הנתונים מועברים לסוג אחסון חסכוני באנרגיה או מוצאים משימוש, לפי הצורך. השתמשו בשיטות הבאות.
בחירת סוג האחסון המתאים ב-Cloud Storage
להעביר באופן אוטומטי נתונים ב-Cloud Storage לסוגי אחסון עם פליטת פחמן נמוכה יותר, על סמך תדירות הגישה, באמצעות ניהול מחזור החיים של אובייקטים.
- השתמשו ב-Standard Storage רק למערכי נתונים שנמצאים בשימוש פעיל, כמו מודלים נוכחיים בסביבת הייצור.
- העברת נתונים כמו מערכי נתונים ישנים יותר לאימון AI או גיבויים שניגשים אליהם בתדירות נמוכה יותר לאחסון Nearline או Coldline Storage.
- לשמירה לטווח ארוך, השתמשו ב-Archive Storage, שמותאם ליעילות אנרגטית בקנה מידה נרחב.
הטמעת מדיניות מחמירה בנושא מחזור החיים של הנתונים
הגדירו כללי מדיניות ברורים ואוטומטיים של אורך חיים (TTL) לנתונים לא חיוניים, כמו קובצי יומן, פריטי מידע זמניים של מודלים ותוצאות ביניים מיושנות. אפשר להשתמש בכללי מחזור חיים כדי למחוק נתונים כאלה באופן אוטומטי אחרי פרק זמן מוגדר.
הוספת תגים למשאבים
הקפידו להשתמש בתגים ובתוויות עקביים למשאבים בכל הקטגוריות של Cloud Storage, מערכי הנתונים ב-BigQuery והדיסקים הקבועים. יוצרים תגים שמציינים את הבעלים של הנתונים, את מטרת הנתונים ואת תקופת השמירה. כדי לוודא שהתגים הנדרשים, כמו תקופת שמירה, חלים על המשאבים, אפשר להשתמש באילוצים של שירות מדיניות הארגון. בעזרת תגים אפשר להפוך את ניהול מחזור החיים לאוטומטי, ליצור דוחות FinOps מפורטים ולהפיק דוחות על פליטות פחמן.
התאמת הגודל וביטול ההקצאה של אחסון המחשוב
חשוב לבדוק באופן קבוע את הדיסקים לאחסון מתמיד שמחוברים למכונות של Compute Engine, ולוודא שהם לא מוקצים יתר על המידה. השתמשו בתמונות מצב רק כשהן נחוצות לגיבוי. מוחקים קובצי snapshot ישנים שלא בשימוש. במסדי נתונים, כדאי להשתמש במדיניות שמירת נתונים כדי להקטין את הגודל של הדיסקים לאחסון מתמיד.
אופטימיזציה של פורמט האחסון
לאחסון שמשמש לעומסי עבודה של ניתוח נתונים, עדיף להשתמש בפורמטים דחוסים של עמודות כמו Parquet או Avro שעבר אופטימיזציה, על פני פורמטים שמבוססים על שורות כמו JSON או CSV. אחסון עמודתי מפחית באופן משמעותי את הדרישות הפיזיות של המקום בכונן ומשפר את יעילות הקריאה. האופטימיזציה הזו עוזרת לצמצם את צריכת האנרגיה של פעולות החישוב והקלט/פלט המשויכות.
אופטימיזציה של האזוריות ותנועת הנתונים
המיקום הפיזי והתנועה של הנתונים משפיעים על צריכת משאבי הרשת ועל האנרגיה שנדרשת לאחסון. כדי לבצע אופטימיזציה של אזוריות הנתונים, אפשר להשתמש בשיטות הבאות.
בחירת אזורי אחסון דלי-פחמן
בהתאם לדרישות התאימות שלכם, אחסנו נתונים באזורים ב- Google Cloud שמשתמשים באחוז גבוה יותר של אנרגיה נטולת פחמן (CFE) או ששיעור פליטת הפחמן ברשת שלהם נמוך יותר. להגביל את היצירה של קטגוריות אחסון באזורים עם פליטת פחמן גבוהה, באמצעות האילוץ מיקומי משאבים במדיניות הארגון. במאמר אנרגיה נטולת פחמן באזורי Google Cloud מוסבר על נתוני CFE ושיעור פליטת הפחמן באזורי Google Cloud .
צמצום השכפול
שכפלו נתונים בין אזורים רק כדי לעמוד בדרישות חובה של תוכנית התאוששות מאסון (DR) או זמינות גבוהה (HA). פעולות של שכפול בין אזורים ובמספר אזורים מגדילות באופן משמעותי את עלות האנרגיה ואת טביעת הרגל הפחמנית של הנתונים.
אופטימיזציה של מיקומי עיבוד הנתונים
כדי להפחית את צריכת האנרגיה בהעברת נתונים ברשת, כדאי לפרוס עומסי עבודה שדורשים משאבי מחשוב רבים, כמו אימון AI ועיבוד ב-BigQuery, באותו אזור שבו נמצא מקור הנתונים.
אופטימיזציה של העברת נתונים לשותפים וללקוחות
כדי להעביר כמויות גדולות של נתונים בין שירותי ענן, מיקומים וספקים, עודדו את השותפים והלקוחות שלכם להשתמש ב-Storage Transfer Service או בממשקי API לשיתוף נתונים. אל תעלו כמויות גדולות של נתונים בבת אחת. במערכי נתונים ציבוריים, השתמשו בקטגוריות של המשלם הוא המבקש כדי להעביר את עלויות העיבוד וההעברה של הנתונים ואת ההשפעה על הסביבה למשתמשי הקצה.