העיקרון הזה, שמופיע בעמוד התווך של הקיימוּת ב-Google Cloud Well-Architected Framework, מספק המלצות שיעזרו לכם לשפר את יעילות האנרגיה ואת טביעת הרגל הפחמנית של משאבי האחסון ב- Google Cloud.
סקירה כללית של העקרונות
הנתונים שמאוחסנים הם לא משאב פסיבי. בכל שלב במחזור החיים של הנתונים, יש צריכת אנרגיה ופליטות פחמן. כל ג'יגה-בייט של נתונים שמאוחסנים דורש תשתית פיזית שמופעלת, מקוררת ומנוהלת באופן רציף. כדי ליצור ארכיטקטורת ענן בת קיימא, צריך להתייחס לנתונים כנכס חשוב אבל יקר מבחינה סביבתית, ולתת עדיפות למשילות מידע (data governance) יזומה.
ההחלטות שלכם לגבי שמירת הנתונים, האיכות והמיקום שלהם יכולות לעזור לכם להפחית באופן משמעותי את עלויות הענן ואת צריכת האנרגיה. צמצמו את כמות הנתונים שאתם מאחסנים, בצעו אופטימיזציה של המיקום ושל אופן האחסון של הנתונים, והטמיעו אסטרטגיות אוטומטיות למחיקה ולארכוב. כשמצמצמים את עומס הנתונים, משפרים את ביצועי המערכת ומפחיתים באופן משמעותי את טביעת הרגל הסביבתית של הנתונים לטווח הארוך.
המלצות
כדי לבצע אופטימיזציה של משאבי האחסון ומחזור החיים של הנתונים למטרות קיימוּת, כדאי לפעול לפי ההמלצות שבקטעים הבאים.
תעדוף של נתונים בעלי ערך גבוה
נתונים מאוחסנים שלא בשימוש, כפולים או מיושנים ממשיכים לצרוך אנרגיה כדי להפעיל את התשתית הבסיסית. כדי לצמצם את טביעת הרגל הפחמנית שקשורה לאחסון, אפשר להשתמש בשיטות הבאות.
זיהוי והסרה של כפילויות
קבעו כללי מדיניות כדי למנוע שכפול מיותר של מערכי נתונים בכמה פרויקטים או שירותים של Google Cloud . השתמשו במאגרי נתונים מרכזיים כמו מערכי נתונים ב-BigQuery או קטגוריות של Cloud Storage כמקורות אמת יחידים, ותנו גישה מתאימה למאגרים האלה.
הסרת נתונים לא מתועדים ונתונים לא מנוהלים
נתונים לא ידועים הם נתונים שהתועלת או הבעלים שלהם לא ידועים. נתונים לא מורשים הם עותקים לא מורשים של נתונים. סורקים את מערכות האחסון ומוצאים נתונים לא ידועים ונתונים לא מנוהלים באמצעות פתרון לגילוי נתונים ולקטלוג, כמו Knowledge Catalog. חשוב לבדוק את הממצאים האלה באופן קבוע ולהטמיע תהליך לארכוב או למחיקה של נתונים לא מתועדים ונתונים לא מנוהלים, לפי הצורך.
צמצום נפח הנתונים של עומסי עבודה ב-AI
שומרים רק את המאפיינים והנתונים המעובדים שנדרשים לאימון המודל ולהצגת התוצאות. כשאפשר, כדאי להשתמש בשיטות כמו דגימת נתונים, צבירת נתונים ויצירת נתונים סינתטיים כדי להשיג ביצועי מודל בלי להסתמך על מערכי נתונים גולמיים עצומים.
שילוב בדיקות של איכות הנתונים
הטמיעו צינורות עיבוד נתונים אוטומטיים לאימות ולניקוי נתונים באמצעות שירותים כמו Managed Service for Apache Spark, Dataflow או Knowledge Catalog בנקודת הטמעת הנתונים. נתונים באיכות נמוכה מבזבזים נפח אחסון. הוא גם מוביל לצריכת אנרגיה מיותרת כשמשתמשים בנתונים האלה מאוחר יותר לניתוח או לאימון AI.
בדיקת צפיפות הערך של הנתונים
בודקים מדי פעם קבוצות נתונים בנפח גבוה, כמו יומנים וזרמי IoT. בדקו אם אפשר לסכם, לצבור או לדגום את הנתונים כדי לשמור על צפיפות המידע הנדרשת ולהקטין את נפח האחסון הפיזי.
בחינה ביקורתית של הצורך בגיבויים
העריכו את הצורך בגיבויים של נתונים שאתם יכולים ליצור מחדש במינימום מאמץ. דוגמאות לנתונים כאלה כוללות תוצאות ETL זמניות, מטמונים זמניים ונתוני אימון שנגזרים ממקור יציב וקבוע. שמרו גיבויים רק של נתונים ייחודיים או כאלה שקשה לשחזר.
אופטימיזציה של ניהול מחזור החיים של האחסון
להפוך את מחזור החיים של האחסון לאוטומטי, כך שכאשר התועלת של הנתונים פוחתת, הנתונים מועברים לסוג אחסון חסכוני באנרגיה או מוצאים משימוש, לפי הצורך. השתמשו בשיטות הבאות.
בחירת סוג האחסון המתאים ב-Cloud Storage
באמצעות ניהול מחזור החיים של אובייקטים, אתם יכולים להעביר באופן אוטומטי נתונים ב-Cloud Storage לסוגי אחסון עם פליטת פחמן נמוכה יותר, על סמך תדירות הגישה.
- השתמשו ב-Standard Storage רק לקבוצות נתונים שאתם משתמשים בהן באופן פעיל, כמו מודלים נוכחיים של ייצור.
- העברת נתונים כמו מערכי נתונים ישנים יותר לאימון AI או גיבויים שניגשים אליהם בתדירות נמוכה יותר לאחסון Nearline או Coldline Storage.
- לשמירה לטווח ארוך, השתמשו ב-Archive Storage, שמותאם ליעילות אנרגטית בקנה מידה גדול.
הטמעת מדיניות מחמירה בנושא מחזור החיים של הנתונים
הגדירו כללי מדיניות ברורים ואוטומטיים של אורך חיים (TTL) לנתונים לא חיוניים, כמו קובצי יומן, פריטי מידע זמניים של מודלים ותוצאות ביניים מיושנות. אפשר להשתמש בכללי מחזור חיים כדי למחוק נתונים כאלה באופן אוטומטי אחרי פרק זמן מוגדר.
הוספת תגים למשאבים
לחייב שימוש בתגים ובתוויות עקביים של משאבים בכל הקטגוריות של Cloud Storage, מערכי הנתונים של BigQuery והדיסקים הקבועים. יוצרים תגים שמציינים את הבעלים של הנתונים, את מטרת הנתונים ואת תקופת השמירה. כדי לוודא שהתגים הנדרשים, כמו תקופת שמירה, חלים על המשאבים, אפשר להשתמש באילוצים של שירות מדיניות הארגון. התגים מאפשרים לכם להפוך את ניהול מחזור החיים לאוטומטי, ליצור דוחות FinOps מפורטים ולהפיק דוחות על פליטות פחמן.
התאמת הגודל וביטול ההקצאה של אחסון המחשוב
בדקו באופן קבוע את הדיסקים לאחסון מתמיד שמחוברים למכונות של Compute Engine, וודאו שהם לא מוקצים יתר על המידה. השתמשו בתמונות מצב רק כשהן נחוצות לגיבוי. מוחקים קובצי snapshot ישנים שלא בשימוש. במסדי נתונים, כדאי להשתמש במדיניות שמירת נתונים כדי להקטין את הגודל של הדיסקים לאחסון מתמיד.
אופטימיזציה של פורמט האחסון
לאחסון שמשמש לעומסי עבודה של ניתוח נתונים, עדיף להשתמש בפורמטים דחוסים של עמודות כמו Parquet או Avro שעבר אופטימיזציה, על פני פורמטים שמבוססים על שורות כמו JSON או CSV. אחסון בעמודות מפחית באופן משמעותי את הדרישות הפיזיות של המקום בכונן ומשפר את יעילות הקריאה. האופטימיזציה הזו עוזרת לצמצם את צריכת האנרגיה של פעולות החישוב והקלט/פלט שמשויכות אליה.
אופטימיזציה של האזוריות ותנועת הנתונים
המיקום הפיזי והתנועה של הנתונים משפיעים על צריכת משאבי הרשת ועל האנרגיה שנדרשת לאחסון. כדי לבצע אופטימיזציה של אזוריות הנתונים, אפשר להשתמש בשיטות הבאות.
בחירת אזורי אחסון דלי-פחמן
בהתאם לדרישות התאימות שלכם, אחסנו נתונים באזורים ב- Google Cloud שמשתמשים באחוז גבוה יותר של אנרגיה נטולת פחמן (CFE) או ששיעור פליטת הפחמן ברשת שלהם נמוך יותר. להגביל את היצירה של קטגוריות אחסון באזורים עם פליטת פחמן גבוהה, באמצעות האילוץ מיקומי משאבים במדיניות הארגון. במאמר אנרגיה נטולת פחמן באזורי Google Cloud מוסבר על נתוני CFE ושיעור פליטת הפחמן באזורי Google Cloud .
צמצום הרפליקציה
שכפלו נתונים בין אזורים רק כדי לעמוד בדרישות החובה של תוכנית התאוששות מאסון (DR) או של זמינות גבוהה (HA). פעולות של שכפול בין אזורים ובמספר אזורים מגדילות באופן משמעותי את עלות האנרגיה ואת טביעת הרגל הפחמנית של הנתונים.
אופטימיזציה של מיקומי עיבוד הנתונים
כדי להפחית את צריכת האנרגיה בהעברת נתונים ברשת, כדאי לפרוס עומסי עבודה שדורשים משאבי מחשוב רבים, כמו אימון AI ועיבוד ב-BigQuery, באותו אזור שבו נמצא מקור הנתונים.
אופטימיזציה של העברת נתונים לשותפים וללקוחות
כדי להעביר כמויות גדולות של נתונים בין שירותי ענן, מיקומים וספקים, עודדו את השותפים והלקוחות שלכם להשתמש ב-Storage Transfer Service או בממשקי API לשיתוף נתונים. הימנעו מהעלאת כמויות גדולות של נתונים. במערכי נתונים ציבוריים, השתמשו בקטגוריות המבקש משלם כדי להעביר את עלויות העיבוד וההעברה של הנתונים ואת ההשפעה על הסביבה למשתמשי הקצה.