בדף הזה מוסבר איך פועל אחסון בשכבות ב-Spanner. התכונה הזו נתמכת במסדי נתונים עם ניב GoogleSQL ועם ניב PostgreSQL.
אחסון Spanner מנוהל הוא תכונת אחסון מנוהלת לחלוטין שמאפשרת לכם לבחור אם לאחסן את הנתונים בכונני SSD או בכוננים קשיחים (HDD). כברירת מחדל, כשלא משתמשים באחסון מדורג, הנתונים מאוחסנים ב-SSD. בהתאם לתדירות השימוש בנתונים או הגישה אליהם, כדאי לשקול שימוש באחסון מדורג ובאחסון נתונים גם ב-SSD וגם ב-HDD.
- אחסון SSD הוא האפשרות המשתלמת ביותר עם הביצועים הטובים ביותר (יותר שאילתות לשנייה) לרוב תרחישי השימוש. כדאי להשתמש בו כדי לאחסן נתונים פעילים עם תפוקת כתיבה וקריאה גבוהה, ונתונים שדורשים גישה בזמן אחזור קצר.
- אחסון HDD מתאים לפעמים למערכי נתונים גדולים שלא רגישים לזמן אחזור, שניגשים אליהם לעיתים רחוקות או אם עלות האחסון היא שיקול חשוב.
שימוש באחסון מדורג מאפשר לכם לנצל גם את אחסון ה-SSD, שתומך בביצועים הגבוהים של נתונים פעילים, וגם את אחסון ה-HDD, שתומך בגישה לא תכופה לנתונים בעלות נמוכה יותר.
בחירה בין אחסון SSD ל-HDD
בטבלה הבאה מפורטים ההבדלים ונקודות הדמיון בין אחסון SSD לבין אחסון HDD. נתוני התפוקה בטבלה הם לכל צומת, והם משתנים באופן לינארי בהתאם למספר הצמתים במכונה של Spanner. אם אתם לא בטוחים, מומלץ לבחור באחסון SSD.
| אחסון ב-SSD | אחסון בכונן HDD | |
|---|---|---|
| תרחישי שימוש לדוגמה | נתונים שדורשים קצב העברת נתונים גבוה של כתיבה וקריאה, וגישה לנתונים עם זמן אחזור קצר | קבוצות נתונים גדולות שלא רגישות לזמן אחזור או שניגשים אליהן לעיתים רחוקות |
| קצב העברת נתונים צפוי לכל צומת הגדרות אזוריות |
עד 22,500 שאילתות קריאה לשנייה עד 3,500 שאילתות כתיבה לשנייה |
עד 1,500 שאילתות לשנייה (QPS) לקריאה עד 3,500 שאילתות לשנייה (QPS) לכתיבה |
| קצב העברת הנתונים הצפוי לכל צומת הגדרות של שני אזורים ומספר אזורים |
עד 15,000 QPS קריאה לכל אזור עד 2,700 QPS כתיבה |
עד 1,000 QPS קריאה לכל אזור עד 2,700 QPS כתיבה |
| פעולות נתמכות | קריאה, כתיבה, עדכון ומחיקה | קריאה, כתיבה, עדכון ומחיקה |
כדי להגדיל את קצב העברת הנתונים בכתיבה מעבר למספרים שבטבלה, אפשר להשתמש בכתיבה עם אופטימיזציה של קצב העברת הנתונים. מידע נוסף זמין במאמר סקירה כללית של הביצועים.
יתרונות
אחסון בכמה רמות מאפשר לכם להשתמש גם באחסון SSD וגם באחסון HDD, ומציע את היתרונות הבאים:
- הפחתה משמעותית בעלות הבעלות הכוללת (TCO): אחסון ב-HDD הוא אפשרות זולה יותר למערכי נתונים גדולים שלא רגישים לזמן אחזור או שניגשים אליהם לעיתים רחוקות.
- ניהול קל: שירות מנוהל לחלוטין להקצאת שכבות, בלי המורכבות של צינורות עיבוד נתונים נוספים ולוגיקה מפוצלת.
- חוויה אחידה ועקבית: גישה אחידה לנתונים וקבוצה אחת של מדדים בנתונים חמים וקרים (ניתנים לשינוי)
- ביצועים משופרים: שיפור הביצועים של שאילתות על ידי ארגון הנתונים בקבוצות שונות של מיקומים, וכך הנתונים מבודדים ומאוחסנים באופן מקומי בעמודות. נתונים באותה קבוצת מיקום מאוחסנים קרוב זה לזה מבחינה פיזית.
איך פועל אחסון מדורג
כברירת מחדל, כשיוצרים מכונה חדשה, הנתונים נשמרים רק באחסון SSD. באופן דומה, גם נתונים במכונות קיימות מאוחסנים רק באחסון SSD.
אם אתם בוחרים להשתמש באחסון מדורג כדי לאחסן חלק מהנתונים באחסון HDD, אתם צריכים ליצור קבוצת מיקום, שמשמשת להגדרת מדיניות האחסון המדורג של הנתונים בסכימה. כשיוצרים קבוצת מיקום, אפשר להגדיר את סוג האחסון, ssd או hdd. אפשר גם להגדיר את משך הזמן שבו הנתונים יאוחסנו ב-SSD לפני שהם יועברו לאחסון ב-HDD. הזמן הזה הוא יחסי לחותמת הזמן של ה-commit של הנתונים. אחרי שחולף הזמן שצוין, Spanner מעביר את הנתונים לאחסון ב-HDD במהלך מחזור הדחיסה הרגיל שלו, שבדרך כלל מתרחש במהלך שבעה ימים מהזמן שצוין. כדי להעביר נתונים בין SSD ל-HDD מהר יותר ממחזור הדחיסה הרגיל, אפשר להפעיל דחיסה משמעותית באופן ידני.
מדיניות כזו נקראת מדיניות אחסון מדורגת לפי גיל. כשמשתמשים במדיניות אחסון מדורגת שמבוססת על גיל, משך הזמן המינימלי שבו הנתונים צריכים להיות מאוחסנים ב-SSD לפני שהם מועברים לאחסון ב-HDD הוא שעה אחת.
אחרי שמגדירים את קבוצות המיקומים, כשיוצרים את הטבלאות אפשר להגדיר את מדיניות האחסון השכבתי ברמת מסד הנתונים, הטבלה, העמודה או האינדקס המשני. המדיניות הזו קובעת איך ואיפה הנתונים נשמרים. איך יוצרים ומנהלים קבוצות של מיקומים גיאוגרפיים
פרטים על התנהגות המקשים
ההתנהגויות הבאות חלות כשמשתמשים באחסון מדורג:
- רמות האחסון חלות ברמת התא: כללי מדיניות של אחסון ברמות שונות לפי גיל חלים על תאים ספציפיים בתוך שורה, על סמך חותמת הזמן של ה-commit של התא. הנתונים מועברים לאחסון HDD אם חותמת הזמן של השמירה שלהם ישנה יותר מהמשך שצוין. לכן, שורה אחת יכולה להכיל נתונים מסוימים ב-SSD ונתונים אחרים ב-HDD, בהתאם למועד העדכון האחרון של כל תא.
- טבלאות משולבות הן עצמאיות: הגדרות של קבוצות מקומיות ומדיניות של אחסון מדורג לא עוברות בירושה לטבלאות צאצא משולבות. צריך להחיל את ההגדרות האלה על כל טבלה בנפרד.
- פעולות קריאה לא משפיעות על התיישנות הנתונים: קריאת נתונים מטבלה לא מאפסת את הגיל שלה ולא מונעת את ההעברה שלה ל-HDD. רק פעולת כתיבה שמעדכנת את הנתונים מאפסת את חותמת הזמן של ה-commit ומשאירה אותם באחסון SSD.
- העברת נתונים מ-HDD בחזרה ל-SSD: כשמעדכנים נתונים שמאוחסנים ב-HDD, Spanner כותב את הגרסה החדשה של הנתונים ישירות לאחסון ב-SSD. הגרסה הקודמת של הנתונים ב-HDD מסומנת כמיושנת, והיא מנוקה מאוחר יותר על ידי תהליך דחיסה ברקע. אפשר להפעיל דחיסה משמעותית באופן ידני כדי לנקות את הנתונים מהר יותר. כך, עדכונים של נתונים קרים נהנים מיד מביצועי SSD בקריאות הבאות של הנתונים החדשים.
גיבוי ושחזור
אתם יכולים לגבות ולשחזר את הנתונים באמצעות הגיבויים של Spanner.
הגיבוי מכיל את כל המידע על סכימת האחסון, כולל INFORMATION_SCHEMA.LOCALITY_GROUP_OPTIONS, שמציין את סוג האחסון של כל קבוצת מיקום. כדי לשחזר גיבוי שמכיל קבוצות מקומיות למכונה חדשה, מכונת היעד צריכה להיות במהדורת Spanner Enterprise או Spanner Enterprise Plus.
Data Boost
אתם יכולים להשתמש ב-Spanner Data Boost כדי לגשת לנתונים באחסון SSD או HDD. כששולחים שאילתות על נתונים באחסון HDD, המערכת משתמשת בקיבולת עומס נפרדת של דיסק HDD מהמכונה, בדומה לאופן שבו היא משתמשת במחשוב נפרד.
אינדקסים של חיפוש
חיפוש טקסט מלא ואינדקסים של וקטורים יורשים את קבוצת המיקום שמוגדרת באובייקט מסד הנתונים.
ניראות (observability)
התכונות הבאות של ניראות זמינות לאחסון מדורג.
מדדי Cloud Monitoring
ב-Spanner יש את המדדים הבאים, שמאפשרים לעקוב אחרי השימוש באחסון בשכבות ואחרי הנתונים באמצעות Cloud Monitoring:
-
spanner.googleapis.com/instance/storage/used_bytes(נפח אחסון כולל): מציג את מספר הבייטים הכולל של הנתונים שמאוחסנים ב-SSD וב-HDD. -
spanner.googleapis.com/instance/storage/combined/limit_bytes: מציג את מגבלת האחסון המשולבת של SSD ו-HDD. -
spanner.googleapis.com/instance/storage/combined/limit_bytes_per_processing_unit: מציגה את מגבלת האחסון המשולבת של SSD ו-HDD לכל יחידת עיבוד. -
spanner.googleapis.com/instance/storage/combined/utilization: מציגה את ניצול האחסון המשולב של SSD ו-HDD, בהשוואה למגבלת האחסון המשולבת. -
spanner.googleapis.com/instance/disk_load: השימוש ב-HDD באחוזים. אם המכונה מגיעה לעומס של 100% על דיסק ה-HDD, זמן האחזור יתארך באופן משמעותי.
אם יש לכם שאילתות קיימות שמסננות מדדים קיימים לפי storage_class:ssd, תצטרכו להסיר את המסנן כדי לראות את השימוש ב-HDD.
למידע נוסף על מעקב אחרי המשאבים של Spanner, קראו את המאמרים מעקב אחרי מכונות באמצעות תובנות מערכת ומעקב אחרי מכונות באמצעות Cloud Monitoring.
סכימת מידע
INFORMATION_SCHEMA.LOCALITY_GROUP_OPTIONS מכיל את רשימת קבוצות המיקומים והאפשרויות במסד הנתונים של Spanner. הוא כולל מידע על קבוצת המיקומים default. העמודה IS_INHERITED מציינת אם סוג האחסון של קבוצת המיקומים מוגדר באופן מפורש או עובר בירושה. למידע נוסף, ראו locality_group_options למסדי נתונים בניב GoogleSQL ו-locality_group_options למסדי נתונים בניב PostgreSQL.
כדי לראות באיזו קבוצת מיקום מאוחסנים כל טבלה, אינדקס ועמודה, שולחים שאילתה לטבלאות TABLE_OPTIONS, INDEX_OPTIONS ו-COLUMN_OPTIONS. טבלאות ואינדקסים שאין להם שורה של locality_group ב-TABLE_OPTIONS או ב-INDEX_OPTIONS משתמשים בקבוצת הלוקאליות default. ב-COLUMN_OPTIONS, העמודה IS_INHERITED מציינת אם קבוצת הלוקליזציה מוגדרת באופן מפורש בעמודה או שהיא עוברת בירושה מהטבלה. למידע נוסף, תוכלו לקרוא את המאמרים הבאים:
- מסדי נתונים של ניב GoogleSQL:
TABLE_OPTIONS,INDEX_OPTIONSו-COLUMN_OPTIONS. - מסדי נתונים עם ניב PostgreSQL:
table_options,index_optionsו-column_options.
טבלאות סטטיסטיקה מובנות
אלה טבלאות הנתונים הסטטיסטיים המובנות שזמינות למסדי נתונים שמשתמשים באחסון מדורג:
-
SPANNER_SYS.TABLE_SIZES_STATS_1HOUR: הצגת נפח אחסון נדרש של HDD ו-SSD לכל טבלה במסד הנתונים. -
SPANNER_SYS.TABLE_SIZES_STATS_PER_LOCALITY_GROUP_1HOUR: מציג את נפח אחסון נדרש ב-HDD וב-SSD לכל קבוצת מיקום במסד הנתונים.
מידע נוסף זמין במאמר נתונים סטטיסטיים של גודלי טבלאות.
בטבלאות של הנתונים הסטטיסטיים של השאילתות והנתונים הסטטיסטיים של הקריאה יש את העמודה הבאה שקשורה לאחסון מדורג:
-
AVG_DISK_IO_COST: העלות הממוצעת של השאילתה הזו במונחים של עומס על דיסק HDD ב-Spanner. אפשר להשתמש בערך הזה כדי להשוות בין עלויות קלט/פלט יחסיות של HDD בין פעולות קריאה שאתם מריצים במסד הנתונים. ערך גבוה יותר מציין שאתם משתמשים בעומס דיסק HDD גדול יותר, ויכול להיות שהשאילתה תהיה איטית יותר מאשר אם היא הייתה פועלת ב-SSD. בנוסף, אם עומס הדיסק של ה-HDD מגיע לקיבולת המקסימלית, יכול להיות שביצועי השאילתות יושפעו עוד יותר.
למידע נוסף, קראו את המאמרים סטטיסטיקות של שאילתות וסטטיסטיקות של קריאה.
תמחור
אין חיוב נוסף על שימוש באחסון מדורג. אתם מחויבים במחיר הרגיל של Spanner על נפח המחשוב שבו המכונה משתמשת ועל נפח האחסון שבו מסד הנתונים משתמש. החיוב על נתונים שמאוחסנים ב-SSD וב-HDD מתבצע לפי תעריפי האחסון המתאימים. לא תחויבו על העברת נתונים בין אחסון SSD ל-HDD. שאילתות על נתונים ב-HDD משתמשות בקיבולת העומס של דיסק ה-HDD של המכונה, שהיא חלק מהתמחור של קיבולת המחשוב. למידע נוסף, ראו התמחור של Spanner.