בעזרת כלי החיוב ב-Cloud, במהלך היום אתם יכולים לייצא אוטומטית BigQuery נתונים מפורטים על החיוב ב- Google Cloud (למשל, נתוני שימוש, תמחור ואומדן עלויות), ולבחור את מערך הנתונים ב-BigQuery שבו הנתונים יישמרו. אחרי הייצוא אפשר להשתמש ב-BigQuery כדי לקבל ניתוח מפורט של נתוני החיוב ב-Cloud. אפשר להשתמש בשיטת הייצוא הזאת גם כדי לייצא נתונים לקובץ JSON.
חשוב לקבל את כל הנתונים המדויקים בזמן. כדי שיהיו לכם נתונים מקיפים יותר על החיוב ב-Google Cloud , מומלץ להפעיל את הייצוא ל-BigQuery בכל אחד מהחשבונות לחיוב ב-Cloud כבר בשלב יצירת החשבון.
חשוב להכיר את המגבלות שעשויות להשפיע על ייצוא נתוני החיוב ל-BigQuery.
השלבים הבאים
ניהול טוב של העלויות ודיווח מדויק על החיובים הם חלק חשוב בתכנון הפיננסי, לא משנה אם אתם מנהלים תקציב עסקי במיליארדי דולרים או תקציב קטן של משק הבית. אבל כדי לקבל החלטות על סמך נתוני השימוש והעלויות ב-Google Cloud , קודם כל צריך לאסוף את הנתונים.
ריכזנו בחלק הזה מידע שיעזור לכם לבצע את המשימות הבאות:
- הגדרת הייצוא של נתוני החיוב ב-Cloud ל-BigQuery
- הסבר על טבלאות נתוני החיוב ב-Cloud
- חיפוש שאילתות לדוגמה בנושא ייצוא נתוני חיוב ב-Cloud
הגדרת הייצוא של נתוני החיוב ב-Cloud ל-BigQuery
כדי להתחיל לאסוף את נתוני החיוב ב-Cloud, צריך להפעיל את ייצוא נתוני החיוב ב-Cloud ל-BigQuery לכל סוג של ייצוא נתוני חיוב שאתם צריכים.
אלה הסוגים של נתוני החיוב ב-Cloud שאפשר להפעיל כדי לייצא אותם:
| סוג הייצוא | תיאור |
|---|---|
| עלות השימוש ב-FOCUS (גרסת טרום-השקה (Preview)) | ייצוא נתוני עלות השימוש ב-FOCUS הוא מערך נתונים ב-BigQuery שלא ניתן לשינוי, שמכיל את הנתונים המפורטים של עלויות השימוש שעברו נרמול לפי התקנים של FinOps Open Cost and Usage Specification (FOCUS). FOCUS הוא מפרט פתוח שמגדיר דרישות ברורות למחוללי נתוני חיוב טכנולוגיים, כדי ליצור קבוצות נתונים עקביות של עלויות ושימוש. העמודות בייצוא של FOCUS בדרך כלל ממופות לשדות בייצוא המפורט של נתוני עלות השימוש. |
| נתונים סטנדרטיים של עלויות השימוש | הייצוא של נתוני עלות סטנדרטיים של שימוש כולל פרטים על נתוני עלות של שימוש רגיל בחשבון לחיוב ב-Cloud, כמו מספר חשבון, תאריך חשבונית, שירותים, מק"טים, פרויקטים, תוויות, מיקומים, עלות, שימוש, זיכויים, התאמות ומטבע. אתם יכולים לייצא את הנתונים הסטנדרטיים של עלויות השימוש כדי לנתח מגמות רחבות בנתוני העלות. איך מפעילים את הייצוא של נתוני החיוב הסטנדרטיים של עלויות השימוש |
| נתונים מפורטים של עלויות שימוש | הייצוא של נתוני עלות מפורטים של שימוש כולל פרטים על נתוני עלות של שימוש מפורט בחשבון לחיוב ב-Cloud. סכימת הייצוא המפורטת כוללת את כל נתוני העלות הסטנדרטיים של שימוש יחד עם נתוני עלות ברמת המשאב, כמו מכונה וירטואלית או כונן SSD, שיוצרים שימוש בשירות. בחרו באפשרות Detailed usage cost export כדי לנתח עלויות ברמת המשאב ולזהות משאבים מסוימים שמייקרים את העלויות. כשמייצאים את הנתונים המפורטים של עלויות השימוש, הם כוללים פרטים על כמה שירותים. כדי להציג מידע על GKE, צריך גם להפעיל את הקצאת העלויות בפעולות ייצוא מפורטות. מומלץ לעיין בסכימת נתוני העלות המפורטים של השימוש כדי לקבל המלצות ולראות מגבלות נוספות. איך מפעילים את הייצוא של נתוני החיוב המפורטים של עלויות השימוש |
| נתוני תמחור | ייצוא נתוני התמחור כולל פרטים על התמחור בחשבון לחיוב ב-Cloud, כמו מזהה החשבון לחיוב, שירותים, מק"טים, מוצרים, מטא-נתונים גיאוגרפיים, יחידות תמחור, מטבע, צבירה ורמות תמחור. איך מפעילים את ייצוא נתוני התמחור אפשר לקבל את נתוני התמחור של החשבון לחיוב ב-Cloud גם בדרכים הבאות: |
| ייצוא של הנחות תמורת התחייבות לשימוש (גרסת טרום-השקה (Preview)) | לקוחות שרוכשים הנחות CUD מקבלים ייצוא יומי של מטא-נתונים של CUD לטבלה ב-BigQuery, שאפשר לצרף לייצוא אחר של נתוני חיוב כדי לשפר את הניהול של הנחות ה-CUD ואת הדיווח עליהן. המטא-נתונים של ה-CUD כוללים פרטים כמו מזהה חשבון לחיוב, מזהה מוצר, מזהה מודל הצריכה, יחידות וערכים של סכום ההתחייבות לשימוש ועוד. |
| (למפיצים בלבד) ייצוא נתונים לחיוב חוזר | למפיצים בלבד: ייצוא נתונים לחיוב חוזר כולל נתונים מפורטים על עלויות השימוש בחשבון לחיוב ב-Cloud לכל החשבונות לחיוב של המפיץ, עם הערות לגבי מאפיינים ספציפיים לשותפים. מומלץ להשתמש בייצוא הנתונים לחיוב חוזר כדי לנהל את פעולות החיוב של הלקוחות ב- Google Cloud . כאן יש עוד מידע על הגדרת תמחור חוזר כדי ליצור את נתוני העלויות של לקוחות הקצה. |
כשאתם משתמשים ב-BigQuery כדי לאחסן ולנתח את נתוני השימוש שמחויב ונתוני העלויות, אתם צוברים חיובי שימוש ב-BigQuery. למידע נוסף, קראו את המאמר עלויות השימוש ב-BigQuery.
חשוב להכיר את המגבלות שעשויות להשפיע על ייצוא נתוני החיוב ל-BigQuery.
הסבר על טבלאות נתוני החיוב ב-Cloud
אחרי הפעלת הייצוא של החיוב ב-Cloud ל-BigQuery, הטבלאות של נתוני החיוב ב-Cloud נוצרות באופן אוטומטי במערך הנתונים ב-BigQuery.
כדי להבין את סכימת הנתונים של התוכן שייצאתם, תוכלו לראות את פירוט נתוני החיוב ב-Cloud שמיוצאים לכל טבלה במערך הנתונים ב-BigQuery.
- טבלת עלויות השימוש ב-FOCUS (גרסת טרום-השקה (Preview))
- טבלת נתוני עלות סטנדרטיים של שימוש
- טבלת נתוני עלות מפורטים של שימוש
- טבלת תמחור
- ייצוא מטא-נתונים של CUD (גרסת טרום-השקה)
חיפוש שאילתות לדוגמה בנושא נתוני חיוב ב-Cloud
יש שאילתות לדוגמה לסוגים שונים של נתוני חיוב שמיוצאים.
עלות השימוש ב-FOCUS
לנתוני חיוב של FOCUS, אפשר לעיין בשאילתות לדוגמה של FOCUS שזמינות באתר של FinOps Foundation.
ייצוא של נתוני עלות סטנדרטיים ומפורטים של שימוש ושל נתוני תמחור
לקבלת טיפים והנחיות בנושא שימוש ב-SQL כדי להריץ שאילתות על נתוני החיוב ב-Cloud, ראו שאילתות לדוגמה.
בדף השאילתות לדוגמה מופיעות דוגמאות שונות ל-SQL, כולל:
- הצגת העלויות הכוללות בחשבונית
- שאילתות על הנתונים באמצעות תוויות
- הצגת נתונים לגבי הנחות תמורת התחייבות לשימוש
- שאילתות לפי פרויקט על עלויות וזיכויים בחודש חשבונית ספציפי
- שילוב נתוני התמחור עם נתונים מפורטים של עלויות השימוש
עלויות השימוש ב-BigQuery
כשאתם משתמשים ב-BigQuery כדי לאחסן ולנתח את נתוני השימוש שמחויב ונתוני העלויות, אתם צוברים חיובי שימוש ב-BigQuery. העלויות העיקריות ב-BigQuery הן עלויות האחסון של הנתונים ב-BigQuery, ועלויות המחשוב שמשמש לעיבוד שאילתות.
העלויות ב-BigQuery תלויות בכמות הנתונים שאתם מאחסנים ובכמות הנתונים שאתם שולחים בשאילתה. באופן כללי, עלויות האחסון נמוכות יותר מעלויות השאילתות.
מידע נוסף על העלויות ב-BigQuery זמין במאמר הערכה וניהול של העלויות ב-BigQuery.
עלויות אחסון
עלויות האחסון כוללות את עלות האחסון של הנתונים שאתם טוענים ל-BigQuery, והן תלויות במודל החיוב על אחסון.
- טעינת הנתונים למערך הנתונים הייעודי לא כרוכה בתשלום, כך שתוכלו להשתמש במאגר המשאבים המשותפים של BigQuery כדי לטעון נתונים באצוות.
- פעולות רבות בטבלה המחולקת למחיצות (Partitions) הן בחינם, כולל טעינת נתונים למחיצות, העתקת מחיצות וייצוא נתונים ממחיצות. על אף שהן בחינם, הפעולות האלו כפופות למכסות ולמגבלות של BigQuery.
- הייצוא של FOCUS הוא ייצוא שלא ניתן לשינוי, באמצעות מערך נתונים מקושר ש-Google משלמת עליו. אין עלויות אחסון לנתוני עלויות השימוש ב-FOCUS בשנתיים האחרונות, אלא אם מעתיקים ומאחסנים את נתוני FOCUS בטבלת אחסון לטווח ארוך שבבעלותכם.
מידע נוסף על שיטות מומלצות לייעול העלויות של האחסון ב-BigQuery זמין במאמר ניהול עלויות האחסון. אתם יכולים גם לבצע אופטימיזציה של האחסון לביצועי שאילתות.
עלויות של שאילתות
כשאתם מנתחים את הנתונים, אתם מחויבים על כל הנתונים שנקראים בכל פעם שהשאילתה מופעלת. הפעלת שאילתות עלולה לגרום לעלייה חדה בעלויות.
- לפני שמריצים שאילתה, אפשר לצפות בתצוגה מקדימה של השאילתה כדי לבדוק את העלויות המשוערות.
- בנתוני חיוב, שאילתה לגבי Detailed cost export עשויה לעלות יותר משאילתה לגבי Standard export. אם רוצים לייעל את העלויות, מומלץ להשתמש באפשרות Standard export כדי לנתח מגמות בעלויות, ובאפשרות Detailed export כדי לעקוב אחרי העלויות ברמת המשאב ולזהות משאבים ספציפיים שעשויים לייקר את העלויות.
- מידע נוסף על שליטה בעלויות של שאילתות ספציפיות ועל שליטה בעלויות של עומס עבודה.
מידע נוסף על שיטות מומלצות לייעול העלויות כשמריצים שאילתות ב-BigQuery זמין במאמר אופטימיזציה של חישוב שאילתות.
למחירים מפורטים, ראו תמחור ב-BigQuery
מגבלות
הייצוא של נתוני חיוב ב-Cloud ל-BigQuery כפוף למגבלות הבאות:
סכימת הטבלה של נתוני החיוב ב-Cloud שמייצאים
סכימת הטבלה בכל ייצוא של נתוני החיוב ב-Cloud יכולה להשתנות.
כשסכימת הטבלה משתנה, למשל כשנוספים שדות חדשים לסכימת טבלה ב-BigQuery לייצוא של נתוני חיוב ב-Cloud, יכולות להיות שגיאות בשאילתות שמפנות ישירות לעמודות שמיוצאות. כדי לפתור את זה, צרו תצוגות (Views) של BigQuery שמריצות שאילתות לטבלאות שמיוצאות ומראות את המידע במבנה שאתם רוצים.
אחר כך תוכלו לשנות את השאילתות שמהן נוצרים הדוחות ומרכזי הבקרה, כך שיחזירו מידע מהתצוגות במקום מהטבלאות שמיוצאות. בעזרת התצוגות אתם יכולים לקבוע סטנדרט אחיד למבנה הנתונים בשאילתות ובמרכזי הבקרה.
התצוגות שיצרתם אמורות לנרמל את הנתונים, כך שכל הטבלאות הרלוונטיות יציגו את אותה הסכימה לשאילתות. הדרך הזו מגינה משינויים עתידיים בסכימה, ואפשר לשנות את השאילתה הבסיסית של התצוגה כשחלים שינויים בסכימת הנתונים.
ייצוא FOCUS ושמירת נתונים
נתוני החיוב שמיוצאים ל-BigQuery באמצעות FOCUS כפופים למדיניות של משך חיים (TTL) של שנתיים. נתונים מלפני יותר משנתיים נמחקים באופן אוטומטי מטבלת הייצוא של FOCUS שסופקה במערך הנתונים ב-BigQuery. אם אתם צריכים לשמור את היסטוריית נתוני החיוב ב-FOCUS למשך יותר משנתיים, העתיקו את נתוני FOCUS לטבלת אחסון לטווח ארוך שבבעלותכם.
מיקומים של מערכי נתונים ב-BigQuery וזמינות הנתונים
באילו מיקומים של מערכי נתונים ב-BigQuery אפשר להשתמש לנתוני החיוב ב-Cloud:
צריך להגדיר את מערכי הנתונים ב-BigQuery למיקום. המיקום יכול להיות במספר אזורים (באיחוד האירופי או בארה"ב) או באזור אחד. המיקום של מערך הנתונים נקבע כשיוצרים אותו, אחרי שקבוצת נתונים נוצרת, אי אפשר לשנות את המיקום שלה.
כשמייצאים את נתוני החיוב ב-Cloud, אפשר להשתמש בכל המיקומים במספר אזורים (באיחוד האירופי או בארה"ב), אבל רק בחלק מהמיקומים באזור אחד. כשאתם מגדירים את הייצוא של נתוני החיוב ב-Cloud, אם תיצרו או תבחרו מערך נתונים שמוגדר למיקום באזור שלא נתמך, כשתנסו לשמור את הגדרות הייצוא תופיע הודעת שגיאה לגבי האזור של מערך הנתונים.
בטבלה הבאה מופיעים המיקומים במספר אזורים והמיקומים באזור אחד שנתמכים, לצורך שימוש במערכי נתונים ב-BigQuery שמכילים נתוני חיוב ב-Cloud.
| אמריקה | אסיה ואזור האוקיינוס השקט | אירופה | המזרח התיכון |
|---|---|---|---|
|
במספר אזורים: ארה"ב אזורים:
|
אזורים:
|
במספר אזורים: האיחוד האירופי אזורים:
|
אזורים:
|
מיקומים וזמינות הנתונים:
במערכי נתונים ב-BigQuery שכוללים נתוני FOCUS של עלויות השימוש, נתונים סטנדרטיים או נתונים מפורטים של עלויות השימוש, סוג המיקום שמגדירים במערך הנתונים משפיע על מועד הייצוא של נתוני החיוב מ- Google Cloud למערך הנתונים:
- אם תגדירו שמערך הנתונים יתבסס על מיקום במספר אזורים (באיחוד האירופי או בארה"ב), נתוני החיוב ב- Google Cloud שיופיעו יהיו מתחילת החודש שלפני הפעם שבה הפעלתם בפעם הראשונה את הייצוא, אלא אם הפעלתם אותו מחדש. כלומר, נתוני החיוב מ-Google Cloud יתווספו רטרואקטיבית לחודש הנוכחי ולחודש הקודם. במילוי החוסרים הראשוני, הייצוא של נתוני החיוב הרטרואקטיביים ב-Cloud יסתיים תוך עד חמישה ימים ורק אז תתחילו לראות את נתוני השימוש הנוכחיים.
אם תגדירו שמערך הנתונים יתבסס על מיקום באזור נתמך, נתוני עלות FOCUS, נתוני עלות סטנדרטיים ונתוני עלות מפורטים של עלויות החיוב ב- Google Cloud יכללו רק את נתוני החיוב שצברתם החל מהתאריך שבו הפעלתם את הייצוא של נתוני החיוב ב-Cloud, ואחריו. כלומר, נתוני החיוב מ- Google Cloud לא יתווספו רטרואקטיבית למערכי נתונים שהמיקום שלהם הוא לא במספר אזורים, כך שלא תראו את עלויות החיוב ב-Cloud שצברתם לפני שהפעלתם את הייצוא.
מידע נוסף מופיע בקטע זמינות הנתונים.
מערכי הנתונים ב-BigQuery שכוללים נתוני תמחור אוספים רק את נתוני החיוב ב- Google Cloud לעלויות שצברתם החל מהתאריך שבו הגדרתם את הייצוא של נתוני החיוב מ-Cloud. כלומר, נתוני התמחור שלGoogle Cloud לא נוספים רטרואקטיבית, ולא תראו את נתוני החיוב ב-Cloud של עלויות שצברתם לפני שהפעלתם את הייצוא. מידע נוסף מופיע בקטע זמינות הנתונים.
השבתה, הפעלה מחדש או עריכה של הגדרות הייצוא
אם תשביתו, תפעילו מחדש או תשנו בהגדרות הייצוא את הפרויקט או את מערך הנתונים שבו נשמרים נתוני החיוב, הנתונים שכבר יוצאו לא יועברו אוטומטית למערך הנתונים החדש. כדי שמערך הנתונים יכלול את נתוני החיוב שכבר יוצאו, אתם צריכים לאחד ידנית בין שני מערכי הנתונים – הישן והחדש. איך מאחדים בין מערכי נתונים?
הצפנה של מערך נתונים
מערכי הנתונים ב-BigQuery מוגדרים לשימוש בהצפנה במנוחה על ידי הגדרת אפשרות של מפתח הצפנה כשיוצרים את מערך הנתונים – Google-owned and Google-managed encryption keyאו מפתח הצפנה בניהול הלקוח (CMEK). אפשר לערוך את הגדרת ההצפנה אחרי שיוצרים קבוצת נתונים.
אם כבר הפעלתם את הייצוא של נתוני החיוב ב-Cloud ל-BigQuery, ומערך הנתונים שלכם מוגדר לשימוש ב-Google-managed encryption key, אתם יכולים לעדכן את מערך הנתונים ואת הטבלאות שלו לשימוש ב-CMEK. כדי לעדכן את מערך הנתונים והטבלאות שלו, מבצעים את הפעולות הבאות:
- מגדירים מפתח ברירת מחדל לקבוצת הנתונים. הגדרת מפתח ברירת מחדל מבטיחה שכל הטבלאות החדשות שנוצרות במערך הנתונים מוגנות באופן אוטומטי באמצעות ה-CMEK.
- משתמשים בכלי שורת הפקודה
bqכדי להפעיל את CMEK בכל טבלה קיימת במערך הנתונים. שינוי מפתח ברירת המחדל של מערך הנתונים לא גורם להצפנה מחדש של הטבלאות הקיימות באופן אוטומטי.
איך מפעילים CMEK בטבלאות BigQuery
מדיניות הארגון לגבי CMEK
אתם יכולים להשתמש במדיניות הארגון ל-CMEK כדי לאכוף את השימוש ב-CMEK במשאבים של BigQuery, כולל ייצוא נתוני חיוב, או כדי לדרוש שה-CMEK יהיה בפרויקט מאושר. עם זאת, לאכיפת מדיניות הארגון בנושא CMEK יכולות להיות ההשפעות הבלתי צפויות הבאות:
תהליך הייצוא עלול להיכשל בקבוצות נתונים קיימות: כשמפעילים אילוץ חדש של מדיניות הארגון, האילוץ לא חל על קבוצות נתונים קיימות. זה אומר שיכול להיות שיהיו לכם מערכי נתונים שעדיין קיימים, למרות שהם כבר לא מורשים. עם זאת, בפעם הבאה שתנסו לייצא לאותו מערך נתונים, תהליך הייצוא ייכשל אם לא תהיה אפשרות ליצור טבלאות חדשות בגלל מדיניות ארגונית חדשה שנאכפת.
כדי למנוע את המצב הזה, כדאי לבדוק באופן יזום את ההגדרות הקיימות של ייצוא נתוני החיוב בכל פעם שמעדכנים את מדיניות הארגון, ולעדכן את הגדרות מערך הנתונים לפי הצורך כדי לעמוד במגבלות של
restrictNonCmekServicesו-restrictCmekCryptoKeyProjects.אכיפה לא עקבית של מדיניות הארגון: מדיניות הארגון לא נאכפת כשיוצרים מערך נתונים ריק. כלומר, אתם יכולים לאכוף את האילוץ
restrictNonCmekServicesכדי לדרוש שמשאבי BigQuery ישתמשו ב-CMEK להצפנה, אבל אז ליצור בהצלחה מערך נתונים ב-BigQuery שמוגדר לשימוש ב- Google-owned and Google-managed encryption keys. עם זאת, ייצוא החיוב שמשתמש במערך הנתונים הזה ייכשל כי מדיניות הארגון לא תאפשר לכם ליצור טבלה שלא מוגנת על ידי CMEK בזמן שהאילוץrestrictNonCmekServicesנאכף ב-BigQuery.כדי לפתור את המצב הזה, צריך לעדכן את ההצפנה של קבוצת הנתונים ולהגדיר מפתח ברירת מחדל לקבוצת הנתונים שתואם לאילוצים
restrictNonCmekServicesו-restrictCmekCryptoKeyProjects.
אבטחה ברמת השורה
אם אתם רוצים להשתמש באבטחה ברמת השורה ב-BigQuery בטבלה עם הנתונים שייצאתם, חשבון השירות שממנו ייצאתם את נתוני החיוב ב-Cloud ( (billing-export-bigquery@), צריך הרשאת גישה מלאה לטבלה. כדי לעשות את זה צריך להשתמש במסנן TRUE של BigQuery.
הפקודה שכאן מאפשרת גישה לחשבון השירות של החיוב ב-Cloud:
CREATE ROW ACCESS POLICY cloud_billing_export_policy
ON `__project_id__.__dataset_id__.__table_id__`
GRANT TO ('serviceAccount:billing-export-bigquery@')
FILTER USING (TRUE);
נתוני עלות מפורטים של FOCUS או נתוני עלות שימוש ו-GKE
כשמייצאים נתוני עלות מפורטים של שימוש או נתוני עלות של שימוש בתקן FOCUS, הייצוא כולל באופן אוטומטי מידע ברמת המשאב לגבי Compute Engine ושירותים אחרים. עם זאת, כדי לראות את פירוט העלויות של אשכולות Google Kubernetes Engine (GKE) כשמייצאים נתונים מפורטים או נתוני FOCUS, צריך גם להפעיל הקצאת עלויות ב-GKE.
תגים ברמת המשאב
תגים ברמת המשאב יתעדכנו תוך שעה בייצוא ל-BigQuery. אם הוספתם או הסרתם תג במהלך אותה שעה, או אם המשאב היה קיים במשך פחות משעה, יכול להיות שהוא לא יופיע בנתונים שתייצאו.
תגים ברמת המשאב זמינים לכמה משאבים בייצוא הנתונים הסטנדרטיים של עלויות השימוש ובייצוא הנתונים המפורטים של עלויות השימוש.