במאמר הזה מפורטת הסכימה של נתוני החיוב ב-Cloud, שמיוצאת לכל טבלה ב-BigQuery.
טבלאות של נתוני חיוב
זמן קצר אחרי הפעלת הייצוא של חיוב ב-Cloud ל-BigQuery, טבלאות נתוני החיוב נוצרות באופן אוטומטי במערך הנתונים ב-BigQuery.
- טבלת נתוני עלות שימוש ב-FOCUS (גרסת טרום-השקה (Preview)) – Google מספקת מערך נתונים קבוע ב-BigQuery בשם
gcp_billing_immutable_<BILLING_ACCOUNT_ID>_<Location>וטבלת נתונים ב-FOCUS בשםgcp_billing_export_focus_<BILLING_ACCOUNT_ID>. - טבלת נתוני עלות סטנדרטיים של שימוש – במערך הנתונים ב-BigQuery הטבלה נקראת
gcp_billing_export_v1_<BILLING_ACCOUNT_ID>. - טבלת נתוני עלות מפורטים של שימוש – כוללת את כל שדות הנתונים מטבלת נתוני העלות הסטנדרטיים של שימוש, יחד עם שדות נוספים שמספקים נתוני עלות ברמת המשאב, כמו מכונה וירטואלית או כונן SSD, שיוצרים שימוש בשירות.
במערך הנתונים ב-BigQuery הטבלה נקראת
gcp_billing_export_resource_v1_<BILLING_ACCOUNT_ID>. - טבלת נתוני תמחור – במערך הנתונים ב-BigQuery הטבלה נקראת
cloud_pricing_export. - מטא-נתונים של הנחות תמורת התחייבות לשימוש (CUD) (גרסת טרום-השקה (Preview)) – כולל מטא-נתונים של הנחות CUD, כמו מזהה חשבון לחיוב, מזהה מוצר, מזהה מודל צריכה, יחידות וערכים של סכום ההתחייבות לשימוש ועוד. במערך הנתונים ב-BigQuery הטבלה נקראת
cud_subscriptions_export.
תדירות טעינת הנתונים
ייצוא של נתוני עלות סטנדרטיים, מפורטים ו-FOCUS של שימוש
- בפעם הראשונה שתפעילו את הייצוא ל-BigQuery של הנתונים הסטנדרטיים, המפורטים או של FOCUS של עלויות השימוש, יכול להיות שרק תוך כמה שעות תתחילו לראות את נתוני העלויות שלGoogle Cloud במערך הנתונים ב-BigQuery. הנתונים מיוצאים בסדר כרונולוגי. אם הייצוא מוגדר לכלול נתונים רטרואקטיביים גם מהחודש שעבר וגם מהחודש הנוכחי, הייצוא של נתוני השימוש הנוכחיים יסתיים תוך עד חמישה ימים.
- שירותיGoogle Cloud מדווחים לתהליכי החיוב ב-Cloud על נתוני השימוש והעלויות במרווחי זמן שונים.
- נתוני השימוש והעלויות מיוצאים מהחיוב ב-Cloud למערך הנתונים ב-BigQuery במרווחי זמן קבועים (בלי התחייבות למסירה או לזמן אחזור בנוגע לייצוא ל-BigQuery).
- תדירות הדיווח על השימוש משתנה בהתאם לשירות של Google Cloud , לכן יכול להיות שנתוני השימוש והעלויות מהחיוב ב-Cloud לא יופיעו מייד לכל שירותי Google Cloud שהשתמשתם בהם לאחרונה.
תמחור וייצוא מטא-נתונים של הנחות CUD
- בפעם הראשונה שמפעילים את הייצוא של נתוני התמחור ל-BigQuery, יכול להיות שנתוני התמחור של Google Cloud יופיעו תוך עד 48 שעות.
- אחרי הפעלת הייצוא של נתוני התמחור, הנתונים שרלוונטיים לחשבון לחיוב ב-Cloud מיוצאים ל-BigQuery פעם ביום.
זמינות הנתונים
עבור לקוחות שמפעילים בפעם הראשונה את הכלי לייצוא נתונים של עלות השימוש בתקן FOCUS, הסטנדרטיים או המפורטים:
אם מגדירים שמערך הנתונים ב-BigQuery יתבסס על מיקום במספר אזורים (באיחוד האירופי או בארה"ב), הייצוא יכלול נתוני חיוב רטרואקטיביים ב-Cloud, מתחילת החודש שעבר. לדוגמה, אם תפעילו את הייצוא של נתוני עלות סטנדרטיים, מפורטים או בתקן FOCUS של עלויות השימוש ב-23 בספטמבר, הייצוא יכלול נתונים החל מ-1 באוגוסט.
אנחנו מייצאים את הנתונים בסדר כרונולוגי, יום אחרי יום, כך שהנתונים מהיום הראשון בחודש שעבר מופיעים קודם. במילוי החוסרים הראשוני, הייצוא של נתוני החיוב הרטרואקטיביים ב-Cloud יסתיים תוך 5 ימים ורק אז תתחילו לראות את נתוני השימוש העדכניים.
אם מגדירים שמערך הנתונים ב-BigQuery יתבסס על מיקום באזור נתמך, נתוני FOCUS, הנתונים הסטנדרטיים או הנתונים המפורטים של עלויות השימוש יהיו זמינים החל מהתאריך שבו הפעלתם את הייצוא של נתוני החיוב ב-Cloud. כלומר, נתוני החיוב מ- Google Cloud לא יתווספו רטרואקטיבית למערכי נתונים שהמיקום שלהם הוא לא במספר אזורים, כך שלא תראו את עלויות החיוב ב-Cloud שצברתם לפני שהפעלתם את הייצוא.
אם תפעילו, תשביתו ואז תפעילו מחדש את הייצוא של נתוני עלות השימוש בתקן FOCUS, נתוני עלות השימוש הסטנדרטיים או נתוני עלות השימוש המפורטים, יכול להיות שלא יהיו נתוני חיוב ב-Cloud לתקופה שבה הייצוא היה מושבת.
אם תפעילו את הייצוא של נתוני התמחור, במערך הנתונים ב-BigQuery יופיעו נתוני חיוב ב-Cloud רק החל מהתאריך שבו הפעלתם את הייצוא בפעם הראשונה. נתוני התמחור של החיוב ב-Cloud לא יתווספו רטרואקטיבית, כך שלא תראו נתוני תמחור שקודמים לתאריך שבו הפעלתם את הייצוא.
מערך הנתונים ב-BigQuery משקף את מצב השימוש במשאבים שלכם כמו שהוא תועד. כלומר אם משנים את המשאבים, למשל מוסיפים תוויות חדשות לפרויקטים או משנים את היררכיית הפרויקט (ואז
project.ancestorsישתנה), השינויים יתעדכנו בנתונים רק בפעם הבאה שתייצאו את נתוני השימוש. הנתונים שכבר יוצאו לא ישתנו.אם תמחקו נתונים שיוצאו (למשל רשומות ייצוא של BigQuery), לא נוכל למלא את החוסרים של הרשומות שנמחקו.
אם תשנו בהגדרות הייצוא את הפרויקט או המערך שבו נשמרים נתוני החיוב, הנתונים שכבר יוצאו לא יועברו אוטומטית למערך החדש. כלומר, במערך החדש ב-BigQuery יהיו רק נתוני חיוב ב-Cloud שנצברו החל מהתאריך שבו שיניתם את ההגדרות. כדי שכל נתוני החיוב שיוצאו יהיו במערך, אתם צריכים לאחד ידנית בין מערך הנתונים החדש לקודם. איך מאחדים בין מערכים?
טעינות הנתונים ב-BigQuery תואמות ל-ACID. לכן, אם תריצו שאילתה במערך ב-BigQuery על נתוני החיוב ב-Cloud בזמן שהם נטענים, הנתונים שנטענו חלקית לא יופיעו בתוצאות.
חשוב להכיר מגבלות אחרות שעשויות להשפיע על ייצוא נתוני החיוב ל-BigQuery, כמו מערכי נתונים שבהם הופעלו מפתחות הצפנה בניהול הלקוח (CMEK).
מגבלות
הייצוא של נתוני חיוב ב-Cloud ל-BigQuery כפוף למגבלות הבאות:
קבוצת נתונים אחת של יעד לכל סוג ייצוא
בכל חשבון לחיוב ב-Cloud אפשר להגדיר רק קבוצת נתונים אחת כיעד לכל סוג של ייצוא, כמו נתונים סטנדרטיים של עלויות שימוש, נתונים מפורטים של עלויות שימוש, נתוני FOCUS של עלויות שימוש, נתוני תמחור או מטא-נתונים של הנחות תמורת התחייבות לשימוש (CUD). אי אפשר להגדיר כמה מערכי נתונים של יעדים לאותו סוג ייצוא בחשבון חיוב אחד. כל ייצוא של עלויות שימוש כולל באופן אוטומטי נתונים של כל הפרויקטים שמקושרים לחשבון לחיוב.
כדי להגביל את הגישה ברמת הפרויקט כך שהצוותים יראו רק את העלויות של הפרויקטים שבבעלותם, אתם יכולים להשתמש באחת מהשיטות הבאות לבקרת גישה ב-BigQuery:
יצירת תצוגה מורשית של BigQuery יוצרים תצוגה מורשית במערך נתונים נפרד שמשתמש באותו מיקום כמו מערך הנתונים לייצוא. מסננים את השורות לפי השדה
project.idבייצוא של נתוני עלות סטנדרטיים או מפורטים של שימוש, או לפי השדהSubAccountIdבייצוא של נתוני עלות שימוש ב-FOCUS.נותנים הרשאה לתצוגה בקבוצת הנתונים של הייצוא, ונותנים לחשבונות המשתמשים את התפקיד BigQuery Data Viewer (
roles/bigquery.dataViewer) בתצוגה המורשית הספציפית שלהם. הקצאת התפקיד הזה ברמת מערך הנתונים נותנת לחשבונות המשתמשים גישת קריאה לכל טבלה ותצוגה במערך הנתונים. תנו גישה ברמת מערך הנתונים רק אם כל צוות משתמש במערך נתונים ייעודי לתצוגות המורשות שלו.בנוסף, צריך לתת לחשבונות הראשיים תפקיד להרצת שאילתות, כמו התפקיד BigQuery Job User (
roles/bigquery.jobUser), בפרויקט השאילתות שלהם. אל תתנו לחשבונות המשתמשים האלה גישה ישירה למערך הנתונים של הייצוא במקור. מוודאים שאין להם תפקידי קריאה שעוברים בירושה ברמת הפרויקט, כמוroles/bigquery.dataViewerאוroles/viewer, בפרויקט שמארח את מערך הנתונים של הייצוא המקורי. מידע נוסף זמין במאמר יצירת תצוגה מורשית.להחיל אבטחה ברמת השורה ב-BigQuery. בייצוא של נתוני עלות סטנדרטיים או מפורטים, יוצרים כללי מדיניות גישה ברמת השורה בטבלת הייצוא, שמסננים שורות לפי השדה
project.idלחשבונות משתמשים ספציפיים. נותנים לחשבונות המשתמשים האלה את התפקידroles/bigquery.dataViewerבטבלת הייצוא, ואת תפקיד השאילתה, כמוroles/bigquery.jobUser, בפרויקט השאילתה שלהם. אל תקצו את התפקידroles/bigquery.dataViewerברמת מערך הנתונים אם מערך הנתונים מכיל טבלאות ייצוא אחרות שלא עברו סינון.אם אתם מפעילים אבטחה ברמת השורה בטבלת ייצוא, אתם צריכים גם להוסיף מדיניות סינון של
TRUEלחשבון השירות של ייצוא החיוב ב-Cloud, כדי שהייצוא ימשיך לפעול כמו שצריך. מידע נוסף זמין במאמר אבטחה ברמת השורה. אל תקצו את התפקידroles/bigquery.filteredDataViewerישירות דרך IAM, כי הוא מעניק גישה לשורות שתואמות לכל מדיניות גישה ברמת השורה בטבלה, כולל המסנןTRUE.מוודאים שלחשבונות המשתמשים המוגבלים אין תפקידי כתיבה, בעלים או אדמין בפרויקט, במערך הנתונים או בטבלה של הייצוא. השתמשו באבטחה ברמת השורה רק בתוך ארגון אחד. אי אפשר להגדיר מדיניות גישה ברמת השורה במערכי נתונים מקושרים לקריאה בלבד, כמו הייצוא של FOCUS. להנחיות נוספות, קראו את המאמר שיטות מומלצות לאבטחה ברמת השורה.
סכימת הטבלה של נתוני החיוב ב-Cloud שמייצאים
סכימת הטבלה בכל ייצוא של נתוני החיוב ב-Cloud יכולה להשתנות.
כשסכימת הטבלה משתנה, למשל כשנוספים שדות חדשים לסכימת טבלה ב-BigQuery לייצוא של נתוני חיוב ב-Cloud, יכולות להיות שגיאות בשאילתות שמפנות ישירות לעמודות שמיוצאות. כדי לפתור את זה, צרו תצוגות (Views) של BigQuery שמריצות שאילתות לטבלאות שמיוצאות ומראות את המידע במבנה שאתם רוצים.
אחר כך תוכלו לשנות את השאילתות שמהן נוצרים הדוחות ומרכזי הבקרה, כך שיחזירו מידע מהתצוגות במקום מהטבלאות שמיוצאות. בעזרת התצוגות אתם יכולים לקבוע סטנדרט אחיד למבנה הנתונים בשאילתות ובמרכזי הבקרה.
התצוגות שיצרתם אמורות לנרמל את הנתונים, כך שכל הטבלאות הרלוונטיות יציגו את אותה הסכימה לשאילתות. הדרך הזו מגינה משינויים עתידיים בסכימה, ואפשר לשנות את השאילתה הבסיסית של התצוגה כשחלים שינויים בסכימת הנתונים.
ייצוא FOCUS ושמירת נתונים
נתוני החיוב שמיוצאים ל-FOCUS BigQuery ש-Google מספקת כפופים למדיניות של זמן חיים (TTL) של שנתיים. נתונים מלפני יותר משנתיים נמחקים באופן אוטומטי מטבלת הייצוא של FOCUS שסופקה במערך הנתונים ב-BigQuery. אם אתם צריכים לשמור את היסטוריית נתוני החיוב ב-FOCUS למשך יותר משנתיים, העתיקו את נתוני FOCUS לטבלת אחסון לטווח ארוך שבבעלותכם.
מיקומים של מערכי נתונים ב-BigQuery וזמינות הנתונים
באילו מיקומים של מערכי נתונים ב-BigQuery אפשר להשתמש לנתוני החיוב ב-Cloud:
צריך להגדיר את מערכי הנתונים ב-BigQuery למיקום. המיקום יכול להיות במספר אזורים (באיחוד האירופי או בארה"ב) או באזור אחד. המיקום של מערך הנתונים נקבע כשיוצרים אותו, אחרי שקבוצת נתונים נוצרת, אי אפשר לשנות את המיקום שלה.
כשמייצאים את נתוני החיוב ב-Cloud, אפשר להשתמש בכל המיקומים במספר אזורים (באיחוד האירופי או בארה"ב), אבל רק בחלק מהמיקומים באזור אחד. כשאתם מגדירים את הייצוא של נתוני החיוב ב-Cloud, אם תיצרו או תבחרו מערך נתונים שמוגדר למיקום באזור שלא נתמך, כשתנסו לשמור את הגדרות הייצוא תופיע הודעת שגיאה לגבי האזור של מערך הנתונים.
בטבלה הבאה מופיעים המיקומים במספר אזורים והמיקומים באזור אחד שנתמכים, לצורך שימוש במערכי נתונים ב-BigQuery שמכילים נתוני חיוב ב-Cloud.
| אמריקה | אסיה ואזור האוקיינוס השקט | אירופה | המזרח התיכון |
|---|---|---|---|
|
במספר אזורים: ארה"ב אזורים:
|
אזורים:
|
במספר אזורים: האיחוד האירופי אזורים:
|
אזורים:
|
מיקומים וזמינות הנתונים:
במערכי נתונים ב-BigQuery שכוללים נתוני FOCUS של עלויות השימוש, נתונים סטנדרטיים או נתונים מפורטים של עלויות השימוש, סוג המיקום שמגדירים במערך הנתונים משפיע על מועד הייצוא של נתוני החיוב מ- Google Cloud למערך הנתונים:
- אם תגדירו שמערך הנתונים יתבסס על מיקום במספר אזורים (באיחוד האירופי או בארה"ב), נתוני החיוב ב- Google Cloud שיופיעו יהיו מתחילת החודש שלפני הפעם שבה הפעלתם בפעם הראשונה את הייצוא, אלא אם הפעלתם אותו מחדש. כלומר, נתוני החיוב מ-Google Cloud יתווספו רטרואקטיבית לחודש הנוכחי ולחודש הקודם. במילוי החוסרים הראשוני, הייצוא של נתוני החיוב הרטרואקטיביים ב-Cloud יסתיים תוך עד חמישה ימים ורק אז תתחילו לראות את נתוני השימוש הנוכחיים.
אם מערך הנתונים שלכם מוגדר לשימוש במיקום באזור נתמך, נתוני עלות FOCUS, נתוני עלות סטנדרטיים ונתוני עלות מפורטים של עלויות החיוב ב- Google Cloud יכללו רק את נתוני החיוב שצברתם החל מהתאריך שבו הפעלתם את הייצוא של נתוני החיוב ב-Cloud, ואילך. כלומר, נתוני החיוב מ- Google Cloud לא יתווספו רטרואקטיבית למערכי נתונים שהמיקום שלהם הוא לא במספר אזורים, כך שלא תראו את עלויות החיוב ב-Cloud שצברתם לפני שהפעלתם את הייצוא.
מידע נוסף מופיע בקטע זמינות הנתונים.
מערכי הנתונים ב-BigQuery שכוללים נתוני תמחור אוספים רק את נתוני החיוב ב- Google Cloud לעלויות שצברתם החל מהתאריך שבו הגדרתם את הייצוא של נתוני החיוב מ-Cloud. כלומר, נתוני התמחור שלGoogle Cloud לא נוספים רטרואקטיבית, ולא תראו את נתוני החיוב ב-Cloud של עלויות שצברתם לפני שהפעלתם את הייצוא. מידע נוסף מופיע בקטע זמינות הנתונים.
השבתה, הפעלה מחדש או עריכה של הגדרות הייצוא
אם תשביתו, תפעילו מחדש או תשנו בהגדרות הייצוא את הפרויקט או את מערך הנתונים שבו נשמרים נתוני החיוב, הנתונים שכבר יוצאו לא יועברו אוטומטית למערך הנתונים החדש. כדי שמערך הנתונים יכלול את נתוני החיוב שכבר יוצאו, אתם צריכים לאחד ידנית בין שני מערכי הנתונים – הישן והחדש. איך מאחדים בין מערכי נתונים?
הצפנת מערך נתונים
מערכי הנתונים ב-BigQuery מוגדרים לשימוש בהצפנה במנוחה על ידי הגדרת אפשרות של מפתח הצפנה כשיוצרים את מערך הנתונים – Google-owned and Google-managed encryption keyאו מפתח הצפנה בניהול הלקוח (CMEK). אפשר לערוך את הגדרות ההצפנה אחרי שיוצרים קבוצת נתונים.
אם כבר הפעלתם את הייצוא של נתוני החיוב ב-Cloud ל-BigQuery, ומערך הנתונים שלכם מוגדר לשימוש ב-Google-managed encryption key, אתם יכולים לעדכן את מערך הנתונים ואת הטבלאות שלו לשימוש ב-CMEK. כדי לעדכן את מערך הנתונים והטבלאות שלו:
- מגדירים מפתח ברירת מחדל למערך הנתונים. הגדרת מפתח ברירת מחדל מבטיחה שכל הטבלאות החדשות שנוצרות במערך הנתונים מוגנות באופן אוטומטי באמצעות ה-CMEK.
- משתמשים בכלי שורת הפקודה
bqכדי להפעיל את CMEK בכל טבלה קיימת במערך הנתונים. שינוי מפתח ברירת המחדל של מערך הנתונים לא גורם להצפנה מחדש של הטבלאות הקיימות באופן אוטומטי.
איך מפעילים CMEK בטבלאות BigQuery
מדיניות הארגון לגבי CMEK
אתם יכולים להשתמש במדיניות הארגון ל-CMEK כדי לאכוף את השימוש ב-CMEK במשאבים של BigQuery, כולל ייצוא נתוני חיוב, או כדי לדרוש שה-CMEK יהיה בפרויקט מאושר. עם זאת, לאכיפת מדיניות הארגון בנושא CMEK יכולות להיות ההשפעות הבלתי צפויות הבאות:
תהליך הייצוא עלול להיכשל במערכי נתונים קיימים: כשמפעילים אילוץ חדש של מדיניות הארגון, האילוץ לא חל על מערכי נתונים קיימים. זה אומר שיכול להיות שיהיו לכם מערכי נתונים שעדיין קיימים, למרות שהם כבר לא מורשים. עם זאת, בפעם הבאה שתנסו לייצא לאותו מערך נתונים, תהליך הייצוא ייכשל אם לא תהיה אפשרות ליצור טבלאות חדשות בגלל מדיניות ארגונית חדשה שנאכפת.
כדי למנוע את המצב הזה, בכל פעם שאתם מעדכנים את מדיניות הארגון, בדקו באופן יזום את ההגדרות הקיימות של ייצוא נתוני החיוב, ועדכנו את הגדרות קבוצת הנתונים לפי הצורך כדי לעמוד במגבלות של
restrictNonCmekServicesו-restrictCmekCryptoKeyProjects.אכיפה לא עקבית של מדיניות הארגון: מדיניות הארגון לא נאכפת כשיוצרים מערך נתונים ריק. כלומר, אתם יכולים לאכוף את האילוץ
restrictNonCmekServicesכדי לדרוש שמשאבי BigQuery ישתמשו ב-CMEK להצפנה, אבל אז ליצור בהצלחה מערך נתונים ב-BigQuery שמוגדר לשימוש ב- Google-owned and Google-managed encryption keys. עם זאת, ייצוא החיוב שמשתמש במערך הנתונים הזה ייכשל כי מדיניות הארגון לא תאפשר לכם ליצור טבלה שלא מוגנת על ידי CMEK בזמן שהאילוץrestrictNonCmekServicesנאכף ב-BigQuery.כדי לפתור את הבעיה, צריך לעדכן את ההצפנה של מערך הנתונים ולהגדיר מפתח ברירת מחדל למערך הנתונים שתואם לאילוצים
restrictNonCmekServicesו-restrictCmekCryptoKeyProjects.
אבטחה ברמת השורה
אם אתם רוצים להשתמש באבטחה ברמת השורה ב-BigQuery בטבלה עם הנתונים שייצאתם, חשבון השירות שממנו ייצאתם את נתוני החיוב ב-Cloud ( (billing-export-bigquery@), צריך הרשאת גישה מלאה לטבלה. כדי לעשות את זה צריך להשתמש במסנן TRUE של BigQuery.
הפקודה שכאן מאפשרת גישה לחשבון השירות של החיוב ב-Cloud:
CREATE ROW ACCESS POLICY cloud_billing_export_policy
ON `__project_id__.__dataset_id__.__table_id__`
GRANT TO ('serviceAccount:billing-export-bigquery@')
FILTER USING (TRUE);
נתוני עלות מפורטים של FOCUS או נתוני שימוש ו-GKE
כשמייצאים נתוני עלות מפורטים של שימוש או נתוני עלות של שימוש בתקן FOCUS, הייצוא כולל באופן אוטומטי מידע ברמת המשאב לגבי Compute Engine ושירותים אחרים. עם זאת, כדי לראות את פירוט העלויות של אשכולות Google Kubernetes Engine (GKE) כשמייצאים נתונים מפורטים או נתוני FOCUS, צריך גם להפעיל הקצאת עלויות ב-GKE.
תגים ברמת המשאב
תגים ברמת המשאב יתעדכנו תוך שעה בייצוא ל-BigQuery. אם הוספתם או הסרתם תג במהלך אותה שעה, או אם המשאב היה קיים במשך פחות משעה, יכול להיות שהוא לא יופיע בנתונים שתייצאו.
תגים ברמת המשאב זמינים לכמה משאבים בייצוא הנתונים הסטנדרטיים של עלויות השימוש ובייצוא הנתונים המפורטים של עלויות השימוש.
נושאים קשורים
נושאים שקשורים לנתוני חיוב ב-Cloud שיוצאו
- הגדרת הייצוא של נתוני החיוב ב-Cloud ל-BigQuery
- הגדרת ייצוא של FOCUS ל-BigQuery
- טבלת נתוני עלות סטנדרטיים של שימוש
- טבלת נתוני עלות סטנדרטיים של שימוש
- טבלת נתוני עלות מפורטים של שימוש
- טבלת נתוני תמחור