הגדרת הייצוא של נתוני החיוב ב-Cloud ב-FOCUS ל-BigQuery

במסמך הזה מוסבר שלב אחרי שלב איך מגדירים את הייצוא של נתוני החיוב ב-Cloud ל-BigQuery, כולל עלויות השימוש ב-FOCUS. ייצוא נתוני העלות של השימוש ב-FOCUS הוא מערך נתונים ב-BigQuery שלא ניתן לשינוי (מערך נתונים מקושר) שמכיל את נתוני העלות המפורטים של השימוש, שעברו נרמול בהתאם לתקנים של FinOps Open Cost and Usage Specification (FOCUS).

כדי להפעיל את הייצוא של נתוני עלויות השימוש ב-FOCUS מחיוב ב-Cloud ל-BigQuery, צריך לבצע את השלבים הבאים:

  • יצירת פרויקט שבו יאוחסנו נתוני החיוב ב-Cloud שיוצאו והפעלת החיוב בפרויקט (אם עדיין לא עשיתם את זה).
  • הגדרת ההרשאות בפרויקט ובחשבון לחיוב ב-Cloud.
  • מפעילים את ייצוא נתוני החיוב של עלויות השימוש ב-FOCUS.

כאן מוסבר בהרחבה על כל אחד מהשלבים האלה.

עלויות השימוש ב-BigQuery עם FOCUS Export

השימוש ב-BigQuery לאחסון ולניתוח של נתוני השימוש שמחויב ונתוני העלויות כרוך בחיוב על השימוש ב-BigQuery. העלויות העיקריות ב-BigQuery הן על אחסון נתונים ב-BigQuery ועל מחשוב שמשמש לעיבוד שאילתות.

מכיוון שייצוא נתוני החיוב של FOCUS מסופק כייצוא בלתי ניתן לשינוי שמנוהל על ידי Google (באמצעות מערך נתונים מקושר), לא תחויבו בעלויות אחסון של נתוני FOCUS. עם זאת, תחויבו כשמריצים שאילתות על נתוני ה-FOCUS. מידע נוסף זמין במאמר בנושא עלויות השימוש ב-BigQuery.

היכרות עם מסוף Google Cloud

מסוף Google Cloud הוא ממשק משתמש לדפדפן שבאמצעותו מקצים, מגדירים, מנהלים ומנטרים את המערכות שמשתמשות במוצריGoogle Cloud . במסוף Google Cloud מגדירים ומנהלים את Google Cloud ואת המשאבים בחיוב ב-Cloud. אפשר לקרוא את מאמרי העזרה האלה על המסוף או לפתוח את המסוף ולהתנסות בו.

ההרשאות שנדרשות למשימה הזו

כדי להפעיל ולהגדיר את הייצוא של נתוני עלויות השימוש מהחיוב ב- Google Cloud בפורמט FOCUS, צריך את ההרשאות הבאות:

יכול להיות שתצטרכו גם הרשאות אחרות בפרויקט. אם אתם משתייכים לארגון ב-Google Cloud , כדי ליצור פרויקט חדש אתם צריכים את התפקיד Project Creator ברמת הארגון או התיקייה. כדי ליצור פרויקט חדש, צריך את ההרשאות הבאות:

  • resourcemanager.organizations.get
  • resourcemanager.projects.create

במאמרים הבאים אפשר לקרוא מידע נוסף על ההרשאות ב- Google Cloud :

הפעלת הייצוא של נתוני החיוב ב-Cloud ל-BigQuery

כדי להפעיל את הייצוא של נתוני עלויות השימוש ב-FOCUS ל-BigQuery, צריך לבצע את שלושת השלבים שמפורטים כאן.

1. יצירת פרויקט חדש או בחירה בפרויקט קיים

נתוני החיוב ב-Cloud שיוצאו ל-BigQuery נמצאים במערך נתונים ב-BigQuery. מערך נתונים נמצא בתוך פרויקט מסוים ב-Google Cloud .

מומלץ שתיצרו פרויקט נפרד ב- Google Cloud לניהול החיובים וה-FinOps בחשבון לחיוב ב-Cloud, כולל הנתונים שאתם מייצאים מהחיוב ב-Cloud. כאן מוסבר למה כדאי להשתמש בפרויקט שמתמקד ב-FinOps בכל תרחישי השימוש של ניהול החיובים.

בדף לבחירת הפרויקט במסוף Google Cloud , בוחרים פרויקט ב- Google Cloud או יוצרים אותו.

תפקידים שנדרשים כדי לבחור או ליצור פרויקט

  • Select a project: כדי לבחור פרויקט לא צריך תפקיד IAM ספציפי – אפשר לבחור כל פרויקט שקיבלתם בו תפקיד.
  • יצירת פרויקט: כדי ליצור פרויקט, צריך את התפקיד Project Creator (roles/resourcemanager.projectCreator), שכולל את ההרשאה resourcemanager.projects.create. איך מקצים תפקידים

כניסה לדף לבחירת הפרויקט

למידע נוסף על יצירה וניהול של פרויקטים.

2. מוודאים שהחיוב פועל

ודאו שהחיוב פועל בפרויקט ב- Google Cloud שבו רציתם שיהיה מערך הנתונים, ושאותו פרויקט ב- Google Cloud מקושר לחשבון לחיוב ב-Cloud עם הנתונים שאתם רוצים לייצא למערך ב-BigQuery.

3. הפעלת ייצוא של עלויות השימוש ב-FOCUS ל-BigQuery

את הייצוא של נתוני החיוב ב-Cloud מפעילים בקטע Billing במסוףGoogle Cloud .

הייצוא של נתוני עלויות השימוש ב-FOCUS מתבסס על מערך נתונים ב-BigQuery שסופק על ידי Google ואי אפשר לשנות אותו. המערך הזה מכיל את הנתונים המפורטים של עלויות השימוש, שעברו נרמול בהתאם לתקנים של FinOps Open Cost and Usage Specification (FOCUS). ‫FOCUS הוא מפרט פתוח שמגדיר דרישות ברורות לגבי גנרטורים של נתוני חיוב טכנולוגיים, כדי ליצור מערכי נתונים עקביים של עלויות ושימוש. העמודות בייצוא של FOCUS בדרך כלל תואמות לשדות בייצוא של נתוני עלויות שימוש מפורטים.

כדי להפעיל את הייצוא של נתוני החיוב ב-Cloud למערך הנתונים FOCUS ב-BigQuery:

  1. פותחים את הדף Billing export במסוף Google Cloud .

    לדף Billing export

  2. בהודעה שמופיעה, בוחרים את החשבון לחיוב ב-Cloud שלגביו רוצים לייצא נתוני חיוב. ייפתח הדף Billing export של החשבון לחיוב שבחרתם.

  3. בכרטיסייה BigQuery export, לוחצים על Enable FOCUS export כדי להגדיר את הייצוא של FOCUS.

  4. ברשימה Projects, בוחרים את הפרויקט שהגדרתם שבו רוצים להכיל את מערך הנתונים ב-BigQuery.

    ב-BigQuery, הפרויקט שתבחרו ישמש לאחסון הנתונים המיוצאים במערך הנתונים הקבוע של FOCUS ש-Google מספקת.

    כשאתם מייצאים את נתוני השימוש והעלויות בפורמט FOCUS, נתוני החיוב ב-Cloud כוללים נתוני שימוש ונתוני עלות עבור כל הפרויקטיםGoogle Cloud ששולמו באמצעות אותו חשבון לחיוב ב-Cloud.

  5. כדי לייצא נתונים ל-BigQuery, צריך את BigQuery API. אם BigQuery API לא הופעל בפרויקט שבחרתם, תתבקשו להפעיל אותו. במידת הצורך, לוחצים על Enable BigQuery API כדי להפעיל את ה-API.

  6. בוחרים מיקום נתונים לקבוצת הנתונים של FOCUS. המיקום הזה מציין את האזור או את מספר האזורים שבהם הנתונים מאוחסנים. המיקום הזה משותף לכל הטבלאות במערך הנתונים.

    1. בוחרים את Location Type, ‏ Multi-region (מומלץ) או Region.

    2. בוחרים את המיקום עבור סוג המיקום שצוין.

      מומלץ לבחור מיקום במספר אזורים (באיחוד האירופי או בארה"ב) לייצוא של נתוני עלויות השימוש ב-FOCUS (וגם לייצוא של נתוני עלויות השימוש הסטנדרטיים והמפורטים). בייצוא של החיוב ב-Cloud, אפשר להשתמש בכל המיקומים במספר אזורים (באיחוד האירופי או בארה"ב), אבל רק קבוצת משנה של מיקומים באזור של מערכי הנתונים נתמכים בייצוא של החיוב ב-Cloud ל-BigQuery.

      למיקום שתבחרו יכולה להיות השפעה על הוספת הנתונים של החודש הקודם למערך הנתונים באופן רטרואקטיבי. למידע נוסף על מיקומים של מערכי נתונים ועל זמינות של נתונים, כדאי לעיין במגבלות.

      אחרי שיוצרים את מערך הנתונים אי אפשר לשנות את המיקום. מידע נוסף על מיקומים

  7. לוחצים על Save.

מערך נתונים וטבלת נתונים של FOCUS

זמן קצר אחרי שמפעילים את הייצוא של עלויות השימוש ב-FOCUS, מערכת BigQuery export יוצרת מערך נתונים וטבלה עם נתוני החיוב במערך הנתונים החדש, על סמך הגדרות הייצוא של FOCUS:

  • מערך נתונים שלא ניתן לשינוי נוצר בפרויקט Google Cloud שציינתם כשהפעלתם את הייצוא של נתוני FOCUS, לפי דפוס השמות הבא:

    gcp_billing_immutable_<BILLING_ACCOUNT_ID>_<Location>

    השם של קבוצת הנתונים מורכב משלושה רכיבים:

    1. ‫gcp_billing_immutable – שם קבוצת הנתונים לייצוא מ-FOCUS.
    2. ‫Billing_account_ID – המזהה של החשבון לחיוב ב-Cloud שבו מופעל ייצוא של נתוני FOCUS.
    3. ‫Location – המיקום הספציפי של האזור או של מספר אזורים שבחרתם כשמפעילים את הייצוא של FOCUS.

    דוגמה לשם של מערך נתונים: gcp_billing_immutable_010101_F0FFF0_61C528_us

  • טבלת נתוני חיוב של FOCUS נוצרת במערך הנתונים של FOCUS, והשם שלה הוא:

    gcp_billing_export_focus_<BILLING_ACCOUNT_ID>

    דוגמה לשם טבלה: gcp_billing_export_focus_010101_F0FFF0_61C528

עדכון הגדרות הייצוא של עלויות השימוש ב-FOCUS

אחרי שהפעלתם את הייצוא של נתוני עלויות השימוש ב-FOCUS ל-BigQuery, אתם יכולים לשנות הגדרות שונות שקשורות לייצוא הנתונים. למשל:

  • לשנות את הפרויקט שבו מאוחסן מערך הנתונים של FOCUS.
  • משנים את הגדרת האזור של קבוצת הנתונים של FOCUS. שינוי הגדרות האזור יוביל ליצירה של מערך נתונים חדש שלא ניתן לשינוי.
  • השבתת הייצוא של עלויות השימוש ב-FOCUS.

לפני שמעדכנים את הפרויקט או את מערך הנתונים שבו נשמרים נתוני החיוב, או לפני שמשביתים את הייצוא של נתוני FOCUS, כדאי לעיין במגבלות ובהנחיות בנושא זמינות הנתונים כדי להבין איך העדכונים האלה עשויים להשפיע על נתוני החיוב של FOCUS שמיוצאים ל-BigQuery.

השבתת הייצוא של עלויות השימוש ב-FOCUS

כדי להפסיק לייצא ל-BigQuery סוגים מסוימים של נתוני חיוב ב-Cloud:

  1. לוחצים על השבתת ייצוא של FOCUS.
  2. לוחצים על Confirm כדי לשמור את הבחירה.

אם תפעילו מחדש את הייצוא של נתוני העלות של השימוש ב-FOCUS בשלב מאוחר יותר, תצטרכו לבחור מחדש את אותן הגדרות של פרויקט ומיקום כדי להשתמש באותו מערך נתונים שלא ניתן לשינוי שנוצר כשהפעלתם את הייצוא של FOCUS בפעם הראשונה. אנחנו לא תומכים במילוי חוסרים (backfill) של נתונים שלא יוצאו במהלך התקופה שבה הייצוא של FOCUS הושבת.

הפעלה מחדש של ייצוא נתוני עלויות השימוש ב-FOCUS

בקטע הפעלת הייצוא של נתוני החיוב ב-Cloud ל-BigQuery מוסבר איך מפעילים מחדש ייצוא של נתוני FOCUS שהושבת בעבר.

  • כדי להשתמש באותו מערך נתונים שלא ניתן לשינוי שנוצר כשמפעילים לראשונה את הייצוא של FOCUS, צריך לבחור מחדש את אותן הגדרות של פרויקט ואזור שבהן השתמשתם במקור.
  • אם תבחרו הגדרות אחרות של פרויקט או אזור, ייצור בשבילכם מערך נתונים חדש שלא ניתן לשינוי, ונתוני ה-FOCUS שלכם ייוצאו למערך הנתונים החדש החל מהתאריך שבו הפעלתם מחדש את ייצוא ה-FOCUS.

איך משנים את הפרויקט או את מערך הנתונים של נתוני עלויות השימוש ב-FOCUS שמייצאים

כדי לשנות את הפרויקט או את המערך שבו נשמרים נתוני החיוב של FOCUS:

  1. ‫FOCUS משתמש במערך נתונים שלא ניתן לשינוי, שנוצר עבורכם כשאתם מפעילים את הייצוא של נתוני עלויות השימוש ב-FOCUS. כדי לערוך את הגדרות הייצוא של FOCUS, קודם צריך להשבית את הייצוא של FOCUS.
  2. אחר כך בוחרים באפשרות הפעלת ייצוא של FOCUS ובוחרים את הגדרות הפרויקט והמיקום לייצוא של FOCUS.

  3. לוחצים על שמירה כדי לאשר את ההגדרות של הייצוא ל-FOCUS.

    במהלך תהליך ההפעלה, אם תבחרו פרויקט או אזור שונים מההגדרה הקודמת, ייצור בשבילכם מערך נתונים חדש שלא ניתן לשינוי בפרויקט שנבחר.

הסבר על ההרשאות של מערך הנתונים

כדי לייצא את נתוני החיוב ב-Cloud ל-BigQuery צריך להשתמש בחשבון שירות לניהול ההרשאות של מערך הנתונים.

אחרי שמפעילים את הייצוא של נתוני FOCUS ל-BigQuery, ‏ Google מוסיפה באופן אוטומטי חשבון שירות כבעלים של מערך הנתונים הבלתי ניתן לשינוי ש-Google מספקת. חשבונות השירות נראים כך:

billing-export-bigquery@

חשבון השירות מנוהל על ידי Google ונמצא בבעלותה. הוא מספק את ההרשאות שדרושות לתהליך האופליין כדי ליצור את מערך הנתונים והטבלה של FOCUS ולכתוב בהם רשומות של חיוב ב-Cloud.

חשוב להכיר את המגבלות שעשויות להשפיע על ייצוא נתוני החיוב ל-BigQuery.

טבלת נתוני עלות של שימוש ב-FOCUS

זמן קצר אחרי הפעלת הייצוא של נתוני עלויות השימוש ב-FOCUS, מערכת BigQuery יוצרת מערך נתונים שלא ניתן לשינוי וטבלת נתונים של FOCUS במערך הנתונים שלא ניתן לשינוי ב-BigQuery. מידע נוסף על סכימת הטבלה של FOCUS זמין במאמר מבנה הייצוא של נתוני FOCUS.

תדירות טעינת הנתונים

בפעם הראשונה שתפעילו את הייצוא ל-BigQuery של נתוני עלויות השימוש ב-FOCUS, יכול להיות שרק תוך כמה שעות תתחילו לראות את נתוני העלויות של Google Cloud במערך הנתונים ב-BigQuery. הנתונים מיוצאים בסדר כרונולוגי. אם הייצוא מוגדר לכלול נתונים רטרואקטיביים של החודש שעבר והחודש הנוכחי, הייצוא של נתוני השימוש הנוכחיים יסתיים תוך עד חמישה ימים.

למידע נוסף על תדירות טעינת הנתונים לטבלאות ב-BigQuery

מגבלות

הייצוא של נתוני חיוב ב-Cloud ל-BigQuery כפוף למגבלות הבאות:

סכימת הטבלה של נתוני החיוב ב-Cloud שמייצאים

סכימת הטבלה בכל ייצוא של נתוני החיוב ב-Cloud יכולה להשתנות.

כשסכימת הטבלה משתנה, למשל כשנוספים שדות חדשים לסכימת טבלה ב-BigQuery לייצוא של נתוני חיוב ב-Cloud, יכולות להיות שגיאות בשאילתות שמפנות ישירות לעמודות שמיוצאות. כדי לפתור את זה, צרו תצוגות (Views) של BigQuery שמריצות שאילתות לטבלאות שמיוצאות ומראות את המידע במבנה שאתם רוצים.

אחר כך תוכלו לשנות את השאילתות שמהן נוצרים הדוחות ומרכזי הבקרה, כך שיחזירו מידע מהתצוגות במקום מהטבלאות שמיוצאות. בעזרת התצוגות אתם יכולים לקבוע סטנדרט אחיד למבנה הנתונים בשאילתות ובמרכזי הבקרה.

התצוגות שיצרתם אמורות לנרמל את הנתונים, כך שכל הטבלאות הרלוונטיות יציגו את אותה הסכימה לשאילתות. הדרך הזו מגינה משינויים עתידיים בסכימה, ואפשר לשנות את השאילתה הבסיסית של התצוגה כשחלים שינויים בסכימת הנתונים.

ייצוא של נתונים מ-FOCUS ושמירת נתונים

נתוני החיוב שיוצאו לייצוא FOCUS BigQuery שסופק על ידי Google כפופים למדיניות של שנתיים לגבי משך החיים (TTL). נתונים מלפני יותר משנתיים נמחקים אוטומטית מטבלת הייצוא של FOCUS שצוינה במערך הנתונים ב-BigQuery. אם אתם צריכים לשמור את היסטוריית נתוני החיוב של FOCUS למשך יותר משנתיים, אתם יכולים להעתיק את נתוני FOCUS לטבלת אחסון לטווח ארוך שנמצאת בבעלותכם.

מיקומים של מערכי נתונים ב-BigQuery וזמינות נתונים

באילו מיקומים של מערכי נתונים ב-BigQuery אפשר להשתמש לנתוני החיוב ב-Cloud:

צריך להגדיר את מערכי הנתונים ב-BigQuery למיקום. המיקום יכול להיות במספר אזורים (באיחוד האירופי או בארה"ב) או באזור אחד. המיקום של מערך הנתונים נקבע כשיוצרים אותו. אי אפשר לשנות את המיקום של מערך הנתונים אחרי שיוצרים אותו.

כשמייצאים את נתוני החיוב ב-Cloud, אפשר להשתמש בכל המיקומים במספר אזורים (באיחוד האירופי או בארה"ב), אבל רק בחלק מהמיקומים באזור אחד. כשאתם מגדירים את הייצוא של נתוני החיוב ב-Cloud, אם תיצרו או תבחרו מערך נתונים שמוגדר למיקום באזור שלא נתמך, כשתנסו לשמור את הגדרות הייצוא תופיע הודעת שגיאה לגבי האזור של מערך הנתונים.

בטבלה הבאה מופיעים המיקומים במספר אזורים והמיקומים באזור אחד שנתמכים, לצורך שימוש במערכי נתונים ב-BigQuery שמכילים נתוני חיוב ב-Cloud.

אמריקה אסיה ואזור האוקיינוס השקט אירופה המזרח התיכון

במספר אזורים: ארה"ב

אזורים:

  • ‫northamerica-northeast1 (מונטריאול)
  • ‫southamerica-east1 (סאו פאולו)
  • ‫us-central1 (איווה)
  • ‫us-east1 (קרוליינה הדרומית)
  • ‫us-east4 (וירג'יניה הצפונית)
  • ‫us-west1 (אורגון)
  • ‫us-west2 (לוס אנג'לס)
  • ‫us-west3 (סולט לייק סיטי)
  • ‫us-west4 (לאס וגאס)

אזורים:

  • ‫asia-east1 (טייוואן)
  • ‫asia-east2 (הונג קונג)
  • ‫asia-northeast1 (טוקיו)
  • ‫asia-northeast2 (אוסקה)
  • ‫asia-northeast3 (סיאול)
  • ‫asia-south1 (מומבאי)
  • ‫asia-southeast1 (סינגפור)
  • ‫asia-southeast2 (ג'קרטה)
  • ‫australia-southeast1 (סידני)

במספר אזורים: האיחוד האירופי

אזורים:

  • ‫europe-central2 (ורשה)
  • ‫europe-north1 (פינלנד)
  • ‫europe-west1 (בלגיה)
  • ‫europe-west2 (לונדון)
  • ‫europe-west3 (פרנקפורט)
  • ‫europe-west4 (הולנד)
  • ‫europe-west6 (ציריך)

אזורים:

  • ‫me-central1 (דוחה)
  • me-central2 (Dammam)
  • ‫me-west1 (תל אביב)

מיקומים וזמינות נתונים:

  • ‫במערכי נתונים ב-BigQuery שכוללים נתוני עלות של שימוש ב-FOCUS, נתונים סטנדרטיים או מפורטים של עלויות השימוש, סוג המיקום שמגדירים במערך הנתונים משפיע על מועד הייצוא של נתוני החיוב מ- Google Cloud למערך הנתונים:

    • אם תגדירו שמערך הנתונים יתבסס על מיקום במספר אזורים (באיחוד האירופי או בארה"ב), נתוני החיוב ב- Google Cloud שיופיעו יהיו מתחילת החודש שלפני הפעם שבה הפעלתם לראשונה את הייצוא, אלא אם הפעלתם אותו מחדש. כלומר, נתוני החיוב מ-Google Cloud יתווספו רטרואקטיבית לחודש הנוכחי ולחודש הקודם. במילוי החוסרים הראשוני, הייצוא של נתוני החיוב הרטרואקטיביים ב-Cloud יסתיים תוך עד חמישה ימים ורק אז תתחילו לראות את נתוני השימוש הנוכחיים.

    • אם תגדירו שמערך הנתונים יתבסס על מיקום באזור נתמך, נתוני עלויות השימוש ב-FOCUS, נתוני עלויות השימוש הסטנדרטיים ונתוני עלויות השימוש המפורטים ב- Google Cloud יכללו רק את נתוני החיוב שצברתם החל מהתאריך שבו הפעלתם את הייצוא של נתוני החיוב ב-Cloud, ואילך. כלומר,נתוני החיוב מ- Google Cloud לא יתווספו רטרואקטיבית למערכי נתונים שהמיקום שלהם הוא לא במספר אזורים, כך שלא תראו את נתוני החיוב ב-Cloud שצברתם לפני שהפעלתם את הייצוא.

    • מידע נוסף מופיע בקטע זמינות הנתונים.

  • מערכי הנתונים ב-BigQuery שכוללים נתוני תמחור אוספים רק את נתוני החיוב ב- Google Cloud לעלויות שצברתם החל מהתאריך שבו הגדרתם את הייצוא של נתוני החיוב מ-Cloud. כלומר, Google Cloud נתוני התמחור לא נוספים רטרואקטיבית, ולא תראו את נתוני החיוב ב-Cloud של עלויות שצברתם לפני שהפעלתם את הייצוא. מידע נוסף מופיע בקטע זמינות הנתונים.

השבתה, הפעלה מחדש או עריכה של הגדרות הייצוא

אם תשביתו, תפעילו מחדש או תשנו את הגדרות הייצוא כדי לעדכן את הפרויקט או את מערך הנתונים שבו נשמרים נתוני החיוב, הנתונים שכבר יוצאו לא יועברו אוטומטית למערך הנתונים החדש. כדי שמערך הנתונים יכלול את נתוני החיוב שכבר יוצאו, אתם צריכים לאחד ידנית בין שני מערכי הנתונים – הישן והחדש. איך מאחדים בין מערכי נתונים?

הצפנה של מערך נתונים

כשיוצרים מערכי נתונים ב-BigQuery, אפשר להגדיר הצפנה במנוחה באמצעות מפתח הצפנה – Google-owned and Google-managed encryption keyאו מפתח הצפנה בניהול הלקוח (CMEK). אפשר לערוך את הגדרת ההצפנה אחרי שיוצרים מערך נתונים.

אם כבר הפעלתם את הייצוא של נתוני החיוב ב-Cloud ל-BigQuery, ומערך הנתונים שלכם מוגדר לשימוש ב-Google-managed encryption key, אתם יכולים לעדכן את מערך הנתונים ואת הטבלאות שלו לשימוש ב-CMEK. כדי לעדכן את מערך הנתונים ואת הטבלאות שלו, פועלים לפי השלבים הבאים:

  1. מגדירים מפתח ברירת מחדל של קבוצת נתונים בקבוצת הנתונים. הגדרת מפתח ברירת מחדל מבטיחה שכל הטבלאות החדשות שנוצרות במערך הנתונים מוגנות באופן אוטומטי באמצעות CMEK.
  2. משתמשים בכלי bq של שורת הפקודה כדי להפעיל את CMEK בכל טבלה קיימת במערך הנתונים. שינוי מפתח ברירת המחדל של מערך הנתונים לא גורם להצפנה מחדש של טבלאות קיימות באופן אוטומטי.

מידע נוסף על הפעלת CMEK בטבלאות BigQuery

מדיניות הארגון ל-CMEK

אתם יכולים להשתמש במדיניות הארגון ל-CMEK כדי לאכוף את השימוש ב-CMEK במשאבי BigQuery, כולל ייצוא נתוני חיוב, או כדי לדרוש שה-CMEK יהיה בפרויקט מאושר. עם זאת, לאכיפה של מדיניות ארגונית בנושא CMEK יכולות להיות השפעות לא צפויות:

  • תהליך הייצוא עלול להיכשל במערכי נתונים שכבר קיימים: כשמפעילים אילוץ חדש של מדיניות הארגון, האילוץ לא חל על מערכי נתונים קיימים. כלומר, יכולים להיות לכם מערכי נתונים שעדיין קיימים, גם אם הם כבר לא מותרים. עם זאת, בפעם הבאה שתנסו לייצא למערך הנתונים הזה, תהליך הייצוא ייכשל אם לא ניתן יהיה ליצור טבלאות חדשות בגלל מדיניות ארגונית חדשה שנאכפת.

    כדי להימנע ממצב כזה, מומלץ לבדוק באופן יזום את ההגדרות הקיימות של ייצוא נתוני החיוב בכל פעם שמעדכנים את מדיניות הארגון, ולעדכן את הגדרות מערך הנתונים לפי הצורך כדי לעמוד במגבלות של restrictNonCmekServices ושל restrictCmekCryptoKeyProjects.

  • אכיפה לא עקבית של מדיניות הארגון: מדיניות הארגון לא נאכפת כשיוצרים מערך נתונים ריק. המשמעות היא שאפשר לאכוף את האילוץ restrictNonCmekServices כדי לדרוש שמשאבי BigQuery ישתמשו ב-CMEK להצפנה שלהם, אבל עדיין ליצור מערך נתונים ב-BigQuery שמוגדר להשתמש ב- Google-owned and Google-managed encryption keys. עם זאת, הייצוא של נתוני החיוב שמשתמש במערך הנתונים הזה ייכשל כי מדיניות הארגון לא מאפשרת ליצור טבלה שלא מוגנת באמצעות CMEK, בזמן שההגבלה restrictNonCmekServices נאכפת ב-BigQuery.

    כדי לפתור את הבעיה, צריך לעדכן את ההצפנה של מערך הנתונים כדי להגדיר מפתח ברירת מחדל למערך הנתונים שתואם למגבלות של restrictNonCmekServices ושל restrictCmekCryptoKeyProjects.

אבטחה ברמת השורה

אם אתם רוצים להשתמש באבטחה ברמת השורה ב-BigQuery בטבלה עם הנתונים שייצאתם, חשבון השירות שממנו ייצאתם את נתוני החיוב ב-Cloud‏ (‎ (billing-export-bigquery@), צריך הרשאת גישה מלאה לטבלה. כדי לעשות את זה צריך להשתמש במסנן TRUE של BigQuery. הפקודה הבאה מאפשרת גישה לחשבון השירות של החיוב ב-Cloud:

CREATE ROW ACCESS POLICY cloud_billing_export_policy
ON `__project_id__.__dataset_id__.__table_id__`
GRANT TO ('serviceAccount:billing-export-bigquery@')
FILTER USING (TRUE);

נתוני עלות מפורטים של השימוש ב-FOCUS וב-GKE

כשמייצאים נתוני עלות של שימוש ב-FOCUS או נתונים מפורטים של עלויות השימוש, הייצוא כולל אוטומטית פרטים ברמת המשאב לגבי Compute Engine ושירותים אחרים. עם זאת, כדי לראות פירוט של עלויות אשכולות GKE בייצוא של נתונים מפורטים או בייצוא של נתונים מפורטים עם סינון (FOCUS), צריך גם להפעיל את הקצאת העלויות ב-GKE.

תגים ברמת המשאב

יכול להיות שתגים ברמת המשאב יתעדכנו בייצוא ל-BigQuery רק תוך שעה. אם הוספתם או הסרתם תג במהלך אותה שעה, או אם המשאב היה קיים במשך פחות משעה, יכול להיות שהוא לא יופיע בנתונים שתייצאו.

תגים ברמת המשאב זמינים לכמה משאבים בייצוא הנתונים הסטנדרטיים של עלויות השימוש ובייצוא הנתונים המפורטים של עלויות השימוש.

הקודם
הגדרת הייצוא של נתוני חיוב ל-BigQuery
הבא
הסבר על טבלאות נתוני החיוב ב-BigQuery