הגדרת הייצוא של נתוני החיוב ב-Cloud ב-FOCUS ל-BigQuery

כאן מוסבר שלב אחרי שלב איך מגדירים את הייצוא של נתוני עלויות השימוש ב-FOCUS בחיוב ב-Cloud ל-BigQuery. ייצוא נתוני עלות השימוש ב-FOCUS הוא מערך נתונים קבוע ב-BigQuery (מערך נתונים מקושר), שמכיל את הנתונים המפורטים של עלויות השימוש, שעברו נרמול לפי התקנים של FinOps Open Cost and Usage Specification (FOCUS)‎.

כדי להפעיל את הייצוא של נתוני עלויות השימוש בחיוב ב-Cloud לפי FOCUS ל-BigQuery:

  • יצירת פרויקט שבו יאוחסנו נתוני החיוב ב-Cloud והפעלת החיוב בפרויקט (אם עדיין לא עשיתם את זה).
  • הגדרת ההרשאות בפרויקט ובחשבון לחיוב ב-Cloud.
  • מפעילים את ייצוא נתוני החיוב של עלות השימוש ב-FOCUS.

כאן מוסבר בהרחבה על כל אחד מהשלבים האלה.

עלויות השימוש ב-BigQuery עם FOCUS Export

כשאתם משתמשים ב-BigQuery כדי לאחסן ולנתח את נתוני השימוש שמחויב ונתוני העלויות, אתם צוברים חיובי שימוש ב-BigQuery. העלויות העיקריות ב-BigQuery הן על אחסון הנתונים ב-BigQuery ועל עיבוד השאילתות.

מכיוון שייצוא נתוני החיוב של FOCUS מסופק כייצוא קבוע בניהול Google (באמצעות מערך נתונים מקושר), אתם לא מחויבים בעלויות האחסון של נתוני FOCUS. עם זאת, אתם מחויבים כשאתם שולחים שאילתות לנתוני FOCUS. למידע נוסף, קראו את המאמר עלויות השימוש ב-BigQuery.

היכרות עם מסוף Google Cloud

מסוף Google Cloud הוא ממשק משתמש לדפדפן שבאמצעותו מקצים, מגדירים, מנהלים ומנטרים את המערכות שמשתמשות במוצריGoogle Cloud . במסוף Google Cloud מגדירים ומנהלים את Google Cloud ואת המשאבים בחיוב ב-Cloud. אפשר לקרוא את מאמרי העזרה האלה על המסוף או לפתוח את המסוף ולהתנסות בו.

ההרשאות שנדרשות למשימה הזו

כדי להפעיל ולהגדיר את הייצוא של נתוני עלויות השימוש מהחיוב ב- Google Cloud בפורמט FOCUS, צריך את ההרשאות הבאות:

יכול להיות שתצטרכו גם הרשאות אחרות בפרויקט. אם אתם חלק מארגון ב-Google Cloud , כדי ליצור פרויקט חדש אתם צריכים את התפקיד "יצירת פרויקטים" ברמה Organization או Folder. כדי ליצור פרויקט חדש, צריך את ההרשאות הבאות:

  • resourcemanager.organizations.get
  • resourcemanager.projects.create

במאמרים הבאים אפשר לקרוא מידע נוסף על ההרשאות ב- Google Cloud :

הפעלת הייצוא של נתוני החיוב ב-Cloud ל-BigQuery

כדי להפעיל את הייצוא של נתוני עלויות השימוש ב-FOCUS ל-BigQuery, צריך לבצע את שלושת השלבים שמפורטים כאן.

1. יצירת פרויקט חדש או בחירה בפרויקט קיים

נתוני החיוב ב-Cloud שיוצאו ל-BigQuery נמצאים במערך נתונים ב-BigQuery. מערך נתונים נמצא בתוך פרויקט מסוים ב-Google Cloud .

מומלץ שתיצרו פרויקט נפרד ב- Google Cloud לניהול החיובים וה-FinOps בחשבון לחיוב ב-Cloud, כולל הנתונים שאתם מייצאים מהחיוב ב-Cloud. כאן מוסבר למה כדאי להשתמש בפרויקט שמתמקד ב-FinOps בכל תרחישי השימוש של ניהול החיובים.

בדף לבחירת הפרויקט במסוף Google Cloud , בוחרים פרויקט ב- Google Cloud או יוצרים אותו.

התפקידים שנדרשים כדי לבחור או ליצור פרויקט

  • בחירת פרויקט: כדי לבחור פרויקט לא נדרש תפקיד IAM ספציפי – אתם יכולים לבחור כל פרויקט שקיבלתם בו תפקיד.
  • יצירת פרויקט: כדי ליצור פרויקט, צריך את התפקיד "יצירת פרויקטים" (roles/resourcemanager.projectCreator), שכולל את ההרשאה resourcemanager.projects.create. איך מקצים תפקידים?

כניסה לדף לבחירת הפרויקט

למידע נוסף על יצירה וניהול של פרויקטים.

2. מוודאים שהחיוב פועל

ודאו שהחיוב פועל בפרויקט ב- Google Cloud שבו רציתם שיהיה מערך הנתונים, ושאותו פרויקט ב- Google Cloud מקושר לחשבון לחיוב ב-Cloud עם הנתונים שאתם רוצים לייצא למערך ב-BigQuery.

3. הפעלת הייצוא של נתוני עלות השימוש ב-FOCUS ל-BigQuery

את הייצוא של נתוני החיוב ב-Cloud מפעילים בקטע Billing במסוףGoogle Cloud .

בייצוא של נתוני עלות השימוש בפורמט FOCUS, מערך הנתונים ב-BigQuery הוא קבוע ומסופק על ידי Google. הוא מכיל את נתוני עלות השימוש המפורטים, שעברו נרמול לפי התקנים של FinOps Open Cost and Usage Specification (FOCUS)‎. ‫FOCUS הוא מפרט פתוח שמגדיר דרישות ברורות למחוללי נתוני חיוב טכנולוגיים, כדי ליצור קבוצות נתונים עקביות של עלויות ושימוש. העמודות בייצוא של FOCUS בדרך כלל ממופות לשדות בייצוא המפורט של נתוני עלות השימוש.

כדי להפעיל את הייצוא של נתוני החיוב ב-Cloud למערך הנתונים של FOCUS ב-BigQuery:

  1. פותחים את הדף Billing export במסוף Google Cloud .

    לדף Billing export

  2. בהודעה שמופיעה, בוחרים את החשבון לחיוב ב-Cloud שלגביו רוצים לייצא נתוני חיוב. ייפתח הדף Billing export של החשבון לחיוב שנבחר.

  3. בכרטיסייה BigQuery export, לוחצים על Enable FOCUS export כדי להגדיר את הייצוא של FOCUS.

  4. ברשימה Projects, בוחרים את הפרויקט שהגדרתם שבו רוצים להכיל את מערך הנתונים ב-BigQuery.

    ב-BigQuery, הפרויקט שתבחרו משמש לאחסון הנתונים שיוצאו במערך הנתונים הבלתי ניתן לשינוי של FOCUS ש-Google מספקת.

    כשאתם מייצאים מהחשבון לחיוב ב-Cloud את נתוני עלויות השימוש בפורמט FOCUS, נתוני השימוש והעלויות הם של כל הפרויקטים ב-Google Cloud ששולמו באמצעות אותו חשבון לחיוב ב-Cloud.

  5. כדי לייצא נתונים ל-BigQuery, צריך את BigQuery API. אם BigQuery API לא הופעל בפרויקט שבחרתם, תתבקשו להפעיל אותו. אם צריך, לוחצים על Enable BigQuery API כדי להפעיל את ה-API.

  6. בוחרים מיקום נתונים למערך הנתונים של FOCUS. המיקום הזה מציין את האזור או את מספר האזורים שבהם הנתונים מאוחסנים. כל הטבלאות במערך הנתונים חולקות את המיקום הזה.

    1. בוחרים את Location Type, או מספר אזורים (מומלץ) או אזור.

    2. בוחרים את המיקום של סוג המיקום שצוין.

      מומלץ לבחור מיקום במספר אזורים (באיחוד האירופי או בארה"ב) לייצוא של נתוני עלות השימוש ב-FOCUS (וגם לייצוא של נתוני עלות השימוש הסטנדרטיים והמפורטים). בייצוא של החיוב ב-Cloud, אפשר להשתמש בכל המיקומים במספר אזורים (באיחוד האירופי או בארה"ב), אבל רק קבוצת משנה של מיקומים באזור של מערכי הנתונים נתמכים בייצוא של החיוב ב-Cloud ל-BigQuery.

      למיקום שתבחרו יכולה להיות השפעה על הוספת הנתונים של החודש הקודם למערך הנתונים באופן רטרואקטיבי. למידע נוסף על מיקומים של קבוצות נתונים ועל הזמינות של נתונים, כדאי לבדוק את המגבלות.

      אחרי שיוצרים את מערך הנתונים אי אפשר לשנות את המיקום. מידע נוסף על מיקומים

  7. לוחצים על Save.

מערך הנתונים וטבלת הנתונים של FOCUS

זמן קצר אחרי שמפעילים את הייצוא של נתוני עלויות השימוש ב-FOCUS, נוצרים במערך הנתונים החדש ב-BigQuery מערך נתונים וטבלה עם נתוני החיוב, על סמך הגדרות הייצוא של FOCUS:

  • קבוצת נתונים שאי אפשר לשנות נוצרת בפרויקט ב- Google Cloud שציינתם כשהפעלתם את הייצוא של FOCUS, לפי תבנית השמות הבאה:

    gcp_billing_immutable_<BILLING_ACCOUNT_ID>_<Location>

    השם של קבוצת הנתונים מורכב משלושה רכיבים:

    1. ‫gcp_billing_immutable – שם מערך הנתונים לייצוא של FOCUS.
    2. ‫Billing_account_ID – המזהה של החשבון לחיוב ב-Cloud שבו מופעל הייצוא של FOCUS.
    3. ‫Location – המיקום הספציפי (אזור או מספר אזורים) שבחרתם כשהפעלתם את הייצוא של FOCUS.

    דוגמה לשם של קבוצת נתונים: gcp_billing_immutable_010101_F0FFF0_61C528_us

  • במערך הנתונים של FOCUS נוצרת טבלה של נתוני חיוב ב-FOCUS, שנקראת:

    gcp_billing_export_focus_<BILLING_ACCOUNT_ID>

    דוגמה לשם טבלה: gcp_billing_export_focus_010101_F0FFF0_61C528

עדכון הגדרות הייצוא של נתוני עלויות השימוש ב-FOCUS

אחרי שהפעלתם את הייצוא של נתוני עלויות השימוש ב-FOCUS ל-BigQuery, אתם יכולים לשנות הגדרות שונות שקשורות לייצוא הנתונים. למשל:

  • לשנות את הפרויקט שבו מאוחסנת קבוצת הנתונים של FOCUS.
  • משנים את הגדרת האזור של מערך הנתונים של FOCUS. שינוי הגדרות האזור ייצור מערך נתונים חדש שלא ניתן לשינוי.
  • השבתת הייצוא של נתוני עלויות השימוש ב-FOCUS.

לפני שאתם מעדכנים את הפרויקט, או לפני שאתם משנים את המערך שבו נשמרים נתוני החיוב או את סוג הנתונים שאתם מייצאים, בדקו מה המגבלות ומה ההנחיות בקשר לזמינות הנתונים כדי להבין איך השינויים האלה עשויים להשפיע על נתוני החיוב שאתם מייצאים ל-BigQuery.

השבתת הייצוא של נתוני עלויות השימוש ב-FOCUS

כדי להפסיק לייצא ל-BigQuery סוגים מסוימים של נתוני חיוב ב-Cloud:

  1. לוחצים על Disable FOCUS Export.
  2. לוחצים על Confirm כדי לשמור את הבחירה.

אם תפעילו מחדש את הייצוא של נתוני עלות השימוש ב-FOCUS, תצטרכו לבחור שוב את אותן הגדרות של פרויקט ומיקום כדי להשתמש באותו מערך נתונים שלא ניתן לשינוי שנוצר כשהפעלתם את הייצוא של FOCUS בפעם הראשונה. אנחנו לא תומכים במילוי חוסרים (backfill) של נתונים שלא יוצאו בתקופה שבה הייצוא של FOCUS היה מושבת.

הפעלה מחדש של ייצוא נתוני עלויות השימוש ב-FOCUS

בקטע הפעלת הייצוא של נתוני החיוב ב-Cloud ל-BigQuery מוסבר איך מפעילים מחדש את הייצוא של נתוני FOCUS שהושבת.

  • כדי להשתמש באותה קבוצת נתונים שלא ניתנת לשינוי שנוצרה כשהפעלתם לראשונה את הייצוא של FOCUS, בחרו מחדש את אותן הגדרות הפרויקט והאזור שבהן השתמשתם במקור.
  • אם תבחרו פרויקט או אזור אחרים, תיווצר קבוצת נתונים חדשה שלא ניתנת לשינוי, ונתוני FOCUS ייוצאו לקבוצת הנתונים החדשה החל מהתאריך שבו הפעלתם מחדש את הייצוא של FOCUS.

איך משנים את הפרויקט או את מערך הנתונים של ייצוא נתוני עלויות השימוש ב-FOCUS

כדי לשנות את הפרויקט או את מערך הנתונים שבו נשמרים נתוני החיוב ב-FOCUS שרוצים לייצא:

  1. ב-FOCUS נעשה שימוש במערך נתונים שלא ניתן לשינוי, שנוצר בשבילכם כשאתם מפעילים את הייצוא של נתוני עלויות השימוש ב-FOCUS. כדי לערוך את הגדרות הייצוא של FOCUS, קודם צריך להשבית את הייצוא של FOCUS.
  2. אחר כך לוחצים על Enable FOCUS export ובוחרים את הגדרות הפרויקט והמיקום של הייצוא ב-FOCUS.

  3. לוחצים על Save כדי לאשר את ההגדרות של הייצוא בפורמט FOCUS.

    אם במהלך תהליך ההפעלה תבחרו פרויקט או אזור שונים מההגדרה הקודמת, ייווצר בשבילכם מערך נתונים חדש ובלתי ניתן לשינוי בפרויקט שבחרתם.

הסבר על ההרשאות של מערך הנתונים

כדי לייצא את נתוני החיוב ב-Cloud ל-BigQuery צריך להשתמש בחשבון שירות לניהול ההרשאות של מערך הנתונים.

אחרי שמפעילים את הייצוא של FOCUS ל-BigQuery, ‏ Google מוסיפה באופן אוטומטי חשבון שירות כבעלים של מערך הנתונים הבלתי ניתן לשינוי ש-Google מספקת. חשבונות השירות נראים כך:

billing-export-bigquery@

חשבון השירות מנוהל על ידי Google ונמצא בבעלותה. הוא מספק את ההרשאות שדרושות לתהליך האופליין כדי ליצור את מערך הנתונים והטבלה של FOCUS ולכתוב בהם רשומות של חיוב ב-Cloud.

חשוב להכיר את המגבלות שעשויות להשפיע על ייצוא נתוני החיוב ל-BigQuery.

טבלת נתוני עלויות השימוש ב-FOCUS

זמן קצר אחרי שמפעילים את הייצוא של נתוני עלויות השימוש ב-FOCUS, מערכת BigQuery יוצרת מערך נתונים קבוע וטבלת נתוני FOCUS במערך הנתונים הקבוע ב-BigQuery. למידע נוסף על סכימת הטבלה של FOCUS, קראו את המאמר מבנה הייצוא של נתוני FOCUS.

תדירות טעינת הנתונים

בפעם הראשונה שתפעילו את הייצוא ל-BigQuery של נתוני עלויות השימוש בתקן FOCUS, יכול להיות שרק תוך כמה שעות תתחילו לראות את נתוני העלויות של Google Cloud במערך הנתונים ב-BigQuery. הנתונים מיוצאים בסדר כרונולוגי. אם הייצוא מוגדר לכלול נתונים רטרואקטיביים של החודש שעבר והחודש הנוכחי, הייצוא של נתוני השימוש הנוכחיים יסתיים בתוך עד חמישה ימים.

למידע נוסף על תדירות טעינת הנתונים לטבלאות ב-BigQuery

מגבלות

הייצוא של נתוני חיוב ב-Cloud ל-BigQuery כפוף למגבלות הבאות:

סכימת הטבלה של נתוני החיוב ב-Cloud שמייצאים

סכימת הטבלה בכל ייצוא של נתוני החיוב ב-Cloud יכולה להשתנות.

כשסכימת הטבלה משתנה, למשל כשנוספים שדות חדשים לסכימת טבלה ב-BigQuery לייצוא של נתוני חיוב ב-Cloud, יכולות להיות שגיאות בשאילתות שמפנות ישירות לעמודות שמיוצאות. כדי לפתור את זה, צרו תצוגות (Views) של BigQuery שמריצות שאילתות לטבלאות שמיוצאות ומראות את המידע במבנה שאתם רוצים.

אחר כך תוכלו לשנות את השאילתות שמהן נוצרים הדוחות ומרכזי הבקרה, כך שיחזירו מידע מהתצוגות במקום מהטבלאות שמיוצאות. בעזרת התצוגות אתם יכולים לקבוע סטנדרט אחיד למבנה הנתונים בשאילתות ובמרכזי הבקרה.

התצוגות שיצרתם אמורות לנרמל את הנתונים, כך שכל הטבלאות הרלוונטיות יציגו את אותה הסכימה לשאילתות. הדרך הזו מגינה משינויים עתידיים בסכימה, ואפשר לשנות את השאילתה הבסיסית של התצוגה כשחלים שינויים בסכימת הנתונים.

ייצוא FOCUS ושמירת נתונים

נתוני החיוב שמיוצאים ל-BigQuery באמצעות FOCUS כפופים למדיניות של משך חיים (TTL) של שנתיים. נתונים מלפני יותר משנתיים נמחקים באופן אוטומטי מטבלת הייצוא של FOCUS שסופקה במערך הנתונים ב-BigQuery. אם אתם צריכים לשמור את היסטוריית נתוני החיוב ב-FOCUS למשך יותר משנתיים, העתיקו את נתוני FOCUS לטבלת אחסון לטווח ארוך שבבעלותכם.

מיקומים של מערכי נתונים ב-BigQuery וזמינות הנתונים

באילו מיקומים של מערכי נתונים ב-BigQuery אפשר להשתמש לנתוני החיוב ב-Cloud:

צריך להגדיר את מערכי הנתונים ב-BigQuery למיקום. המיקום יכול להיות במספר אזורים (באיחוד האירופי או בארה"ב) או באזור אחד. המיקום של מערך הנתונים נקבע כשיוצרים אותו, אחרי שקבוצת נתונים נוצרת, אי אפשר לשנות את המיקום שלה.

כשמייצאים את נתוני החיוב ב-Cloud, אפשר להשתמש בכל המיקומים במספר אזורים (באיחוד האירופי או בארה"ב), אבל רק בחלק מהמיקומים באזור אחד. כשאתם מגדירים את הייצוא של נתוני החיוב ב-Cloud, אם תיצרו או תבחרו מערך נתונים שמוגדר למיקום באזור שלא נתמך, כשתנסו לשמור את הגדרות הייצוא תופיע הודעת שגיאה לגבי האזור של מערך הנתונים.

בטבלה הבאה מופיעים המיקומים במספר אזורים והמיקומים באזור אחד שנתמכים, לצורך שימוש במערכי נתונים ב-BigQuery שמכילים נתוני חיוב ב-Cloud.

אמריקה אסיה ואזור האוקיינוס השקט אירופה המזרח התיכון

במספר אזורים: ארה"ב

אזורים:

  • ‫northamerica-northeast1 (מונטריאול)
  • ‫southamerica-east1 (סאו פאולו)
  • ‫us-central1 (איווה)
  • ‫us-east1 (קרוליינה הדרומית)
  • ‫us-east4 (וירג'יניה הצפונית)
  • ‫us-west1 (אורגון)
  • ‫us-west2 (לוס אנג'לס)
  • ‫us-west3 (סולט לייק סיטי)
  • ‫us-west4 (לאס וגאס)

אזורים:

  • ‫asia-east1 (טייוואן)
  • ‫asia-east2 (הונג קונג)
  • ‫asia-northeast1 (טוקיו)
  • ‫asia-northeast2 (אוסקה)
  • ‫asia-northeast3 (סיאול)
  • ‫asia-south1 (מומבאי)
  • ‫asia-southeast1 (סינגפור)
  • ‫asia-southeast2 (ג'קרטה)
  • ‫australia-southeast1 (סידני)

במספר אזורים: האיחוד האירופי

אזורים:

  • ‫europe-central2 (ורשה)
  • ‫europe-north1 (פינלנד)
  • ‫europe-west1 (בלגיה)
  • ‫europe-west2 (לונדון)
  • ‫europe-west3 (פרנקפורט)
  • ‫europe-west4 (הולנד)
  • ‫europe-west6 (ציריך)

אזורים:

  • me-central1 (דוחה)
  • me-central2 (דמאם)
  • ‫me-west1 (תל אביב)

מיקומים וזמינות הנתונים:

  • במערכי נתונים ב-BigQuery שכוללים נתוני FOCUS של עלויות השימוש, נתונים סטנדרטיים או נתונים מפורטים של עלויות השימוש, סוג המיקום שמגדירים במערך הנתונים משפיע על מועד הייצוא של נתוני החיוב מ- Google Cloud למערך הנתונים:

    • אם תגדירו שמערך הנתונים יתבסס על מיקום במספר אזורים (באיחוד האירופי או בארה"ב), נתוני החיוב ב- Google Cloud שיופיעו יהיו מתחילת החודש שלפני הפעם שבה הפעלתם בפעם הראשונה את הייצוא, אלא אם הפעלתם אותו מחדש. כלומר, נתוני החיוב מ-Google Cloud יתווספו רטרואקטיבית לחודש הנוכחי ולחודש הקודם. במילוי החוסרים הראשוני, הייצוא של נתוני החיוב הרטרואקטיביים ב-Cloud יסתיים תוך עד חמישה ימים ורק אז תתחילו לראות את נתוני השימוש הנוכחיים.

    • אם תגדירו שמערך הנתונים יתבסס על מיקום באזור נתמך, נתוני עלות FOCUS, נתוני עלות סטנדרטיים ונתוני עלות מפורטים של עלויות החיוב ב- Google Cloud יכללו רק את נתוני החיוב שצברתם החל מהתאריך שבו הפעלתם את הייצוא של נתוני החיוב ב-Cloud, ואחריו. כלומר, נתוני החיוב מ- Google Cloud לא יתווספו רטרואקטיבית למערכי נתונים שהמיקום שלהם הוא לא במספר אזורים, כך שלא תראו את עלויות החיוב ב-Cloud שצברתם לפני שהפעלתם את הייצוא.

    • מידע נוסף מופיע בקטע זמינות הנתונים.

  • מערכי הנתונים ב-BigQuery שכוללים נתוני תמחור אוספים רק את נתוני החיוב ב- Google Cloud לעלויות שצברתם החל מהתאריך שבו הגדרתם את הייצוא של נתוני החיוב מ-Cloud. כלומר, נתוני התמחור שלGoogle Cloud לא נוספים רטרואקטיבית, ולא תראו את נתוני החיוב ב-Cloud של עלויות שצברתם לפני שהפעלתם את הייצוא. מידע נוסף מופיע בקטע זמינות הנתונים.

השבתה, הפעלה מחדש או עריכה של הגדרות הייצוא

אם תשביתו, תפעילו מחדש או תשנו בהגדרות הייצוא את הפרויקט או את מערך הנתונים שבו נשמרים נתוני החיוב, הנתונים שכבר יוצאו לא יועברו אוטומטית למערך הנתונים החדש. כדי שמערך הנתונים יכלול את נתוני החיוב שכבר יוצאו, אתם צריכים לאחד ידנית בין שני מערכי הנתונים – הישן והחדש. איך מאחדים בין מערכי נתונים?

הצפנה של מערך נתונים

מערכי הנתונים ב-BigQuery מוגדרים לשימוש בהצפנה במנוחה על ידי הגדרת אפשרות של מפתח הצפנה כשיוצרים את מערך הנתונים – Google-owned and Google-managed encryption keyאו מפתח הצפנה בניהול הלקוח (CMEK). אפשר לערוך את הגדרת ההצפנה אחרי שיוצרים קבוצת נתונים.

אם כבר הפעלתם את הייצוא של נתוני החיוב ב-Cloud ל-BigQuery, ומערך הנתונים שלכם מוגדר לשימוש ב-Google-managed encryption key, אתם יכולים לעדכן את מערך הנתונים ואת הטבלאות שלו לשימוש ב-CMEK. כדי לעדכן את מערך הנתונים והטבלאות שלו, מבצעים את הפעולות הבאות:

  1. מגדירים מפתח ברירת מחדל לקבוצת הנתונים. הגדרת מפתח ברירת מחדל מבטיחה שכל הטבלאות החדשות שנוצרות במערך הנתונים מוגנות באופן אוטומטי באמצעות ה-CMEK.
  2. משתמשים בכלי שורת הפקודה bq כדי להפעיל את CMEK בכל טבלה קיימת במערך הנתונים. שינוי מפתח ברירת המחדל של מערך הנתונים לא גורם להצפנה מחדש של הטבלאות הקיימות באופן אוטומטי.

איך מפעילים CMEK בטבלאות BigQuery

מדיניות הארגון לגבי CMEK

אתם יכולים להשתמש במדיניות הארגון ל-CMEK כדי לאכוף את השימוש ב-CMEK במשאבים של BigQuery, כולל ייצוא נתוני חיוב, או כדי לדרוש שה-CMEK יהיה בפרויקט מאושר. עם זאת, לאכיפת מדיניות הארגון בנושא CMEK יכולות להיות ההשפעות הבלתי צפויות הבאות:

  • תהליך הייצוא עלול להיכשל בקבוצות נתונים קיימות: כשמפעילים אילוץ חדש של מדיניות הארגון, האילוץ לא חל על קבוצות נתונים קיימות. זה אומר שיכול להיות שיהיו לכם מערכי נתונים שעדיין קיימים, למרות שהם כבר לא מורשים. עם זאת, בפעם הבאה שתנסו לייצא לאותו מערך נתונים, תהליך הייצוא ייכשל אם לא תהיה אפשרות ליצור טבלאות חדשות בגלל מדיניות ארגונית חדשה שנאכפת.

    כדי למנוע את המצב הזה, כדאי לבדוק באופן יזום את ההגדרות הקיימות של ייצוא נתוני החיוב בכל פעם שמעדכנים את מדיניות הארגון, ולעדכן את הגדרות מערך הנתונים לפי הצורך כדי לעמוד במגבלות של restrictNonCmekServices ו-restrictCmekCryptoKeyProjects.

  • אכיפה לא עקבית של מדיניות הארגון: מדיניות הארגון לא נאכפת כשיוצרים מערך נתונים ריק. כלומר, אתם יכולים לאכוף את האילוץ restrictNonCmekServices כדי לדרוש שמשאבי BigQuery ישתמשו ב-CMEK להצפנה, אבל אז ליצור בהצלחה מערך נתונים ב-BigQuery שמוגדר לשימוש ב- Google-owned and Google-managed encryption keys. עם זאת, ייצוא החיוב שמשתמש במערך הנתונים הזה ייכשל כי מדיניות הארגון לא תאפשר לכם ליצור טבלה שלא מוגנת על ידי CMEK בזמן שהאילוץ restrictNonCmekServices נאכף ב-BigQuery.

    כדי לפתור את המצב הזה, צריך לעדכן את ההצפנה של קבוצת הנתונים ולהגדיר מפתח ברירת מחדל לקבוצת הנתונים שתואם לאילוצים restrictNonCmekServices ו-restrictCmekCryptoKeyProjects.

אבטחה ברמת השורה

אם אתם רוצים להשתמש באבטחה ברמת השורה ב-BigQuery בטבלה עם הנתונים שייצאתם, חשבון השירות שממנו ייצאתם את נתוני החיוב ב-Cloud‏ (‎ (billing-export-bigquery@), צריך הרשאת גישה מלאה לטבלה. כדי לעשות את זה צריך להשתמש במסנן TRUE של BigQuery. הפקודה שכאן מאפשרת גישה לחשבון השירות של החיוב ב-Cloud:

CREATE ROW ACCESS POLICY cloud_billing_export_policy
ON `__project_id__.__dataset_id__.__table_id__`
GRANT TO ('serviceAccount:billing-export-bigquery@')
FILTER USING (TRUE);

נתוני עלות מפורטים של FOCUS או נתוני עלות שימוש ו-GKE

כשמייצאים נתוני עלות מפורטים של שימוש או נתוני עלות של שימוש בתקן FOCUS, הייצוא כולל באופן אוטומטי מידע ברמת המשאב לגבי Compute Engine ושירותים אחרים. עם זאת, כדי לראות את פירוט העלויות של אשכולות Google Kubernetes Engine ‏(GKE) כשמייצאים נתונים מפורטים או נתוני FOCUS, צריך גם להפעיל הקצאת עלויות ב-GKE.

תגים ברמת המשאב

תגים ברמת המשאב יתעדכנו תוך שעה בייצוא ל-BigQuery. אם הוספתם או הסרתם תג במהלך אותה שעה, או אם המשאב היה קיים במשך פחות משעה, יכול להיות שהוא לא יופיע בנתונים שתייצאו.

תגים ברמת המשאב זמינים לכמה משאבים בייצוא הנתונים הסטנדרטיים של עלויות השימוש ובייצוא הנתונים המפורטים של עלויות השימוש.

הקודם
הגדרת הייצוא של נתוני חיוב ל-BigQuery
הבא
הסבר על טבלאות נתוני החיוב ב-BigQuery