הגדרת הייצוא של נתוני החיוב ב-Cloud ל-BigQuery

כאן מוסבר שלב אחרי שלב איך מגדירים את הייצוא של נתוני החיוב ב-Cloud ל-BigQuery, לסוגים הבאים של ייצוא נתוני חיוב:

  • נתונים סטנדרטיים של עלויות השימוש
  • נתונים מפורטים של עלויות שימוש
  • נתוני תמחור
  • מטא-נתונים של הנחות תמורת התחייבות לשימוש (CUD)

כדי להגדיר את הייצוא של עלות השימוש ב-FOCUS, קראו את המאמר הגדרת הייצוא של נתוני החיוב ב-Cloud ב-FOCUS ל-BigQuery.

כדי לייצא את נתוני החיוב ב-Cloud ל-BigQuery, צריך לבצע את השלבים הבאים:

  • יצירת פרויקט שבו יאוחסנו נתוני החיוב ב-Cloud והפעלת החיוב בפרויקט (אם עדיין לא עשיתם את זה).
  • הגדרת ההרשאות בפרויקט ובחשבון לחיוב ב-Cloud.
  • הפעלת ממשק ה-API של שירות העברת נתונים ל-BigQuery (לצורך ייצוא נתוני התמחור).
  • יצירת מערך נתונים ב-BigQuery שהנתונים יאוחסנו בו.
  • הפעלת הכתיבה של נתוני העלות והתמחור שמייצאים מהחיוב ב-Cloud למערך הנתונים.

כאן מוסבר בהרחבה על כל אחד מהשלבים האלה.

מידע על מסוף Google Cloud

מסוף Google Cloud הוא ממשק משתמש לדפדפן שבאמצעותו מקצים, מגדירים, מנהלים ומנטרים את המערכות שמשתמשות במוצריGoogle Cloud . במסוף Google Cloud מגדירים ומנהלים את Google Cloud ואת המשאבים בחיוב ב-Cloud. אפשר לקרוא את מאמרי העזרה האלה על המסוף או לפתוח את המסוף ולהתנסות בו.

ההרשאות שנדרשות לביצוע המשימה הזו

כדי להפעיל ולהגדיר את הייצוא של נתוני עלויות השימוש מהחיוב ב- Google Cloud למערך נתונים ב-BigQuery, צריך את ההרשאות הבאות:

  • לחיוב ב-Cloud צריך את התפקיד "ניהול עלויות בחשבון לחיוב" או התפקיד "אדמין של חשבון לחיוב" בחשבון היעד לחיוב ב-Cloud.
  • ל-BigQuery צריך את התפקיד משתמש של BigQuery בפרויקט ב- Google Cloud , עם המערך ב-BigQuery שבו יישמרו נתוני החיוב ב-Cloud.

כדי להפעיל ולהגדיר את הייצוא של נתוני התמחור ושל המטא-נתונים של ה-CUD מהחיוב ב-Cloud, צריך את ההרשאות הבאות:

  • לחיוב ב-Cloud, צריך את התפקיד Billing Account Administrator בחשבון לחיוב ב-Cloud של היעד.
  • ל-BigQuery צריך את התפקיד אדמין של BigQuery בפרויקט ב- Google Cloud , עם המערך ב-BigQuery שבו יישמרו נתוני התמחור מהחיוב ב-Cloud.
  • לפרויקט ב- Google Cloud שמכיל את מערך הנתונים המיועד צריך את ההרשאה resourcemanager.projects.update. ההרשאה הזו כלולה בתפקיד roles/editor.

יכול להיות שתצטרכו גם הרשאות אחרות בפרויקט. אם אתם חלק מארגון ב-Google Cloud , כדי ליצור פרויקט חדש אתם צריכים את התפקיד "יצירת פרויקטים" ברמה Organization או Folder. כדי ליצור פרויקט חדש, צריך את ההרשאות הבאות:

  • resourcemanager.organizations.get
  • resourcemanager.projects.create

במאמרים הבאים אפשר לקרוא מידע נוסף על ההרשאות ב- Google Cloud :

הפעלת הייצוא של נתוני החיוב ב-Cloud ל-BigQuery

כדי להפעיל את הייצוא של נתוני החיוב ב-Cloud ל-BigQuery, צריך לבצע את חמשת השלבים שמפורטים כאן.

אם אתם רוצים להבין במהירות איך לייצא את נתוני החיוב ולהריץ שאילתות לדוגמה על נתוני חיוב ב-Cloud ב-BigQuery, תוכלו להיעזר במדריך האינטראקטיבי הזה לייצוא נתוני חיוב.

מפיצים יכולים להגדיר ייצוא ספציפי למפיץ של נתוני החיוב ב-Channel Services באמצעות Partner Sales Console. כדי לעשות זאת, עליכם לבצע את שלבים 1 עד 4 בדף הזה כדי ליצור את הפרויקט ואת מערך הנתונים של BigQuery. אחר כך עברו לשלב 5 שבו תוכלו לקרוא על ייצוא נתונים של Channel Services ל-BigQuery כדי להפעיל את הייצוא.

1. יצירת פרויקט חדש או בחירה בפרויקט קיים

נתוני החיוב ב-Cloud שיוצאו ל-BigQuery נמצאים במערך נתונים ב-BigQuery. מערך נתונים נמצא בתוך פרויקט מסוים ב-Google Cloud .

מומלץ שתיצרו פרויקט נפרד ב- Google Cloud לניהול החיובים וה-FinOps בחשבון לחיוב ב-Cloud, כולל הנתונים שאתם מייצאים מהחיוב ב-Cloud. כאן מוסבר למה כדאי להשתמש בפרויקט שמתמקד ב-FinOps בכל תרחישי השימוש של ניהול החיובים.

בדף לבחירת הפרויקט במסוף Google Cloud , בוחרים פרויקט ב- Google Cloud או יוצרים אותו.

התפקידים שנדרשים כדי לבחור או ליצור פרויקט

  • בחירת פרויקט: כדי לבחור פרויקט לא נדרש תפקיד IAM ספציפי – אתם יכולים לבחור כל פרויקט שקיבלתם בו תפקיד.
  • יצירת פרויקט: כדי ליצור פרויקט, צריך את התפקיד "יצירת פרויקטים" (roles/resourcemanager.projectCreator), שכולל את ההרשאה resourcemanager.projects.create. איך מקצים תפקידים?

כניסה לדף לבחירת הפרויקט

למידע נוסף על יצירה וניהול של פרויקטים.

2. מוודאים שהחיוב פועל

ודאו שהחיוב פועל בפרויקט ב- Google Cloud שבו רציתם שיהיה מערך הנתונים, ושאותו פרויקט ב- Google Cloud מקושר לחשבון לחיוב ב-Cloud עם הנתונים שאתם רוצים לייצא למערך ב-BigQuery.

3. הפעלת ממשק ה-API של שירות העברת נתונים ל-BigQuery

אם אתם מייצאים את נתוני התמחור של החיוב ב-Cloud ל-BigQuery, אתם צריכים להפעיל את BigQuery Data Transfer Service API. אם אתם לא מייצאים את נתוני התמחור של החיוב ב-Cloud, אתם יכולים לדלג אל שלב 4: יצירת מערך נתונים ב-BigQuery.

צריך להפעיל את שירות העברת נתונים ל-BigQuery API באותו פרויקט ב- Google Cloud שבו אתם משתמשים כדי להכיל את מערכי הנתונים שלכם מ-BigQuery. אם פעלתם לפי ההמלצה בחלק של הפרויקט, זה יהיה הפרויקט ב- Google Cloud שמשמש לניהול החיוב או ה-FinOps.

כדי להפעיל את ממשק ה-API של שירות העברת נתונים ל-BigQuery:

  1. נכנסים למסוף Google Cloud ופותחים את הדף של ה-API.

    לדף ממשק ה-API של שירות העברת נתונים ל-BigQuery

  2. בוחרים פרויקט בפינה השמאלית העליונה של הדף. חשוב להפעיל את ממשק ה-API של שירות העברת נתונים ל-BigQuery באותו פרויקט שמכיל את מערך הנתונים ב-BigQuery. אם פעלתם בהתאם להמלצה בחלק של הפרויקט, זה יהיה הפרויקט ב- Google Cloud שמשמש לניהול החיוב או ה-FinOps.

  3. בדף BigQuery Data Transfer Service API, לוחצים על Enable כדי להפעיל את ה-API בפרויקט שנבחר.

רוצים לדעת איך מפעילים או משביתים שירותים?

4. יצירת מערך נתונים ב-BigQuery

לפני שמפעילים את הייצוא של נתוני החיוב ב-Cloud ל-BigQuery, צריך ליצור לפחות מערך נתונים אחד ב-BigQuery כדי לנהל את הנתונים שאתם מייצאים. אותו מערך יכול להכיל את הנתונים הסטנדרטיים של עלויות השימוש, את הנתונים המפורטים של עלויות השימוש ואת נתוני התמחור.

כל מערך נתונים נמצא בפרויקט ב- Google Cloud . מערכי נתונים הם קונטיינרים ברמה העליונה שמשמשים לארגון ולשליטה על הגישה לטבלאות ולתצוגות (Views). טבלה או תצוגה צריכות להשתייך למערך נתונים, לכן אתם צריכים ליצור לפחות מערך נתונים אחד לפני העלאת הנתונים ל-BigQuery.

כמשתמשים במערך נתונים קיים, צריך לבדוק את המגבלות שיכולות להשפיע על ייצוא נתוני החיוב ל-BigQuery. למשל, לא תוכלו לייצא נתונים למערכי נתונים שמשתמשים בהצפנת מפתחות בניהול הלקוח או במערכי נתונים שמיקום האזור שמוגדר בהם לא נתמך.

כדי ליצור מערך נתונים ב-BigQuery:

  1. נכנסים למסוף Google Cloud ופותחים את הדף BigQuery.

    לדף BigQuery

  2. ברשימה הנפתחת של הפרויקט (‎ My Project ‎) בראש הדף של מסוף Google Cloud , בוחרים את הפרויקט שנוצר בשביל מערך הנתונים. שימו לב למזהה הפרויקט. תצטרכו להשתמש בו בשלבים הבאים.

  3. בחלונית Explorer, בקטע של הפרויקטים המוצמדים לוחצים על your-project-ID כדי להרחיב את הפרויקט ולראות את מערכי הנתונים הקיימים ואת השאילתות השמורות.

  4. לצד מזהה הפרויקט, לוחצים על התפריט View actions ‏ () ואז על Create dataset. החלונית Create dataset תיפתח.

    1. מזינים מזהה למערך הנתונים בשדה Dataset ID. מומלץ להזין מזהה שמשותף לכמה פרויקטים, כמו all_billing_data, ולא מזהה ספציפי לפרויקט.

    2. בוחרים אחת מהאפשרויות למיקום הנתונים בשדה Data location. המיקום הזה מציין את האזור או את מספר האזורים שבהם הנתונים מאוחסנים. המיקום הזה משותף לכל הטבלאות במערך הנתונים הזה.

      מומלץ לבחור מיקום במספר אזורים (באיחוד האירופי או בארה"ב). כשאתם מייצאים נתונים סטנדרטיים ומפורטים של עלויות השימוש, המיקום שבחרתם יכול להשפיע על ההוספה הרטרואקטיבית של נתונים מהחודש הקודם למערך. למידע נוסף על מיקומים של מערכי נתונים ועל הזמינות של נתונים, כדאי לבדוק את המגבלות.

      בייצוא של החיוב ב-Cloud, אפשר להשתמש בכל המיקומים במספר אזורים (באיחוד האירופי או בארה"ב), אבל רק קבוצת משנה של מיקומים באזור של מערכי הנתונים נתמכים בייצוא של החיוב ב-Cloud ל-BigQuery. למידע נוסף על מיקומים של מערכי נתונים, כדאי לבדוק את המגבלות.

      אחרי שיוצרים את מערך הנתונים אי אפשר לשנות את המיקום. מידע נוסף על מיקומים

    3. מוודאים שהאפשרות Enable table expiration לא מסומנת.

      אם תסמנו את האפשרות Enable table expiration ותזינו מספר ימים, כל טבלה חדשה שתיצרו במערך הנתונים הזה תימחק אוטומטית אחרי מספר הימים שהזנתם.

    4. בקטע Advanced options בוחרים הגדרת הצפנה בשדה Encryption.

      ברירת המחדל היא Google-managed encryption key.

      כדי להשתמש במפתח הצפנה בניהול הלקוח, בוחרים באפשרות Customer-managed encryption key (CMEK) ובוחרים מפתח הצפנה.

      מידע נוסף על מגבלות ההצפנה של מערכי נתונים בייצוא של נתוני החיוב ב-Cloud ל-BigQuery.

    5. לוחצים על Create dataset כדי לשמור את השינויים.

חשוב להכיר את המגבלות שעשויות להשפיע על ייצוא נתוני החיוב ל-BigQuery.

מפיצים יכולים להשתמש שוב באותו פרויקט ובאותו מערך נתונים שיצרו כשהם מפעילים את הייצוא של נתוני החיוב שספציפיים לשירותים בערוצי ההפצה השונים.

5. הפעלת הייצוא של נתוני החיוב ב-Cloud למערך הנתונים ב-BigQuery

את הייצוא של נתוני החיוב ב-Cloud מפעילים בקטע Cloud Billing במסוף Google Cloud . אלו הם סוגי הנתונים שאתם יכולים להפעיל את הייצוא שלהם:

כדי להפעיל את הייצוא של נתוני החיוב ב-Cloud ל-BigQuery:

  1. פותחים את הדף Billing export במסוף Google Cloud .

    לדף Billing export

  2. בהודעה שמופיעה, בוחרים את החשבון לחיוב ב-Cloud שממנו רוצים לייצא את הנתונים. ייפתח הדף Billing export של החשבון לחיוב שנבחר.

  3. בכרטיסייה BigQuery export, לוחצים על Enable [data type] export לכל אחד מסוגי הנתונים שרוצים לייצא. כל סוג של ייצוא נתונים מוגדר בנפרד.

  4. בוחרים מהרשימה Projects את הפרויקט שהוגדר בשביל מערך הנתונים ב-BigQuery.

    זהו הפרויקט שבו יישמרו במערך ב-BigQuery נתוני החיוב ב-Cloud שתייצאו.

    כשאתם מייצאים מהחשבון לחיוב ב-Cloud את הנתונים הסטנדרטיים והמפורטים של עלויות השימוש, נתוני השימוש והעלויות הם של כל הפרויקטים ב-Google Cloud ששולמו באמצעות אותו חשבון לחיוב ב-Cloud.

    כשאתם מייצאים נתוני תמחור, הם כוללים רק את הנתונים שספציפיים לחשבון לחיוב ב-Cloud שמקושר לפרויקט שבו נמצא המערך.

    כשאתם מייצאים מטא-נתונים של CUD, הם כוללים את הנתונים הספציפיים של כל ה-CUD שנרכשו בכל אחד מהפרויקטים שמקושרים לחשבון לחיוב.

  5. בשדה Dataset ID בוחרים את מערך הנתונים שנוצר בשביל נתוני החיוב ב-Cloud שמייצאים.

    על כל הסוגים של נתוני החיוב ב-Cloud שאתם מייצאים ל-BigQuery חלים הקריטריונים הבאים:

    • כדי לייצא נתונים ל-BigQuery, צריך את BigQuery API. אם BigQuery API לא הופעל בפרויקט שבחרתם, תתבקשו להפעיל אותו. בוחרים באפשרות Enable BigQuery API כדי להפעיל את ה-API.
    • אם הפרויקט שבחרתם לא מכיל מערכי נתונים ב-BigQuery, תתבקשו ליצור מערך נתונים. אם צריך, כך תוכלו ליצור מערך נתונים חדש.
    • אם אתם משתמשים במערך נתונים קיים, כדאי לבדוק את המגבלות שיכולות להשפיע על ייצוא נתוני החיוב ל-BigQuery. למשל, לא תוכלו לייצא נתונים למערכי נתונים שמיקום האזור שמוגדר בהם לא נתמך.

    כדי לייצא נתוני תמחור ל-BigQuery, צריך להפעיל את ממשק ה-API של שירות העברת נתונים ל-BigQuery. אם בפרויקט שבחרתם שירות העברת נתונים ל-BigQuery API לא מופעל, תתבקשו להפעיל אותו. אם צריך, מפעילים את ה-API.

  6. לוחצים על Save.

הפעלת ייצוא המטא-נתונים של הנחות ה-CUD

תהליך ההגדרה של ייצוא המטא-נתונים של הנחות תמורת התחייבות לשימוש (CUD) שונה מתהליכי ייצוא אחרים, כי הוא משתמש במערך נתונים מקושר ב-BigQuery שנוצר באופן אוטומטי במהלך ההגדרה.

כדי להפעיל את ייצוא המטא-נתונים של הנחות ה-CUD:

  1. מבצעים את שלב 1: בחירה או יצירה של פרויקט ואת שלב 2: אימות שהחיוב מופעל. לא צריך ליצור מערך נתונים מראש.

  2. פותחים את הדף Billing export במסוף Google Cloud .

    כניסה לדף Billing export

  3. בהודעה שמופיעה, בוחרים את החשבון לחיוב ב-Cloud שממנו רוצים לייצא את הנתונים.

  4. בכרטיסייה BigQuery export, בקטע Committed Use Discounts Export, לוחצים על Enable CUD export.

  5. ברשימה Projects, בוחרים את הפרויקט שהגדרתם כדי להכיל את המטא-נתונים של ה-CUD שאתם מייצאים.

    כשאתם מייצאים מטא-נתונים של CUD, הם כוללים את הנתונים הספציפיים של כל ה-CUD שנרכשו בכל אחד מהפרויקטים שמקושרים לחשבון לחיוב.

  6. בשדה Linked Dataset Name, מזינים שם חדש למערך הנתונים.

  7. בוחרים את Location type ואת האזור או מספר האזורים של מערך הנתונים.

    מומלץ לבחור את המיקום במספר אזורים (באיחוד האירופי או בארה"ב) או באזור אחד, שתואם למיקום של מערכי הנתונים האחרים של נתוני החיוב שאתם מייצאים. כדי לשלוח שאילתות על כמה מערכי נתונים (לדוגמה, כדי לצרף את המטא-נתונים של ה-CUD לנתוני עלות השימוש), מערכי הנתונים צריכים להיות באותו מיקום. אחרי שיוצרים את מערך הנתונים, אי אפשר לשנות את המיקום.

  8. לוחצים על Save.

במאמר מבנה הייצוא של המטא-נתונים של CUD מופיע מידע נוסף על ייצוא המטא-נתונים של CUD.

עדכון נתוני החיוב ב-Cloud לצורך ייצוא

אחרי שהפעלתם את הייצוא של נתוני החיוב ב-Cloud ל-BigQuery, אתם יכולים לשנות הגדרות שונות שקשורות לייצוא הנתונים. למשל:

  • כדי לשנות את המיקום שבו יישמרו נתוני החיוב שאתם מייצאים, ערכו את הגדרות הייצוא.
  • כדי לשנות את הסוגים של נתוני החיוב שאתם מייצאים, השביתו או הפעילו את הסוגים השונים.

לפני שאתם מעדכנים את הפרויקט, או לפני שאתם משנים את המערך שבו נשמרים נתוני החיוב או את סוג הנתונים שאתם מייצאים, בדקו מה המגבלות ומה ההנחיות בקשר לזמינות הנתונים כדי להבין איך השינויים האלה עשויים להשפיע על נתוני החיוב שאתם מייצאים ל-BigQuery.

איך מפסיקים לייצא סוגים מסוימים של נתוני חיוב

כדי להפסיק לייצא ל-BigQuery סוגים מסוימים של נתוני חיוב ב-Cloud:

  1. בוחרים באחת מהאפשרויות Disable standard Export,‏ Disable detailed Export,‏ Disable pricing export או Disable CUD export, בהתאמה.
  2. לוחצים על Confirm כדי לשמור את הבחירה.

איך מייצאים סוגים מסוימים של נתוני חיוב

בקטע הפעלת הייצוא של נתוני החיוב ב-Cloud ל-BigQuery מוסבר איך מפעילים מחדש את הייצוא של נתוני החיוב ב-Cloud ל-BigQuery.

איך משנים את הפרויקט או את המערך של נתוני החיוב שרוצים לייצא

כדי לשנות את הפרויקט או את המערך שבו נשמרים נתוני החיוב שרוצים לייצא:

  1. כדי לערוך את הגדרות הייצוא, קודם צריך להשבית את הייצוא.
  2. בייצוא שרוצים לעדכן, לוחצים על הפעלת הייצוא של [סוג הנתונים].
  3. בדף BigQuery export settings, בוחרים פרויקט או מערך נתונים אחר.
  4. לוחצים על Save כדי לשמור את השינויים.

הסבר על ההרשאות של מערך הנתונים

כדי לייצא את נתוני החיוב ב-Cloud ל-BigQuery צריך להשתמש בחשבון שירות לניהול ההרשאות של מערך הנתונים.

אחרי הפעלת הייצוא של נתוני החיוב ב-Cloud ל-BigQuery,‏ Google מוסיפה באופן אוטומטי חשבון שירות כבעלים של מערך הנתונים שבחרתם. חשבונות השירות נראים כך:

  • במערכים של נתונים סטנדרטיים, מפורטים ו-FOCUS של עלויות השימוש: billing-export-bigquery@
  • במערך של נתוני התמחור: cloud-account-pricing@cloud-account-pricing.

חשבונות השירות מנוהלים על ידי Google ונמצאים בבעלותה. הם מספקים את ההרשאות הנחוצות לתהליך האופליין כדי ליצור טבלה ולכתוב בה רשומות של חיוב ב-Cloud.

חשוב להכיר את המגבלות שעשויות להשפיע על ייצוא נתוני החיוב ל-BigQuery.

טבלאות של נתוני חיוב

זמן קצר אחרי הפעלת הייצוא של נתוני החיוב ב-Cloud ל-BigQuery, נוצרות אוטומטית טבלאות במערך הנתונים ב-BigQuery. בהסבר על טבלאות הנתונים שנוצרו אוטומטית ב-BigQuery מוסבר בהרחבה על הטבלאות האלה ב-BigQuery ועל הסכימות שלהן.

תדירות טעינת הנתונים

  • בפעם הראשונה שתפעילו את הייצוא ל-BigQuery של הנתונים הסטנדרטיים, המפורטים או בפורמט FOCUS של עלויות השימוש, יכול להיות שרק תוך כמה שעות תתחילו לראות את נתוני העלויות שלGoogle Cloud במערך הנתונים ב-BigQuery. הנתונים מיוצאים בסדר כרונולוגי. אם הייצוא מוגדר לכלול נתונים רטרואקטיביים של החודש שעבר והחודש הנוכחי, הייצוא של נתוני השימוש הנוכחיים יסתיים בתוך עד חמישה ימים.
  • בפעם הראשונה שמפעילים את הייצוא של נתוני התמחור ל-BigQuery, יכול להיות שנתוני התמחור של Google Cloud יופיעו תוך עד 48 שעות.

למידע נוסף על תדירות טעינת הנתונים לטבלאות ב-BigQuery

מגבלות

הייצוא של נתוני חיוב ב-Cloud ל-BigQuery כפוף למגבלות הבאות:

סכימת הטבלה של נתוני החיוב ב-Cloud שמייצאים

סכימת הטבלה בכל ייצוא של נתוני החיוב ב-Cloud יכולה להשתנות.

כשסכימת הטבלה משתנה, למשל כשנוספים שדות חדשים לסכימת טבלה ב-BigQuery לייצוא של נתוני חיוב ב-Cloud, יכולות להיות שגיאות בשאילתות שמפנות ישירות לעמודות שמיוצאות. כדי לפתור את זה, צרו תצוגות (Views) של BigQuery שמריצות שאילתות לטבלאות שמיוצאות ומראות את המידע במבנה שאתם רוצים.

אחר כך תוכלו לשנות את השאילתות שמהן נוצרים הדוחות ומרכזי הבקרה, כך שיחזירו מידע מהתצוגות במקום מהטבלאות שמיוצאות. בעזרת התצוגות אתם יכולים לקבוע סטנדרט אחיד למבנה הנתונים בשאילתות ובמרכזי הבקרה.

התצוגות שיצרתם אמורות לנרמל את הנתונים, כך שכל הטבלאות הרלוונטיות יציגו את אותה הסכימה לשאילתות. הדרך הזו מגינה משינויים עתידיים בסכימה, ואפשר לשנות את השאילתה הבסיסית של התצוגה כשחלים שינויים בסכימת הנתונים.

ייצוא FOCUS ושמירת נתונים

נתוני החיוב שמיוצאים ל-BigQuery באמצעות FOCUS כפופים למדיניות של משך חיים (TTL) של שנתיים. נתונים מלפני יותר משנתיים נמחקים באופן אוטומטי מטבלת הייצוא של FOCUS שסופקה במערך הנתונים ב-BigQuery. אם אתם צריכים לשמור את היסטוריית נתוני החיוב ב-FOCUS למשך יותר משנתיים, העתיקו את נתוני FOCUS לטבלת אחסון לטווח ארוך שבבעלותכם.

מיקומים של מערכי נתונים ב-BigQuery וזמינות הנתונים

באילו מיקומים של מערכי נתונים ב-BigQuery אפשר להשתמש לנתוני החיוב ב-Cloud:

צריך להגדיר את מערכי הנתונים ב-BigQuery למיקום. המיקום יכול להיות במספר אזורים (באיחוד האירופי או בארה"ב) או באזור אחד. המיקום של מערך הנתונים נקבע כשיוצרים אותו, אחרי שקבוצת נתונים נוצרת, אי אפשר לשנות את המיקום שלה.

כשמייצאים את נתוני החיוב ב-Cloud, אפשר להשתמש בכל המיקומים במספר אזורים (באיחוד האירופי או בארה"ב), אבל רק בחלק מהמיקומים באזור אחד. כשאתם מגדירים את הייצוא של נתוני החיוב ב-Cloud, אם תיצרו או תבחרו מערך נתונים שמוגדר למיקום באזור שלא נתמך, כשתנסו לשמור את הגדרות הייצוא תופיע הודעת שגיאה לגבי האזור של מערך הנתונים.

בטבלה הבאה מופיעים המיקומים במספר אזורים והמיקומים באזור אחד שנתמכים, לצורך שימוש במערכי נתונים ב-BigQuery שמכילים נתוני חיוב ב-Cloud.

אמריקה אסיה ואזור האוקיינוס השקט אירופה המזרח התיכון

במספר אזורים: ארה"ב

אזורים:

  • ‫northamerica-northeast1 (מונטריאול)
  • ‫southamerica-east1 (סאו פאולו)
  • ‫us-central1 (איווה)
  • ‫us-east1 (קרוליינה הדרומית)
  • ‫us-east4 (וירג'יניה הצפונית)
  • ‫us-west1 (אורגון)
  • ‫us-west2 (לוס אנג'לס)
  • ‫us-west3 (סולט לייק סיטי)
  • ‫us-west4 (לאס וגאס)

אזורים:

  • ‫asia-east1 (טייוואן)
  • ‫asia-east2 (הונג קונג)
  • ‫asia-northeast1 (טוקיו)
  • ‫asia-northeast2 (אוסקה)
  • ‫asia-northeast3 (סיאול)
  • ‫asia-south1 (מומבאי)
  • ‫asia-southeast1 (סינגפור)
  • ‫asia-southeast2 (ג'קרטה)
  • ‫australia-southeast1 (סידני)

במספר אזורים: האיחוד האירופי

אזורים:

  • ‫europe-central2 (ורשה)
  • ‫europe-north1 (פינלנד)
  • ‫europe-west1 (בלגיה)
  • ‫europe-west2 (לונדון)
  • ‫europe-west3 (פרנקפורט)
  • ‫europe-west4 (הולנד)
  • ‫europe-west6 (ציריך)

אזורים:

  • me-central1 (דוחה)
  • me-central2 (דמאם)
  • ‫me-west1 (תל אביב)

מיקומים וזמינות הנתונים:

  • במערכי נתונים ב-BigQuery שכוללים נתוני FOCUS של עלויות השימוש, נתונים סטנדרטיים או נתונים מפורטים של עלויות השימוש, סוג המיקום שמגדירים במערך הנתונים משפיע על מועד הייצוא של נתוני החיוב מ- Google Cloud למערך הנתונים:

    • אם תגדירו שמערך הנתונים יתבסס על מיקום במספר אזורים (באיחוד האירופי או בארה"ב), נתוני החיוב ב- Google Cloud שיופיעו יהיו מתחילת החודש שלפני הפעם שבה הפעלתם בפעם הראשונה את הייצוא, אלא אם הפעלתם אותו מחדש. כלומר, נתוני החיוב מ-Google Cloud יתווספו רטרואקטיבית לחודש הנוכחי ולחודש הקודם. במילוי החוסרים הראשוני, הייצוא של נתוני החיוב הרטרואקטיביים ב-Cloud יסתיים תוך עד חמישה ימים ורק אז תתחילו לראות את נתוני השימוש הנוכחיים.

    • אם תגדירו שמערך הנתונים יתבסס על מיקום באזור נתמך, נתוני עלות FOCUS, נתוני עלות סטנדרטיים ונתוני עלות מפורטים של עלויות החיוב ב- Google Cloud יכללו רק את נתוני החיוב שצברתם החל מהתאריך שבו הפעלתם את הייצוא של נתוני החיוב ב-Cloud, ואחריו. כלומר, נתוני החיוב מ- Google Cloud לא יתווספו רטרואקטיבית למערכי נתונים שהמיקום שלהם הוא לא במספר אזורים, כך שלא תראו את עלויות החיוב ב-Cloud שצברתם לפני שהפעלתם את הייצוא.

    • מידע נוסף מופיע בקטע זמינות הנתונים.

  • מערכי הנתונים ב-BigQuery שכוללים נתוני תמחור אוספים רק את נתוני החיוב ב- Google Cloud לעלויות שצברתם החל מהתאריך שבו הגדרתם את הייצוא של נתוני החיוב מ-Cloud. כלומר, נתוני התמחור שלGoogle Cloud לא נוספים רטרואקטיבית, ולא תראו את נתוני החיוב ב-Cloud של עלויות שצברתם לפני שהפעלתם את הייצוא. מידע נוסף מופיע בקטע זמינות הנתונים.

השבתה, הפעלה מחדש או עריכה של הגדרות הייצוא

אם תשביתו, תפעילו מחדש או תשנו בהגדרות הייצוא את הפרויקט או את מערך הנתונים שבו נשמרים נתוני החיוב, הנתונים שכבר יוצאו לא יועברו אוטומטית למערך הנתונים החדש. כדי שמערך הנתונים יכלול את נתוני החיוב שכבר יוצאו, אתם צריכים לאחד ידנית בין שני מערכי הנתונים – הישן והחדש. איך מאחדים בין מערכי נתונים?

הצפנה של מערך נתונים

מערכי הנתונים ב-BigQuery מוגדרים לשימוש בהצפנה במנוחה על ידי הגדרת אפשרות של מפתח הצפנה כשיוצרים את מערך הנתונים – Google-owned and Google-managed encryption keyאו מפתח הצפנה בניהול הלקוח (CMEK). אפשר לערוך את הגדרת ההצפנה אחרי שיוצרים קבוצת נתונים.

אם כבר הפעלתם את הייצוא של נתוני החיוב ב-Cloud ל-BigQuery, ומערך הנתונים שלכם מוגדר לשימוש ב-Google-managed encryption key, אתם יכולים לעדכן את מערך הנתונים ואת הטבלאות שלו לשימוש ב-CMEK. כדי לעדכן את מערך הנתונים והטבלאות שלו, מבצעים את הפעולות הבאות:

  1. מגדירים מפתח ברירת מחדל לקבוצת הנתונים. הגדרת מפתח ברירת מחדל מבטיחה שכל הטבלאות החדשות שנוצרות במערך הנתונים מוגנות באופן אוטומטי באמצעות ה-CMEK.
  2. משתמשים בכלי שורת הפקודה bq כדי להפעיל את CMEK בכל טבלה קיימת במערך הנתונים. שינוי מפתח ברירת המחדל של מערך הנתונים לא גורם להצפנה מחדש של הטבלאות הקיימות באופן אוטומטי.

איך מפעילים CMEK בטבלאות BigQuery

מדיניות הארגון לגבי CMEK

אתם יכולים להשתמש במדיניות הארגון ל-CMEK כדי לאכוף את השימוש ב-CMEK במשאבים של BigQuery, כולל ייצוא נתוני חיוב, או כדי לדרוש שה-CMEK יהיה בפרויקט מאושר. עם זאת, לאכיפת מדיניות הארגון בנושא CMEK יכולות להיות ההשפעות הבלתי צפויות הבאות:

  • תהליך הייצוא עלול להיכשל בקבוצות נתונים קיימות: כשמפעילים אילוץ חדש של מדיניות הארגון, האילוץ לא חל על קבוצות נתונים קיימות. זה אומר שיכול להיות שיהיו לכם מערכי נתונים שעדיין קיימים, למרות שהם כבר לא מורשים. עם זאת, בפעם הבאה שתנסו לייצא לאותו מערך נתונים, תהליך הייצוא ייכשל אם לא תהיה אפשרות ליצור טבלאות חדשות בגלל מדיניות ארגונית חדשה שנאכפת.

    כדי למנוע את המצב הזה, כדאי לבדוק באופן יזום את ההגדרות הקיימות של ייצוא נתוני החיוב בכל פעם שמעדכנים את מדיניות הארגון, ולעדכן את הגדרות מערך הנתונים לפי הצורך כדי לעמוד במגבלות של restrictNonCmekServices ו-restrictCmekCryptoKeyProjects.

  • אכיפה לא עקבית של מדיניות הארגון: מדיניות הארגון לא נאכפת כשיוצרים מערך נתונים ריק. כלומר, אתם יכולים לאכוף את האילוץ restrictNonCmekServices כדי לדרוש שמשאבי BigQuery ישתמשו ב-CMEK להצפנה, אבל אז ליצור בהצלחה מערך נתונים ב-BigQuery שמוגדר לשימוש ב- Google-owned and Google-managed encryption keys. עם זאת, ייצוא החיוב שמשתמש במערך הנתונים הזה ייכשל כי מדיניות הארגון לא תאפשר לכם ליצור טבלה שלא מוגנת על ידי CMEK בזמן שהאילוץ restrictNonCmekServices נאכף ב-BigQuery.

    כדי לפתור את המצב הזה, צריך לעדכן את ההצפנה של קבוצת הנתונים ולהגדיר מפתח ברירת מחדל לקבוצת הנתונים שתואם לאילוצים restrictNonCmekServices ו-restrictCmekCryptoKeyProjects.

אבטחה ברמת השורה

אם אתם רוצים להשתמש באבטחה ברמת השורה ב-BigQuery בטבלה עם הנתונים שייצאתם, חשבון השירות שממנו ייצאתם את נתוני החיוב ב-Cloud‏ (‎ (billing-export-bigquery@), צריך הרשאת גישה מלאה לטבלה. כדי לעשות את זה צריך להשתמש במסנן TRUE של BigQuery. הפקודה שכאן מאפשרת גישה לחשבון השירות של החיוב ב-Cloud:

CREATE ROW ACCESS POLICY cloud_billing_export_policy
ON `__project_id__.__dataset_id__.__table_id__`
GRANT TO ('serviceAccount:billing-export-bigquery@')
FILTER USING (TRUE);

נתוני עלות מפורטים של FOCUS או נתוני עלות שימוש ו-GKE

כשמייצאים נתוני עלות מפורטים של שימוש או נתוני עלות של שימוש בתקן FOCUS, הייצוא כולל באופן אוטומטי מידע ברמת המשאב לגבי Compute Engine ושירותים אחרים. עם זאת, כדי לראות את פירוט העלויות של אשכולות Google Kubernetes Engine ‏(GKE) כשמייצאים נתונים מפורטים או נתוני FOCUS, צריך גם להפעיל הקצאת עלויות ב-GKE.

תגים ברמת המשאב

תגים ברמת המשאב יתעדכנו תוך שעה בייצוא ל-BigQuery. אם הוספתם או הסרתם תג במהלך אותה שעה, או אם המשאב היה קיים במשך פחות משעה, יכול להיות שהוא לא יופיע בנתונים שתייצאו.

תגים ברמת המשאב זמינים לכמה משאבים בייצוא הנתונים הסטנדרטיים של עלויות השימוש ובייצוא הנתונים המפורטים של עלויות השימוש.

הקודם
סקירה כללית על ייצוא נתוני חיוב ל-BigQuery
הבא
הגדרת ייצוא של FOCUS ל-BigQuery