本文提供 Cloud Billing 資料結構定義的參考資訊,這些資料會匯出至 BigQuery 中的各個資料表。
帳單資料表
啟用將 Cloud Billing 資料匯出至 BigQuery 的功能後,系統很快就會在 BigQuery 資料集中自動建立帳單資料表。
- FOCUS 用量費用資料表(預先發布版):Google 提供名為
gcp_billing_immutable_<BILLING_ACCOUNT_ID>_<Location>的不可變更 BigQuery 資料集,以及名為gcp_billing_export_focus_<BILLING_ACCOUNT_ID>的 FOCUS 資料表。 - 標準用量費用資料表:在 BigQuery 資料集中,這個資料表名為
gcp_billing_export_v1_<BILLING_ACCOUNT_ID>。 - 使用費用詳細資料表:包含標準使用費用資料表的所有資料欄位,以及提供資源層級費用資料的額外欄位,例如產生服務用量的虛擬機器或 SSD。在 BigQuery 資料集中,這個資料表名為
gcp_billing_export_resource_v1_<BILLING_ACCOUNT_ID>。 - 定價資料表:在 BigQuery 資料集中,這個資料表的名稱為
cloud_pricing_export。 - 承諾使用折扣 (CUD) 中繼資料(預先發布版):包括 CUD 中繼資料,例如帳單帳戶 ID、產品 ID、計費模式 ID、承諾金額單位和值等。在 BigQuery 資料集中,這個資料表的名稱為
cud_subscriptions_export。
資料載入頻率
FOCUS、標準和詳細使用費匯出
- 首次啟用 FOCUS、標準或詳細用量費用匯出至 BigQuery 時,可能需要幾小時,Google Cloud 費用資料才會開始傳播至 BigQuery 資料集。資料會依時間順序匯出。如果匯出作業設定為追溯包含當月和上個月的資料,匯出的資料最多可能需要五天,才能完全趕上目前的使用資料。
- Google Cloud 服務會以不同頻率,將用量和費用資料回報給 Cloud Billing 程序。
- Cloud Billing 會定期將用量和費用資料匯出至 BigQuery 資料集 (不保證匯出至 BigQuery 的傳送時間或延遲時間)。
- 由於用量報表頻率因 Google Cloud 服務而異,您可能無法立即看到所有最近使用的 Google Cloud 服務的 Cloud Billing 用量和費用資料。
定價和 CUD 中繼資料匯出
- 首次啟用將定價資料匯出至 BigQuery 的功能時,可能需要 48 小時才會開始看到 Google Cloud 定價資料。
- 啟用定價匯出功能後,系統每天會將適用於 Cloud Billing 帳戶的定價資料匯出至 BigQuery 一次。
資料可用性
如果客戶是首次啟用 FOCUS、標準或詳細使用費用資料匯出功能:
如果您將 BigQuery 資料集設為使用多區域位置 (EU 或 US),系統會從上個月初開始追溯匯出 Cloud Billing 資料。舉例來說,如果您在 9 月 23 日啟用 FOCUS 使用費用、標準使用費用或詳細使用費用資料匯出功能,匯出內容會包含 8 月 1 日起的資料。
我們會按照時間順序匯出資料,一次匯出一天的資料,因此會先填入上個月第一天的資料。匯出資料的初始補充作業可能需要最多五天,才能完成追溯 Cloud Billing 資料的匯出作業,然後您才會開始看到最新的用量資料。
如果您將 BigQuery 資料集設為使用支援的區域位置,則自啟用 Cloud Billing 匯出功能當天起,即可取得 FOCUS 使用費用、標準使用費用或詳細使用費用資料。也就是說,系統不會溯及過往,為非多區域資料集位置新增 Google Cloud 帳單資料,因此您不會看到啟用匯出功能之前的 Cloud Billing 資料。
如果客戶啟用、停用,然後重新啟用 FOCUS 使用費、標準使用費或詳細使用費資料匯出功能,則在明確停用匯出功能的期間,可能無法取得 Cloud Billing 資料。
如果啟用定價資料匯出功能,BigQuery 資料集只會反映首次啟用定價匯出功能當天及之後產生的 Cloud Billing 資料。Cloud Billing 定價資料不會溯及過往,因此您不會看到啟用匯出功能之前的定價資料。
BigQuery 資料集中的資料反映了記錄用量時的資源狀態。如果您變更資源,例如為專案新增標籤,或變更專案階層 (這會變更
project.ancestors),這些變更只會顯示在日後匯出的用量資料中。先前匯出的記錄不會變更。如果您刪除任何匯出的資料 (例如 BigQuery Export 記錄),系統將無法補回已刪除的記錄。
如果您編輯匯出設定,更新儲存匯出帳單資料的專案或資料集,系統不會自動將先前資料集的資料回填至新資料集;新的 BigQuery 資料集只會反映變更匯出設定當日起產生的 Cloud Billing 資料。如要納入匯出帳單資料的完整記錄,您必須手動將新資料集與先前的資料集彙整。詳情請參閱「彙整作業」。
BigQuery 載入作業符合 ACID 規範,因此在資料載入期間,如果您查詢 BigQuery Cloud Billing 匯出資料集,不會遇到部分載入的資料。
查看其他可能影響將帳單資料匯出至 BigQuery 的限制,例如啟用客戶自行管理的加密金鑰 (CMEK) 的資料集。
限制
將 Cloud Billing 資料匯出至 BigQuery 時,須遵守下列限制。
Cloud Billing 資料匯出的資料表結構定義
任何 Cloud Billing 資料匯出作業的資料表結構定義都可能變更。
資料表結構定義變更時 (例如 Cloud Billing 資料匯出的 BigQuery 資料表結構定義新增欄位),任何直接參照匯出資料欄的查詢都可能失敗。為解決這個問題,建議您建立 BigQuery 檢視表,查詢匯出的資料表,並以您偏好的結構呈現資訊。
接著,您可以調整為報表和資訊主頁提供資料的查詢,從檢視表 (而非匯出的資料表) 提取資料。使用檢視表,即可標準化查詢和資訊主頁中使用的資料結構。
您建立的檢視表應將資料正規化,讓所有相關資料表向查詢呈現相同的結構定義。這樣一來,您就不必擔心日後結構定義變更,可在資料結構定義變更時修改檢視表的基礎查詢。
FOCUS 匯出和資料保留
以 Google 提供的 FOCUS 格式匯出至 BigQuery 的帳單資料,適用 2 年存留時間 (TTL) 政策,超過兩年的資料會自動從 BigQuery 資料集中的指定 FOCUS 匯出資料表刪除。如要保留 FOCUS 帳單資料記錄超過兩年,請將 FOCUS 資料複製到您擁有的長期儲存資料表。
BigQuery 資料集位置和資料可用性
支援與 Cloud Billing 資料搭配使用的 BigQuery 資料集位置:
BigQuery 資料集會設定為使用位置,可以是多區域位置 (歐盟或美國),也可以是區域位置。資料集位置是在建立時設定,資料集建立後,位置即無法變更。
Cloud Billing 資料匯出功能支援所有多區域位置 (歐盟或美國),但僅支援部分區域位置。設定 Cloud Billing 匯出作業時,如果您建立或選取的資料集設為使用不支援的區域位置,嘗試儲存匯出設定時,就會看到「Invalid dataset region」(資料集區域無效) 錯誤。
下表列出多區域位置和區域位置,這些位置支援含有 Cloud Billing 資料的 BigQuery 資料集。
| 美洲 | 亞太地區 | 歐洲 | 中東 |
|---|---|---|---|
|
多區域:美國 區域:
|
區域:
|
多區域:歐盟 區域:
|
區域:
|
位置和資料可用性:
如果 BigQuery 資料集含有 FOCUS 使用費用資料、標準使用費用資料或詳細使用費用資料,您在資料集設定的位置類型會影響 Google Cloud 帳單資料匯出至資料集的時間:
- 如果您將資料集設為使用多區域位置 (歐盟或美國),資料集會包含 Google Cloud 帳單資料,這些資料是從您「首次啟用」匯出功能的前一個月開始產生,除非您重新啟用匯出功能。也就是說,系統會追溯新增當月和前一個月的Google Cloud 帳單資料。匯出資料的初始回填作業,可能需要最多五天才能完成追溯 Cloud Billing 資料的匯出,之後您才會看到目前的使用資料。
如果資料集設為使用支援的區域位置,則 FOCUS 使用費用資料、標準使用費用資料和詳細使用費用資料只會反映 Google Cloud 啟用 Cloud Billing 匯出功能當天及之後產生的帳單資料。也就是說,系統不會溯及過往,為非多區域資料集位置新增帳單資料,因此您不會看到啟用匯出功能之前的 Cloud Billing 資料。 Google Cloud
詳情請參閱「資料可用性」。
包含定價資料的 BigQuery 資料集,只會收集您設定 Cloud Billing 匯出功能當天及之後產生的 Google Cloud 帳單資料。也就是說,Google Cloud 系統不會溯及過往的定價資料,因此您不會看到啟用匯出功能之前的 Cloud Billing 定價資料。詳情請參閱「資料可用性」。
停用、重新啟用或編輯匯出設定
如果您停用、重新啟用或編輯匯出設定,更新儲存匯出帳單資料的專案或資料集,先前匯出的帳單資料不會回填至新的資料集。如要納入切換至其他專案或資料集前匯出的帳單資訊,您必須手動將新資料集與先前的資料集合併。詳情請參閱「彙整作業」。
資料集加密
建立BigQuery 資料集時,您可以設定加密金鑰選項 ( Google-owned and Google-managed encryption key或客戶自行管理的加密金鑰 (CMEK)),將資料集設為使用靜態資料加密。建立資料集後,您可以編輯加密設定。
如果您已啟用將 Cloud Billing 資料匯出至 BigQuery 的功能,且資料集已設為使用Google-managed encryption key,則可更新資料集和資料表,改用 CMEK。如要更新資料集和資料表,請完成下列步驟:
- 在資料集上設定資料集預設金鑰。設定預設金鑰後,資料集中建立的任何「新」資料表都會自動受到 CMEK 保護。
- 使用
bq指令列工具,在資料集中的每個現有資料表上啟用 CMEK。變更資料集預設金鑰不會自動重新加密現有資料表。
CMEK 組織政策
您可以使用 CMEK 組織政策,強制對 BigQuery 資源 (包括帳單匯出) 使用 CMEK,或要求 CMEK 位於核准的專案中。不過,強制執行 CMEK 組織政策可能會產生下列非預期影響:
匯出程序可能無法匯出先前存在的資料集:啟用新的組織政策限制時,該限制不會套用至現有資料集。這表示即使資料集已不再允許存在,仍可能存在。不過,下次嘗試匯出至該資料集時,如果因新強制執行的組織政策而無法建立新資料表,匯出程序就會失敗。
為避免這種情況,請在更新組織政策時,主動檢查現有的帳單匯出設定,並視需要更新資料集設定,以符合
restrictNonCmekServices和restrictCmekCryptoKeyProjects限制。組織政策執行不一致:建立空白資料集時,系統不會強制執行組織政策。這表示您可以強制執行
restrictNonCmekServices限制,要求 BigQuery 資源使用 CMEK 進行加密,但隨後成功建立設定為使用 Google-owned and Google-managed encryption keys的 BigQuery 資料集。不過,使用該資料集的帳單匯出作業會失敗,因為組織政策不允許您在 BigQuery 強制執行restrictNonCmekServices限制時,建立非 CMEK 保護的資料表。如要解決這個問題,請更新資料集加密設定,設定符合
restrictNonCmekServices和restrictCmekCryptoKeyProjects限制的資料集預設金鑰。
資料列層級安全性
如要對含有匯出資料的資料表使用 BigQuery 資料列層級安全性,您必須使用 BigQuery TRUE 篩選器,授予 Cloud Billing 匯出服務帳戶 billing-export-bigquery@ 對資料表的完整存取權。下列指令會授予 Cloud Billing 服務帳戶存取權:
CREATE ROW ACCESS POLICY cloud_billing_export_policy
ON `__project_id__.__dataset_id__.__table_id__`
GRANT TO ('serviceAccount:billing-export-bigquery@')
FILTER USING (TRUE);
FOCUS 或詳細使用費資料和 GKE
匯出 FOCUS 用量費用資料或詳細用量費用資料時,匯出作業會自動納入 Compute Engine 和其他服務的資源層級資訊。不過,如要查看 FOCUS 或詳細資料匯出作業中的 Google Kubernetes Engine (GKE) 叢集費用明細,您也必須啟用 GKE 費用分配功能。
資源層級標記
資源層級標記最多可能需要一小時,才會套用至 BigQuery Export。如果標記是在一小時內新增或移除,或者資源存在時間不到一小時,則可能不會顯示在匯出內容中。
標準用量費用匯出和詳細用量費用匯出中的多項資源,都可使用資源層級標記。