將 Cloud Billing 資料匯出至 BigQuery

利用 Cloud Billing 將資料匯出至 BigQuery,您全天都能將詳細的 Google Cloud 帳單資料 (例如用量、預估費用和定價資料) 自動匯出至 BigQuery 資料集。接著,您就能在 BigQuery 中存取 Cloud Billing 資料,進行詳細分析。您也可以使用這個匯出方法,將資料匯出為 JSON 檔案。

時機很重要。如要存取更全面的Google Cloud 帳單資料,以滿足分析需求,建議您在建立 Cloud Billing 帳戶時,一併啟用將 Cloud Billing 資料匯出至 BigQuery 的功能。

查看可能影響將帳單資料匯出至 BigQuery 的限制。

後續步驟

無論是經營數十億美元的企業,還是管理小家庭預算,有效管理及回報成本都是財務管理的重要環節。如要根據資料做出Google Cloud 成本和用量決策,首先必須收集所需資料,做為決策依據。

請參閱本節指南,瞭解下列工作:

設定將 Cloud Billing 資料匯出至 BigQuery

如要開始收集 Cloud Billing 資料,請針對所需的每種帳單匯出類型,啟用將 Cloud Billing 資料匯出至 BigQuery 的功能。

您可以啟用下列類型的 Cloud Billing 資料匯出功能:

匯出類型 說明
採用 FOCUS 格式的使用費 (預先發布版)

FOCUS 使用費用匯出是不可變更的 BigQuery 資料集,內含使用 FinOps 開放成本與使用規格 (FOCUS) 標準正規化的詳細使用費用資料。FOCUS 是一項開放規格,為技術帳單資料產生器定義明確的需求,以產生一致的成本和用量資料集。FOCUS 匯出作業中的資料欄,通常會對應至詳細用量費用匯出作業中的欄位。

瞭解如何啟用 FOCUS 使用費帳單匯出功能。

標準使用費用

標準使用費用資料匯出包含標準 Cloud Billing 帳戶費用使用資訊,例如帳戶 ID、帳單日期、服務、SKU、專案、標籤、位置、費用、用量、抵免額、調整項和幣別。

使用標準用量費用匯出功能,分析費用資料中的廣泛趨勢。

瞭解如何啟用標準用量費用帳單匯出功能。

使用費用詳細資料

詳細用量費用資料匯出包含詳細的 Cloud Billing 帳戶費用使用資訊。詳細匯出結構定義包含標準使用費用資料中的所有內容,以及資源層級費用資料,例如產生服務用量的虛擬機器或 SSD。

使用詳細用量費用匯出功能,分析資源層級的費用,並找出可能增加費用的特定資源。

詳細匯出資料包含多項服務的精細費用資訊。如要查看 GKE 相關資訊,您也必須在詳細匯出作業中啟用費用分配功能。請參閱詳細用量費用資料的結構定義,瞭解更多建議和限制。

瞭解如何啟用詳細用量費用帳單匯出功能。

定價資料

定價資料匯出包含 Cloud Billing 帳戶定價資訊,例如帳單帳戶 ID、服務、SKU、產品、地理位置中繼資料、定價單位、幣別、匯總和級別。

瞭解如何啟用定價匯出功能。

您也可以透過下列方式取得 Cloud Billing 帳戶定價資料:

匯出承諾使用折扣 (預先發布版) 如果客戶購買 CUD,承諾使用折扣 (CUD) 中繼資料匯出功能會每天將 CUD 中繼資料匯出至 BigQuery 資料表,您可以將這些資料與其他帳單資料匯出作業合併,以便更妥善地管理 CUD 和製作報表。CUD 中繼資料包含帳單帳戶 ID、產品 ID、計費模式 ID、承諾使用金額單位和值等資訊。
(僅限經銷商) 重新計費資料匯出

僅限經銷商:重新計費資料匯出包含所有經銷商帳單帳戶的詳細 Cloud Billing 帳戶費用用量資訊,並附有合作夥伴專屬屬性。

使用重新計費資料匯出功能,管理 Google Cloud 客戶的帳單作業。進一步瞭解重新定價設定,以便產生最終客戶費用。

使用 BigQuery 儲存及分析帳單用量和費用資料時,會產生 BigQuery 使用費。詳情請參閱「BigQuery 使用費用」。

查看可能影響將帳單資料匯出至 BigQuery 的限制。

瞭解 Cloud Billing 資料表

啟用將 Cloud Billing 資料匯出至 BigQuery 的功能後,系統會自動在 BigQuery 資料集中建立 Cloud Billing 資料表。

如要瞭解匯出內容的資料結構定義,請參閱參考資訊,瞭解匯出至 BigQuery 資料集中各資料表的 Cloud Billing 資料內容。

查看 Cloud Billing 資料的查詢範例

我們提供不同類型匯出帳單資料的查詢範例。

採用 FOCUS 格式的使用費

如需 FOCUS 帳單資料,請參閱 FinOps 基金會網站提供的 FOCUS 查詢範例。

標準使用費用、詳細使用費用和定價匯出

如需使用 SQL 查詢 Cloud Billing 資料 (標準使用費用、詳細使用費用和定價匯出資料) 的提示和指南,請參閱查詢範例。

在範例查詢頁面上,您會看到各種 SQL 範例,包括:

BigQuery 使用費用

使用 BigQuery 儲存及分析帳單用量和費用資料時,會產生 BigQuery 使用費。BigQuery 的主要費用包括儲存空間 (用於儲存在 BigQuery 中的資料) 和運算 (用於查詢處理)。

BigQuery 費用取決於您儲存和查詢的資料量。一般來說,儲存空間費用低於查詢費用。

如要進一步瞭解 BigQuery 費用,請參閱「在 BigQuery 中預估及控管費用」。

儲存費用

儲存費用包括儲存載入 BigQuery 資料的費用,並取決於您的儲存空間計費模式。

  • 將資料載入指定資料集不需付費,這項操作會利用 BigQuery 的共用資源集區,批次載入資料。
  • 許多分區資料表作業都是免費的,包括將資料載入分區、複製分區,以及從分區匯出資料。雖然這些作業免費,但仍須遵守 BigQuery 的配額和限制。
  • FOCUS 匯出作業會以不可變更的匯出作業形式提供,並使用 Google 付費的連結資料集。最近兩年的 FOCUS 使用費資料不會產生儲存費用,除非您將 FOCUS 資料複製並儲存至您擁有的長期儲存資料表。

如要進一步瞭解如何以最佳做法降低 BigQuery 儲存空間費用,請參閱「控管儲存空間費用」。您也可以將儲存空間調整至最佳狀態,藉此提高查詢效能。

查詢費用

分析資料時,系統會根據每次執行查詢時讀取的所有資料向您收費。執行查詢可能會導致費用激增。

  • 執行查詢前,您可以預覽查詢,查看預估費用。
  • 如果是帳單資料,查詢詳細費用匯出資料的費用,可能會高於查詢標準匯出資料。為盡可能降低費用,建議您使用標準匯出功能分析費用趨勢,並使用詳細匯出功能追蹤資源層級的費用,以及找出可能增加費用的特定資源。
  • 進一步瞭解如何控管個別查詢的費用,以及控管工作負載內的費用。

如要進一步瞭解在 BigQuery 執行查詢時,如何以最佳做法控管成本,請參閱「最佳化查詢運算」。

如要查看詳細價格,請參閱「BigQuery 定價」。

限制

將 Cloud Billing 資料匯出至 BigQuery 時,須遵守下列限制。

每種匯出類型一個目的地資料集

每個 Cloud Billing 帳戶的每種匯出類型 (例如標準使用費用、詳細使用費用、FOCUS 使用費用、定價資料或承諾使用折扣 (CUD) 中繼資料),都只能有一個目的地資料集。您無法在單一帳單帳戶中,為同一匯出類型設定多個目的地資料集。每次匯出使用費用時,都會自動納入與帳單帳戶連結的所有專案資料。

如要限制專案層級存取權,讓團隊只能查看自己擁有的專案費用,請使用下列其中一種 BigQuery 存取控管方法:

  • 建立 BigQuery 授權檢視表。在與匯出資料集位置相同的獨立資料集中,建立授權檢視表。如要匯出標準或詳細使用費,請依 project.id 欄位篩選資料列;如要匯出 FOCUS 使用費,請依 SubAccountId 欄位篩選資料列。

    授權來源匯出資料集的檢視表,並將個別授權檢視表的 BigQuery 資料檢視者角色 (roles/bigquery.dataViewer) 授予主體。在資料集層級授予這個角色,主體就能讀取該資料集中的所有資料表和檢視表。只有在每個團隊都使用專屬資料集,存放有權存取的檢視表時,才授予資料集層級存取權。

    此外,也請授予主體執行查詢的角色,例如查詢專案的 BigQuery 工作使用者角色 (roles/bigquery.jobUser)。請勿授予這些主體來源匯出資料集的直接存取權。確認他們在託管來源匯出資料集的專案中,未持有繼承的專案層級讀取角色,例如 roles/bigquery.dataViewer 或 roles/viewer。詳情請參閱「建立授權檢視表」。

  • 套用 BigQuery 資料列層級安全防護機制。如要匯出標準或詳細用量費用,請在匯出資料表上建立資料列層級存取權政策,依特定主體的 project.id 欄位篩選資料列。將匯出資料表的 roles/bigquery.dataViewer 角色和查詢專案的查詢角色 (例如 roles/bigquery.jobUser) 授予這些主體。如果資料集包含其他未篩選的匯出資料表,請勿在資料集層級授予 roles/bigquery.dataViewer 角色。

    如果您在匯出資料表啟用資料列層級安全性,也必須為 Cloud Billing 匯出服務帳戶新增 TRUE 篩選器政策,匯出作業才能繼續成功執行。詳情請參閱「資料列層級安全性」。請勿直接透過 IAM 授予 roles/bigquery.filteredDataViewer 角色,因為這會授予資料表上每個資料列層級存取權政策 (包括 TRUE 篩選器) 所比對資料列的存取權。

    確認受限主體在匯出專案、資料集或資料表上,不具備寫入、擁有者或管理員角色。僅在單一組織內使用資料列層級安全性。唯讀連結資料集 (例如 FOCUS 匯出資料) 不支援資料列層級存取權政策。如需其他指引,請參閱「資料列層級安全性的最佳做法」。

Cloud Billing 資料匯出的資料表結構定義

任何 Cloud Billing 資料匯出的資料表結構定義都可能變更。

資料表結構定義變更時 (例如 Cloud Billing 資料匯出的 BigQuery 資料表結構定義新增欄位),直接參照匯出資料欄的查詢可能會失敗。為解決這個問題,建議您建立 BigQuery 檢視表,查詢匯出的資料表,並以您偏好的結構呈現資訊。

接著,您可以調整為報表和資訊主頁提供資料的查詢,從檢視表 (而非匯出的資料表) 提取資料。使用檢視表,即可標準化查詢和資訊主頁中使用的資料結構。

您建立的檢視表應將資料正規化,讓所有相關資料表向查詢呈現相同的結構定義。這樣一來,您就不必擔心日後結構定義變更,可在資料結構定義變更時修改檢視表的基礎查詢。

FOCUS 匯出和資料保留

以 Google 提供的 FOCUS 格式匯出至 BigQuery 的帳單資料,適用 2 年存留時間 (TTL) 政策。超過兩年的資料會自動從 BigQuery 資料集指定的 FOCUS 匯出資料表中刪除。如需保留兩年以上的 FOCUS 帳單資料記錄,請將 FOCUS 資料複製到您擁有的長期儲存資料表。

BigQuery 資料集位置和資料可用性

支援與 Cloud Billing 資料搭配使用的 BigQuery 資料集位置:

BigQuery 資料集會設定為使用位置,可以是多區域位置 (歐盟或美國),也可以是區域位置。資料集位置是在建立時設定,資料集建立後,位置即無法變更。

Cloud Billing 資料匯出功能支援所有多區域位置 (歐盟或美國),但僅支援部分區域位置。設定 Cloud Billing 匯出作業時,如果您建立或選取的資料集設為使用不支援的區域位置,在嘗試儲存匯出設定時,系統會顯示「Invalid dataset region」(資料集區域無效) 錯誤。

下表列出多區域位置和區域位置,這些位置支援包含 Cloud Billing 資料的 BigQuery 資料集。

美洲 亞太地區 歐洲 中東

多區域:美國

區域:

  • northamerica-northeast1 (蒙特婁)
  • southamerica-east1 (聖保羅)
  • us-central1 (愛荷華州)
  • us-east1 (南卡羅來納州)
  • us-east4 (北維吉尼亞州)
  • us-west1 (奧勒岡州)
  • us-west2 (洛杉磯)
  • us-west3 (鹽湖城)
  • us-west4 (拉斯維加斯)

區域:

  • asia-east1 (台灣)
  • asia-east2 (香港)
  • asia-northeast1 (東京)
  • asia-northeast2 (大阪)
  • asia-northeast3 (首爾)
  • asia-south1 (孟買)
  • asia-southeast1 (新加坡)
  • asia-southeast2 (雅加達)
  • australia-southeast1 (雪梨)

多區域:歐盟

區域:

  • europe-central2 (華沙)
  • europe-north1 (芬蘭)
  • europe-west1 (比利時)
  • europe-west2 (倫敦)
  • europe-west3 (法蘭克福)
  • europe-west4 (荷蘭)
  • europe-west6 (蘇黎世)

區域:

  • me-central1 (杜哈)
  • me-central2 (達曼)
  • me-west1 (特拉維夫)

位置和資料可用性:

  • 如果 BigQuery 資料集包含 FOCUS 使用費用資料、標準使用費用資料或詳細使用費用資料,您在資料集設定的位置類型會影響 Google Cloud 帳單資料匯出至資料集的時間:

    • 如果您將資料集設為使用多區域位置 (歐盟或美國),資料集會包含 Google Cloud 帳單資料,這些資料是從您「首次啟用」匯出功能的前一個月開始產生,「除非您重新啟用匯出功能」。也就是說,系統會Google Cloud 溯及過往的帳單資料,加入當月和上個月的資料。匯出資料的初始回填作業,可能需要最多五天才能完成追溯 Cloud Billing 資料的匯出,之後您才會看到目前的使用資料。
    • 如果資料集設為使用支援的區域位置,則 FOCUS 使用費用資料、標準使用費用資料和詳細使用費用資料只會反映啟用 Cloud Billing 匯出功能當天起產生的 Google Cloud 帳單資料。也就是說,系統不會溯及過往,為非多區域資料集位置新增帳單資料,因此您不會看到啟用匯出功能之前的 Cloud Billing 資料。 Google Cloud

    • 詳情請參閱「資料可用性」。

  • 包含定價資料的 BigQuery 資料集,只會收集設定 Cloud Billing 匯出功能當天及之後產生的 Google Cloud 帳單資料。也就是說,Google Cloud 系統不會溯及過往的定價資料,因此您不會看到啟用匯出功能之前的 Cloud Billing 定價資料。詳情請參閱「資料可用性」。

停用、重新啟用或編輯匯出設定

如果您停用、重新啟用或編輯匯出設定,更新儲存匯出帳單資料的專案或資料集,先前匯出的帳單資料不會回填至新的資料集。如要納入切換至其他專案或資料集前匯出的帳單資訊,您必須手動將新資料集與先前的資料集合併。詳情請參閱「彙整作業」。

資料集加密

BigQuery 資料集設定為使用靜態資料加密,方法是在建立資料集時設定加密金鑰選項,可以是 Google-owned and Google-managed encryption key或客戶自行管理的加密金鑰 (CMEK)。建立資料集後,您可以編輯加密設定。

如果您已啟用將 Cloud Billing 資料匯出至 BigQuery 的功能,且資料集已設為使用Google-managed encryption key,則可更新資料集和資料表,改用 CMEK。如要更新資料集及其資料表,請完成下列步驟:

  1. 在資料集上設定資料集預設金鑰。設定預設金鑰後,資料集中建立的任何「新」資料表都會自動受到 CMEK 保護。
  2. 使用 bq 指令列工具,在資料集的每個「現有」資料表上啟用 CMEK。變更資料集預設金鑰不會自動重新加密現有資料表。

瞭解如何為 BigQuery 資料表啟用 CMEK。

CMEK 組織政策

您可以使用 CMEK 組織政策,強制 BigQuery 資源 (包括帳單匯出) 使用 CMEK,或要求 CMEK 位於核准的專案中。不過,強制執行 CMEK 組織政策可能會產生下列非預期影響:

  • 匯出程序可能無法處理先前存在的資料集:啟用新的組織政策限制時,該限制不會套用至現有資料集。這表示即使資料集已不再允許,仍可能存在。不過,下次嘗試匯出至該資料集時,如果因新強制執行的組織政策而無法建立新資料表,匯出程序就會失敗。

    為避免這種情況,請在更新組織政策時,主動檢查現有的帳單匯出設定,並視需要更新資料集設定,以符合 restrictNonCmekServices 和 restrictCmekCryptoKeyProjects 限制。

  • 組織政策強制執行不一致:建立空白資料集時,系統不會強制執行組織政策。這表示您可以強制執行 restrictNonCmekServices 限制,要求 BigQuery 資源使用 CMEK 進行加密,但仍可成功建立設定為使用 Google-owned and Google-managed encryption keys的 BigQuery 資料集。不過,使用該資料集的帳單匯出作業會失敗,因為組織政策不允許在 BigQuery 強制執行 restrictNonCmekServices 限制時,建立非 CMEK 保護的資料表。

    如要解決這個問題,請更新資料集加密設定,設定符合 restrictNonCmekServices 和 restrictCmekCryptoKeyProjects 限制的資料集預設金鑰。

資料列層級安全性

如要對包含匯出資料的資料表使用 BigQuery 資料列層級安全性,您必須使用 BigQuery TRUE 篩選器,授予 Cloud Billing 匯出服務帳戶 billing-export-bigquery@ 資料表的完整存取權。下列指令會授予 Cloud Billing 服務帳戶存取權:

CREATE ROW ACCESS POLICY cloud_billing_export_policy
ON `__project_id__.__dataset_id__.__table_id__`
GRANT TO ('serviceAccount:billing-export-bigquery@')
FILTER USING (TRUE);

FOCUS 或詳細使用費資料和 GKE

匯出 FOCUS 用量費用資料或詳細用量費用資料時,匯出作業會自動納入 Compute Engine 和其他服務的資源層級資訊。不過,如要查看 FOCUS 或詳細資料匯出中的 Google Kubernetes Engine (GKE) 叢集費用明細,您也必須啟用 GKE 費用分配功能。

資源層級標記

資源層級標記最多可能需要一小時,才會套用至 BigQuery Export。如果標記是在一小時內新增或移除,或者資源存在時間不到一小時,可能就不會顯示在匯出內容中。

在標準用量費用匯出和詳細用量費用匯出中,有多項資源可使用資源層級標記。