本文說明如何設定將 Cloud Billing 資料匯出至 BigQuery,適用於下列類型的帳單匯出作業:
- 標準使用費用
- 使用費用詳細資料
- 定價資料
- 承諾使用折扣 (CUD) 中繼資料
如要設定 FOCUS 使用費匯出功能,請參閱「設定將 FOCUS Cloud Billing 資料匯出至 BigQuery」。
如要將 Cloud Billing 資料匯出至 BigQuery,請按照下列步驟操作:
- 建立要儲存 Cloud Billing 資料的專案,並啟用專案的計費功能 (如果尚未啟用)。
- 設定專案和 Cloud Billing 帳戶的權限。
- 啟用 BigQuery 資料移轉服務 API (必須啟用,才能匯出定價資料)。
- 建立 BigQuery 資料集來儲存資料。
- 啟用 Cloud Billing 匯出功能,將費用資料和定價資料寫入資料集。
本文將逐步說明每個步驟的細節。
關於 Google Cloud 控制台
Google Cloud 控制台 (查看說明文件、開啟控制台) 是網頁 UI,可用於佈建、設定、管理及監控使用Google Cloud 產品的系統。您可以使用 Google Cloud 控制台設定及管理 Google Cloud 和 Cloud Billing 資源。
這項工作需要的權限
如要啟用及設定將 Google Cloud 帳單使用費用資料匯出至 BigQuery 資料集的功能,您必須具備下列權限:
- 如果是 Cloud Billing,您必須具備目標 Cloud Billing 帳戶的帳單帳戶費用管理員角色或帳單帳戶管理員角色。
- 如果是 BigQuery,您需要 Google Cloud 專案的 BigQuery 使用者角色, 其中包含用於 儲存 Cloud Billing 資料的 BigQuery 資料集。
如要啟用及設定 Cloud Billing 定價資料和 CUD 中繼資料的匯出功能,您必須具備下列權限:
- 如果是 Cloud Billing,您必須具備目標 Cloud Billing 帳戶的帳單帳戶管理員角色。
- 如果是 BigQuery,您需要具備 Google Cloud 專案的 BigQuery 管理員角色,其中包含用於儲存 Cloud Billing 定價資料的 BigQuery 資料集。
- 對於包含目標資料集的 Google Cloud 專案,您需要
resourcemanager.projects.update權限。roles/editor角色包含這項權限。
您可能也需要其他專案權限。如果您是Google Cloud 機構的成員,則須具備該機構或資料夾的專案建立者角色,才能建立新的專案。具體來說,如要建立新專案,您需要下列權限:
resourcemanager.organizations.getresourcemanager.projects.create
如要進一步瞭解 Google Cloud 權限,請參閱:
啟用將 Cloud Billing 資料匯出至 BigQuery 的功能
完成本節的五個步驟,啟用將 Cloud Billing 資料匯出至 BigQuery 的功能。
如要快速瞭解如何啟用帳單資料匯出功能,以及在 BigQuery 中執行 Cloud Billing 資料的範例查詢,請參閱帳單資料匯出互動式教學課程。
如果您是經銷商,可以使用 Partner Sales Console,設定經銷商專屬匯出功能,匯出 Channel Services 帳單資料。請按照本頁的步驟 1 至 4 建立專案和 BigQuery 資料集。接著,請參閱「將 Channel Services 資料匯出至 BigQuery」一文的步驟 5,啟用匯出功能。
1. 選取或建立專案
匯出至 BigQuery 的 Cloud Billing 資料會包含在 BigQuery 資料集中。資料集包含在您指定的Google Cloud 專案中。
建議您建立並使用獨立的 Google Cloud 專案,來保存 Cloud Billing 帳戶的所有 FinOps 和帳單管理必要元件,包括匯出的 Cloud Billing 資料。進一步瞭解使用 FinOps 專案的好處,以及如何用於帳單管理。
在 Google Cloud 控制台的專案選取器頁面中,選取或建立 Google Cloud 專案。
選取或建立專案所需的角色
- 選取專案:選取專案時,不需具備特定 IAM 角色,只要您在專案中獲派角色,即可選取該專案。
-
建立專案:如要建立專案,您必須具備專案建立者角色 (
roles/resourcemanager.projectCreator),其中包含resourcemanager.projects.create權限。瞭解如何授予角色。
進一步瞭解如何建立及管理專案。
2. 確認已啟用計費功能
請務必確認您選取要包含資料集的 Google Cloud 專案已啟用計費功能,且該 Google Cloud 專案已連結至同一個 Cloud Billing 帳戶,該帳戶包含您打算匯出至 BigQuery 資料集的資料。
- 瞭解如何確認專案已啟用計費功能
- 瞭解如何查看連結至 Cloud Billing 帳戶的專案
3. 啟用 BigQuery 資料移轉服務 API
如果您打算將 Cloud Billing 定價資料匯出至 BigQuery,則須啟用 BigQuery 資料移轉服務 API。如果不打算匯出 Cloud Billing 定價資料,可以跳到步驟 4建立 BigQuery 資料集。
BigQuery 資料移轉服務 API 應在您用來存放 BigQuery 資料集的 Google Cloud 專案中啟用。如果您已按照專案一節的建議操作,這就是您的 FinOps 或帳單管理 Google Cloud 專案。
如要啟用 BigQuery 資料移轉服務 API,請按照下列步驟操作:
登入 Google Cloud 控制台,然後前往 API 頁面。
在頁面左上方選取專案。您必須在用於存放 BigQuery 資料集的專案中,啟用 BigQuery Data Transfer Service API。如果您已按照專案一節的建議操作,這就是您的 FinOps 或帳單管理 Google Cloud 專案。
在「BigQuery 資料移轉服務 API」頁面,按一下「Enable」(啟用),在所選專案中啟用 API。
如要進一步瞭解如何啟用 API,請參閱服務使用情形說明文件。
4. 建立 BigQuery 資料集
您必須先建立至少一個 BigQuery 資料集,才能啟用 Cloud Billing 資料匯出至 BigQuery 的功能,以便管理匯出的資料。您可以使用同一個資料集,存放標準使用費用資料、詳細使用費用資料和定價資料。
資料集包含在您指定的 Google Cloud 專案中。資料集是一種頂層容器,可用於整理資料表和檢視表,以及控管這些資源的存取權。資料表或檢視表必須屬於某個資料集,因此您需要建立至少一個資料集,才能將資料載入 BigQuery。
如果使用現有資料集,請查看可能影響將帳單資料匯出至 BigQuery 的限制,例如無法將資料匯出至設為使用客戶自行管理的金鑰加密的資料集,或無法使用設為不支援區域位置的資料集。
如要建立 BigQuery 資料集,請按照下列步驟操作:
登入 Google Cloud 控制台,然後前往「BigQuery」BigQuery頁面。
在 Google Cloud 控制台頁面頂端的「project」(專案)下拉式選單 (「My Project」(我的專案)) 中,選取您設定要包含資料集的專案。請記下專案 ID,後續步驟會用到。
在「Explorer」面板的「pinned projects」(已固定的專案) 部分,依序點選 「your-project-ID」展開專案,查看現有的資料集和已儲存的查詢。
按一下專案 ID 旁邊的「View actions」(查看動作) 選單 (),然後點選「Create dataset」(建立資料集)。「建立資料集」面板隨即開啟。
- 輸入資料集 ID。建議您使用跨專案的 ID (例如
all_billing_data),而非專案專屬 ID。 選取資料位置。資料位置會指定資料儲存的多區域或區域。這個資料集內的所有資料表都會有相同的位置設定。
建議您選取多區域位置 (歐盟或美國)。對於標準使用費用和詳細使用費用資料匯出,您選取的位置可能會影響是否追溯將上個月的資料新增至資料集。請參閱限制,進一步瞭解資料集位置和資料可用性。
Cloud Billing 匯出功能支援所有多區域位置 (歐盟或美國)。不過,只有部分資料集區域位置支援將 Cloud Billing 匯出至 BigQuery。如要進一步瞭解資料集位置,請參閱限制。
資料集建立後,位置即無法變更。進一步瞭解位置。
確認「啟用資料表到期時間」選項已清除。
如果啟用資料表到期功能並輸入天數,在這個資料集內建立的新資料表,都會在指定天數後自動刪除。
在「進階選項」部分,選取「加密」設定。
預設選項為 Google-managed encryption key。
如要使用客戶自行管理的加密金鑰,請選取「Customer-managed encryption key (CMEK)」(客戶自行管理的加密金鑰 (CMEK)),然後選擇加密金鑰。
進一步瞭解資料集加密限制,適用於將 Cloud Billing 資料匯出至 BigQuery。
按一下「建立資料集」即可儲存。
- 輸入資料集 ID。建議您使用跨專案的 ID (例如
查看可能影響將帳單資料匯出至 BigQuery 的限制。
如果您是經銷商,可以在啟用經銷商專屬的 Channel Services 帳單資料匯出功能時,重複使用剛建立的專案和資料集。
5. 啟用將 Cloud Billing 資料匯出至 BigQuery 資料集的功能
您可以在 Google Cloud 控制台的「Cloud Billing」部分啟用 Cloud Billing 資料匯出功能。您可以啟用匯出的資料類型如下:
FOCUS 用量費用資料(預先發布版):使用 Google 提供的不可變更 BigQuery 資料集,內含依 FinOps 開放成本與使用規格 (FOCUS) 標準正規化的詳細用量費用資料。如要啟用 FOCUS 使用費匯出功能,請按照「設定將 FOCUS Cloud Billing 資料匯出至 BigQuery」一文的指引操作。
標準使用費用資料:包含標準 Cloud Billing 帳戶費用使用資訊,例如帳戶 ID、月結單日期、服務、SKU、專案、標籤、位置、費用、用量、抵免額、調整項和幣別。
使用標準用量匯出功能,分析費用資料的廣泛趨勢。
詳細用量費用資料:包含詳細的 Cloud Billing 帳戶費用使用資訊。包含標準使用費用資料中的所有內容,以及資源層級費用資料,例如產生服務用量的虛擬機器或 SSD。
您可以使用詳細匯出功能,分析資源層級的費用,並找出可能增加費用的特定資源。
詳細匯出作業會自動納入 Compute Engine 的資源層級資訊。如要在詳細資料匯出作業中查看 Google Kubernetes Engine (GKE) 叢集費用明細,您也必須啟用 GKE 費用分配功能。
定價資料:包含 Cloud Billing 帳戶定價資訊,例如帳戶 ID、服務、SKU、產品、地理位置中繼資料、定價單位、幣別、匯總和級別。
承諾使用折扣 (CUD) 中繼資料(預先發布版):包含 Cloud Billing CUD 中繼資料資訊,例如帳單帳戶 ID、CUD 產品 ID、CUD 產品類型、計費模式 ID 和說明、訂閱項目執行個體 ID、訂閱項目授權範圍、承諾使用金額和期限。如需匯出欄位清單,請參閱「CUD 中繼資料匯出結構」。
如要啟用將 Cloud Billing 資料匯出至 BigQuery 的功能,請按照下列步驟操作:
前往 Google Cloud 控制台的「Billing export」(帳單匯出) 頁面。
在系統提示時,選擇要匯出帳單資料的 Cloud Billing 帳戶。系統會開啟所選帳單帳戶的「Billing export」(匯出帳單) 頁面。
在「BigQuery export」(BigQuery 匯出) 分頁中,針對要匯出的每種資料類型,按一下「Enable [data type] export」([資料類型] 匯出功能)。每種資料匯出類型都必須分別設定。
從「Projects」(專案) 清單中,選取您設定用來存放 BigQuery 資料集的專案。
您選取的專案會用於將匯出的資料儲存在 BigQuery 資料集。
如果是標準和詳細使用費用資料匯出,Cloud Billing 資料會包含所有Google Cloud 由相同 Cloud Billing 帳戶支付費用的專案的使用情形和費用資料。
如果是定價資料匯出,Cloud Billing 資料只會包含連結至所選資料集專案的 Cloud Billing 帳戶專屬定價資料。
如果是CUD 中繼資料匯出,則會包含在連結至帳單帳戶的任何專案中,購買的所有 CUD 中繼資料。
在「Dataset ID」(資料集 ID) 欄位中,選取您設定的資料集,以納入匯出的 Cloud Billing 資料。
對於匯出至 BigQuery 的所有類型 Cloud Billing 資料,適用下列規定:
- 必須啟用 BigQuery API,才能將資料匯出至 BigQuery。如果所選專案未啟用 BigQuery API,系統會提示您啟用。按一下「啟用 BigQuery API」,啟用 API。
- 如果所選專案不含任何 BigQuery 資料集,系統會提示您建立資料集。如有需要,請按照這些步驟建立新的資料集。
- 如果使用現有資料集,請查看可能影響將帳單資料匯出至 BigQuery 的限制,例如無法將資料匯出至設定為不支援區域位置的資料集。
如要匯出定價資料,必須使用 BigQuery 資料移轉服務 API 將資料匯出至 BigQuery。如果所選專案未啟用 BigQuery 資料移轉服務 API,系統會提示您啟用。如有需要,請按照這些步驟啟用 API。
按一下「儲存」。
啟用 CUD 中繼資料匯出功能
承諾使用折扣 (CUD) 中繼資料匯出的設定程序與其他匯出作業不同,因為這項作業會使用在設定期間自動建立的 BigQuery 連結資料集。
如要啟用 CUD 中繼資料匯出功能,請按照下列步驟操作:
- 完成步驟 1:選取或建立專案和步驟 2:確認已啟用計費功能。您不需要事先建立資料集。
前往 Google Cloud 控制台的「Billing export」(帳單匯出) 頁面。
在系統提示時,選擇要匯出帳單資料的 Cloud Billing 帳戶。
在「BigQuery export」(BigQuery 匯出) 分頁的「Committed Use Discounts Export」(承諾使用折扣匯出) 部分,按一下「Enable CUD export」(啟用 CUD 匯出功能)。
從「Projects」(專案) 清單中,選取您設定用來存放匯出 CUD 中繼資料的專案。
CUD 中繼資料匯出作業包含 CUD 中繼資料,適用於在連結至帳單帳戶的任何專案中購買的所有 CUD。
在「連結的資料集名稱」欄位中,輸入新資料集名稱。
選取資料集的「位置類型」和區域或多區域。
建議您選取多區域 (歐盟或美國) 或區域位置,與其他匯出帳單資料資料集的位置相符。如要跨資料集查詢 (例如將 CUD 中繼資料與用量費用資料彙整),資料集必須位於相同位置。資料集建立後,即無法變更位置。
按一下「儲存」。
如要進一步瞭解 CUD 中繼資料匯出,請參閱「CUD 中繼資料匯出的結構」。
更新要匯出的 Cloud Billing 資料
啟用將 Cloud Billing 資料匯出至 BigQuery 的功能後,您可以變更各種資料匯出設定,例如:
- 如要變更匯出帳單資料的儲存位置,請編輯匯出設定。
- 啟用或停用不同類型的帳單資料,即可變更要匯出的資料類型。
更新帳單資料的儲存專案或資料集,或停用任何資料匯出功能之前,請先詳閱限制和資料可用性指南,瞭解這些更新對匯出至 BigQuery 的帳單資料有何影響。
停用特定類型的帳單資料匯出功能
如要停用匯出至 BigQuery 的 Cloud Billing 資料類型,請按照下列步驟操作:
- 視需要選取「Disable standard Export」(停用標準匯出功能)、「Disable detailed Export」(停用詳細匯出功能)、「Disable pricing export」(停用定價匯出功能)或「Disable CUD export」(停用 CUD 匯出功能)。
- 選取「確認」即可儲存所選項目。
啟用帳單資料匯出功能
如要重新啟用已停用的 Cloud Billing 資料匯出至 BigQuery 功能,請參閱「啟用將 Cloud Billing 資料匯出至 BigQuery 的功能」。
變更帳單資料匯出的專案或資料集
如要更新儲存匯出帳單資料的專案或資料集,請按照下列步驟操作:
- 您必須先停用匯出功能,才能編輯匯出設定。
- 找出要更新的匯出作業,然後選取「啟用 [資料類型] 匯出」。
- 在「BigQuery export settings」(BigQuery 匯出設定) 頁面中,選擇其他專案或資料集。
- 選取「儲存」確認更新。
關於資料集權限
將 Cloud Billing 資料匯出至 BigQuery 後,系統會透過服務帳戶管理資料集權限。
設定好將 Cloud Billing 資料匯出至 BigQuery 後,Google 會自動新增服務帳戶,並指派為所選資料集的擁有者。服務帳戶應該會如下所示:
- FOCUS、標準和詳細使用費資料集:
billing-export-bigquery@ - 定價資料集:
cloud-account-pricing@cloud-account-pricing.
這些服務帳戶由 Google 擁有及管理,並會提供必要權限,以便在離線程序中建立資料表並寫入 Cloud Billing 記錄。
查看可能影響將帳單資料匯出至 BigQuery 的限制。
帳單資料表
啟用將 Cloud Billing 資料匯出至 BigQuery 的功能後,系統很快就會在 BigQuery 資料集中自動建立帳單資料表。如要進一步瞭解這些 BigQuery 資料表和資料表結構定義,請參閱「瞭解 BigQuery 中自動建立的資料表」。
資料載入頻率
- 首次啟用 FOCUS、標準或詳細使用費用匯出至 BigQuery 時,可能需要幾小時,Google Cloud 費用資料才會開始傳播至 BigQuery 資料集。資料會依時間順序匯出。如果匯出設定包含當月和上個月的追溯資料,匯出的資料最多可能需要五天,才能完全趕上目前的使用資料。
- 首次啟用定價匯出至 BigQuery 時,可能需要 48 小時才會開始看到 Google Cloud 定價資料。
限制
將 Cloud Billing 資料匯出至 BigQuery 時,須遵守下列限制。
每種匯出類型一個目的地資料集
每個 Cloud Billing 帳戶的每種匯出類型 (例如標準使用費用、詳細使用費用、FOCUS 使用費用、定價資料或承諾使用折扣 (CUD) 中繼資料),都只能有一個目的地資料集。您無法在單一帳單帳戶中,為同一匯出類型設定多個目的地資料集。每次匯出使用費用時,都會自動納入與帳單帳戶連結的所有專案資料。
如要限制專案層級存取權,讓團隊只能查看自己擁有的專案費用,請使用下列其中一種 BigQuery 存取控管方法:
建立 BigQuery 授權檢視表。在與匯出資料集位置相同的獨立資料集中,建立授權檢視表。如要匯出標準或詳細用量費用,請依
project.id欄位篩選資料列;如要匯出 FOCUS 用量費用,請依SubAccountId欄位篩選資料列。授權來源匯出資料集的檢視表,並將個別授權檢視表的 BigQuery 資料檢視者角色 (
roles/bigquery.dataViewer) 授予主體。在資料集層級授予這個角色,主體就能讀取該資料集中的所有資料表和檢視表。只有在每個團隊都使用專屬資料集,存放有權存取的檢視表時,才授予資料集層級存取權。此外,也請授予主體執行查詢的角色,例如查詢專案的 BigQuery 工作使用者角色 (
roles/bigquery.jobUser)。請勿授予這些主體來源匯出資料集的直接存取權。確認他們在託管來源匯出資料集的專案中,未持有繼承的專案層級讀取角色,例如roles/bigquery.dataViewer或roles/viewer。詳情請參閱「建立授權檢視表」。套用 BigQuery 資料列層級安全防護機制。如要匯出標準或詳細用量費用,請在匯出資料表上建立資料列層級存取權政策,依特定主體的
project.id欄位篩選資料列。將匯出資料表的roles/bigquery.dataViewer角色和查詢專案的查詢角色 (例如roles/bigquery.jobUser) 授予這些主體。如果資料集包含其他未篩選的匯出資料表,請勿在資料集層級授予roles/bigquery.dataViewer角色。如果您在匯出資料表啟用資料列層級安全性,也必須為 Cloud Billing 匯出服務帳戶新增
TRUE篩選器政策,匯出作業才能繼續成功執行。詳情請參閱「資料列層級安全性」。請勿直接透過 IAM 授予roles/bigquery.filteredDataViewer角色,因為這會授予資料表上每個資料列層級存取權政策 (包括TRUE篩選器) 所比對資料列的存取權。確認受限主體在匯出專案、資料集或資料表上,不具備寫入、擁有者或管理員角色。僅在單一組織內使用資料列層級安全性。唯讀連結資料集 (例如 FOCUS 匯出資料) 不支援資料列層級存取權政策。如需其他指引,請參閱「資料列層級安全性的最佳做法」。
Cloud Billing 資料匯出的資料表結構定義
任何 Cloud Billing 資料匯出的資料表結構定義都可能變更。
資料表結構定義變更時 (例如 Cloud Billing 資料匯出的 BigQuery 資料表結構定義新增欄位),直接參照匯出資料欄的查詢可能會失敗。為解決這個問題,建議您建立 BigQuery 檢視表,查詢匯出的資料表,並以您偏好的結構呈現資訊。
接著,您可以調整為報表和資訊主頁提供資料的查詢,從檢視表 (而非匯出的資料表) 提取資料。使用檢視表,即可標準化查詢和資訊主頁中使用的資料結構。
您建立的檢視表應將資料正規化,讓所有相關資料表向查詢呈現相同的結構定義。這樣一來,您就不必擔心日後結構定義變更,可在資料結構定義變更時修改檢視表的基礎查詢。
FOCUS 匯出和資料保留
以 Google 提供的 FOCUS 格式匯出至 BigQuery 的帳單資料,適用 2 年存留時間 (TTL) 政策。超過兩年的資料會自動從 BigQuery 資料集提供的 FOCUS 匯出資料表中刪除。如需保留兩年以上的 FOCUS 帳單資料記錄,請將 FOCUS 資料複製到您擁有的長期儲存資料表。
BigQuery 資料集位置和資料可用性
支援與 Cloud Billing 資料搭配使用的 BigQuery 資料集位置:
BigQuery 資料集會設定為使用位置,可以是多區域位置 (歐盟或美國),也可以是區域位置。資料集位置是在建立時設定,資料集建立後,位置即無法變更。
Cloud Billing 資料匯出功能支援所有多區域位置 (歐盟或美國),但僅支援部分區域位置。設定 Cloud Billing 匯出作業時,如果您建立或選取的資料集設為使用不支援的區域位置,在嘗試儲存匯出設定時,系統會顯示「Invalid dataset region」(資料集區域無效) 錯誤。
下表列出多區域位置和區域位置,這些位置支援包含 Cloud Billing 資料的 BigQuery 資料集。
| 美洲 | 亞太地區 | 歐洲 | 中東 |
|---|---|---|---|
|
多區域:美國 區域:
|
區域:
|
多區域:歐盟 區域:
|
區域:
|
位置和資料可用性:
如果 BigQuery 資料集包含 FOCUS 使用費用資料、標準使用費用資料或詳細使用費用資料,您在資料集設定的位置類型會影響 Google Cloud 帳單資料匯出至資料集的時間:
- 如果您將資料集設為使用多區域位置 (歐盟或美國),資料集會包含 Google Cloud 帳單資料,這些資料是從您「首次啟用」匯出功能的前一個月開始產生,「除非您重新啟用匯出功能」。也就是說,系統會Google Cloud 溯及過往的帳單資料,加入當月和上個月的資料。匯出資料的初始回填作業,可能需要最多五天才能完成追溯 Cloud Billing 資料的匯出,之後您才會看到目前的使用資料。
如果資料集設為使用支援的區域位置,則 FOCUS 使用費用資料、標準使用費用資料和詳細使用費用資料只會反映啟用 Cloud Billing 匯出功能當天起產生的 Google Cloud 帳單資料。也就是說,系統不會溯及過往,為非多區域資料集位置新增帳單資料,因此您不會看到啟用匯出功能之前的 Cloud Billing 資料。 Google Cloud
詳情請參閱「資料可用性」。
包含定價資料的 BigQuery 資料集,只會收集設定 Cloud Billing 匯出功能當天及之後產生的 Google Cloud 帳單資料。也就是說,Google Cloud 系統不會溯及過往的定價資料,因此您不會看到啟用匯出功能之前的 Cloud Billing 定價資料。詳情請參閱「資料可用性」。
停用、重新啟用或編輯匯出設定
如果您停用、重新啟用或編輯匯出設定,更新儲存匯出帳單資料的專案或資料集,先前匯出的帳單資料不會回填至新的資料集。如要納入切換至其他專案或資料集前匯出的帳單資訊,您必須手動將新資料集與先前的資料集合併。詳情請參閱「彙整作業」。
資料集加密
BigQuery 資料集設定為使用靜態資料加密,方法是在建立資料集時設定加密金鑰選項,可以是 Google-owned and Google-managed encryption key或客戶自行管理的加密金鑰 (CMEK)。建立資料集後,您可以編輯加密設定。
如果您已啟用將 Cloud Billing 資料匯出至 BigQuery 的功能,且資料集已設為使用Google-managed encryption key,則可更新資料集和資料表,改用 CMEK。如要更新資料集及其資料表,請完成下列步驟:
- 在資料集上設定資料集預設金鑰。設定預設金鑰後,資料集中建立的任何「新」資料表都會自動受到 CMEK 保護。
- 使用
bq指令列工具,在資料集的每個「現有」資料表上啟用 CMEK。變更資料集預設金鑰不會自動重新加密現有資料表。
CMEK 組織政策
您可以使用 CMEK 組織政策,強制對 BigQuery 資源 (包括帳單匯出) 使用 CMEK,或要求 CMEK 位於核准的專案中。不過,強制執行 CMEK 組織政策可能會產生下列非預期影響:
匯出程序可能無法處理現有資料集:啟用新的組織政策限制時,該限制不會套用至現有資料集。這表示即使資料集已不再允許,仍可能存在。不過,下次嘗試匯出至該資料集時,如果因新強制執行的組織政策而無法建立新資料表,匯出程序就會失敗。
為避免這種情況,請在更新組織政策時,主動檢查現有的帳單匯出設定,並視需要更新資料集設定,以符合
restrictNonCmekServices和restrictCmekCryptoKeyProjects限制。組織政策強制執行不一致:建立空白資料集時,系統不會強制執行組織政策。這表示您可以強制執行
restrictNonCmekServices限制,要求 BigQuery 資源使用 CMEK 進行加密,但仍可成功建立設定為使用 Google-owned and Google-managed encryption keys的 BigQuery 資料集。不過,使用該資料集的帳單匯出作業會失敗,因為組織政策不允許在 BigQuery 強制執行restrictNonCmekServices限制時,建立非 CMEK 保護的資料表。如要解決這個問題,請更新資料集加密設定,設定符合
restrictNonCmekServices和restrictCmekCryptoKeyProjects限制的資料集預設金鑰。
資料列層級安全性
如要對包含匯出資料的資料表使用 BigQuery 資料列層級安全性,您必須使用 BigQuery TRUE 篩選器,授予 Cloud Billing 匯出服務帳戶 billing-export-bigquery@ 資料表的完整存取權。下列指令會授予 Cloud Billing 服務帳戶存取權:
CREATE ROW ACCESS POLICY cloud_billing_export_policy
ON `__project_id__.__dataset_id__.__table_id__`
GRANT TO ('serviceAccount:billing-export-bigquery@')
FILTER USING (TRUE);
FOCUS 或詳細使用費資料和 GKE
匯出 FOCUS 用量費用資料或詳細用量費用資料時,匯出作業會自動納入 Compute Engine 和其他服務的資源層級資訊。不過,如要查看 FOCUS 或詳細資料匯出中的 Google Kubernetes Engine (GKE) 叢集費用明細,您也必須啟用 GKE 費用分配功能。
資源層級標記
資源層級標記最多可能需要一小時,才會套用至 BigQuery 匯出作業。如果標記是在一小時內新增或移除,或者資源存在時間不到一小時,可能就不會顯示在匯出內容中。
在標準用量費用匯出和詳細用量費用匯出中,有多項資源可使用資源層級標記。