Google Cloud Observability 儲存空間總覽

Google Cloud Observability 會儲存及整理 Cloud Logging、Cloud Monitoring 和 Cloud Trace 的遙測資料,並將這些資料分散到結構化儲存空間容器。瞭解儲存模型有助於設定資料落地、強制執行加密政策,以及將遙測資料連結至 BigQuery 等數據分析服務。

記錄檔資料

記錄資料位於記錄檔 bucket,這是 Logging 用來儲存記錄資料的容器。系統建立Google Cloud 專案、帳單帳戶、資料夾或組織時,Cloud Logging 會在資源中建立名為 _Required 和 _Default 的記錄檔 bucket:

  • 位置:除非 Cloud Logging 的預設資源設定指定位置,否則 Cloud Logging 會選取這些 bucket 的位置。bucket 建立後即無法變更位置。

  • 加密:除非 Cloud Logging 的預設資源設定指定客戶自行管理的加密金鑰 (CMEK),否則這些 bucket 會使用Google-owned and Google-managed encryption keys 。bucket 建立後即無法變更這項設定。

根據預設,記錄資料會存放在資料來源的 Google Cloud 專案、帳單帳戶、資料夾或組織中。不過,您可以設定 Logging,將記錄資料從來源資源轉送至其他位置,例如其他專案或集中化記錄 bucket。詳情請參閱「儲存記錄項目」和「轉送記錄項目」。

Cloud Logging 可讓您將記錄資料區域化:

  • 組織政策可以限制新記錄檔 bucket 的位置,並要求記錄檔 bucket 使用 CMEK。
  • Cloud Logging 的預設資源設定可讓您為組織和資料夾設定下列項目:

    • 新 _Required 和 _Default 記錄檔 bucket 的位置
    • 用於加密記錄資料的 Cloud Key Management Service 金鑰
    • 預設接收器的設定

    除非資源階層中的子系也設定了預設資源設定,否則會自動繼承這些設定。舉例來說,如果您為機構設定 Cloud Logging 的預設資源設定,則機構資源階層中的所有資料夾和專案都會自動沿用這些設定。不過,如果您為該組織中的資料夾設定 Cloud Logging 的預設資源設定,系統就會使用資料夾層級設定。

    Cloud Logging 的預設資源設定僅適用於新資源,不適用於現有資源。詳情請參閱「設定 Cloud Logging 的預設資源設定」。

指標資料

指標資料會儲存在資料來源的 Google Cloud 專案中。

如要瞭解儲存空間政策,請參閱「Monitoring 的資料落地」。

追蹤資料

追蹤記錄資料會儲存在資料集,由名為 _Trace 的觀測能力 bucket 管理。_Trace bucket 必須存在,才能保存資料集。_Trace bucket 可以自動或手動建立:

  • 自動建立:系統收到應用程式或 Google Cloud 服務的追蹤記錄資料後,會自動建立 bucket。系統會根據觀測能力 bucket 適用的預設設定,判斷 bucket 的位置和加密金鑰。如未定義預設設定,系統會選取支援的位置,且 bucket 會使用 Google 預設加密機制。

    Cloud Run functions、Cloud Run 和 App Engine 產生的追蹤記錄資料,不會導致系統建立觀測能力 bucket。只有在觀測能力 bucket 存在時,系統才會儲存這些服務的 span。

  • 手動建立:您可以在 Google Cloud 專案接收追蹤記錄資料前,使用 Observability API 建立_Trace bucket。您必須提供 bucket 的位置。您可以提供 Cloud Key Management Service 金鑰:

    • 如果您提供金鑰,系統會使用該金鑰加密儲存的資料。
    • 如未提供 Cloud KMS 金鑰,則會根據 bucket 上層資源適用的預設設定決定加密金鑰。如果預設設定指定 Cloud KMS 金鑰,則該金鑰會加密儲存的資料。否則,系統會使用 Google 預設加密機制。

建立 _Trace bucket 時,系統也會為 bucket 建立名為 Spans 的資料集,以及資料集上名為 _AllSpans 的檢視表。該檢視表包含資料集中的所有資料。

如要瞭解詳情,請參考下列資源:

觀測能力儲存空間模型

Observability API 儲存空間模型採用下列架構:

觀測能力 bucket

觀測能力 bucket 是資料集的管理實體,用於儲存資料。觀測能力 bucket 位於特定位置,並設有資料保留政策。 Google Cloud 服務使用 Observability API 儲存資料時,系統會根據服務名稱建立觀測能力 bucket、用於儲存資料的資料集,以及提供儲存資料讀取權限的檢視表。舉例來說,如果是 Cloud Trace 服務,系統會將系統建立的值區命名為 _Trace、資料集命名為 Spans,以及檢視表命名為 _AllSpans。如要瞭解觀測能力 bucket 的結構,請參閱「Bucket」。

Google Cloud Observability 會使用預設設定和組織政策,決定新觀測能力 bucket 的位置和加密模型。如果現有的觀測能力 bucket 不符合貴組織的法規要求,您或許可以重新佈建觀測能力 bucket。

資料集

資料集會儲存資料。系統建立觀測能力 bucket 時,會自動建立一個資料集,並由該 bucket 管理。舉例來說,系統建立 _Trace bucket 時,也會建立名為 Spans 的資料集,用於儲存追蹤記錄資料。如要瞭解資料集的結構,請參閱 Dataset。

資料集檢視表

每個資料集會託管一或多個檢視表。檢視表可讓您讀取資料集中的部分項目。系統會在建立資料集時建立一個檢視表。該檢視表包含資料集中的所有資料。檢視表名稱會因服務而異。舉例來說,如果是 Cloud Trace 服務,系統會在 Spans 資料集上建立名為 _AllSpans 的檢視表。如要瞭解檢視表的結構,請參閱 View。

資料集連結

每個資料集最多只能包含一個連結。當您為資料集建立連結時,系統會建立連結的 BigQuery 資料集。接著,您可以使用 BigQuery 或其他採用 BigQuery API 的服務,查詢資料集中的資料。如要瞭解連結的結構,請參閱「Link」。

系統不會自動建立資料集連結。

舉例來說,追蹤記錄資料位於觀測能力 bucket _Trace 內的 Spans 資料集。系統會在這個資料集上建立 _AllSpans 檢視表,其中包含所有儲存的 span。

觀測能力 bucket 的資料落地設定

如果您有法規遵循或監管要求,必須將資料儲存在特定位置,或使用客戶自行管理的加密金鑰 (CMEK),建議您同時設定組織政策和觀測能力 bucket 的預設設定。

您可以透過觀測能力 bucket 的預設設定,為組織、資料夾和專案設定下列項目:

  • 預設儲存位置。
  • 每個位置都有預設的 Cloud Key Management Service 金鑰。

系統會透過兩種方式使用預設設定:

  • 系統自動建立觀測能力 bucket 時,會使用預設設定來決定 bucket 的位置和加密金鑰。如未定義預設設定,系統會選取位置,並使用 Google 預設加密機制加密 bucket。

  • 透過發出 API 要求來建立觀測能力 bucket 時,您必須提供位置。不過,除非 API 要求的引數指定金鑰,否則系統會自動使用預設設定定義的 Cloud KMS 金鑰加密資料。

觀測能力 bucket 的上層一律是專案,因此建立 bucket 時,系統會先搜尋專案層級的預設設定。如果不存在,系統會搜尋父項的上層項目,尋找預設設定。舉例來說,如果您為資料夾定義預設設定,這些設定會套用至該資料夾的子系,但已設定預設設定的子系除外。

您也可以使用組織政策,限制新觀測能力 bucket 的位置、要求使用 CMEK,或限制可用於加密的 Cloud KMS 金鑰。如果您設定的組織政策要求使用 CMEK,則必須設定觀測能力 bucket 的預設設定。否則,系統建立的觀測能力 bucket 佈建作業會失敗。

如需詳細資訊,請參閱下列文件:

限制

您無法執行下列操作:

  • 修改或刪除觀測能力 bucket。
  • 建立、刪除或修改資料集。
  • 建立、刪除或修改檢視表。
  • 使用 Google Cloud 控制台列出 bucket、資料集、檢視表或連結。

後續步驟