自動評估資料品質總覽

Knowledge Catalog (原稱 Dataplex Universal Catalog) 的自動資料品質功能,可讓您根據定義的規則,驗證 BigQuery、Iceberg REST Catalog、SAP Business Data Cloud Delta Lake 和 Apache Hive 資料表。您可以自動執行掃描、評估品質分數,並在記錄不符合需求時記錄快訊,協助維護資料產生管道的完整性。如要找出資料表的統計特徵並產生規則建議,請參閱「關於資料剖析」。

自動資料品質功能的適用時機

以下是一些常見用途:

  • 自動驗證各個管道的資料:根據預先定義或自訂規則,自動驗證傳入 BigQuery 和 Iceberg REST Catalog 資料表的資料,防止損毀的資料進入下游分析。
  • 建立主動監控和警告機制:當資料不符合指定的品質門檻時,在 Cloud Logging 中觸發自動警告,協助資料工程團隊快速解決異常狀況。
  • 使用可重複使用的範本擴充管理功能:使用規則範本,在多項資料掃描作業中分享標準業務規則 (例如空值檢查或不重複性預期),減少重複作業。
  • 以程式碼形式管理資料品質政策:使用程式碼定義及部署品質規則,強制執行標準化資料治理,並簡化企業資料資產的版本管控。
  • 監控資料完整性趨勢:查看整體和維度層級的資料品質分數 (例如完整性和有效性),瞭解資料品質隨時間的變化,確保符合內部資料服務水準協議。

概念模型

資料品質掃描作業會對資料表資料套用品質規則,並回報結果。

資料品質掃描是 Knowledge Catalog 資料掃描的一種,會根據一組內建規則驗證資料。資料掃描是一項 Knowledge Catalog 工作,會從 BigQuery 和 Cloud Storage (透過 BigQuery 外部資料表) 取樣資料,並推論各種中繼資料。如要使用自動資料品質功能評估資料表品質,請建立 data quality 類型的 DataScan 物件。掃描作業只會在一個 BigQuery 資料表上執行。掃描作業會使用 Google 租戶專案中的資源,因此您不必自行設定基礎架構。

建立及使用資料品質掃描作業的步驟如下:

  1. 定義資料品質規則
  2. 設定規則執行
  3. 分析資料品質掃描結果
  4. 設定監控和快訊功能
  5. 排解資料品質問題

您可以以程式碼的形式管理資料品質規則和部署作業,並在掃描作業中使用整合式 Knowledge Catalog 監控、疑難排解和 Cloud Logging 警告功能。

規則定義

與資料品質掃描作業相關聯的資料品質規則,會定義資料預期。您可以透過下列方式建立資料品質規則:

內建規則

Knowledge Catalog 支援下列內建規則類別:

資料列層級

如果是資料列層級類別規則,則會對每個資料列套用預期。每列會獨立通過或不通過條件。例如 column_A_value < 1。

資料列層級檢查需要指定通過門檻。如果通過規則的資料列百分比低於門檻值,規則就會失敗。

匯總

如果是匯總規則,則會針對整個資料匯總的單一值套用預期。例如:Avg(someCol) >= 10。如要通過,檢查結果必須為布林值 true。匯總規則不會為每個資料列提供獨立的通過或失敗計數。

無論是哪一種規則類別,您都可以設定下列參數:

  • 規則適用的資料欄
  • 維度

下表列出支援的資料列層級和匯總規則類型:

規則類型
( Google Cloud 控制台中的名稱)
資料列層級或匯總規則 說明 支援的資料欄類型 規則專屬參數
RangeExpectation
(範圍檢查)
資料列層級 檢查值是否介於最小值和最大值之間。 所有數值、日期和時間戳記類型的資料欄。 必要:
  • 通過門檻百分比
  • min 或 max 值:至少指定一個值。
選用:
  • 啟用 strict min:啟用後,規則檢查會使用「>」而非「>=」。
  • 啟用strict max:如果啟用,規則檢查會使用「<」而不是「<=」。
  • 啟用 ignore null:啟用後,系統會在規則檢查中忽略空值。
NonNullExpectation
(空值檢查)
資料列層級 驗證資料欄值並非空值。 所有支援的資料欄類型。 必要:
  • 通過門檻百分比。
SetExpectation
(設定檢查)
資料列層級 檢查資料欄中的值是否為一組指定值之一。 所有支援的資料欄類型,Record 和 Struct 除外。 必要:
  • 要檢查的一組字串值。
  • 通過門檻百分比。
選用:
  • 啟用 ignore null:如果啟用,規則檢查會忽略空值。
RegexExpectation
(規則運算式檢查)
資料列層級 根據指定的規則運算式檢查值。 字串 必要:
  • 用於檢查的規則運算式模式。
  • 通過門檻百分比。
  • 注意:GoogleSQL 使用 re2 程式庫提供規則運算式支援。如要瞭解規則運算式語法,請參閱該說明文件。
選用:
  • 啟用 ignore null:如果啟用,規則檢查會忽略空值。
Uniqueness
(唯一性檢查)
匯總 檢查資料欄中的所有值是否不重複。 所有支援的資料欄類型,Record 和 Struct 除外。 必要:
  • 支援參數中的資料欄和維度。
選用:
  • 啟用 ignore null:如果啟用,規則檢查會忽略空值。
StatisticRangeExpectation
(統計資料檢查)
匯總 檢查指定的統計測量結果是否符合預期範圍。 所有支援的數值資料欄類型。 必要:
  • mean、min 或 max 值:至少指定一個值。
選用:
  • 啟用 strict min:啟用後,規則檢查會使用「>」而非「>=」。
  • 啟用 strict max:如果啟用,規則檢查會使用「<」而不是「<=」。

支援的自訂 SQL 規則類型

SQL 規則可讓您彈性地使用自訂邏輯擴充驗證。這些規則分為以下類型。

規則類型 資料列層級或匯總規則 說明 支援的資料欄類型 規則專屬參數 範例
資料列條件 資料列層級 在 WHERE 子句中定義 SQL 運算式,為每個資料列指定預期。SQL 運算式應評估每個資料列為 true (通過) 或 false (失敗)。

Knowledge Catalog 會計算符合這項預期條件的資料列百分比,並與通過門檻百分比比較,判斷規則是否成功。

運算式可以包含對其他資料表的參照,例如建立參照完整性檢查。
所有資料欄 必要:
  • 要使用的 SQL 條件
  • 通過門檻百分比
  • 維度
選用:
  • 要與這項規則建立關聯的資料欄。
grossWeight <= netWeight
資料表條件
(匯總 SQL 運算式)
匯總 這些規則會在每個資料表執行一次。提供評估布林值的 SQL 運算式,true 代表通過檢查,false 則代表檢查失敗。

SQL 運算式可使用運算式子查詢,納入對其他資料表的參照。
所有資料欄 必要:
  • 要使用的 SQL 條件
  • 維度
選用:
  • 要與這項規則建立關聯的資料欄
簡單匯總範例:
avg(price) > 100
使用運算式子查詢比較不同資料表的值:
(SELECT COUNT(*) FROM `example_project.example_dataset.different-table`) < COUNT(*)
SQL 斷言 匯總 斷言規則會使用資料品質查詢,找出不符合查詢中指定的一或多項條件的資料列。請提供要評估的 SQL 陳述式,以便傳回符合無效狀態的資料列。如果查詢傳回任何資料列,則規則失敗。

省略 SQL 陳述式結尾的分號。 SQL 陳述式可以使用運算式子查詢,納入對其他資料表的參照。
所有資料欄 必要:
  • 用於檢查無效狀態的 SQL 陳述式
  • 維度
選用:
  • 要與這項規則建立關聯的資料欄。
簡單的匯總範例,確保 discount_pct 不大於 100:
SELECT * FROM example_project.example_dataset.table WHERE discount_pct > 100

使用運算式子查詢比較不同資料表中的值:
SELECT * FROM `example_project.example_dataset.different-table` WHERE gross_weight > (SELECT avg(gross_weight) FROM `example_project.example_dataset.different-table`)

如需規則範例,請參閱「自動資料品質範例規則」。

如要瞭解支援的 SQL 函式,請參閱 GoogleSQL 參考資料。

重複使用資料品質規則

您可以重複使用 Knowledge Catalog 資料品質規則,透過規則範本在多項資料品質規則中,共用複雜或標準化的業務規則定義。舉例來說,您可以建立電子郵件驗證或兩個資料表之間外鍵驗證的規則範本,然後在資料掃描中重複使用這些範本。

規則重複使用功能提供下列主要功能:

  • 資料品質規則範本:建立自訂規則範本,儲存複雜或標準化的業務規則定義,並在多項資料品質規則中共用。建立 data-quality-rule-template 項目,並新增 data-quality-rule-template 方面,定義範本邏輯。
  • 將資料規則視為中繼資料:在 Knowledge Catalog 中,將資料品質規則宣告為 BigQuery 資料表或組織詞彙等項目的面向。使用 data-rules 切面類型,將這些規則附加至項目。
  • 系統規則範本:使用系統規則範本建立常用規則。

詳情請參閱「重複使用資料品質規則」。

維度

維度是用來評估資料品質特定面向 (例如完整性或有效性) 的類別。將規則與維度建立關聯,即可將掃描結果分組,以便監控及發出警示。舉例來說,您可以監控資料表的整體完整性分數,而不必單獨追蹤個別規則失敗。

每項資料品質規則都必須與維度建立關聯。Knowledge Catalog 提供下列預先定義的維度:

即時程度
評估資料上次更新的時間,或資料是否夠新,足以發揮效用。更新間隔檢查會評估時間間隔或時間戳記,確認資料管道是否按時傳送資料。舉例來說,您可以使用自訂 SQL 規則或 freshness_expectation 系統規則範本,驗證事件資料表中的最新時間戳記是否在過去 24 小時內。
音量
評估資料量或數量,確認記錄數量符合預期。資料量檢查會使用總資料列數等指標評估資料集大小,偵測缺少的資料批次、不完整的擷取執行作業,或非預期的截斷。舉例來說,您可以使用資料表條件,驗證每日擷取資料表是否至少包含 100,000 個資料列 (COUNT(*) >= 100000),或比較目的地資料表和來源資料表的資料列數量。
完整度
評估所有必要資料欄位是否都包含值,沒有非預期的遺漏或空值項目。完整性檢查會評估記錄中的屬性是否已填入。舉例來說,您可以使用空值檢查 (NonNullExpectation),確認 customer_id 或 order_date 等必要資料欄不含空值。
有效性
評估資料是否符合預先定義的技術標準、格式、結構定義或有效值範圍。例如,您可以使用規則運算式檢查 (RegexExpectation),確認電子郵件地址格式有效,或使用範圍檢查 (RangeExpectation),確認折扣百分比介於 0 到 100 之間。您也可以使用集合檢查 (SetExpectation),確認訂單狀態值是否符合允許清單,例如 ('PENDING', 'SHIPPED', 'DELIVERED')。
一致性
評估資料值和關係是否在多個資料表、資料欄或系統之間保持一致,沒有矛盾。舉例來說,您可以使用自訂 SQL 規則,驗證 orders 資料表和 customers 資料表之間的參照完整性,或驗證每個資料列中的 gross_weight >= net_weight。您也可以確認每日摘要表格中回報的總銷售收益,是否等於交易表格中委刊項的總和。
準確率
反映資料的正確性,以及是否如實呈現實際實體或權威參考值。如要評估準確率,您可以交叉比對記錄與權威外部資料來源,或檢查實際業務規則,例如確認交易時間戳記並非未來時間。
唯一性
評估資料值是否不重複,且沒有非預期的重複記錄。例如,您可以使用唯一性檢查 (UniquenessExpectation),驗證主鍵或 ID 欄 (例如 transaction_id) 是否僅包含不重複的值。

區分相似維度

定義資料品質規則時,某些維度可能看起來很相似。請按照下列規範選取適當的維度:

  • 完整性與資料量:
    • 完整性:評估記錄內的欄位是否已填入資料,例如檢查資料欄是否包含空值或缺少值。
    • 「Volume」會評估資料集中的記錄總量,例如檢查資料表或分區的總列數,確認所有預期列都已載入。
  • 完整性與有效性:
    • 完整性:評估必要值是否存在 (非空值),例如確認 email 欄是否已填入值。
    • 有效性:評估現有值是否符合預期格式、範圍或組合,例如驗證非空值 email 值是否符合有效電子郵件模式,而非 'N/A' 等預留位置字串。
  • 有效性與準確性:
    • 有效性:評估資料是否符合結構規則、語法、可接受的範圍或格式,例如檢查電話號碼是否包含 10 位數字。
    • 準確性:評估資料是否反映真實情況或權威事實,例如檢查電話號碼是否屬於客戶。資料可能有效,但不一定準確。
  • 一致性與準確性:
    • 一致性:評估資料在不同系統、資料表或記錄之間是否相符,例如確認客戶在帳單和客戶服務資料庫中的狀態是否相同。
    • 準確度:評估資料是否與實際情況相符。如果多個系統都包含錯誤的值,資料在這些系統中可能一致,但仍不準確。

規則中的輸入類型

所有值參數都會以字串值的形式傳遞至 API。Knowledge Catalog 的輸入內容必須符合 BigQuery 指定格式。

二進位類型的參數可以採用 Base64 編碼字串的形式傳遞。

類型 支援的格式 範例
二進位檔 Base64 編碼值 YXBwbGU=
時間戳記 YYYY-[M]M-[D]D[( |T)[H]H:[M]M:[S]S[.F]] [time_zone]
OR YYYY-[M]M-[D]D[( |T)[H]H:[M]M:[S]S[.F]][time_zone_offset]
2014-09-27 12:30:00.45-08
日期 YYYY-M[M]-D[D] 2014-09-27
時間 [H]H:[M]M:[S]S[.DDDDDD] 12:30:00.45
DateTime YYYY-[M]M-[D]D [[H]H:[M]M:[S]S[.DDDDDD]] 2014-09-27 12:30:00.45

資料參照參數

建立自訂 SQL 規則時,您可以使用規則中的資料參照參數 ${data()},參照資料來源資料表及其所有前提條件篩選器,而不必明確提及來源資料表及其篩選器。Knowledge Catalog 會將參數解讀為來源資料表及其篩選器的參照。前置條件篩選器的例子包括資料列篩選器、取樣百分比和增量篩選器。

舉例來說,假設您有一個名為 my_project_id.dim_dataset.dim_currency 的資料來源資料表。您想執行增量資料品質掃描,只掃描每天的新資料。資料表會套用資料列篩選器,篩選出當天的項目 transaction_timestamp >= current_date()。

如要找出今天 discount_pct 的資料列,自訂 SQL 規則如下:

discount_pct IN (SELECT discount_pct FROM my_project_id.dim_dataset.dim_currency WHERE transaction_timestamp >= current_date())

如果使用資料參照參數,就能簡化規則。將資料表和其前置條件篩選器的提及內容替換為 ${data()} 參數:

discount_pct IN (SELECT discount_pct FROM ${data()})

Knowledge Catalog 會將 ${data()} 參數解讀為參照含有當天項目的資料來源資料表 my_project_id.dim_dataset.dim_currency WHERE transaction_timestamp >= current_date()。在這個範例中,資料參照參數僅參照增量資料。

${data()} 參數須區分大小寫。

在子查詢中使用別名參照來源資料表中的資料欄時,請使用資料參照參數參照來源資料表,或省略資料表參照。請勿在 WHERE 子句中使用直接資料表參照,來參照來源資料表中的資料欄。

建議做法:

  • 使用資料參照參數參照來源資料表:

    discount_pct IN (
    SELECT discount_pct FROM
    `my_project_id.dim_dataset.dim_currency` AS temp-table
    WHERE
    temp-table.transaction_timestamp = ${data()}.timestamp
    )
    
  • 省略資料表參照:

    discount_pct IN (
    SELECT discount_pct FROM
    `another_project.another_dataset.another_table` AS temp-table
    WHERE
    temp-table.transaction_timestamp = timestamp
    

不建議使用:

  • 請勿使用直接表格參照來參照來源表格中的資料欄:

    discount_pct IN (
    SELECT discount_pct FROM
    `my_project_id.dim_dataset.dim_currency` AS temp-table
    WHERE
    temp-table.transaction_timestamp = `my_project_id.dim_dataset.dim_currency`.timestamp
    )
    

不同表格的有效用途:

  • 比較不同表格的資料欄時,可以使用直接表格參照:

    discount_pct IN (
    SELECT discount_pct FROM
    `my_project_id.dim_dataset.dim_currency` AS temp-table
    WHERE
    temp-table.transaction_timestamp = `another_project.another_dataset.another_table`.timestamp
    )
    

偵錯查詢

建立規則時,您可以選擇加入偵錯查詢,與規則一併執行。偵錯查詢是 SQL 陳述式,最多可傳回 10 個純量值。如果規則失敗,這些值有助於診斷原因。每項規則最多可新增一項偵錯查詢,長度不得超過 1024 個字元。

請參考下列 example_project.example_dataset.table 資料表的 SQL 斷言規則,檢查每項商品的平均收益是否超過 100:

SELECT
  *
FROM
  `example_project.example_dataset.table`
WHERE
  SUM(revenue) / COUNT(DISTINCT item_id) > 100

如果上述規則失敗,您可以查看總收益、不重複商品數量和每項商品平均收益等指標,協助診斷問題。下列偵錯查詢會傳回這些指標:

SELECT
  SUM(revenue),
  COUNT(DISTINCT item_id),
  SUM(revenue) / COUNT(DISTINCT item_id)
FROM `example_project.example_dataset.table`

規則執行

您可以安排資料品質掃描作業,按照特定時間間隔執行,也可以視需要執行掃描。

執行身分

根據預設,Knowledge Catalog 會使用集中式服務代理 (service-PROJECT_NUMBER@gcp-sa-dataplex.) 執行資料品質掃描。

您可以指定自訂服務帳戶,或使用自己的使用者憑證 (EUC),覆寫這項預設執行身分。這能帶來以下優勢:

  • 最小權限原則:僅將特定資料品質工作所需的 IAM 權限授予專屬服務帳戶,盡可能減少過度佈建的存取權。
  • 精細的存取控管:將權限範圍限定在特定資源,以便與 BigQuery 中的資料列層級和資料欄層級存取政策整合。
  • 提升可稽核性:將自訂服務帳戶或使用者憑證指派給特定掃描作業,讓稽核記錄中的活動追蹤和記錄更清楚。
  • 統一計費:使用自訂執行身分時,處理和儲存費用會直接集中在 BigQuery (不透過 Knowledge Catalog Premium SKU)。這樣一來,您就能享有 BigQuery 企業折扣和運算單元承諾使用合約。

如要瞭解如何設定自訂執行身分,請參閱「設定執行身分」。

網路需求

如要執行掃描,您必須在用於掃描的虛擬私有雲子網路上啟用Private Google Access。如未指定子網路,請確認預設子網路已啟用 Private Google Access。

執行資料品質掃描時,Knowledge Catalog 會建立工作。如果工作設定有誤或執行時間超出預期,您可以取消工作。

指定資料品質掃描時,您可以將工作範圍設為下列其中一項:

完整資料表
每項工作都會驗證整個資料表。
異動項目
每項工作都會驗證增量資料。如要判斷增量,請在表格中提供可做為標記的 Date/Timestamp 欄。通常是資料表分區依據的資料欄。

篩選資料

您可以使用資料列篩選器,篩選要掃描資料品質的資料。建立資料列篩選器後,您就能專注於特定時間範圍或特定區隔 (例如特定區域) 內的資料。使用篩選器可以縮短執行時間並降低成本。例如,您可以篩除時間戳記早於特定日期的資料。

範例資料

您可以指定要從資料中取樣的記錄百分比,以便執行資料品質掃描。與查詢整個資料集相比,對較小的資料樣本建立資料品質掃描,可縮短執行時間並降低成本。

篩選規則

執行資料品質掃描時,您可以使用 AIP-160 篩選器語法,選擇性執行特定規則。Knowledge Catalog 會根據掃描中定義的規則中繼資料,或透過 data-rules 切面附加至目錄項目的規則,執行篩選作業。

篩選器語法

篩選器語法遵循 AIP-160 指南。您可以使用標準 AIP-160 運算子 (例如 =、!=、>、<、=~),並使用 AND 或 OR 結合多個條件。

使用 AIP-160 篩選器字串時,請按照下列步驟操作:

  • 在 Google Cloud 控制台中:使用 AIP-160 語法直接輸入篩選器,例如 name = "critical_check"。
  • 在 API 呼叫中:篩選器字串通常是另一個 JSON 字串常值中的值。這需要逸出 AIP-160 字串中的雙引號。例如:"filter": "name = \"critical_check\""。

可篩選的欄位

您可以篩選規則定義中的大部分欄位:

  • name:規則的顯示名稱。
  • dimension:資料品質維度 (例如 VALIDITY)。
  • column:規則適用的資料欄名稱。
  • threshold:規則的通過門檻。
  • ignore_null:布林值。當 true 時,NULL 列會視為通過。
  • attributes:指派給規則的自訂鍵/值組合。

以下範例說明常見的篩選器模式。數值和布林值不加引號。

依名稱篩選

  • 完全相符:name = "critical_check"
  • 比對模式:name =~ "temp_.*"

依維度篩選

  • 比對特定維度:dimension = "COMPLETENESS"
  • 比對多個維度:dimension = "VALIDITY" OR dimension = "ACCURACY"

依資料欄和門檻篩選

  • 比對特定資料欄:column = "user_id"
  • 符合門檻:threshold > 0.95
  • 比對範圍:threshold >= 0.8 AND threshold < 0.9

依 ignore_null 篩選

  • 比對布林值:ignore_null = true

依自訂屬性篩選

  • 檢查金鑰是否存在:attributes:environment
  • 比對鍵和值:attributes.environment = "prod"
  • 使用規則運算式比對:attributes.tag =~ "prio-.*"
  • 比對組合:attributes.environment = "prod" AND attributes.criticality = "high"

資料品質掃描結果

您可以在 Knowledge Catalog 和 BigQuery 查看資料品質掃描結果。您也可以使用下列方法查看及分析掃描結果:

  • 將結果匯出至 BigQuery

    您可以將掃描結果匯出至 BigQuery 資料表,以便進一步分析。如要自訂報表,您可以將 BigQuery 資料表資料連結至 Looker 資訊主頁。您可以使用多項掃描作業的同一個結果資料表,建立匯總報表。

  • 將結果發布為 Knowledge Catalog 中繼資料

    您可以將資料品質掃描結果發布為 Knowledge Catalog 中繼資料。最新結果會儲存至代表來源資料表的 Knowledge Catalog 項目,位於 data-quality-scorecard 系統切面類型下方。如要查看結果,請前往 Google Cloud 控制台,在來源資料表的 BigQuery 和 Knowledge Catalog 頁面,點選「資料品質」分頁標籤。您也可以使用 API 擷取結果。

    如要進一步瞭解 Knowledge Catalog 中繼資料,請參閱「關於 Knowledge Catalog 中的中繼資料管理」。

  • 查看資料品質分數

    每項掃描結果都會提供資料品質分數,指出通過的規則百分比。分數會顯示在整體工作層級、資料欄層級 (如果規則是針對資料欄進行評估),以及維度層級。您可以使用資料品質分數,將各資料表或資料欄的資料品質正規化、追蹤趨勢,以及找出不符合品質規定的資料。

詳情請參閱「查看資料品質掃描結果」。

監控與快訊

您可以透過下列方法監控資料品質掃描作業,並接收相關快訊:

  • 在 Cloud Logging 中設定警告

    您可以在 Logs Explorer 中,使用 data_scan 和 data_quality_scan_rule_result 記錄監控資料品質工作。

    對於每項資料品質工作,data_scan_type 欄位設為 DATA_QUALITY 的 data_scan 記錄會包含下列資訊:

    • 用於資料掃描的資料來源。
    • 工作執行詳細資料,例如建立時間、開始時間、結束時間和工作狀態。
    • 資料品質工作的結果:通過或失敗。
    • 維度層級通過或失敗。

    每項成功的工作都包含 data_quality_scan_rule_result 記錄,其中包含該工作中每項規則的下列詳細資訊:

    • 設定資訊,例如規則名稱、規則類型、評估類型和維度。
    • 結果資訊,例如通過或失敗、總列數、通過列數、空值列數和評估列數。

    您可以透過 API 和Google Cloud 控制台取得記錄中的資訊。您可以根據這項資訊設定快訊。詳情請參閱「在 Logging 中設定警告」。

  • 傳送電子郵件通知報表

    您可以傳送電子郵件通知報表,提醒使用者資料品質工作的狀態和結果。通知報表適用於下列情境:

    • 資料品質分數低於指定目標分數
    • 工作失敗
    • 工作已完成

    您可以在建立資料品質掃描作業時設定通知報表。

  • 在 Cloud Billing 監控 DCU 運算費用

    資料品質掃描無伺服器運算不會將時間序列指標傳送至 Cloud Monitoring。如要依專案、掃描 ID 或資料表追蹤及歸因資料品質 DCU 費用,請使用 goog-dataplex-datascan-* 系統標籤在 BigQuery 中查詢 Cloud Billing 匯出作業。詳情請參閱「透過 Cloud Billing 匯出功能監控及歸因 Knowledge Catalog DCU 費用」。

排解資料品質問題

規則執行失敗時,Knowledge Catalog 會提供查詢,以便取得失敗的記錄。執行這項查詢,即可查看不符合規則的記錄。詳情請參閱「排解資料品質失敗問題」。

限制

  • gcloud CLI 不支援規則建議。
  • 在 Google Cloud 控制台中,維度選項固定為七個預先定義維度之一。
  • 每項資料品質掃描作業的規則數量上限為 1000。
  • 資料欄層級的資料品質分數僅支援透過 API 回報。
  • 您只能對 BigQuery、Iceberg REST Catalog 資料表、SAP Business Data Cloud Delta Lake 資料表和 Apache Hive 資料表執行資料品質規則。

定價

後續步驟