Knowledge Catalog (原稱 Dataplex Universal Catalog) 的自動資料品質功能,可讓您根據定義的規則,驗證 BigQuery、Iceberg REST Catalog、SAP Business Data Cloud Delta Lake 和 Apache Hive 資料表。您可以自動執行掃描、評估品質分數,並在記錄不符合需求時記錄快訊,協助維護資料產生管道的完整性。如要找出資料表的統計特徵並產生規則建議,請參閱「關於資料剖析」。
自動資料品質功能的適用時機
以下是一些常見用途:
- 自動驗證各個管道的資料:根據預先定義或自訂規則,自動驗證傳入 BigQuery 和 Iceberg REST Catalog 資料表的資料,防止損毀的資料進入下游分析。
- 建立主動監控和警告機制:當資料不符合指定的品質門檻時,在 Cloud Logging 中觸發自動警告,協助資料工程團隊快速解決異常狀況。
- 使用可重複使用的範本擴充管理功能:使用規則範本,在多項資料掃描作業中分享標準業務規則 (例如空值檢查或不重複性預期),減少重複作業。
- 以程式碼形式管理資料品質政策:使用程式碼定義及部署品質規則,強制執行標準化資料治理,並簡化企業資料資產的版本管控。
- 監控資料完整性趨勢:查看整體和維度層級的資料品質分數 (例如完整性和有效性),瞭解資料品質隨時間的變化,確保符合內部資料服務水準協議。
概念模型
資料品質掃描是 Knowledge Catalog 資料掃描的一種,會根據一組內建規則驗證資料。資料掃描是一項 Knowledge Catalog 工作,會從 BigQuery 和 Cloud Storage (透過 BigQuery 外部資料表) 取樣資料,並推論各種中繼資料。如要使用自動資料品質功能評估資料表品質,請建立 data quality 類型的 DataScan 物件。掃描作業只會在一個 BigQuery 資料表上執行。掃描作業會使用 Google 租戶專案中的資源,因此您不必自行設定基礎架構。
建立及使用資料品質掃描作業的步驟如下:
- 定義資料品質規則
- 設定規則執行
- 分析資料品質掃描結果
- 設定監控和快訊功能
- 排解資料品質問題
您可以以程式碼的形式管理資料品質規則和部署作業,並在掃描作業中使用整合式 Knowledge Catalog 監控、疑難排解和 Cloud Logging 警告功能。
規則定義
與資料品質掃描作業相關聯的資料品質規則,會定義資料預期。您可以透過下列方式建立資料品質規則:
- 使用 Knowledge Catalog 資料剖析掃描產生的規則建議
- 使用內建規則或系統規則範本
- 建立自訂 SQL 規則
- 重複使用資料品質規則
內建規則
Knowledge Catalog 支援下列內建規則類別:
- 資料列層級
如果是資料列層級類別規則,則會對每個資料列套用預期。每列會獨立通過或不通過條件。例如
column_A_value < 1。資料列層級檢查需要指定通過門檻。如果通過規則的資料列百分比低於門檻值,規則就會失敗。
- 匯總
如果是匯總規則,則會針對整個資料匯總的單一值套用預期。例如:
Avg(someCol) >= 10。如要通過,檢查結果必須為布林值true。匯總規則不會為每個資料列提供獨立的通過或失敗計數。
無論是哪一種規則類別,您都可以設定下列參數:
- 規則適用的資料欄
- 維度
下表列出支援的資料列層級和匯總規則類型:
| 規則類型 ( Google Cloud 控制台中的名稱) |
資料列層級或匯總規則 | 說明 | 支援的資料欄類型 | 規則專屬參數 |
|---|---|---|---|---|
RangeExpectation(範圍檢查) |
資料列層級 | 檢查值是否介於最小值和最大值之間。 | 所有數值、日期和時間戳記類型的資料欄。 | 必要:
|
NonNullExpectation(空值檢查) |
資料列層級 | 驗證資料欄值並非空值。 | 所有支援的資料欄類型。 | 必要:
|
SetExpectation(設定檢查) |
資料列層級 | 檢查資料欄中的值是否為一組指定值之一。 | 所有支援的資料欄類型,Record 和 Struct 除外。 |
必要:
|
RegexExpectation(規則運算式檢查) |
資料列層級 | 根據指定的規則運算式檢查值。 | 字串 | 必要:
|
Uniqueness(唯一性檢查) |
匯總 | 檢查資料欄中的所有值是否不重複。 | 所有支援的資料欄類型,Record 和 Struct 除外。 |
必要:
|
StatisticRangeExpectation(統計資料檢查) |
匯總 | 檢查指定的統計測量結果是否符合預期範圍。 | 所有支援的數值資料欄類型。 | 必要:
|
支援的自訂 SQL 規則類型
SQL 規則可讓您彈性地使用自訂邏輯擴充驗證。這些規則分為以下類型。
| 規則類型 | 資料列層級或匯總規則 | 說明 | 支援的資料欄類型 | 規則專屬參數 | 範例 |
|---|---|---|---|---|---|
| 資料列條件 | 資料列層級 | 在 WHERE 子句中定義 SQL 運算式,為每個資料列指定預期。SQL 運算式應評估每個資料列為 true (通過) 或 false (失敗)。Knowledge Catalog 會計算符合這項預期條件的資料列百分比,並與通過門檻百分比比較,判斷規則是否成功。 運算式可以包含對其他資料表的參照,例如建立參照完整性檢查。 |
所有資料欄 | 必要:
|
grossWeight <= netWeight |
| 資料表條件 (匯總 SQL 運算式) |
匯總 | 這些規則會在每個資料表執行一次。提供評估布林值的 SQL 運算式,true 代表通過檢查,false 則代表檢查失敗。SQL 運算式可使用運算式子查詢,納入對其他資料表的參照。 |
所有資料欄 | 必要:
|
簡單匯總範例:avg(price) > 100使用運算式子查詢比較不同資料表的值: (SELECT COUNT(*) FROM `example_project.example_dataset.different-table`) < COUNT(*) |
| SQL 斷言 | 匯總 | 斷言規則會使用資料品質查詢,找出不符合查詢中指定的一或多項條件的資料列。請提供要評估的 SQL 陳述式,以便傳回符合無效狀態的資料列。如果查詢傳回任何資料列,則規則失敗。 省略 SQL 陳述式結尾的分號。 SQL 陳述式可以使用運算式子查詢,納入對其他資料表的參照。 |
所有資料欄 | 必要:
|
簡單的匯總範例,確保 discount_pct 不大於 100:SELECT * FROM example_project.example_dataset.table WHERE discount_pct > 100使用運算式子查詢比較不同資料表中的值: SELECT * FROM `example_project.example_dataset.different-table` WHERE gross_weight > (SELECT avg(gross_weight) FROM `example_project.example_dataset.different-table`)
|
如需規則範例,請參閱「自動資料品質範例規則」。
如要瞭解支援的 SQL 函式,請參閱 GoogleSQL 參考資料。
重複使用資料品質規則
您可以重複使用 Knowledge Catalog 資料品質規則,透過規則範本在多項資料品質規則中,共用複雜或標準化的業務規則定義。舉例來說,您可以建立電子郵件驗證或兩個資料表之間外鍵驗證的規則範本,然後在資料掃描中重複使用這些範本。
規則重複使用功能提供下列主要功能:
- 資料品質規則範本:建立自訂規則範本,儲存複雜或標準化的業務規則定義,並在多項資料品質規則中共用。建立
data-quality-rule-template項目,並新增data-quality-rule-template方面,定義範本邏輯。 - 將資料規則視為中繼資料:在 Knowledge Catalog 中,將資料品質規則宣告為 BigQuery 資料表或組織詞彙等項目的面向。使用
data-rules切面類型,將這些規則附加至項目。 - 系統規則範本:使用系統規則範本建立常用規則。
詳情請參閱「重複使用資料品質規則」。
維度
維度是用來評估資料品質特定面向 (例如完整性或有效性) 的類別。將規則與維度建立關聯,即可將掃描結果分組,以便監控及發出警示。舉例來說,您可以監控資料表的整體完整性分數,而不必單獨追蹤個別規則失敗。
每項資料品質規則都必須與維度建立關聯。Knowledge Catalog 提供下列預先定義的維度:
- 即時程度
- 評估資料上次更新的時間,或資料是否夠新,足以發揮效用。更新間隔檢查會評估時間間隔或時間戳記,確認資料管道是否按時傳送資料。舉例來說,您可以使用自訂 SQL 規則或
freshness_expectation系統規則範本,驗證事件資料表中的最新時間戳記是否在過去 24 小時內。 - 音量
- 評估資料量或數量,確認記錄數量符合預期。資料量檢查會使用總資料列數等指標評估資料集大小,偵測缺少的資料批次、不完整的擷取執行作業,或非預期的截斷。舉例來說,您可以使用資料表條件,驗證每日擷取資料表是否至少包含 100,000 個資料列 (
COUNT(*) >= 100000),或比較目的地資料表和來源資料表的資料列數量。 - 完整度
- 評估所有必要資料欄位是否都包含值,沒有非預期的遺漏或空值項目。完整性檢查會評估記錄中的屬性是否已填入。舉例來說,您可以使用空值檢查 (
NonNullExpectation),確認customer_id或order_date等必要資料欄不含空值。 - 有效性
- 評估資料是否符合預先定義的技術標準、格式、結構定義或有效值範圍。例如,您可以使用規則運算式檢查 (
RegexExpectation),確認電子郵件地址格式有效,或使用範圍檢查 (RangeExpectation),確認折扣百分比介於 0 到 100 之間。您也可以使用集合檢查 (SetExpectation),確認訂單狀態值是否符合允許清單,例如('PENDING', 'SHIPPED', 'DELIVERED')。 - 一致性
- 評估資料值和關係是否在多個資料表、資料欄或系統之間保持一致,沒有矛盾。舉例來說,您可以使用自訂 SQL 規則,驗證
orders資料表和customers資料表之間的參照完整性,或驗證每個資料列中的gross_weight >= net_weight。您也可以確認每日摘要表格中回報的總銷售收益,是否等於交易表格中委刊項的總和。 - 準確率
- 反映資料的正確性,以及是否如實呈現實際實體或權威參考值。如要評估準確率,您可以交叉比對記錄與權威外部資料來源,或檢查實際業務規則,例如確認交易時間戳記並非未來時間。
- 唯一性
- 評估資料值是否不重複,且沒有非預期的重複記錄。例如,您可以使用唯一性檢查 (
UniquenessExpectation),驗證主鍵或 ID 欄 (例如transaction_id) 是否僅包含不重複的值。
區分相似維度
定義資料品質規則時,某些維度可能看起來很相似。請按照下列規範選取適當的維度:
- 完整性與資料量:
- 完整性:評估記錄內的欄位是否已填入資料,例如檢查資料欄是否包含空值或缺少值。
- 「Volume」會評估資料集中的記錄總量,例如檢查資料表或分區的總列數,確認所有預期列都已載入。
- 完整性與有效性:
- 完整性:評估必要值是否存在 (非空值),例如確認
email欄是否已填入值。 - 有效性:評估現有值是否符合預期格式、範圍或組合,例如驗證非空值
email值是否符合有效電子郵件模式,而非'N/A'等預留位置字串。
- 完整性:評估必要值是否存在 (非空值),例如確認
- 有效性與準確性:
- 有效性:評估資料是否符合結構規則、語法、可接受的範圍或格式,例如檢查電話號碼是否包含 10 位數字。
- 準確性:評估資料是否反映真實情況或權威事實,例如檢查電話號碼是否屬於客戶。資料可能有效,但不一定準確。
- 一致性與準確性:
- 一致性:評估資料在不同系統、資料表或記錄之間是否相符,例如確認客戶在帳單和客戶服務資料庫中的狀態是否相同。
- 準確度:評估資料是否與實際情況相符。如果多個系統都包含錯誤的值,資料在這些系統中可能一致,但仍不準確。
規則中的輸入類型
所有值參數都會以字串值的形式傳遞至 API。Knowledge Catalog 的輸入內容必須符合 BigQuery 指定格式。
二進位類型的參數可以採用 Base64 編碼字串的形式傳遞。
| 類型 | 支援的格式 | 範例 |
|---|---|---|
| 二進位檔 | Base64 編碼值 | YXBwbGU= |
| 時間戳記 | YYYY-[M]M-[D]D[( |T)[H]H:[M]M:[S]S[.F]] [time_zone] OR YYYY-[M]M-[D]D[( |T)[H]H:[M]M:[S]S[.F]][time_zone_offset] |
2014-09-27 12:30:00.45-08 |
| 日期 | YYYY-M[M]-D[D] | 2014-09-27 |
| 時間 | [H]H:[M]M:[S]S[.DDDDDD] | 12:30:00.45 |
| DateTime | YYYY-[M]M-[D]D [[H]H:[M]M:[S]S[.DDDDDD]] | 2014-09-27 12:30:00.45 |
資料參照參數
建立自訂 SQL 規則時,您可以使用規則中的資料參照參數 ${data()},參照資料來源資料表及其所有前提條件篩選器,而不必明確提及來源資料表及其篩選器。Knowledge Catalog 會將參數解讀為來源資料表及其篩選器的參照。前置條件篩選器的例子包括資料列篩選器、取樣百分比和增量篩選器。
舉例來說,假設您有一個名為 my_project_id.dim_dataset.dim_currency 的資料來源資料表。您想執行增量資料品質掃描,只掃描每天的新資料。資料表會套用資料列篩選器,篩選出當天的項目 transaction_timestamp >= current_date()。
如要找出今天 discount_pct 的資料列,自訂 SQL 規則如下:
discount_pct IN (SELECT discount_pct FROM my_project_id.dim_dataset.dim_currency WHERE transaction_timestamp >= current_date())
如果使用資料參照參數,就能簡化規則。將資料表和其前置條件篩選器的提及內容替換為 ${data()} 參數:
discount_pct IN (SELECT discount_pct FROM ${data()})
Knowledge Catalog 會將 ${data()} 參數解讀為參照含有當天項目的資料來源資料表 my_project_id.dim_dataset.dim_currency WHERE transaction_timestamp >= current_date()。在這個範例中,資料參照參數僅參照增量資料。
${data()} 參數須區分大小寫。
在子查詢中使用別名參照來源資料表中的資料欄時,請使用資料參照參數參照來源資料表,或省略資料表參照。請勿在 WHERE 子句中使用直接資料表參照,來參照來源資料表中的資料欄。
建議做法:
使用資料參照參數參照來源資料表:
discount_pct IN ( SELECT discount_pct FROM `my_project_id.dim_dataset.dim_currency` AS temp-table WHERE temp-table.transaction_timestamp = ${data()}.timestamp )省略資料表參照:
discount_pct IN ( SELECT discount_pct FROM `another_project.another_dataset.another_table` AS temp-table WHERE temp-table.transaction_timestamp = timestamp
不建議使用:
請勿使用直接表格參照來參照來源表格中的資料欄:
discount_pct IN ( SELECT discount_pct FROM `my_project_id.dim_dataset.dim_currency` AS temp-table WHERE temp-table.transaction_timestamp = `my_project_id.dim_dataset.dim_currency`.timestamp )
不同表格的有效用途:
比較不同表格的資料欄時,可以使用直接表格參照:
discount_pct IN ( SELECT discount_pct FROM `my_project_id.dim_dataset.dim_currency` AS temp-table WHERE temp-table.transaction_timestamp = `another_project.another_dataset.another_table`.timestamp )
偵錯查詢
建立規則時,您可以選擇加入偵錯查詢,與規則一併執行。偵錯查詢是 SQL 陳述式,最多可傳回 10 個純量值。如果規則失敗,這些值有助於診斷原因。每項規則最多可新增一項偵錯查詢,長度不得超過 1024 個字元。
請參考下列 example_project.example_dataset.table 資料表的 SQL 斷言規則,檢查每項商品的平均收益是否超過 100:
SELECT
*
FROM
`example_project.example_dataset.table`
WHERE
SUM(revenue) / COUNT(DISTINCT item_id) > 100
如果上述規則失敗,您可以查看總收益、不重複商品數量和每項商品平均收益等指標,協助診斷問題。下列偵錯查詢會傳回這些指標:
SELECT
SUM(revenue),
COUNT(DISTINCT item_id),
SUM(revenue) / COUNT(DISTINCT item_id)
FROM `example_project.example_dataset.table`
規則執行
您可以安排資料品質掃描作業,按照特定時間間隔執行,也可以視需要執行掃描。
執行身分
根據預設,Knowledge Catalog 會使用集中式服務代理 (service-PROJECT_NUMBER@gcp-sa-dataplex.) 執行資料品質掃描。
您可以指定自訂服務帳戶,或使用自己的使用者憑證 (EUC),覆寫這項預設執行身分。這能帶來以下優勢:
- 最小權限原則:僅將特定資料品質工作所需的 IAM 權限授予專屬服務帳戶,盡可能減少過度佈建的存取權。
- 精細的存取控管:將權限範圍限定在特定資源,以便與 BigQuery 中的資料列層級和資料欄層級存取政策整合。
- 提升可稽核性:將自訂服務帳戶或使用者憑證指派給特定掃描作業,讓稽核記錄中的活動追蹤和記錄更清楚。
- 統一計費:使用自訂執行身分時,處理和儲存費用會直接集中在 BigQuery (不透過 Knowledge Catalog Premium SKU)。這樣一來,您就能享有 BigQuery 企業折扣和運算單元承諾使用合約。
如要瞭解如何設定自訂執行身分,請參閱「設定執行身分」。
網路需求
如要執行掃描,您必須在用於掃描的虛擬私有雲子網路上啟用Private Google Access。如未指定子網路,請確認預設子網路已啟用 Private Google Access。
執行資料品質掃描時,Knowledge Catalog 會建立工作。如果工作設定有誤或執行時間超出預期,您可以取消工作。
指定資料品質掃描時,您可以將工作範圍設為下列其中一項:
- 完整資料表
- 每項工作都會驗證整個資料表。
- 異動項目
- 每項工作都會驗證增量資料。如要判斷增量,請在表格中提供可做為標記的
Date/Timestamp欄。通常是資料表分區依據的資料欄。
篩選資料
您可以使用資料列篩選器,篩選要掃描資料品質的資料。建立資料列篩選器後,您就能專注於特定時間範圍或特定區隔 (例如特定區域) 內的資料。使用篩選器可以縮短執行時間並降低成本。例如,您可以篩除時間戳記早於特定日期的資料。
範例資料
您可以指定要從資料中取樣的記錄百分比,以便執行資料品質掃描。與查詢整個資料集相比,對較小的資料樣本建立資料品質掃描,可縮短執行時間並降低成本。
篩選規則
執行資料品質掃描時,您可以使用 AIP-160 篩選器語法,選擇性執行特定規則。Knowledge Catalog 會根據掃描中定義的規則中繼資料,或透過 data-rules 切面附加至目錄項目的規則,執行篩選作業。
篩選器語法
篩選器語法遵循 AIP-160 指南。您可以使用標準 AIP-160 運算子 (例如 =、!=、>、<、=~),並使用 AND 或 OR 結合多個條件。
使用 AIP-160 篩選器字串時,請按照下列步驟操作:
- 在 Google Cloud 控制台中:使用 AIP-160 語法直接輸入篩選器,例如
name = "critical_check"。 - 在 API 呼叫中:篩選器字串通常是另一個 JSON 字串常值中的值。這需要逸出 AIP-160 字串中的雙引號。例如:
"filter": "name = \"critical_check\""。
可篩選的欄位
您可以篩選規則定義中的大部分欄位:
name:規則的顯示名稱。dimension:資料品質維度 (例如VALIDITY)。column:規則適用的資料欄名稱。threshold:規則的通過門檻。ignore_null:布林值。當true時,NULL列會視為通過。attributes:指派給規則的自訂鍵/值組合。
以下範例說明常見的篩選器模式。數值和布林值不加引號。
依名稱篩選
- 完全相符:
name = "critical_check" - 比對模式:
name =~ "temp_.*"
依維度篩選
- 比對特定維度:
dimension = "COMPLETENESS" - 比對多個維度:
dimension = "VALIDITY" OR dimension = "ACCURACY"
依資料欄和門檻篩選
- 比對特定資料欄:
column = "user_id" - 符合門檻:
threshold > 0.95 - 比對範圍:
threshold >= 0.8 AND threshold < 0.9
依 ignore_null 篩選
- 比對布林值:
ignore_null = true
依自訂屬性篩選
- 檢查金鑰是否存在:
attributes:environment - 比對鍵和值:
attributes.environment = "prod" - 使用規則運算式比對:
attributes.tag =~ "prio-.*" - 比對組合:
attributes.environment = "prod" AND attributes.criticality = "high"
資料品質掃描結果
您可以在 Knowledge Catalog 和 BigQuery 查看資料品質掃描結果。您也可以使用下列方法查看及分析掃描結果:
將結果匯出至 BigQuery
您可以將掃描結果匯出至 BigQuery 資料表,以便進一步分析。如要自訂報表,您可以將 BigQuery 資料表資料連結至 Looker 資訊主頁。您可以使用多項掃描作業的同一個結果資料表,建立匯總報表。
將結果發布為 Knowledge Catalog 中繼資料
您可以將資料品質掃描結果發布為 Knowledge Catalog 中繼資料。最新結果會儲存至代表來源資料表的 Knowledge Catalog 項目,位於
data-quality-scorecard系統切面類型下方。如要查看結果,請前往 Google Cloud 控制台,在來源資料表的 BigQuery 和 Knowledge Catalog 頁面,點選「資料品質」分頁標籤。您也可以使用 API 擷取結果。如要進一步瞭解 Knowledge Catalog 中繼資料,請參閱「關於 Knowledge Catalog 中的中繼資料管理」。
查看資料品質分數
每項掃描結果都會提供資料品質分數,指出通過的規則百分比。分數會顯示在整體工作層級、資料欄層級 (如果規則是針對資料欄進行評估),以及維度層級。您可以使用資料品質分數,將各資料表或資料欄的資料品質正規化、追蹤趨勢,以及找出不符合品質規定的資料。
詳情請參閱「查看資料品質掃描結果」。
監控與快訊
您可以透過下列方法監控資料品質掃描作業,並接收相關快訊:
在 Cloud Logging 中設定警告
您可以在 Logs Explorer 中,使用
data_scan和data_quality_scan_rule_result記錄監控資料品質工作。對於每項資料品質工作,
data_scan_type欄位設為DATA_QUALITY的data_scan記錄會包含下列資訊:- 用於資料掃描的資料來源。
- 工作執行詳細資料,例如建立時間、開始時間、結束時間和工作狀態。
- 資料品質工作的結果:通過或失敗。
- 維度層級通過或失敗。
每項成功的工作都包含
data_quality_scan_rule_result記錄,其中包含該工作中每項規則的下列詳細資訊:- 設定資訊,例如規則名稱、規則類型、評估類型和維度。
- 結果資訊,例如通過或失敗、總列數、通過列數、空值列數和評估列數。
您可以透過 API 和Google Cloud 控制台取得記錄中的資訊。您可以根據這項資訊設定快訊。詳情請參閱「在 Logging 中設定警告」。
傳送電子郵件通知報表
您可以傳送電子郵件通知報表,提醒使用者資料品質工作的狀態和結果。通知報表適用於下列情境:
- 資料品質分數低於指定目標分數
- 工作失敗
- 工作已完成
您可以在建立資料品質掃描作業時設定通知報表。
在 Cloud Billing 監控 DCU 運算費用
資料品質掃描無伺服器運算不會將時間序列指標傳送至 Cloud Monitoring。如要依專案、掃描 ID 或資料表追蹤及歸因資料品質 DCU 費用,請使用
goog-dataplex-datascan-*系統標籤在 BigQuery 中查詢 Cloud Billing 匯出作業。詳情請參閱「透過 Cloud Billing 匯出功能監控及歸因 Knowledge Catalog DCU 費用」。
排解資料品質問題
規則執行失敗時,Knowledge Catalog 會提供查詢,以便取得失敗的記錄。執行這項查詢,即可查看不符合規則的記錄。詳情請參閱「排解資料品質失敗問題」。
限制
- gcloud CLI 不支援規則建議。
- 在 Google Cloud 控制台中,維度選項固定為七個預先定義維度之一。
- 每項資料品質掃描作業的規則數量上限為 1000。
- 資料欄層級的資料品質分數僅支援透過 API 回報。
- 您只能對 BigQuery、Iceberg REST Catalog 資料表、SAP Business Data Cloud Delta Lake 資料表和 Apache Hive 資料表執行資料品質規則。
定價
- 如要進一步瞭解定價,請參閱「Knowledge Catalog 定價」。
- 如要使用 Cloud Billing 匯出至 BigQuery 功能,追蹤及歸因資料品質掃描 DCU 用量和費用,請參閱「使用 Cloud Billing 匯出功能監控及歸因 Knowledge Catalog DCU 費用」。
後續步驟
- 瞭解如何使用自動分析資料品質功能。
- 瞭解如何重複使用資料品質規則。
- 瞭解如何以程式碼形式管理資料品質規則。
- 按照教學課程建構政策即程式碼資料品質工作流程。
- 瞭解可用於資料剖析的 Terraform 資源。請參閱以下內容:
- Terraform 註冊資料庫中的 Dataplex 資料掃描資源。
- GitHub 上的 Dataplex 資料掃描資源說明文件,支援以 YAML 為基礎的規則設定。
- 瞭解資料剖析。
- 瞭解如何使用資料剖析功能。