Daftar template aturan sistem

Knowledge Catalog (sebelumnya Dataplex Universal Catalog) menyediakan template aturan sistem yang telah ditetapkan di region mana pun untuk pemeriksaan validasi data gabungan dan tingkat baris yang umum. Anda dapat menggunakan kembali template ini untuk mengotomatiskan validasi kualitas data dan membantu mempertahankan set data yang akurat dan konsisten di seluruh alur kerja tata kelola data Anda.

Template aturan sistem yang tersedia

Untuk menentukan template mana yang sesuai dengan resource Anda, Anda dapat menjalankan pembuatan profil data untuk menganalisis statistik tabel, menemukan potensi masalah kualitas, dan membuat rekomendasi aturan. Setelah memilih pemeriksaan yang Anda perlukan, pilih template dari kategori berikut untuk menentukan aturan bagi resource Anda.

Bentuk meja

Nama Deskripsi
Ekspektasi Kesetaraan Jumlah Kolom Aturan agregat yang mengevaluasi apakah jumlah kolom dalam tabel sama dengan nilai yang ditentukan. Aturan ini memerlukan izin bigquery.tables.get, bigquery.tables.list, dan bigquery.datasets.get pada tabel dan set data yang sedang dikueri.
Column Count Range Expectation Aturan agregat yang mengevaluasi apakah jumlah kolom dalam tabel berada dalam rentang yang ditentukan. Aturan ini memerlukan izin bigquery.tables.get, bigquery.tables.list, dan bigquery.datasets.get pada tabel dan set data yang sedang dikueri.
Ekspektasi Keberadaan Kolom Aturan agregat yang mengevaluasi apakah kolom tertentu ada dalam tabel. Aturan ini memerlukan izin bigquery.tables.get, bigquery.tables.list, dan bigquery.datasets.get pada tabel dan set data yang dikueri.
Ekspektasi Keaktualan Aturan agregat yang mengevaluasi apakah data terbaru dalam kolom lebih baru daripada interval yang ditentukan.
Ekspektasi Keaktualan yang Dikelompokkan Aturan agregat yang mengevaluasi apakah data terbaru yang dikelompokkan dalam kolom lebih baru daripada interval yang ditentukan.
Ordered Schema Match Expectation Aturan agregat yang mengevaluasi apakah kolom yang diurutkan dalam tabel sama persis dengan daftar yang diurutkan dan ditentukan.
Ekspektasi Kesetaraan Jumlah Baris Aturan agregat yang mengevaluasi apakah jumlah baris dalam tabel sama dengan nilai yang ditentukan.
Row Count Range Expectation Aturan agregat yang mengevaluasi apakah jumlah baris dalam tabel berada dalam rentang yang ditentukan.
Ekspektasi Pembatasan Skema Aturan agregat yang mengevaluasi apakah kumpulan kolom dalam tabel berisi semua kolom dalam kumpulan yang ditentukan. Aturan ini memerlukan izin bigquery.tables.get, bigquery.tables.list, dan bigquery.datasets.get pada tabel dan set data yang dikueri.
Ekspektasi Pengecualian Skema Aturan agregat yang mengevaluasi apakah kolom dalam tabel tidak berada dalam set yang ditentukan. Aturan ini memerlukan izin bigquery.tables.get, bigquery.tables.list, dan bigquery.datasets.get pada tabel dan set data yang dikueri.
Schema Match Expectation Aturan agregat yang mengevaluasi apakah kolom dalam tabel sama persis dengan set yang ditentukan. Aturan ini memerlukan izin bigquery.tables.get, bigquery.tables.list, dan bigquery.datasets.get pada tabel dan set data yang sedang dikueri.
Ekspektasi Kesetaraan Agregat Perbandingan Tabel Aturan agregat yang mengevaluasi apakah hasil ekspresi agregat sama antara tabel saat ini dan tabel referensi yang ditentukan.
Table Comparison Aggregate Range Expectation Aturan agregat yang mengevaluasi apakah hasil ekspresi agregat pada tabel saat ini menyimpang dari tabel referensi lebih dari toleransi yang ditentukan.
Ekspektasi Kesetaraan Jumlah Baris Perbandingan Tabel Aturan agregat yang mengevaluasi apakah jumlah baris dalam tabel saat ini sama dengan jumlah baris dalam tabel referensi yang ditentukan, dengan pemfilteran baris opsional sebelum penghitungan.
Ekspektasi Kesetaraan Faktor Jumlah Baris Perbandingan Tabel Aturan agregat yang mengevaluasi apakah jumlah baris dalam tabel saat ini sama dengan faktor jumlah baris dalam tabel referensi yang ditentukan, dengan pemfilteran baris opsional sebelum penghitungan.

Nilai yang tidak ada, nilai unik, dan jenis

Nama Deskripsi
Ekspektasi Jenis Kolom Aturan agregat yang mengevaluasi apakah jenis data kolom cocok dengan jenis yang ditentukan. Aturan ini memerlukan izin bigquery.tables.get, bigquery.tables.list, dan bigquery.datasets.get pada tabel dan set data yang sedang dikueri.
Column Type List Expectation Aturan agregat yang mengevaluasi apakah jenis data kolom berada dalam kumpulan yang ditentukan. Aturan ini memerlukan izin bigquery.tables.get, bigquery.tables.list, dan bigquery.datasets.get pada tabel dan set data yang sedang dikueri.
Ekspektasi Non-Null Aturan tingkat baris yang mengevaluasi apakah setiap nilai kolom tidak null.
Null Expectation Aturan tingkat baris yang mengevaluasi apakah setiap nilai kolom bernilai null.
Ekspektasi Kapitalisasi String Aturan tingkat baris yang mengevaluasi apakah setiap string nilai kolom cocok dengan kapitalisasi yang ditentukan.
Ekspektasi Keunikan Aturan tingkat baris yang mengevaluasi apakah setiap nilai kolom bersifat unik.

Set dan rentang

Nama Deskripsi
Ekspektasi Menurun Aturan agregat yang mengevaluasi apakah nilai dalam kolom menurun. Nilai NULL akan diabaikan. Menampilkan baris pertama yang ekspektasinya tidak terpenuhi.
Ekspektasi yang Meningkat Aturan agregat yang mengevaluasi apakah nilai dalam kolom meningkat. Nilai NULL akan diabaikan. Menampilkan baris pertama yang tidak memenuhi ekspektasi.
Ekspektasi Rentang Aturan tingkat baris yang mengevaluasi apakah setiap nilai kolom berada dalam rentang yang ditentukan.
Ekspektasi Set Referensi Aturan tingkat baris yang mengevaluasi apakah setiap nilai kolom terdapat dalam set referensi yang ditentukan.
Menetapkan Ekspektasi Pengecualian Aturan tingkat baris yang mengevaluasi apakah setiap nilai kolom tidak terdapat dalam set yang ditentukan.
Menetapkan Ekspektasi Aturan tingkat baris yang mengevaluasi apakah setiap nilai kolom terdapat dalam kumpulan yang ditentukan.

Pencocokan string

Nama Deskripsi
Ekspektasi Pengecualian Pola Aturan tingkat baris yang mengevaluasi apakah setiap nilai kolom tidak cocok dengan pola LIKE SQL yang ditentukan.
Daftar Ekspektasi Pengecualian Pola Aturan tingkat baris yang mengevaluasi apakah setiap nilai kolom tidak cocok dengan pola LIKE SQL yang ditentukan.
Ekspektasi Pola Aturan tingkat baris yang mengevaluasi apakah setiap nilai kolom cocok dengan pola LIKE SQL yang ditentukan.
Daftar Ekspektasi Pola Aturan tingkat baris yang mengevaluasi apakah setiap nilai kolom cocok dengan setidaknya salah satu pola LIKE SQL yang ditentukan.
Ekspektasi Pengecualian Regex Aturan tingkat baris yang mengevaluasi apakah setiap nilai kolom tidak cocok dengan ekspresi reguler yang ditentukan.
Daftar Ekspektasi Pengecualian Regex Aturan tingkat baris yang mengevaluasi apakah setiap nilai kolom tidak cocok dengan ekspresi reguler yang ditentukan.
Ekspektasi Regex Aturan tingkat baris yang mengevaluasi apakah setiap nilai kolom cocok dengan ekspresi reguler yang ditentukan.
Daftar Ekspektasi Regex Aturan tingkat baris yang mengevaluasi apakah setiap nilai kolom cocok dengan setidaknya salah satu ekspresi reguler yang ditentukan.
Ekspektasi Kesetaraan Panjang String Aturan tingkat baris yang mengevaluasi apakah panjang string setiap nilai kolom sama dengan nilai yang ditentukan.
Ekspektasi Rentang Panjang String Aturan tingkat baris yang mengevaluasi apakah panjang string setiap nilai kolom berada dalam rentang yang ditentukan.

Fungsi agregat

Nama Deskripsi
Distinct Values Containment Expectation Aturan agregat yang mengevaluasi apakah kumpulan nilai kolom yang berbeda berisi semua nilai dalam kumpulan yang ditentukan.
Distinct Values Count Equality Expectation Aturan agregat yang mengevaluasi apakah jumlah nilai yang berbeda dalam kolom sama dengan nilai yang ditentukan.
Distinct Values Count Range Expectation Aturan agregat yang mengevaluasi apakah jumlah nilai yang berbeda dalam kolom berada dalam rentang yang ditentukan.
Distinct Values Match Expectation Aturan agregat yang mengevaluasi apakah kumpulan nilai kolom yang berbeda sama persis dengan kumpulan yang ditentukan.
Ekspektasi Proporsi Nilai yang Berbeda Aturan agregat yang mengevaluasi apakah proporsi nilai yang berbeda dalam kolom (yaitu, jumlah nilai yang berbeda / jumlah total baris) berada dalam rentang yang ditentukan.
Distinct Values Set Expectation Aturan agregat yang mengevaluasi apakah setiap nilai kolom yang berbeda terdapat dalam kumpulan yang ditentukan.
Ekspektasi Rentang Maksimum Aturan agregat yang mengevaluasi apakah nilai maksimum kolom berada dalam rentang yang ditentukan.
Ekspektasi Rentang Rata-Rata Aturan agregat yang mengevaluasi apakah rata-rata kolom berada dalam rentang yang ditentukan. Jika jenis floating point ditampilkan, hasil fungsi AVG() bersifat non-deterministik.
Ekspektasi Rentang Median Aturan agregat yang mengevaluasi apakah median kolom berada dalam rentang yang ditentukan.
Min Range Expectation Aturan agregat yang mengevaluasi apakah nilai minimum kolom berada dalam rentang yang ditentukan.
Ekspektasi Rentang Mode Aturan agregat yang mengevaluasi apakah semua mode kolom (nilai yang paling sering muncul) berada dalam rentang yang ditentukan. Jika ada beberapa modus, setiap modus akan diperiksa terhadap rentang dan modus yang gagal akan ditampilkan.
Mode Set Expectation Aturan agregat yang mengevaluasi apakah semua modus kolom (nilai yang paling sering muncul) berada dalam set yang ditentukan. Nilai NULL akan diabaikan saat menghitung modus. Jika ada beberapa modus dengan frekuensi tertinggi yang sama, setiap modus akan diperiksa terhadap set dan modus yang gagal akan ditampilkan dalam array.
Ekspektasi Rentang Kuantil Aturan agregat yang mengevaluasi apakah nilai pada kuantil yang ditentukan untuk kolom berada dalam rentang yang ditentukan.
Standard Deviation Range Expectation Aturan agregat yang mengevaluasi apakah simpangan baku kolom berada dalam rentang yang ditentukan.
Ekspektasi Rentang Jumlah Aturan agregat yang mengevaluasi apakah jumlah kolom berada dalam rentang yang ditentukan. Jika jenis floating point ditampilkan, hasil fungsi SUM() bersifat non-deterministik.
Table Comparison Unique Values Count Equality Expectation Aturan agregat yang mengevaluasi apakah jumlah nilai unik dalam kolom yang ditentukan sama antara tabel saat ini dan tabel referensi.

Multi-kolom

Nama Deskripsi
Column Comparison Equality Expectation Aturan tingkat baris yang mengevaluasi apakah nilai di kolom A sama dengan nilai di kolom B untuk setiap baris.
Column Comparison Greater Expectation Aturan tingkat baris yang mengevaluasi apakah nilai di kolom A lebih besar dari nilai di kolom B untuk setiap baris.
Ekspektasi Set Pasangan Kolom Aturan agregat yang mengevaluasi apakah nilai yang dipasangkan dari kolom A dan kolom B terdapat dalam kumpulan yang ditentukan.
Multi Column Sum Equality Expectation Aturan agregat yang mengevaluasi apakah jumlah semua baris di seluruh daftar kolom yang ditentukan sama dengan nilai yang ditentukan. Jika jenis floating point ditampilkan, hasil fungsi SUM() bersifat non-deterministik.
Multi Column Uniqueness Expectation Aturan tingkat baris yang mengevaluasi apakah kombinasi nilai di seluruh daftar kolom yang ditentukan bersifat unik untuk setiap baris (misalnya, kunci utama multi-kolom).
Record Column Uniqueness Expectation Aturan tingkat baris yang mengevaluasi apakah nilai di seluruh daftar kolom yang ditentukan bersifat unik dalam setiap kumpulan data (baris). Perhatikan bahwa data dapat diduplikasi.

Fungsi distribusi

Nama Deskripsi
Date Part Completeness Expectation Aturan agregat yang mengevaluasi apakah tabel memiliki data untuk setiap interval (misalnya, setiap hari) dalam rentang tanggal.
Standard Deviation Values Expectation Aturan tingkat baris yang mengevaluasi apakah setiap nilai kolom berada dalam jumlah deviasi standar yang ditentukan dari rata-rata kolom.

Kondisi umum

Nama Deskripsi
Row Condition Expectation Aturan tingkat baris yang mengevaluasi apakah setiap baris dalam tabel lulus kondisi yang ditentukan.
Pernyataan SQL Aturan agregat yang mengevaluasi jumlah baris yang ditampilkan untuk pernyataan yang diberikan. Jika ada baris yang ditampilkan, aturan ini akan gagal.
Ekspektasi Kondisi Tabel Aturan agregat yang mengevaluasi apakah ekspresi yang diberikan bernilai benar untuk tabel.

Langkah berikutnya