Elenco dei modelli di regole di sistema

Knowledge Catalog (in precedenza Dataplex Universal Catalog) supporta una serie di modelli di regole che puoi utilizzare per definire e automatizzare i processi di qualità dei dati e convalida dei dati. L'implementazione di questi modelli è una parte fondamentale della governance dei dati, in quanto garantisce che i set di dati rimangano accurati e coerenti.

Per identificare quali di questi modelli utilizzare, puoi eseguire la profilazione dei dati sulle tue risorse per identificare potenziali problemi di qualità. Dopo aver identificato i controlli di qualità necessari, puoi selezionare i modelli appropriati da questa pagina per definire le regole per le tue risorse.

In questa pagina sono elencati i modelli di regole di sistema disponibili che puoi utilizzare in qualsiasi regione.

Forma del tavolo

Nome Descrizione
Column Count Equality Expectation Regola di aggregazione che valuta se il numero di colonne nella tabella è uguale a un valore specificato. Questa regola richiede le autorizzazioni bigquery.tables.get, bigquery.tables.list e bigquery.datasets.get sulla tabella e sul set di dati su cui viene eseguita la query.
Column Count Range Expectation Regola di aggregazione che valuta se il numero di colonne nella tabella rientra in un intervallo specificato. Questa regola richiede le autorizzazioni bigquery.tables.get, bigquery.tables.list e bigquery.datasets.get sulla tabella e sul set di dati su cui viene eseguita la query.
Column Existence Expectation Regola di aggregazione che valuta se una colonna specifica esiste nella tabella. Questa regola richiede le autorizzazioni bigquery.tables.get, bigquery.tables.list e bigquery.datasets.get sulla tabella e sul set di dati su cui viene eseguita la query.
Freshness Expectation Regola di aggregazione che valuta se i dati più recenti in una colonna sono più recenti di un intervallo specificato.
Grouped Freshness Expectation Regola di aggregazione che valuta se i dati raggruppati più recenti in una colonna sono più recenti di un intervallo specificato.
Ordered Schema Match Expectation Regola di aggregazione che valuta se le colonne ordinate nella tabella corrispondono esattamente a un elenco ordinato specificato.
Row Count Equality Expectation Regola di aggregazione che valuta se il numero di righe nella tabella è uguale a un valore specificato.
Row Count Range Expectation Regola di aggregazione che valuta se il numero di righe nella tabella rientra in un intervallo specificato.
Schema Containment Expectation Regola di aggregazione che valuta se l'insieme di colonne nella tabella contiene tutte le colonne in un insieme specificato. Questa regola richiede le autorizzazioni bigquery.tables.get, bigquery.tables.list e bigquery.datasets.get sulla tabella e sul set di dati su cui viene eseguita la query.
Schema Exclusion Expectation Regola di aggregazione che valuta se le colonne nella tabella non si trovano in un insieme specificato. Questa regola richiede le autorizzazioni bigquery.tables.get, bigquery.tables.list e bigquery.datasets.get sulla tabella e sul set di dati su cui viene eseguita la query.
Schema Match Expectation Regola di aggregazione che valuta se le colonne nella tabella corrispondono esattamente a un insieme specificato. Questa regola richiede le autorizzazioni bigquery.tables.get, bigquery.tables.list e bigquery.datasets.get sulla tabella e sul set di dati su cui viene eseguita la query.
Table Comparison Aggregate Equality Expectation Regola di aggregazione che valuta se il risultato di un'espressione di aggregazione è uguale tra la tabella corrente e una tabella di riferimento specificata.
Table Comparison Aggregate Range Expectation Regola di aggregazione che valuta se il risultato di un'espressione di aggregazione nella tabella corrente si discosta dalla tabella di riferimento di più di una tolleranza specificata.
Table Comparison Row Count Equality Expectation Regola di aggregazione che valuta se il numero di righe nella tabella corrente è uguale al numero di righe in una tabella di riferimento specificata, con il filtro di riga facoltativo prima del conteggio.
Table Comparison Row Count Factor Equality Expectation Regola di aggregazione che valuta se il numero di righe nella tabella corrente è uguale a un fattore del numero di righe in una tabella di riferimento specificata, con il filtro di riga facoltativo prima del conteggio.

Valori mancanti, valori univoci e tipi

Nome Descrizione
Column Type Expectation Regola di aggregazione che valuta se il tipo di dati della colonna corrisponde a un tipo specificato. Questa regola richiede le autorizzazioni bigquery.tables.get, bigquery.tables.list e bigquery.datasets.get sulla tabella e sul set di dati su cui viene eseguita la query.
Column Type List Expectation Regola di aggregazione che valuta se il tipo di dati della colonna si trova in un insieme specificato. Questa regola richiede le autorizzazioni bigquery.tables.get, bigquery.tables.list e bigquery.datasets.get sulla tabella e sul set di dati su cui viene eseguita la query.
Non Null Expectation Regola a livello di riga che valuta se ogni valore della colonna non è null.
Null Expectation Regola a livello di riga che valuta se ogni valore della colonna è null.
String Case Expectation Regola a livello di riga che valuta se ogni stringa di valori della colonna corrisponde a una distinzione tra maiuscole e minuscole specificata.
Uniqueness Expectation Regola a livello di riga che valuta se ogni valore della colonna è univoco.

Insiemi e intervalli

Nome Descrizione
Decreasing Expectation Regola di aggregazione che valuta se i valori in una colonna sono in diminuzione. I valori NULL vengono ignorati. Restituisce la prima riga in cui l'aspettativa non è soddisfatta.
Increasing Expectation Regola di aggregazione che valuta se i valori in una colonna sono in aumento. I valori NULL vengono ignorati. Restituisce la prima riga in cui l'aspettativa non è soddisfatta.
Range Expectation Regola a livello di riga che valuta se ogni valore della colonna rientra in un intervallo specificato.
Reference Set Expectation Regola a livello di riga che valuta se ogni valore della colonna è contenuto in un insieme di riferimento specificato.
Set Exclusion Expectation Regola a livello di riga che valuta se ogni valore della colonna non è contenuto in un insieme specificato.
Set Expectation Regola a livello di riga che valuta se ogni valore della colonna è contenuto in un insieme specificato.

Corrispondenza di stringhe

Nome Descrizione
Pattern Exclusion Expectation Regola a livello di riga che valuta se ogni valore della colonna non corrisponde a un pattern SQL LIKE specificato.
Pattern Exclusion Expectation List Regola a livello di riga che valuta se ogni valore della colonna non corrisponde a nessuno dei pattern SQL LIKE specificati.
Pattern Expectation Regola a livello di riga che valuta se ogni valore della colonna corrisponde a un pattern SQL LIKE specificato.
Pattern Expectation List Regola a livello di riga che valuta se ogni valore della colonna corrisponde ad almeno uno dei pattern SQL LIKE specificati.
Regex Exclusion Expectation Regola a livello di riga che valuta se ogni valore della colonna non corrisponde a un'espressione regolare specificata.
Regex Exclusion Expectation List Regola a livello di riga che valuta se ogni valore della colonna non corrisponde a nessuna delle espressioni regolari specificate.
Regex Expectation Regola a livello di riga che valuta se ogni valore della colonna corrisponde a un'espressione regolare specificata.
Regex Expectation List Regola a livello di riga che valuta se ogni valore della colonna corrisponde ad almeno una delle espressioni regolari specificate.
String Length Equality Expectation Regola a livello di riga che valuta se la lunghezza di ogni stringa di valori della colonna è uguale a un valore specificato.
String Length Range Expectation Regola a livello di riga che valuta se la lunghezza di ogni stringa di valori della colonna rientra in un intervallo specificato.

Funzioni di aggregazione

Nome Descrizione
Distinct Values Containment Expectation Regola di aggregazione che valuta se l'insieme di valori di colonna distinti contiene tutti i valori in un insieme specificato.
Distinct Values Count Equality Expectation Regola di aggregazione che valuta se il numero di valori distinti nella colonna è uguale a un valore specificato.
Distinct Values Count Range Expectation Regola di aggregazione che valuta se il numero di valori distinti nella colonna rientra in un intervallo specificato.
Distinct Values Match Expectation Regola di aggregazione che valuta se l'insieme di valori di colonna distinti corrisponde esattamente a un insieme specificato.
Distinct Values Proportion Expectation Regola di aggregazione che valuta se la proporzione di valori distinti nella colonna (ovvero il conteggio dei valori distinti / il conteggio totale delle righe) rientra in un intervallo specificato.
Distinct Values Set Expectation Regola di aggregazione che valuta se ogni valore di colonna distinto è contenuto in un insieme specificato.
Max Range Expectation Regola di aggregazione che valuta se il valore massimo della colonna rientra in un intervallo specificato.
Mean Range Expectation Regola di aggregazione che valuta se la media della colonna rientra in un intervallo specificato. Se viene restituito un tipo a rappresentazione in virgola mobile, il AVG() risultato della funzione non è non deterministico.
Median Range Expectation Regola di aggregazione che valuta se la mediana della colonna rientra in un intervallo specificato.
Min Range Expectation Regola di aggregazione che valuta se il valore minimo della colonna rientra in un intervallo specificato.
Mode Range Expectation Regola di aggregazione che valuta se tutte le modalità di colonna (valori più frequenti) rientrano in un intervallo specificato. Se sono presenti più modalità, ognuna verrà confrontata con l'intervallo e verranno restituite le modalità non riuscite.
Mode Set Expectation Regola di aggregazione che valuta se tutte le modalità di colonna (valori più frequenti) rientrano nell'insieme specificato. I valori NULL vengono ignorati durante il calcolo delle modalità. Se sono presenti più modalità con la stessa frequenza più alta, ognuna verrà confrontata con l'insieme e le modalità non riuscite verranno restituite in un array.
Quantile Range Expectation Regola di aggregazione che valuta se il valore al quantile specificato per la colonna rientra in un intervallo specificato.
Standard Deviation Range Expectation Regola di aggregazione che valuta se la deviazione standard della colonna rientra in un intervallo specificato.
Sum Range Expectation Regola di aggregazione che valuta se la somma della colonna rientra in un intervallo specificato. Se viene restituito un tipo a rappresentazione in virgola mobile, il SUM() risultato della funzione non è non deterministico.
Table Comparison Unique Values Count Equality Expectation Regola di aggregazione che valuta se il numero di valori univoci in una colonna specificata è uguale tra la tabella corrente e una tabella di riferimento.

Più colonne

Nome Descrizione
Column Comparison Equality Expectation Regola a livello di riga che valuta se il valore nella colonna A è uguale al valore nella colonna B per ogni riga.
Column Comparison Greater Expectation Regola a livello di riga che valuta se il valore nella colonna A è maggiore del valore nella colonna B per ogni riga.
Column Pairs Set Expectation Regola di aggregazione che valuta se i valori accoppiati della colonna A e della colonna B sono contenuti in un insieme specificato.
Multi Column Sum Equality Expectation Regola di aggregazione che valuta se la somma di tutte le righe in un elenco specificato di colonne è uguale a un valore specificato. Se viene restituito un tipo a rappresentazione in virgola mobile, il SUM() risultato della funzione non è non deterministico.
Multi Column Uniqueness Expectation Regola a livello di riga che valuta se la combinazione di valori in un elenco specificato di colonne è univoca per ogni riga (ad esempio, una chiave primaria a più colonne).
Record Column Uniqueness Expectation Regola a livello di riga che valuta se i valori in un elenco specificato di colonne sono univoci all'interno di ogni record (riga). Tieni presente che i record possono essere duplicati.

Funzioni di distribuzione

Nome Descrizione
Date Part Completeness Expectation Regola di aggregazione che valuta se una tabella contiene dati per ogni intervallo (ad esempio, ogni giorno) all'interno di un intervallo di date.
Standard Deviation Values Expectation Regola a livello di riga che valuta se ogni valore della colonna rientra in un numero specificato di deviazioni standard dalla media della colonna.

Condizioni generiche

Nome Descrizione
Row Condition Expectation Regola a livello di riga che valuta se ogni riga di una tabella soddisfa la condizione specificata.
SQL Assertion Regola di aggregazione che valuta il numero di righe restituite per l'istruzione fornita. Se vengono restituite delle righe, questa regola non riesce.
Table Condition Expectation Regola di aggregazione che valuta se l'espressione fornita è vera per una tabella.

Passaggi successivi