Elenco dei modelli di regole di sistema

Knowledge Catalog (in precedenza Dataplex Universal Catalog) fornisce modelli di regole di sistema predefiniti in qualsiasi regione per i controlli di convalida dei dati aggregati e a livello di riga comuni. Puoi riutilizzare questi modelli per automatizzare la convalida della qualità dei dati e contribuire a mantenere set di dati accurati e coerenti nei flussi di lavoro di governance dei dati.

Modelli di regole di sistema disponibili

Per determinare quali modelli sono adatti alle tue risorse, puoi eseguire la profilazione dei dati per analizzare le statistiche delle tabelle, individuare potenziali problemi di qualità e generare suggerimenti per le regole. Dopo aver scelto i controlli di cui hai bisogno, seleziona i modelli dalle seguenti categorie per definire le regole per le tue risorse.

Forma del tavolo

Nome Descrizione
Aspettativa di uguaglianza del numero di colonne Regola di aggregazione che valuta se il numero di colonne nella tabella è uguale a un valore specificato. Questa regola richiede le autorizzazioni bigquery.tables.get, bigquery.tables.list e bigquery.datasets.get sulla tabella e sul set di dati su cui viene eseguita la query.
Column Count Range Expectation Regola di aggregazione che valuta se il numero di colonne nella tabella rientra in un intervallo specificato. Questa regola richiede le autorizzazioni bigquery.tables.get, bigquery.tables.list e bigquery.datasets.get sulla tabella e sul set di dati su cui viene eseguita la query.
Aspettativa di esistenza della colonna Regola di aggregazione che valuta se una colonna specifica esiste nella tabella. Questa regola richiede le autorizzazioni bigquery.tables.get, bigquery.tables.list e bigquery.datasets.get sulla tabella e sul set di dati su cui viene eseguita la query.
Aggiornamento previsto Regola di aggregazione che valuta se i dati più recenti in una colonna sono più recenti di un intervallo specificato.
Grouped Freshness Expectation Regola di aggregazione che valuta se i dati raggruppati più recenti in una colonna sono più recenti di un intervallo specificato.
Ordered Schema Match Expectation Regola di aggregazione che valuta se le colonne ordinate nella tabella corrispondono esattamente a un elenco ordinato e specificato.
Row Count Equality Expectation Regola di aggregazione che valuta se il numero di righe nella tabella è uguale a un valore specificato.
Row Count Range Expectation Regola di aggregazione che valuta se il numero di righe nella tabella rientra in un intervallo specificato.
Aspettativa di contenimento dello schema Regola di aggregazione che valuta se l'insieme di colonne nella tabella contiene tutte le colonne di un insieme specificato. Questa regola richiede le autorizzazioni bigquery.tables.get, bigquery.tables.list e bigquery.datasets.get sulla tabella e sul set di dati su cui viene eseguita la query.
Schema Exclusion Expectation Regola di aggregazione che valuta se le colonne della tabella non sono presenti in un insieme specificato. Questa regola richiede le autorizzazioni bigquery.tables.get, bigquery.tables.list e bigquery.datasets.get sulla tabella e sul set di dati su cui viene eseguita la query.
Schema Match Expectation Regola di aggregazione che valuta se le colonne della tabella corrispondono esattamente a un insieme specificato. Questa regola richiede le autorizzazioni bigquery.tables.get, bigquery.tables.list e bigquery.datasets.get sulla tabella e sul set di dati su cui viene eseguita la query.
Table Comparison Aggregate Equality Expectation Regola di aggregazione che valuta se il risultato di un'espressione di aggregazione è uguale tra la tabella corrente e una tabella di riferimento specificata.
Table Comparison Aggregate Range Expectation Regola di aggregazione che valuta se il risultato di un'espressione di aggregazione nella tabella corrente si discosta dalla tabella di riferimento di un valore superiore a una tolleranza specificata.
Table Comparison Row Count Equality Expectation Regola di aggregazione che valuta se il numero di righe nella tabella corrente è uguale al numero di righe in una tabella di riferimento specificata, con filtro facoltativo delle righe prima del conteggio.
Table Comparison Row Count Factor Equality Expectation Regola di aggregazione che valuta se il numero di righe nella tabella corrente è uguale a un fattore del numero di righe in una tabella di riferimento specificata, con filtro facoltativo delle righe prima del conteggio.

Valori mancanti, valori univoci e tipi

Nome Descrizione
Aspettativa sul tipo di colonna Regola aggregata che valuta se il tipo di dati della colonna corrisponde a un tipo specificato. Questa regola richiede le autorizzazioni bigquery.tables.get, bigquery.tables.list e bigquery.datasets.get sulla tabella e sul set di dati su cui viene eseguita la query.
Column Type List Expectation Regola di aggregazione che valuta se il tipo di dati della colonna è in un insieme specificato. Questa regola richiede le autorizzazioni bigquery.tables.get, bigquery.tables.list e bigquery.datasets.get sulla tabella e sul set di dati su cui viene eseguita la query.
Aspettativa non null Regola a livello di riga che valuta se ogni valore della colonna non è nullo.
Null Expectation Regola a livello di riga che valuta se ogni valore della colonna è null.
String Case Expectation Regola a livello di riga che valuta se ogni stringa di valore della colonna corrisponde a un formato di maiuscole/minuscole specificato.
Uniqueness Expectation Regola a livello di riga che valuta se ogni valore della colonna è univoco.

Set e intervalli

Nome Descrizione
Aspettativa in calo Regola di aggregazione che valuta se i valori di una colonna sono in diminuzione. I valori NULL vengono ignorati. Restituisce la prima riga in cui l'aspettativa non è soddisfatta.
Aspettative in aumento Regola di aggregazione che valuta se i valori di una colonna sono in aumento. I valori NULL vengono ignorati. Restituisce la prima riga in cui l'aspettativa non è soddisfatta.
Comportamento previsto per l'intervallo Regola a livello di riga che valuta se ogni valore della colonna rientra in un intervallo specificato.
Reference Set Expectation Regola a livello di riga che valuta se ogni valore della colonna è contenuto in un set di riferimento specificato.
Imposta l'aspettativa di esclusione Regola a livello di riga che valuta se ogni valore della colonna non è contenuto in un insieme specificato.
Delinea le aspettative Regola a livello di riga che valuta se ogni valore della colonna è contenuto in un insieme specificato.

Corrispondenza stringhe

Nome Descrizione
Comportamento previsto per l'esclusione di pattern Regola a livello di riga che valuta se ogni valore di colonna non corrisponde a un pattern SQL LIKE specificato.
Pattern Exclusion Expectation List Regola a livello di riga che valuta se ogni valore della colonna non corrisponde a nessuno dei pattern SQL LIKE specificati.
Pattern Expectation Regola a livello di riga che valuta se ogni valore della colonna corrisponde a un pattern SQL LIKE specificato.
Elenco delle aspettative dei pattern Regola a livello di riga che valuta se ogni valore della colonna corrisponde ad almeno uno dei pattern SQL LIKE specificati.
Comportamento previsto per l'esclusione regex Regola a livello di riga che valuta se ogni valore della colonna non corrisponde a un'espressione regolare specificata.
Regex Exclusion Expectation List Regola a livello di riga che valuta se ogni valore della colonna non corrisponde a nessuna delle espressioni regolari specificate.
Regex Expectation Regola a livello di riga che valuta se ogni valore della colonna corrisponde a un'espressione regolare specificata.
Elenco delle aspettative delle espressioni regolari Regola a livello di riga che valuta se ogni valore della colonna corrisponde ad almeno una delle espressioni regolari specificate.
String Length Equality Expectation Regola a livello di riga che valuta se la lunghezza della stringa del valore di ogni colonna è uguale a un valore specificato.
String Length Range Expectation Regola a livello di riga che valuta se la lunghezza della stringa del valore di ogni colonna rientra in un intervallo specificato.

Funzioni di aggregazione

Nome Descrizione
Distinct Values Containment Expectation Regola di aggregazione che valuta se l'insieme di valori di colonna distinti contiene tutti i valori di un insieme specificato.
Distinct Values Count Equality Expectation Regola di aggregazione che valuta se il numero di valori distinti nella colonna è uguale a un valore specificato.
Distinct Values Count Range Expectation Regola di aggregazione che valuta se il numero di valori distinti nella colonna rientra in un intervallo specificato.
Distinct Values Match Expectation Regola di aggregazione che valuta se l'insieme di valori di colonna distinti corrisponde esattamente a un insieme specificato.
Distinct Values Proportion Expectation Regola di aggregazione che valuta se la proporzione di valori distinti nella colonna (ovvero il conteggio dei valori distinti / il conteggio delle righe totali) rientra in un intervallo specificato.
Distinct Values Set Expectation Regola di aggregazione che valuta se ogni valore di colonna distinto è contenuto in un insieme specificato.
Aspettativa di intervallo massimo Regola di aggregazione che valuta se il valore massimo della colonna rientra in un intervallo specificato.
Aspettativa di intervallo medio Regola di aggregazione che valuta se la media della colonna rientra in un intervallo specificato. Se viene restituito un tipo con rappresentazione in virgola mobile, il risultato della funzione AVG() non è deterministico.
Intervallo mediano previsto Regola di aggregazione che valuta se la mediana della colonna rientra in un intervallo specificato.
Min Range Expectation Regola di aggregazione che valuta se il valore minimo della colonna rientra in un intervallo specificato.
Aspettativa per l'intervallo della modalità Regola di aggregazione che valuta se tutte le modalità della colonna (i valori più frequenti) rientrano in un intervallo specificato. Se sono presenti più modalità, ognuna verrà confrontata con l'intervallo e verranno restituite le modalità non riuscite.
Mode Set Expectation Regola di aggregazione che valuta se tutte le modalità delle colonne (valori più frequenti) rientrano nell'insieme specificato. I valori NULL vengono ignorati durante il calcolo delle modalità. Se esistono più modalità con la stessa frequenza più alta, ognuna verrà confrontata con l'insieme e le modalità non riuscite verranno restituite in un array.
Quantile Range Expectation Regola di aggregazione che valuta se il valore nel quantile specificato per la colonna rientra in un intervallo specificato.
Intervallo di deviazione standard previsto Regola di aggregazione che valuta se la deviazione standard della colonna rientra in un intervallo specificato.
Sum Range Expectation Regola di aggregazione che valuta se la somma della colonna rientra in un intervallo specificato. Se viene restituito un tipo con rappresentazione in virgola mobile, il risultato della funzione SUM() non è deterministico.
Table Comparison Unique Values Count Equality Expectation Regola di aggregazione che valuta se il numero di valori univoci in una colonna specificata è uguale tra la tabella corrente e una tabella di riferimento.

Più colonne

Nome Descrizione
Aspettativa di uguaglianza del confronto tra colonne Regola a livello di riga che valuta se il valore nella colonna A è uguale al valore nella colonna B per ogni riga.
Aspettativa maggiore per il confronto delle colonne Regola a livello di riga che valuta se il valore nella colonna A è maggiore del valore nella colonna B per ogni riga.
Column Pairs Set Expectation Regola di aggregazione che valuta se i valori accoppiati della colonna A e della colonna B sono contenuti in un insieme specificato.
Multi Column Sum Equality Expectation Regola di aggregazione che valuta se la somma di tutte le righe in un elenco di colonne specificato è uguale a un valore specificato. Se viene restituito un tipo con rappresentazione in virgola mobile, il risultato della funzione SUM() non è deterministico.
Multi Column Uniqueness Expectation Regola a livello di riga che valuta se la combinazione di valori in un elenco specificato di colonne è univoca per ogni riga (ad esempio, una chiave primaria multicolonna).
Record Column Uniqueness Expectation Regola a livello di riga che valuta se i valori di un elenco di colonne specificato sono univoci all'interno di ogni record (riga). Tieni presente che i record possono essere duplicati.

Funzioni di distribuzione

Nome Descrizione
Date Part Completeness Expectation Regola di aggregazione che valuta se una tabella contiene dati per ogni intervallo (ad esempio, ogni giorno) all'interno di un intervallo di date.
Standard Deviation Values Expectation Regola a livello di riga che valuta se ogni valore della colonna rientra in un numero specificato di deviazioni standard rispetto alla media della colonna.

Condizioni generiche

Nome Descrizione
Aspettativa della condizione della riga Regola a livello di riga che valuta se ogni riga di una tabella soddisfa la condizione specificata.
Asserzione SQL Regola di aggregazione che valuta il numero di righe restituite per l'istruzione fornita. Se vengono restituite delle righe, questa regola non riesce.
Aspettativa di condizione della tabella Regola di aggregazione che valuta se l'espressione fornita è vera per una tabella.

Passaggi successivi