Liste des modèles de règles système

Knowledge Catalog (anciennement Dataplex Universal Catalog) fournit des modèles de règles système prédéfinis dans n'importe quelle région pour les vérifications courantes de validation des données au niveau des lignes et des données globales. Vous pouvez réutiliser ces modèles pour automatiser la validation de la qualité des données et maintenir des ensembles de données précis et cohérents dans vos workflows de gouvernance des données.

Modèles de règles système disponibles

Pour déterminer les modèles adaptés à vos ressources, vous pouvez exécuter un profilage des données afin d'analyser les statistiques des tables, d'identifier les problèmes de qualité potentiels et de générer des recommandations de règles. Après avoir choisi les vérifications dont vous avez besoin, sélectionnez des modèles dans les catégories suivantes pour définir des règles pour vos ressources.

Forme de la table

Nom Description
Attente d'égalité du nombre de colonnes Règle d'agrégation qui évalue si le nombre de colonnes de la table est égal à une valeur spécifiée. Cette règle nécessite les autorisations bigquery.tables.get, bigquery.tables.list et bigquery.datasets.get sur la table et l'ensemble de données interrogés.
Attente de plage de nombre de colonnes Règle d'agrégation qui évalue si le nombre de colonnes de la table se situe dans une plage spécifiée. Cette règle nécessite les autorisations bigquery.tables.get, bigquery.tables.list et bigquery.datasets.get sur la table et l'ensemble de données interrogés.
Attente d'existence de colonne Règle d'agrégation qui évalue si une colonne spécifique existe dans la table. Cette règle nécessite les autorisations bigquery.tables.get, bigquery.tables.list et bigquery.datasets.get sur la table et l'ensemble de données interrogés.
Actualisation attendue Règle d'agrégation qui évalue si les dernières données d'une colonne sont plus récentes qu'un intervalle spécifié.
Attente de fraîcheur groupée Règle d'agrégation qui évalue si les dernières données groupées d'une colonne sont plus récentes qu'un intervalle spécifié.
Attente de correspondance de schéma ordonné Règle d'agrégation qui évalue si les colonnes ordonnées de la table correspondent exactement à une liste ordonnée spécifiée.
Attente d'égalité du nombre de lignes Règle d'agrégation qui évalue si le nombre de lignes de la table est égal à une valeur spécifiée.
Attente de plage de nombre de lignes Règle d'agrégation qui évalue si le nombre de lignes de la table se situe dans une plage spécifiée.
Attente de structuration du schéma Règle d'agrégation qui évalue si l'ensemble de colonnes de la table contient toutes les colonnes d'un ensemble spécifié. Cette règle nécessite les autorisations bigquery.tables.get, bigquery.tables.list et bigquery.datasets.get sur la table et l'ensemble de données interrogés.
Attente d'exclusion de schéma Règle d'agrégation qui évalue si les colonnes de la table ne se trouvent pas dans un ensemble spécifié. Cette règle nécessite les autorisations bigquery.tables.get, bigquery.tables.list et bigquery.datasets.get sur la table et l'ensemble de données interrogés.
Attente de correspondance de schéma Règle d'agrégation qui évalue si les colonnes de la table correspondent exactement à un ensemble spécifié. Cette règle nécessite les autorisations bigquery.tables.get, bigquery.tables.list et bigquery.datasets.get sur la table et l'ensemble de données interrogés.
Attente d'égalité d'agrégation de comparaison de tables Règle d'agrégation qui évalue si le résultat d'une expression d'agrégation est égal entre la table actuelle et une table de référence spécifiée.
Attente de plage d'agrégation de comparaison de tables Règle d'agrégation qui évalue si le résultat d'une expression d'agrégation sur la table actuelle s'écarte de la table de référence d'une valeur supérieure à la tolérance spécifiée.
Attente d'égalité du nombre de lignes de comparaison de tables Règle d'agrégation qui évalue si le nombre de lignes de la table actuelle est égal au nombre de lignes d'une table de référence spécifiée, avec un filtrage facultatif des lignes avant le comptage.
Attente d'égalité du facteur de nombre de lignes de comparaison de tables Règle d'agrégation qui évalue si le nombre de lignes de la table actuelle est égal à un facteur du nombre de lignes d'une table de référence spécifiée, avec un filtrage facultatif des lignes avant le comptage.

Valeurs manquantes, valeurs uniques et types

Nom Description
Attente concernant le type de colonne Règle d'agrégation qui évalue si le type de données de la colonne correspond à un type spécifié. Cette règle nécessite les autorisations bigquery.tables.get, bigquery.tables.list et bigquery.datasets.get sur la table et l'ensemble de données interrogés.
Attente de liste de types de colonnes Règle d'agrégation qui évalue si le type de données de la colonne se trouve dans un ensemble spécifié. Cette règle nécessite les autorisations bigquery.tables.get, bigquery.tables.list et bigquery.datasets.get sur la table et l'ensemble de données interrogés.
Attente non nulle Règle au niveau des lignes qui évalue si chaque valeur de colonne n'est pas nulle.
Attente nulle Règle au niveau des lignes qui évalue si chaque valeur de colonne est nulle.
Attente de casse de chaîne Règle au niveau des lignes qui évalue si chaque chaîne de valeur de colonne correspond à une casse spécifiée.
Attente d'unicité Règle au niveau des lignes qui évalue si chaque valeur de colonne est unique.

Ensembles et plages

Nom Description
Espérance décroissante Règle d'agrégation qui évalue si les valeurs d'une colonne diminuent. Les valeurs NULL sont ignorées. Renvoie la première ligne où l'attente n'est pas satisfaite.
Attentes croissantes Règle d'agrégation qui évalue si les valeurs d'une colonne augmentent. Les valeurs NULL sont ignorées. Renvoie la première ligne où l'attente n'est pas satisfaite.
Comportement attendu pour la plage Règle au niveau des lignes qui évalue si chaque valeur de colonne se situe dans une plage spécifiée.
Attente de l'ensemble de référence Règle au niveau des lignes qui évalue si chaque valeur de colonne est contenue dans un ensemble de référence spécifié.
Définir l'exclusion attendue Règle au niveau des lignes qui évalue si chaque valeur de colonne n'est pas contenue dans un ensemble spécifié.
Définir une attente Règle au niveau des lignes qui évalue si chaque valeur de colonne est contenue dans un ensemble spécifié.

Correspondance de chaîne

Nom Description
Attente d'exclusion de modèle Règle au niveau des lignes qui évalue si chaque valeur de colonne ne correspond pas à un modèle SQL LIKE spécifié.
Liste d'exclusion des exceptions de motifs Règle au niveau des lignes qui évalue si chaque valeur de colonne ne correspond à aucun des modèles SQL LIKE spécifiés.
Attente de modèle Règle au niveau des lignes qui évalue si chaque valeur de colonne correspond à un modèle SQL LIKE spécifié.
Liste des attentes de modèle Règle au niveau des lignes qui évalue si chaque valeur de colonne correspond à au moins l'un des modèles SQL LIKE spécifiés.
Attente d'exclusion d'expression régulière Règle au niveau des lignes qui évalue si chaque valeur de colonne ne correspond pas à une expression régulière spécifiée.
Liste d'exclusion des expressions régulières Règle au niveau des lignes qui évalue si chaque valeur de colonne ne correspond à aucune des expressions régulières spécifiées.
Comportement attendu de l'expression régulière Règle au niveau des lignes qui évalue si chaque valeur de colonne correspond à une expression régulière spécifiée.
Liste des attentes d'expressions régulières Règle au niveau des lignes qui évalue si chaque valeur de colonne correspond à au moins l'une des expressions régulières spécifiées.
Attente d'égalité de longueur de chaîne Règle au niveau des lignes qui évalue si la longueur de la chaîne de chaque valeur de colonne est égale à une valeur spécifiée.
Attente de plage de longueur de chaîne Règle au niveau des lignes qui évalue si la longueur de la chaîne de chaque valeur de colonne se situe dans une plage spécifiée.

Fonctions d'agrégation

Nom Description
Attente de confinement des valeurs distinctes Règle d'agrégation qui évalue si l'ensemble de valeurs de colonne distinctes contient toutes les valeurs d'un ensemble spécifié.
Attente d'égalité du nombre de valeurs distinctes Règle d'agrégation qui évalue si le nombre de valeurs distinctes dans la colonne est égal à une valeur spécifiée.
Attente de plage de décompte des valeurs distinctes Règle d'agrégation qui évalue si le nombre de valeurs distinctes dans la colonne se situe dans une plage spécifiée.
Attente de correspondance des valeurs distinctes Règle d'agrégation qui évalue si l'ensemble de valeurs de colonne distinctes correspond exactement à un ensemble spécifié.
Espérance de proportion de valeurs distinctes Règle d'agrégation qui évalue si la proportion de valeurs distinctes dans la colonne (c'est-à-dire le nombre de valeurs distinctes / le nombre total de lignes) se situe dans une plage spécifiée.
Attente de l'ensemble de valeurs distinctes Règle d'agrégation qui évalue si chaque valeur de colonne distincte est contenue dans un ensemble spécifié.
Portée maximale attendue Règle d'agrégation qui évalue si la valeur maximale de la colonne se situe dans une plage spécifiée.
Espérance de la plage moyenne Règle d'agrégation qui évalue si la moyenne de la colonne se situe dans une plage spécifiée. Si un type à virgule flottante est renvoyé, le résultat de la fonction AVG() est non déterministe.
Attente de plage médiane Règle d'agrégation qui évalue si la médiane de la colonne se situe dans une plage spécifiée.
Attente de plage minimale Règle d'agrégation qui évalue si le minimum de la colonne se situe dans une plage spécifiée.
Mode Range Expectation Règle d'agrégation qui évalue si tous les modes de colonne (valeurs les plus fréquentes) se situent dans une plage spécifiée. S'il existe plusieurs modes, chacun d'eux sera vérifié par rapport à la plage, et tous les modes défaillants seront renvoyés.
Mode Set Expectation Règle d'agrégation qui évalue si tous les modes de colonne (valeurs les plus fréquentes) se trouvent dans l'ensemble spécifié. Les valeurs NULL sont ignorées lors du calcul des modes. S'il existe plusieurs modes avec la même fréquence la plus élevée, chacun d'eux sera vérifié par rapport à l'ensemble, et tous les modes défaillants seront renvoyés dans un tableau.
Attente de plage de quantiles Règle d'agrégation qui évalue si la valeur du quantile spécifié pour la colonne se situe dans une plage spécifiée.
Plage d'écart-type attendue Règle d'agrégation qui évalue si l'écart type de la colonne se situe dans une plage spécifiée.
Attente de plage de somme Règle d'agrégation qui évalue si la somme de la colonne se situe dans une plage spécifiée. Si un type à virgule flottante est renvoyé, le résultat de la fonction SUM() est non déterministe.
Attente d'égalité du nombre de valeurs uniques de comparaison de tables Règle d'agrégation qui évalue si le nombre de valeurs uniques dans une colonne spécifiée est égal entre la table actuelle et une table de référence.

Plusieurs colonnes

Nom Description
Attente d'égalité de comparaison de colonnes Règle au niveau des lignes qui évalue si la valeur de la colonne A est égale à la valeur de la colonne B pour chaque ligne.
Attente de comparaison de colonnes supérieure Règle au niveau des lignes qui évalue si la valeur de la colonne A est supérieure à la valeur de la colonne B pour chaque ligne.
Attente de l'ensemble de paires de colonnes Règle d'agrégation qui évalue si les valeurs associées de la colonne A et de la colonne B sont contenues dans un ensemble spécifié.
Multi Column Sum Equality Expectation Règle d'agrégation qui évalue si la somme de toutes les lignes d'une liste de colonnes spécifiée est égale à une valeur spécifiée. Si un type à virgule flottante est renvoyé, le résultat de la fonction SUM() n'est pas déterministe.
Attente d'unicité multicolonne Règle au niveau des lignes qui évalue si la combinaison de valeurs d'une liste de colonnes spécifiée est unique pour chaque ligne (par exemple, une clé primaire multicolonne).
Attente d'unicité de colonne d'enregistrement Règle au niveau des lignes qui évalue si les valeurs d'une liste de colonnes spécifiée sont uniques dans chaque enregistrement (ligne). Notez que les enregistrements peuvent être dupliqués.

Fonctions de distribution

Nom Description
Attente d'exhaustivité de la partie de date Règle d'agrégation qui évalue si une table contient des données pour chaque intervalle (par exemple, chaque jour) d'une plage de dates.
Attente de valeurs d'écart-type Règle au niveau des lignes qui évalue si chaque valeur de colonne se situe dans un nombre spécifié d'écarts types par rapport à la moyenne de la colonne.

Conditions génériques

Nom Description
Attente de condition de ligne Règle au niveau des lignes qui évalue si chaque ligne d'une table remplit la condition spécifiée.
Assertion SQL Règle d'agrégation qui évalue le nombre de lignes renvoyées pour l'instruction fournie. Si des lignes sont renvoyées, cette règle échoue.
Attente de condition de table Règle d'agrégation qui évalue si l'expression fournie est vraie pour une table.

Étapes suivantes