Lista de plantillas de reglas del sistema

Knowledge Catalog (anteriormente, Dataplex Universal Catalog) proporciona plantillas de reglas del sistema predefinidas en cualquier región para las verificaciones comunes de validación de datos agregados y a nivel de fila. Puedes reutilizar estas plantillas para automatizar la validación de la calidad de los datos y ayudar a mantener conjuntos de datos precisos y coherentes en tus flujos de trabajo de administración de datos.

Plantillas de reglas del sistema disponibles

Para determinar qué plantillas se ajustan a tus recursos, puedes ejecutar la creación de perfiles de datos para analizar las estadísticas de las tablas, detectar posibles problemas de calidad y generar recomendaciones de reglas. Después de elegir las verificaciones que necesitas, selecciona plantillas de las siguientes categorías para definir reglas para tus recursos.

Forma de la mesa

Nombre Descripción
Expectativa de igualdad de recuento de columnas Es una regla de agregación que evalúa si la cantidad de columnas de la tabla es igual a un valor especificado. Esta regla requiere los permisos bigquery.tables.get, bigquery.tables.list y bigquery.datasets.get en la tabla y el conjunto de datos que se consultan.
Expectativa de rango de recuento de columnas Es una regla de agregación que evalúa si la cantidad de columnas de la tabla se encuentra dentro de un rango especificado. Esta regla requiere los permisos bigquery.tables.get, bigquery.tables.list y bigquery.datasets.get en la tabla y el conjunto de datos que se consultan.
Expectativa de existencia de columnas Es una regla de agregación que evalúa si existe una columna específica en la tabla. Esta regla requiere los permisos bigquery.tables.get, bigquery.tables.list y bigquery.datasets.get en la tabla y el conjunto de datos que se consultan.
Expectativa de actualidad Es una regla de agregación que evalúa si los datos más recientes de una columna son más nuevos que un intervalo especificado.
Expectativa de actualización agrupada Es una regla de agregación que evalúa si los datos agrupados más recientes de una columna son más nuevos que un intervalo especificado.
Expectativa de coincidencia de esquema ordenado Es una regla de agregación que evalúa si las columnas ordenadas de la tabla coinciden exactamente con una lista ordenada y especificada.
Expectativa de igualdad de recuento de filas Es una regla de agregación que evalúa si la cantidad de filas de la tabla es igual a un valor especificado.
Expectativa de rango de recuento de filas Es una regla de agregación que evalúa si la cantidad de filas de la tabla se encuentra dentro de un rango especificado.
Expectativa de contención de esquema Es una regla de agregación que evalúa si el conjunto de columnas de la tabla contiene todas las columnas de un conjunto especificado. Esta regla requiere los permisos bigquery.tables.get, bigquery.tables.list y bigquery.datasets.get en la tabla y el conjunto de datos que se consultan.
Expectativa de exclusión de esquema Es una regla de agregación que evalúa si las columnas de la tabla no están en un conjunto especificado. Esta regla requiere los permisos bigquery.tables.get, bigquery.tables.list y bigquery.datasets.get en la tabla y el conjunto de datos que se consultan.
Expectativa de coincidencia de esquema Es una regla de agregación que evalúa si las columnas de la tabla coinciden exactamente con un conjunto especificado. Esta regla requiere los permisos bigquery.tables.get, bigquery.tables.list y bigquery.datasets.get en la tabla y el conjunto de datos que se consultan.
Expectativa de igualdad de agregación de comparación de tablas Es una regla de agregación que evalúa si el resultado de una expresión de agregación es igual entre la tabla actual y una tabla de referencia especificada.
Expectativa de rango de agregación de comparación de tablas Es una regla de agregación que evalúa si el resultado de una expresión de agregación en la tabla actual se desvía de la tabla de referencia en más de una tolerancia especificada.
Expectativa de igualdad de recuento de filas de comparación de tablas Es una regla de agregación que evalúa si la cantidad de filas de la tabla actual es igual a la cantidad de filas de una tabla de referencia especificada, con un filtrado de filas opcional antes del recuento.
Expectativa de igualdad del factor de recuento de filas de comparación de tablas Es una regla de agregación que evalúa si la cantidad de filas de la tabla actual es igual a un factor de la cantidad de filas de una tabla de referencia especificada, con un filtrado de filas opcional antes del recuento.

Valores faltantes, valores únicos y tipos

Nombre Descripción
Expectativa de tipo de columna Es una regla de agregación que evalúa si el tipo de datos de la columna coincide con un tipo especificado. Esta regla requiere los permisos bigquery.tables.get, bigquery.tables.list y bigquery.datasets.get en la tabla y el conjunto de datos que se consultan.
Column Type List Expectation Es la regla de agregación que evalúa si el tipo de datos de la columna se encuentra en un conjunto especificado. Esta regla requiere los permisos bigquery.tables.get, bigquery.tables.list y bigquery.datasets.get en la tabla y el conjunto de datos que se consultan.
Expectativa de no nulo Es una regla a nivel de la fila que evalúa si cada valor de columna no es nulo.
Expectativa nula Es una regla a nivel de la fila que evalúa si cada valor de columna es nulo.
String Case Expectation Es una regla a nivel de fila que evalúa si cada cadena de valor de columna coincide con un uso de mayúsculas y minúsculas especificado.
Expectativa de unicidad Es una regla a nivel de fila que evalúa si cada valor de columna es único.

Conjuntos y rangos

Nombre Descripción
Expectativa decreciente Es una regla de agregación que evalúa si los valores de una columna están disminuyendo. Los valores NULL se ignoran. Devuelve la primera fila en la que no se cumple la expectativa.
Expectativas en aumento Es una regla de agregación que evalúa si los valores de una columna aumentan. Los valores NULL se ignoran. Devuelve la primera fila en la que no se cumple la expectativa.
Expectativa de rango Es una regla a nivel de fila que evalúa si cada valor de columna se encuentra dentro de un rango especificado.
Expectativa de conjunto de referencia Es una regla a nivel de la fila que evalúa si cada valor de columna está contenido en un conjunto de referencia especificado.
Establece expectativas de exclusión Es una regla a nivel de la fila que evalúa si cada valor de columna no está contenido en un conjunto especificado.
Establece expectativas Es una regla a nivel de fila que evalúa si cada valor de columna está contenido en un conjunto especificado.

Coincidencia de cadenas

Nombre Descripción
Expectativa de exclusión de patrones Es una regla a nivel de la fila que evalúa si cada valor de columna no coincide con un patrón de LIKE de SQL especificado.
Lista de expectativas de exclusión de patrones Regla a nivel de fila que evalúa si cada valor de columna no coincide con ninguno de los patrones LIKE de SQL especificados.
Expectativa de patrón Es una regla a nivel de la fila que evalúa si cada valor de columna coincide con un patrón de SQL LIKE especificado.
Lista de expectativas de patrones Regla a nivel de fila que evalúa si cada valor de columna coincide con al menos uno de los patrones de SQL LIKE especificados.
Regex Exclusion Expectation Es una regla a nivel de la fila que evalúa si cada valor de columna no coincide con una expresión regular especificada.
Lista de expectativas de exclusión de regex Es una regla a nivel de la fila que evalúa si cada valor de columna no coincide con ninguna de las expresiones regulares especificadas.
Expectativa de regex Es una regla a nivel de la fila que evalúa si cada valor de columna coincide con una expresión regular especificada.
Lista de expectativas de regex Es una regla a nivel de la fila que evalúa si cada valor de columna coincide con, al menos, una de las expresiones regulares especificadas.
Expectativa de igualdad de longitud de cadena Es una regla a nivel de fila que evalúa si la longitud de la cadena de cada valor de columna es igual a un valor especificado.
Expectativa de rango de longitud de cadena Es una regla a nivel de la fila que evalúa si la longitud de la cadena de cada valor de columna se encuentra dentro de un rango especificado.

Funciones de agregación

Nombre Descripción
Expectativa de contención de valores distintos Es una regla de agregación que evalúa si el conjunto de valores de columna distintos contiene todos los valores de un conjunto especificado.
Expectativa de igualdad de recuento de valores distintos Es una regla de agregación que evalúa si la cantidad de valores distintos en la columna es igual a un valor especificado.
Expectativa de rango de recuento de valores distintos Es una regla de agregación que evalúa si la cantidad de valores distintos en la columna se encuentra dentro de un rango especificado.
Distinct Values Match Expectation Es una regla de agregación que evalúa si el conjunto de valores de columna distintos coincide exactamente con un conjunto especificado.
Expectativa de proporción de valores distintos Es una regla de agregación que evalúa si la proporción de valores distintos en la columna (es decir, el recuento de valores distintos / el recuento total de filas) se encuentra dentro de un rango especificado.
Expectativa de conjunto de valores distintos Es una regla de agregación que evalúa si cada valor de columna distinto está contenido en un conjunto especificado.
Expectativa de alcance máximo Es una regla de agregación que evalúa si el máximo de la columna se encuentra dentro de un rango especificado.
Expectativa de rango medio Es una regla de agregación que evalúa si el promedio de la columna se encuentra dentro de un rango especificado. Si se muestra un tipo de punto flotante, el resultado de la función AVG() no es determinístico.
Expectativa de rango mediano Es una regla de agregación que evalúa si la mediana de la columna se encuentra dentro de un rango especificado.
Expectativa de rango mínimo Es una regla de agregación que evalúa si el valor mínimo de la columna se encuentra dentro de un rango especificado.
Expectativa de rango de modo Es una regla de agregación que evalúa si todas las modas de las columnas (los valores más frecuentes) se encuentran dentro de un rango especificado. Si hay varios modos, se verificará cada uno con el rango y se devolverán los modos que fallen.
Expectativa de configuración del modo Es una regla de agregación que evalúa si todas las modas de la columna (los valores más frecuentes) están dentro del conjunto especificado. Los valores NULL se ignoran cuando se calculan las modas. Si hay varios modos con la misma frecuencia más alta, cada uno se comparará con el conjunto y los modos que no coincidan se devolverán en un array.
Expectativa de rango de cuantiles Es una regla de agregación que evalúa si el valor en el cuantil especificado para la columna se encuentra dentro de un rango determinado.
Expectativa del rango de desviación estándar Es una regla de agregación que evalúa si la desviación estándar de la columna se encuentra dentro de un rango especificado.
Expectativa de rango de suma Es una regla de agregación que evalúa si la suma de la columna se encuentra dentro de un rango especificado. Si se muestra un tipo de punto flotante, el resultado de la función SUM() no es determinístico.
Expectativa de igualdad de recuento de valores únicos de comparación de tablas Es una regla de agregación que evalúa si la cantidad de valores únicos en una columna especificada es igual entre la tabla actual y una tabla de referencia.

Varias columnas

Nombre Descripción
Expectativa de igualdad de comparación de columnas Regla a nivel de fila que evalúa si el valor de la columna A es igual al valor de la columna B para cada fila.
Column Comparison Greater Expectation Regla a nivel de fila que evalúa si el valor de la columna A es mayor que el valor de la columna B para cada fila.
Expectativa de conjunto de pares de columnas Es una regla de agregación que evalúa si los valores vinculados de la columna A y la columna B están contenidos en un conjunto especificado.
Expectativa de igualdad de suma de varias columnas Es una regla de agregación que evalúa si la suma de todas las filas de una lista especificada de columnas es igual a un valor especificado. Si se muestra un tipo de punto flotante, el resultado de la función SUM() no es determinístico.
Multi Column Uniqueness Expectation Es una regla a nivel de la fila que evalúa si la combinación de valores en una lista especificada de columnas es única para cada fila (por ejemplo, una clave primaria de varias columnas).
Record Column Uniqueness Expectation Es una regla a nivel de la fila que evalúa si los valores de una lista de columnas especificada son únicos dentro de cada registro (fila). Ten en cuenta que los registros se pueden duplicar.

Funciones de distribución

Nombre Descripción
Expectativa de integridad de la parte de la fecha Es una regla de agregación que evalúa si una tabla tiene datos para cada intervalo (por ejemplo, todos los días) dentro de un período.
Expectativa de valores de desviación estándar Es una regla a nivel de la fila que evalúa si cada valor de la columna se encuentra dentro de una cantidad especificada de desviaciones estándar del promedio de la columna.

Condiciones genéricas

Nombre Descripción
Expectativa de condición de fila Es una regla a nivel de fila que evalúa si cada fila de una tabla cumple con la condición especificada.
Aserción de SQL Es una regla de agregación que evalúa la cantidad de filas que se devuelven para la sentencia proporcionada. Si se devuelven filas, esta regla falla.
Expectativa de condición de la tabla Es una regla de agregación que evalúa si la expresión proporcionada es verdadera para una tabla.

¿Qué sigue?