Usa Knowledge Catalog con BigQuery

Knowledge Catalog (antes conocido como Dataplex Universal Catalog) interactúa con BigQuery como una capa central de administración de datos y acceso de agentes para los metadatos de BigQuery. Para obtener más información, consulta la descripción general de Knowledge Catalog.

¿Cómo uso Knowledge Catalog con BigQuery?

Knowledge Catalog interactúa con BigQuery de las siguientes maneras.

Transferencia automatizada de metadatos

Knowledge Catalog descubre y, luego, indexa automáticamente los metadatos técnicos de los recursos de BigQuery. Estas son algunas de ellas:

Representación y enriquecimiento de metadatos

  • Entradas: Cada tabla o recurso de BigQuery se representa como una entrada en el catálogo, en lugar de la tabla completa; por ejemplo, project.dataset.table.
  • Integración del cuadro de evaluación de la calidad de los datos: Knowledge Catalog proporciona un cuadro de evaluación de la calidad de los datos para cada entrada del catálogo. Además de los análisis de datos integrados de Knowledge Catalog, los resultados de las aserciones de Dataform son una fuente para este cuadro de evaluación (versión preliminar).

  • Enriquecimiento de metadatos automatizado: Para las tablas y las vistas creadas con Dataform, puedes definir metadatos semánticos directamente en tu código. Estos metadatos se sincronizan automáticamente con Knowledge Catalog cuando se completa correctamente una acción de canalización (versión preliminar). Se admiten los siguientes tipos de aspectos:

    • Descripción general: Documentación y texto de resumen de la entrada.
    • Aspectos genéricos: Etiquetas de metadatos semánticos para detalles técnicos, como información del sistema y el tipo de tabla

    Para verificar el estado de una actualización de metadatos, sigue las instrucciones que se indican en Cómo ver ejecuciones manuales anteriores.

    Después de que se sincronicen los metadatos, podrás buscar y ver la entrada en Knowledge Catalog. Para obtener más información, consulta Cómo buscar recursos.

  • Metadatos a nivel de la columna: Las columnas o los campos individuales se representan como rutas de acceso, lo que te permite adjuntar metadatos específicos, como marcadores de PII o puntuaciones de calidad de los datos, a campos individuales dentro de una tabla de BigQuery en lugar de solo a la tabla en sí.

  • Aspectos: Los metadatos técnicos se enriquecen con aspectos, que agregan contexto empresarial a los datos, como la propiedad, la calidad de los datos y la documentación.

  • Productos de datos: Puedes empaquetar recursos relacionados de BigQuery en productos de datos, por ejemplo, datos comerciales de comercio electrónico, que tienen acceso compartido y restricciones de administración.

  • Búsqueda semántica: Los usuarios pueden usar el lenguaje natural para buscar datos de BigQuery, lo que es especialmente útil para que los científicos de datos y los agentes de IA encuentren productos de datos confiables con consultas largas o complejas.
  • Traducción de nombres: Para facilitar la búsqueda programática, el sistema permite traducir los nombres de SQL de BigQuery, o nombres completamente calificados, a nombres de entradas del Knowledge Catalog.

Acceso y fundamentación de agentes

  • Acceso agentic: Los agentes de IA pueden descubrir y usar de forma adaptativa las herramientas del Catálogo de conocimiento a través de un servidor de MCP local o remoto.
  • Contexto para los agentes de IA: Knowledge Catalog organiza un gráfico de contexto que vincula los conjuntos de datos de BigQuery con la semántica empresarial, lo que ayuda a reducir las alucinaciones de la IA, ya que garantiza que los modelos usen datos aprobados por la empresa.

Administración y cumplimiento

  • Data Lineage: Knowledge Catalog realiza un seguimiento automático de cómo fluyen y se transforman los datos dentro y fuera de las tablas de BigQuery. Esta capacidad es fundamental para auditar la información sensible, como la PII, en todo el patrimonio de datos.
  • Control de acceso: La administración de metadatos se integra con Identity and Access Management (IAM) y los Controles del servicio de VPC para garantizar que el descubrimiento y el acceso a los metadatos de BigQuery sigan las políticas de seguridad de la organización.

Consideraciones sobre la migración

La migración a Knowledge Catalog desde el Data Catalog que dejó de estar disponible implica varios pasos. Los metadatos estándar de BigQuery (como conjuntos de datos, tablas y vistas) están disponibles automáticamente en Knowledge Catalog, por lo que el proceso de migración se centra principalmente en los metadatos personalizados, el uso de la API y los valores predeterminados de la interfaz de usuario.

A continuación, se indican los puntos principales que debes considerar a la hora de realizar la migración.

Comprende el cambio

Knowledge Catalog ofrece funciones mejoradas para la administración, la gobernanza y el descubrimiento de metadatos en comparación con Data Catalog. Knowledge Catalog usa una API diferente (la API de Knowledge Catalog) y tiene un modelo de datos ligeramente diferente. Por ejemplo, Knowledge Catalog usa aspectos y tipos de aspectos en lugar de etiquetas y plantillas de etiquetas.

Evalúa el uso actual del catálogo de datos

  • Sin metadatos personalizados: Si solo usaste Knowledge Catalog para la transferencia y el descubrimiento automáticos de metadatos estándar de BigQuery sin crear etiquetas personalizadas, plantillas de etiquetas, entradas personalizadas ni grupos de entradas, la transición es sencilla. Puedes comenzar a usar la interfaz de Knowledge Catalog de inmediato.
  • Metadatos personalizados o uso programático: Si creaste etiquetas o plantillas personalizadas, entradas personalizadas o usas la API de Data Catalog, las bibliotecas cliente, los comandos de Google Cloud CLI o Terraform, necesitas una transición más estructurada.

Consideraciones específicas de BigQuery

  • Transferencia automática: Los metadatos técnicos de los recursos de BigQuery (conjuntos de datos, tablas, vistas, modelos, rutinas y gráficos) se siguen transfiriendo automáticamente a Knowledge Catalog, como lo hacían con Dataplex Universal Catalog.
  • Etiquetas de política: Las etiquetas de política que se usan para el control de acceso a nivel de columna de BigQuery no quedaron obsoletas y su administración sigue siendo parte de BigQuery.
  • Linaje: El linaje de datos para las operaciones de BigQuery se muestra en el Knowledge Catalog. Para obtener más información sobre el linaje de datos, consulta Realiza un seguimiento del linaje de datos de una tabla de BigQuery.

Sigue la guía de transición

Para migrar a Knowledge Catalog, sigue los pasos que se indican en Transición de Data Catalog a Knowledge Catalog.

Para actualizar los flujos de trabajo programáticos a la API de Knowledge Catalog, consulta Cómo asignar métodos de la API de Data Catalog a Knowledge Catalog.

¿Qué sigue?

Obtén más información sobre Knowledge Catalog: