Acerca de los conectores de metadatos

A medida que los entornos de datos se vuelven más complejos, los metadatos pueden quedar aislados en diferentes plataformas, lo que dificulta que los equipos encuentren, confíen y administren sus datos. Los conectores de Knowledge Catalog (anteriormente, Dataplex Universal Catalog) ayudan a resolver este problema, ya que te permiten importar automáticamente metadatos técnicos, operativos, empresariales y semánticos de fuentes de datos de terceros directamente a Google Cloud.

A través de estos conectores, puedes permitir que los analistas busquen recursos de datos externos sin cambiar de herramienta, que los administradores de datos apliquen una administración centralizada en un entorno de múltiples nubes y que supervisen la calidad de los datos multiplataforma en un solo lugar. Si programas ejecuciones recurrentes, puedes mantener tu catálogo sincronizado con tus sistemas de origen para que tus equipos tengan una vista precisa y actualizada de tu ecosistema de datos.

Fuentes de datos compatibles

Puedes importar metadatos de las siguientes fuentes con los conectores de Knowledge Catalog:

  • Databricks Unity Catalog
  • dbt Core y Cloud
  • MySQL
  • Oracle
  • PostgreSQL
  • Snowflake Horizon
  • SQL Server

Integraciones con socios de administración de datos

También puedes integrar Knowledge Catalog con otras plataformas de catalogación y administración de datos. En lugar de extraer datos de fuentes sin procesar, estas integraciones permiten que las herramientas de catálogo paralelas compartan información. Puedes enriquecer los metadatos en Knowledge Catalog o exportarlos para verlos en esas herramientas de terceros.

Los siguientes socios proporcionan integraciones para Knowledge Catalog:

En el resto de esta página, se describe cómo importar metadatos a través de conectores. Para obtener más información sobre las integraciones de socios, consulta las páginas de socios vinculadas.

Cómo funciona

Los conectores de Knowledge Catalog usan integraciones precompiladas para conectarse a tus fuentes de datos y extraer metadatos automáticamente. El Servicio de transferencia de datos de BigQuery administra estas transferencias y asigna los metadatos extraídos a un grupo de entradas específico de Knowledge Catalog que elijas.

Los conectores extraen los siguientes tipos de metadatos:

  • Metadatos técnicos: Definiciones de esquema, tipo de datos y nombre de columna.
  • Metadatos operativos: Marcas de tiempo de creación y modificación, linaje, estadísticas de uso y resultados de calidad de los datos.
  • Metadatos empresariales: Etiquetas, propietarios y anotaciones.
  • Metadatos semánticos: Dimensiones, mediciones, métricas, consultas de referencia y relaciones.

Después de configurar un conector, Knowledge Catalog programa las ejecuciones de importación de metadatos en el programa que especifiques, lo que garantiza que el catálogo se mantenga sincronizado con el sistema de origen. Cada vez que se ejecuta una importación de metadatos, se realiza un reemplazo completo de las entradas del grupo de entradas de destino administrado por esa configuración. Los objetos de metadatos que ya no están presentes en la fuente se quitan del grupo de entradas y se agregan objetos nuevos. Los objetos del grupo de entrada que no se importan con la configuración del conector no se ven afectados.

Terminología

En esta documentación, se usan los siguientes términos:

  • Configuración de importación de metadatos: Es la configuración de una tarea programada o on demand que usa el Servicio de transferencia de datos de BigQuery para extraer metadatos de una fuente y cargarlos en Knowledge Catalog.
  • Ejecución: Es una sola instancia de ejecución de una configuración de importación de metadatos.
  • Grupo de entradas: Es un recurso de Knowledge Catalog que contiene entradas de metadatos. Cuando configuras un conector, designas un grupo de entradas como el destino de los metadatos importados.
  • Entrada: Es un recurso de Knowledge Catalog que representa un recurso de datos, como una tabla o una vista.

Precios

No se aplican cargos adicionales de Knowledge Catalog ni del Servicio de transferencia de datos de BigQuery por importar metadatos con conectores.

Se aplican cargos estándar para otros usos de Knowledge Catalog (como el almacenamiento de metadatos). Para obtener más información, consulta Precios de Knowledge Catalog.

Limitaciones

  • Solo se importan los metadatos, no los datos subyacentes de las tablas o vistas de origen. Para transferir los datos subyacentes, puedes usar el Servicio de transferencia de datos de BigQuery.
  • Cada ejecución reemplaza por completo las entradas administradas por el conector en el grupo de entradas de destino. No se admiten las actualizaciones incrementales de metadatos.
  • El historial de ejecuciones se conserva durante 90 días.

¿Qué sigue?