La sincronización de datos te permite crear una copia administrada y grabable de tus datos analíticos de BigQuery directamente en tu clúster de AlloyDB para PostgreSQL. Esta función actualiza automáticamente y de forma periódica los datos de tu almacén de datos en tu base de datos operativa según una programación que definas.
Cuando sincronizas tablas directamente en AlloyDB, eliminas la necesidad de compilar, administrar y mantener canalizaciones de datos personalizadas complejas para transferir datos analíticos de BigQuery a tu base de datos operativa.
Cómo funciona la sincronización de datos
La sincronización de datos usa la extensión alloydb_sync para automatizar la replicación de datos. Cuando creas una tabla sincronizada, AlloyDB configura una tabla local de solo lectura y programa trabajadores en segundo plano para extraer periódicamente datos actualizados de la fuente en BigQuery.
Tus aplicaciones cliente consultan la tabla sincronizada local directamente en AlloyDB, lo que se beneficia de la baja latencia de las consultas, el motor de columnas de AlloyDB y el escalamiento horizontal en los grupos de lectura sin enviar consultas a través de la red a BigQuery.
Casos de uso
Sincroniza tablas cuando necesites entregar datos analíticos de BigQuery a aplicaciones que requieran la alta capacidad de procesamiento, la baja latencia y el rendimiento interactivo de una base de datos operativa.
Los siguientes son algunos de los casos de uso comunes:
- Entrega de aplicaciones de alta simultaneidad: entrega estadísticas analíticas a miles de usuarios simultáneos. Cuando sincronizas datos con AlloyDB y escalas horizontalmente con grupos de lectura, evitas los límites de consultas y conexiones simultáneas de BigQuery.
- Aceleración del rendimiento: procesa datos con el motor de columnas de AlloyDB y la caché de búfer local para obtener tiempos de respuesta de consultas inferiores a un segundo.
- Duplicación de datos automatizada: mantén una actualización automatizada y programada de los datos analíticos de BigQuery sin organizar manualmente los trabajos ETL por lotes.
- Habilitación de flujos de trabajo operativos y de IA: materializa datos analíticos en AlloyDB para generar incorporaciones de vectores, ejecutar búsquedas de similitud y potenciar flujos de trabajo de agentes con AlloyDB AI.
Arquitectura y flujo de datos
La extensión alloydb_sync usa trabajadores en segundo plano para transmitir datos de BigQuery de forma periódica a una tabla local en tu clúster de AlloyDB según la programación configurada. Luego, las aplicaciones consultan la tabla local con baja latencia.
En el siguiente diagrama, se ilustra la arquitectura de sincronización de datos.
Asignación de tipos de datos
Cuando sincronizas datos de BigQuery a AlloyDB, AlloyDB asigna los tipos de datos de BigQuery a los tipos de datos de PostgreSQL correspondientes.
Antes de crear una tabla sincronizada, verifica que tus columnas de BigQuery de origen usen tipos de datos compatibles. Para obtener una lista completa de las asignaciones y los tipos compatibles, consulta Asignaciones de tipos de datos compatibles.
Precios
Cuando usas la sincronización de datos, Google Cloud se te factura según los siguientes componentes. Para obtener más información, consulta Sincroniza datos de BigQuery con AlloyDB.
- AlloyDB: Se aplican precios estándar para tus instancias de AlloyDB y el almacenamiento que usan las tablas sincronizadas locales.
- BigQuery: Las consultas y los flujos de datos que se ejecutan durante los trabajos de actualización de
alloydb_syncgeneran cargos estándar de análisis de BigQuery y de la API de BigQuery Storage. - Cloud Storage: Cuando sincronizas datos de tablas de Apache Iceberg en Cloud Storage, se aplican tarifas estándar de almacenamiento y recuperación de datos.
Limitaciones
La sincronización de datos tiene las siguientes limitaciones:
- Actualidad de los datos: Los datos de las tablas sincronizadas reflejan el estado de la tabla de BigQuery de origen desde la última actualización completada.
- Versión de PostgreSQL: La sincronización de datos con la extensión
alloydb_syncsolo es compatible con la versión 18 de PostgreSQL. - Compatibilidad de tipos de datos: Las columnas de origen deben asignarse a tipos de datos de PostgreSQL compatibles. Los tipos complejos no compatibles (como
ARRAY,BYTES,VECTORyGEOGRAPHY) requieren que conviertas o transmitas la columna en una vista de BigQuery antes de la sincronización.