Introducción a las consultas continuas
Las consultas continuas de BigQuery son sentencias de SQL que se ejecutan de forma continua para permitirte analizar datos entrantes en BigQuery en tiempo real. Puedes usar consultas continuas para tareas urgentes, como generar estadísticas inmediatas, aplicar inferencias de aprendizaje automático (AA) en tiempo real y replicar datos en otras plataformas. Esta capacidad te permite usar BigQuery como un motor de procesamiento de datos controlado por eventos para la lógica de decisión en tus aplicaciones.
Destinos y fuentes de datos compatibles
Puedes escribir o exportar las filas de salida que genera una consulta continua a los siguientes destinos:
- Tablas de BigQuery
- Tablas administradas de Apache Iceberg
- Temas de Pub/Sub
- Tablas de Bigtable
- Tablas de Spanner
Las consultas continuas pueden procesar datos que se escribieron en tablas estándar de BigQuery o tablas administradas de Apache Iceberg con uno de los siguientes métodos:
- La API de BigQuery Storage Write (gRPC)
- La API de BigQuery Storage Write (REST)
- Carga por lotes
- La sentencia DML
INSERT - Sentencias de lenguaje de manipulación de datos (DML) mutables,
como
DELETE,UPDATEyMERGE, cuando se exportan datos a Pub/Sub. - Escribe desde los resultados de una consulta por lotes en una tabla permanente
- Escribe desde los resultados de una consulta continua de BigQuery en una tabla permanente
- Una suscripción de BigQuery a Pub/Sub
- Escribe desde Dataflow a BigQuery
- Escribe desde Datastream a BigQuery con el modo de escritura de solo anexar
En el siguiente diagrama, se muestran flujos de trabajo comunes de consultas continuas:
Casos de uso
Estos son algunos casos de uso comunes en los que tal vez quieras usar consultas continuas:
- Servicios de interacción personalizada con el cliente: Usa la IA generativa para crear mensajes personalizados para cada interacción con el cliente.
- Detección de anomalías: Compila soluciones que te permitan realizar la detección de anomalías y amenazas en datos complejos en tiempo real para que puedas reaccionar a los problemas con mayor rapidez.
- Canalizaciones basadas en eventos personalizables: Usa la integración de consulta continua con Pub/Sub para activar aplicaciones descendentes según los datos entrantes.
- Enriquecimiento de datos y extracción de entidades: Usa consultas continuas para realizar el enriquecimiento y la transformación de datos en tiempo real con funciones de SQL, funciones definidas por el usuario (UDF) de SQL y modelos de AA.
- Extracción, transformación y carga inversa (ETL): Realiza ETL inverso en tiempo real en otros sistemas de almacenamiento más adecuados para la entrega de aplicaciones de baja latencia. Por ejemplo, analizar o mejorar los datos de eventos que se escriben en BigQuery y, luego, transmitirlos a Bigtable, Spanner o tablas administradas de Apache Iceberg para la entrega de aplicaciones.
- Activación de agentes autónomos: Activa canalizaciones de datos de agentes en tiempo real en función de eventos complejos detectados en transmisiones de datos en vivo. Para ver un ejemplo, consulta el codelab Crea un agente de datos basado en eventos con BigQuery y el Kit de desarrollo de agentes (ADK).
- Supervisión autónoma de agentes: Desarrolla supervisión y alertas automatizadas en tiempo real para las interacciones de agentes en tiempo real con el complemento de análisis de agentes de BigQuery, que transmite todos los datos de seguimiento de agentes, el uso de herramientas y los registros operativos directamente a BigQuery para obtener una observabilidad profunda de tu personal de IA.
Funcionalidad compatible
Las siguientes operaciones son compatibles con las consultas continuas:
- Ejecutar
declaraciones
INSERTpara escribir datos de una consulta continua en una tabla de BigQuery o una tabla administrada de Iceberg. Ejecutar sentencias
EXPORT DATApara publicar resultados de consultas continuas en temas de Pub/SubLas consultas continuas que exportan datos a Pub/Sub se deben ejecutar con una cuenta de servicio. Para obtener más información, consulta Exporta datos a Pub/Sub.
Desde un tema de Pub/Sub, puedes usar los datos con otros servicios, como realizar análisis de transmisiones a través de Dataflow o de los datos en un flujo de trabajo de Application Integration.
Ejecutar declaraciones
EXPORT DATApara exportar datos de BigQuery a tablas de Bigtable Para obtener más información, consulta Exporta datos a Bigtable.Ejecutar declaraciones
EXPORT DATApara exportar datos de BigQuery a tablas de Spanner Para obtener más información, consulta Exporta datos a Spanner (ETL inverso).Llama a las siguientes funciones de IA generativa:
AI.GENERATE-
- Esta función requiere que tengas un modelo remoto de BigQuery ML en un modelo de Gemini Enterprise Agent Platform.
Llama a las siguientes funciones de IA:
Estas funciones requieren que tengas un modelo remoto de BigQuery ML en una API de IA de Cloud.
Normalizar datos numéricos a través de la función
ML.NORMALIZER.Analizar y procesar datos
JSON, incluida la compatibilidad con funciones JSON y desanidación de JSON.Usar funciones de GoogleSQL sin estado, por ejemplo, funciones de conversión En las funciones sin estado, cada fila se procesa de forma independiente de las otras filas de la tabla.
Llamar a UDF de SQL persistentes o temporales, siempre que la expresión de SQL subyacente de la UDF sea válida en una consulta continua.
Usa operaciones con estado, por ejemplo,
JOIN, agregaciones y agregaciones de ventanas. En las operaciones con estado, el estado de los datos transferidos se conserva en varias filas o intervalos de tiempo para calcular un resultado preciso.Usa la función de historial de cambios
APPENDSpara procesar los datos agregados desde un momento específico en tablas estándar de BigQuery o tablas administradas de Apache Iceberg.Usar la función del historial de cambios
CHANGESpara procesar los datos modificados, incluidas las incorporaciones y las mutaciones, desde un momento específico en el que se exportan datos a Pub/Sub. Sin embargo,CHANGESno se admite cuando se usa una operación con estado o cuando se consultan tablas administradas de Iceberg.Consultar vistas, siempre que la consulta en SQL subyacente de la vista sea una consulta continua válida.
Operaciones con estado compatibles
Para solicitar asistencia o enviar comentarios sobre esta función, envía un correo electrónico a bq-continuous-queries-feedback@google.com.
Las operaciones con estado permiten que las consultas continuas realicen análisis complejos que
requieren retener información en varias filas o intervalos de tiempo. Mientras que
las funciones sin estado procesan cada fila de forma independiente, las operaciones con estado mantienen
el estado de los datos transferidos para admitir funciones como JOIN, agregaciones y
agregaciones de ventanas. Esta
capacidad te permite correlacionar eventos de diferentes transmisiones o calcular métricas
a lo largo del tiempo, como un promedio de 30 minutos, almacenando los datos necesarios en la memoria mientras
se ejecuta la consulta.
Las consultas continuas admiten las siguientes operaciones con estado:
Autorización
Los tokens de acceso deGoogle Cloud que se usan cuando se ejecutan trabajos de consulta continua tienen un tiempo de actividad (TTL) de dos días cuando los genera una cuenta de usuario. Por lo tanto, estos trabajos se dejan de ejecutar después de dos días. Los tokens de acceso que generan las cuentas de servicio pueden ejecutarse durante más tiempo, pero deben cumplir con el tiempo de ejecución máximo de la consulta. Para obtener más información, consulta Ejecuta una consulta continua con una cuenta de servicio.
Ubicaciones
Para obtener una lista de las regiones admitidas, consulta Ubicaciones de consultas continuas de BigQuery.
Limitaciones
Las consultas continuas de Spanner están sujetas a las siguientes limitaciones:
- El estado de los datos transferidos solo se mantiene para las operaciones con estado específicas en la versión preliminar.
Si bien las consultas continuas ahora admiten algunos tipos de
JOIN, agregaciones y agregaciones de ventanas, estas se restringen a operaciones con estado específicas. No se admiten todos los tipos de operaciones con estado. No puedes usar las siguientes funciones de SQL en una consulta continua, a menos que se indiquen como una operación con estado admitida:
Los siguientes operadores de consulta:
Operadores de conjuntos de consultas, excepto
UNION ALL.Funciones definidas por el usuario (UDF) que no son de SQL, como UDF de JavaScript, UDF de Python, funciones remotas y funciones de agregación definidas por el usuario. Solo se admiten las UDF de SQL, y la expresión de SQL de la UDF está sujeta a todas las limitaciones de las consultas continuas.
Funciones de BigQuery ML distintas de las enumeradas en Funcionalidad compatible
Declaraciones del lenguaje de definición de datos (DDL), excepto
CREATE TEMP FUNCTIONcuando se define una UDF de SQL temporal.Sentencias del lenguaje de manipulación de datos (DML), excepto
INSERTSentencias de
EXPORT DATAque no se orientan a Bigtable, Pub/Sub ni Spanner.
Las consultas continuas no admiten las siguientes fuentes de datos:
- Tablas externas.
- Vistas de esquema de información.
- Tablas comodín.
- Datos de actualización o inserción de la captura de datos modificados (CDC).
- Vistas materializadas.
- Vistas en las que la consulta en SQL subyacente usa funciones no compatibles, como funciones definidas por el usuario que no son de SQL, tablas externas o tablas habilitadas para CDC.
Las consultas continuas no admiten las funciones de seguridad column- ni a nivel de fila.
El resultado de una consulta continua está sujeto a las cuotas y los límites inherentes del servicio de destino al que se exporta el resultado.
Cuando exportas datos a Bigtable, Spanner o extremos de ubicación de Pub/Sub, solo puedes orientar recursos de Bigtable, Spanner o Pub/Sub que se encuentren dentro del mismo límite regional de Google Cloud que el conjunto de datos de BigQuery que contiene la tabla que estás consultando. Esta restricción no se aplica cuando se exportan datos a extremos globales de Pub/Sub. Para obtener más información sobre la exportación a una política de enrutamiento de perfil de app de Bigtable, consulta Consideraciones sobre la ubicación.
No puedes ejecutar una consulta continua desde un lienzo de datos.
No puedes modificar el SQL que se usa en una consulta continua mientras se ejecuta el trabajo de consulta continua. Para obtener más información, consulta Modifica el SQL de una consulta continua.
Si actualizas o borras una UDF de SQL persistente mientras se ejecuta una consulta continua que hace referencia a ella, BigQuery finaliza el trabajo de consulta continua. Para aplicar una definición de UDF actualizada, inicia una nueva consulta continua desde el momento en el que se detuvo el trabajo anterior. Para obtener más información, consulta Usa las UDF de SQL.
Si un trabajo de consulta continua se retrasa en el procesamiento de los datos entrantes y tiene un retraso de la marca de agua de salida de más de 48 horas, falla. Puedes volver a ejecutar la consulta de nuevo y usar la función de historial de cambios
APPENDSoCHANGESpara reanudar el procesamiento desde el momento en el que detuviste el trabajo de la consulta continua anterior. Para obtener más información, consulta Inicia una consulta continua desde un momento en particular.Una consulta continua configurada con una cuenta de usuario puede ejecutarse durante un máximo de dos días. Una consulta continua configurada con una cuenta de servicio puede ejecutarse durante un máximo de 150 días. Cuando se alcanza el tiempo de ejecución máximo de la consulta, esta falla y deja de procesar los datos entrantes.
Aunque las consultas continuas se crean con las funciones de confiabilidad de BigQuery, pueden ocurrir problemas temporales ocasionales. Los problemas pueden generar un reprocesamiento automático de la consulta continua, lo que podría generar datos duplicados en el resultado de la consulta continua. Diseña tus sistemas downstream para controlar esas situaciones.
Limitaciones de las reservas
- Debes crear una reserva de la edición Enterprise o Enterprise Plus
con un
tipo de asignación
CONTINUOUSpara ejecutar consultas continuas. Las consultas continuas no son compatibles con el modelo de facturación de procesamiento on demand. - Cuando creas una asignación de reserva de
CONTINUOUS, la reserva asociada se limita a un máximo de 500 ranuras. Puedes solicitar un aumento de este límite comunicándote con bq-continuous-queries-feedback@google.com. - No puedes crear una asignación de reserva que use un tipo de trabajo diferente en la misma reserva que una asignación de reserva de consulta continua.
BigQuery determina la cantidad de consultas continuas que se pueden ejecutar de forma simultánea por proyecto según el tamaño configurado de la asignación de reserva que usa el tipo de trabajo
CONTINUOUS. Para admitir trabajos nuevos, BigQuery requiere un umbral de 10 ranuras por trabajo de consulta continua. La consulta no necesariamente consume las 10 ranuras durante la ejecución normal. Este umbral garantiza que cada consulta continua en ejecución mantenga la capacidad de procesamiento de referencia suficiente para controlar los aumentos repentinos en el volumen de datos entrantes sin retrasarse ni comprometer el procesamiento de baja latencia.Para asegurarte de que tus consultas se admitan correctamente sin alcanzar los límites de simultaneidad, te recomendamos que uses el ajuste de escala automático de ranuras. Con el ajuste de escala automático, el uso general de ranuras se ajustará de forma dinámica según la demanda real de recursos. Puedes configurar una reserva de referencia más pequeña y establecer un límite máximo de ajuste de escala automático que cubra cómodamente el umbral de 10 ranuras por consulta para las consultas simultáneas esperadas.
Cuando se ejecutan varias consultas continuas con la misma reserva, es posible que los trabajos individuales no dividan los recursos disponibles de manera equitativa, como se define en la equidad de BigQuery.
Ajuste de escala automático de ranuras
Las consultas continuas pueden usar el ajuste de escala automático de ranuras para escalar de forma dinámica la capacidad asignada para adaptarse a tu carga de trabajo. A medida que aumenta o disminuye la carga de trabajo de las consultas continuas, BigQuery ajusta tus ranuras de forma dinámica.
Después de que una consulta continua comienza a ejecutarse, escucha de forma activa los datos entrantes, lo que consume recursos de ranuras. Si bien una reserva con una consulta continua en ejecución no se reduce la escala verticalmente a cero ranuras, se espera que una consulta continua inactiva que principalmente escucha datos entrantes consuma una cantidad mínima de ranuras, por lo general, alrededor de 1 ranura.
Uso compartido de ranuras inactivas
Las consultas continuas pueden usar el uso compartido de ranuras inactivas para compartir recursos de ranuras sin usar con otras reservas y tipos de trabajos.
- Aún se requiere una asignación de reserva de
CONTINUOUSpara ejecutar una consulta continua y no puede depender solo de las ranuras inactivas de otras reservas. Por lo tanto, una asignación de reservaCONTINUOUSrequiere un modelo de referencia de ranuras distinto de cero o una configuración de ajuste de escala automático de ranuras distinto de cero. - Solo se pueden compartir las ranuras de modelo de referencia inactivas o las ranuras confirmadas de una asignación de reserva de
CONTINUOUS. Las ranuras con ajuste de escala automático no se pueden compartir como ranuras inactivas para otras reservas.
Precios
Las consultas continuas pueden usar el escalamiento fluido de BigQuery.
Las consultas continuas usan los
precios de procesamiento de la capacidad de BigQuery,
que se miden en ranuras.
Para ejecutar consultas continuas, debes tener una
reserva que use la
Edición Enterprise o Enterprise Plus,
y una asignación de reserva
que usa el tipo de trabajo CONTINUOUS.
El uso de otros recursos de BigQuery, como la transferencia y el almacenamiento de datos, se cobra según las tarifas que se muestran en los precios de BigQuery.
El uso de otros servicios que reciben resultados de consultas continuas o a los que se llama durante el procesamiento continuo de consultas se cobra según las tarifas publicadas para esos servicios. Para obtener información sobre los precios de otros servicios de Google Cloud que se usan en las consultas continuas, consulta los siguientes temas:
Estima los requisitos de capacidad de las ranuras
Debido a que cada carga de trabajo es diferente, a menudo no es posible realizar una estimación exacta de las ranuras para las consultas continuas por adelantado. La cantidad de ranuras que requieren tus consultas continuas depende de una combinación de varios factores:
- La cantidad de consultas continuas que se ejecutan de forma simultánea.
- La complejidad de la instrucción de SQL
- El uso de funciones de procesamiento con estado, incluidas las duraciones de las ventanas, los
JOINy las agregaciones. - La tasa o velocidad de los datos entrantes.
- La estructura y el tamaño de los datos que se transfieren.
Conceptualmente, puedes estimar tu requisito total de ranuras como una función de tu carga de trabajo de consultas continuas:
Ranuras estimadas ≈ Cantidad de consultas continuas × ∑ (Tasa de datos × Complejidad de la consulta)
Debido a que el consumo real de ranuras depende en gran medida de tu carga de trabajo y tus patrones de datos únicos, el método más preciso para estimar el costo es supervisar un trabajo en ejecución. Puedes medir el uso máximo de ranuras de una ejecución de consulta continua aislada
con las vistas INFORMATION_SCHEMA. Para obtener instrucciones detalladas y consultas de ejemplo
para hacer un seguimiento del uso de ranuras a lo largo del tiempo, consulta
Visualiza la información de consumo de ranuras.
¿Qué sigue?
Intenta crear una consulta continua.