Analiza datos multimodales en BigQuery
En este documento, se describen las funciones de BigQuery que puedes usar para crear y analizar datos multimodales. Estas funciones se pueden usar en BigQuery con GoogleSQL y con Python a través de BigQuery DataFrames.
Las funciones de datos multimodales de BigQuery te permiten realizar las siguientes tareas:
- Integra datos no estructurados almacenados en Cloud Storage como otra columna
junto con datos estructurados en tablas estándar de BigQuery
representando los datos no estructurados como valores
ObjectRef. - Genera anotaciones, incorporaciones y valores escalares a partir de datos multimodales con las funciones de IA generativa de BigQuery ML con modelos de Gemini.
- Genera anotaciones, incorporaciones y valores escalares a partir de datos multimodales creando DataFrames multimodales en BigQuery DataFrames y usando bibliotecas de Python.
Para obtener un instructivo paso a paso en el que se use la consola de Google Cloud , consulta Analiza datos multimodales con SQL y Python.
Beneficios
Las funciones de datos multimodales de BigQuery ofrecen los siguientes beneficios:
- Componibilidad: Puedes almacenar y administrar datos estructurados y no estructurados
en la misma fila de la tabla estándar con valores
ObjectRef. Por ejemplo, podrías almacenar imágenes de un producto en la misma fila que el resto de la información del producto. Puedes usar funciones de SQL estándar para crear y actualizar columnas que contengan valoresObjectRef, y puedes crear valoresObjectRefcomo el resultado de una acción de transformación en un objeto. - Agrega varios datos no estructurados en instrucciones de IA generativa:
Agrega varios valores de
ObjectRefcomo entrada para las funciones de IA generativa. Por ejemplo, puedes generar embeddings de datos de imagen y texto de la misma tabla. Para la generación de texto y valores escalares, también puedes hacer referencia a varios objetos dentro de la instrucción que envías a un modelo. Por ejemplo, puedes crear una instrucción que le pida al modelo que genere una descripción del producto basada en imágenes y atributos del producto. - Conservar el orden de los fragmentos: Puedes fragmentar objetos y, luego, almacenar los fragmentos
como un array de valores
ObjectRefen una columna de tabla estándar para conservar su orden. Por ejemplo, puedes analizar imágenes de un video y, luego, almacenarlas como un array de valoresObjectRefpara que las imágenes permanezcan en el mismo orden en que aparecen en el video original.
ObjectRef valores
Un valor ObjectRef es un valor STRUCT que usa el
esquema ObjectRef.
Puedes almacenar los metadatos de objetos de Cloud Storage y un
autorizador asociado en una
tabla estándar de BigQuery
creando una columna STRUCT o ARRAY<STRUCT> que use este formato.
El valor del autorizador identifica la
conexión a recursos de Cloud
que usa BigQuery para acceder al objeto de Cloud Storage.
Si configuras el autorizador como NULL, BigQuery usará las credenciales de usuario de tu Cuenta de Google.
Usa valores ObjectRef cuando necesites integrar datos no estructurados en una
tabla estándar. Por ejemplo, en una tabla de productos, puedes almacenar imágenes de productos
en la misma fila con el resto de la información del producto agregando una columna
que contenga un valor ObjectRef.
Crea y actualiza valores ObjectRef con las siguientes
funciones de GoogleSQL:
OBJ.MAKE_REF: Crea un valorObjectRefque contenga metadatos para un objeto de Cloud Storage.OBJ.FETCH_METADATA: Recupera los metadatos de Cloud Storage para un valorObjectRefque se propaga de forma parcial con los valoresuriyauthorizer.OBJ.LIST: Devuelve una tabla de metadatos y valoresObjectRefpara los archivos almacenados en Cloud Storage.
Para obtener más información, consulta Trabaja con valores de ObjectRef.
ObjectRefRuntime valores
Un valor ObjectRefRuntime es un valor JSON que usa el
esquema ObjectRefRuntime.
Un valor ObjectRefRuntime contiene los metadatos del objeto de Cloud Storage
del valor ObjectRef que se usó para crearlo, un autorizador asociado
y las URLs de acceso. Puedes usar las URLs de acceso para leer o modificar el objeto en
Cloud Storage.
Usa valores ObjectRefRuntime para trabajar con datos de objetos en flujos de trabajo de análisis y
transformación. Las URLs de acceso en los valores de ObjectRefRuntime vencen
después de 6 horas como máximo, aunque puedes configurar un tiempo de vencimiento más corto. Si
conservas los valores de ObjectRefRuntime en cualquier lugar como parte de tu flujo de trabajo, debes
actualizar estos datos con regularidad. Para conservar los metadatos de los objetos, almacena
los valores ObjectRef y, luego, úsalos para generar los valores ObjectRefRuntime
cuando los necesites. No es necesario actualizar los valores de ObjectRef, a menos que
se modifiquen los objetos subyacentes en Cloud Storage.
Crea valores ObjectRefRuntime con la
función OBJ.GET_ACCESS_URL.
Funciones generativas de IA
Genera texto, embeddings y valores escalares basados en la entrada de ObjectRef
con las siguientes funciones de IA generativa con
modelos de Gemini:
AI.GENERATEAI.GENERATE_TEXTAI.GENERATE_TABLEAI.GENERATE_BOOLAI.GENERATE_DOUBLEAI.GENERATE_INTAI.GENERATE_EMBEDDINGAI.EMBEDAI.SIMILARITYAI.CLASSIFYAI.IFAI.SCORE
Trabaja con datos multimodales en Python
Puedes analizar datos multimodales en Python con las clases y los métodos de BigQuery DataFrames.
DataFrames multimodales
Crea un DataFrame multimodal que integre datos estructurados y no estructurados
con el
método read_gbq:
crea un DataFrame multimodal a partir de una tabla de objetos.
Para probarlo, consulta el instructivo de DataFrames multimodales en GitHub.
Métodos de IA generativa
Usa los siguientes métodos para realizar tareas de IA generativa en datos multimodales:
- Método
predictde la claseGeminiTextGenerator: Genera texto basado en datos multimodales. - Método
predictde la claseMultimodalEmbeddingGenerator: Genera embeddings basados en datos multimodales.
Tablas de objetos
Cualquier tabla de objetos nueva
que crees tendrá una columna ref que contendrá un valor ObjectRef para el
objeto determinado. La conexión que se usa para crear la tabla de objetos se usa
para propagar los valores authorizer en la columna ref. Puedes usar la columna
ref para propagar y actualizar los valores de ObjectRef en las tablas estándar.
Conjuntos de datos de Storage Insights
Un conjunto de datos de Storage Insights es un conjunto de datos de BigQuery vinculado
que puedes consultar para analizar y visualizar tus datos de Cloud Storage. La
columna ref
contiene valores ObjectRef que puedes usar para
analizar datos y metadatos de objetos.
Limitaciones
Las siguientes limitaciones se aplican a las funciones de datos multimodales de BigQuery:
- Si no especificas de forma explícita el nombre del proyecto que contiene la
conexión en el campo
authorizerde un valorObjectRef, la conexión debe existir en el proyecto que contiene la tabla de objetos que la almacena o en el proyecto en el que se ejecuta la consulta que hace referencia al valorObjectRef. - No puedes tener más de 20 conexiones a recursos de Cloud en el proyecto y
la región en los que tu consulta accede a los datos de objetos como valores
ObjectRef. - Puedes hacer referencia a los valores de
ObjectRefde un máximo de cinco proyectos, además del proyecto en el que ejecutas la consulta.
Precios
Se incurre en los siguientes costos cuando usas datos multimodales:
- El almacenamiento de metadatos de objetos como valores
ObjectRefen tablas estándar contribuye al costo de almacenamiento de BigQuery para la tabla. - Las consultas que se ejecutan en valores
ObjectRefgeneran costos de procesamiento de BigQuery. - Los objetos nuevos que creas a partir de transformaciones de objetos generan costos de Cloud Storage.
- Los datos nuevos que crees y conserves en BigQuery generan costos de almacenamiento de BigQuery.
- Cuando usas funciones de IA generativa, incurres en costos de Gemini Enterprise Agent Platform.
- Cuando usas las UDF de Python de BigQuery, los DataFrames multimodales y los métodos de transformación de objetos en BigQuery DataFrames, incurres en costos de UDF de Python.
- Las funciones de
OBJ, comoOBJ.LISTyOBJ.GET_READ_URL, solo procesan metadatos, no los bytes de archivo subyacentes. Se generan costos cuando pasas la referencia del objeto que se muestra a una función IA downstream que lee el contenido del archivo, por ejemplo,AI.GENERATEoAI.IF.
Para obtener más información, consulta las siguientes páginas de precios:
- Precios de BigQuery
- Precios de las UDF de Python de BigQuery
- Precios de Agent Platform
- Precios de Cloud Storage
¿Qué sigue?
- Especifica columnas
ObjectRefen esquemas de tablas. - Analiza datos multimodales con SQL.
- Obtén más información sobre la IA generativa en BigQuery ML.
- Obtén más información sobre BigQuery DataFrames.