Analiza datos multimodales en BigQuery

En este documento, se describen las funciones de BigQuery que puedes usar para crear y analizar datos multimodales. Estas funciones se pueden usar en BigQuery con GoogleSQL y con Python a través de BigQuery DataFrames.

Las funciones de datos multimodales de BigQuery te permiten realizar las siguientes tareas:

  • Integra datos no estructurados almacenados en Cloud Storage como otra columna junto con datos estructurados en tablas estándar de BigQuery representando los datos no estructurados como valores ObjectRef.
  • Genera anotaciones, incorporaciones y valores escalares a partir de datos multimodales con las funciones de IA generativa de BigQuery ML con modelos de Gemini.
  • Genera anotaciones, incorporaciones y valores escalares a partir de datos multimodales creando DataFrames multimodales en BigQuery DataFrames y usando bibliotecas de Python.

Para obtener un instructivo paso a paso en el que se use la consola de Google Cloud , consulta Analiza datos multimodales con SQL y Python.

Beneficios

Las funciones de datos multimodales de BigQuery ofrecen los siguientes beneficios:

  • Componibilidad: Puedes almacenar y administrar datos estructurados y no estructurados en la misma fila de la tabla estándar con valores ObjectRef. Por ejemplo, podrías almacenar imágenes de un producto en la misma fila que el resto de la información del producto. Puedes usar funciones de SQL estándar para crear y actualizar columnas que contengan valores ObjectRef, y puedes crear valores ObjectRef como el resultado de una acción de transformación en un objeto.
  • Agrega varios datos no estructurados en instrucciones de IA generativa: Agrega varios valores de ObjectRef como entrada para las funciones de IA generativa. Por ejemplo, puedes generar embeddings de datos de imagen y texto de la misma tabla. Para la generación de texto y valores escalares, también puedes hacer referencia a varios objetos dentro de la instrucción que envías a un modelo. Por ejemplo, puedes crear una instrucción que le pida al modelo que genere una descripción del producto basada en imágenes y atributos del producto.
  • Conservar el orden de los fragmentos: Puedes fragmentar objetos y, luego, almacenar los fragmentos como un array de valores ObjectRef en una columna de tabla estándar para conservar su orden. Por ejemplo, puedes analizar imágenes de un video y, luego, almacenarlas como un array de valores ObjectRef para que las imágenes permanezcan en el mismo orden en que aparecen en el video original.

ObjectRef valores

Un valor ObjectRef es un valor STRUCT que usa el esquema ObjectRef. Puedes almacenar los metadatos de objetos de Cloud Storage y un autorizador asociado en una tabla estándar de BigQuery creando una columna STRUCT o ARRAY<STRUCT> que use este formato. El valor del autorizador identifica la conexión a recursos de Cloud que usa BigQuery para acceder al objeto de Cloud Storage. Si configuras el autorizador como NULL, BigQuery usará las credenciales de usuario de tu Cuenta de Google.

Usa valores ObjectRef cuando necesites integrar datos no estructurados en una tabla estándar. Por ejemplo, en una tabla de productos, puedes almacenar imágenes de productos en la misma fila con el resto de la información del producto agregando una columna que contenga un valor ObjectRef.

Crea y actualiza valores ObjectRef con las siguientes funciones de GoogleSQL:

  • OBJ.MAKE_REF: Crea un valor ObjectRef que contenga metadatos para un objeto de Cloud Storage.
  • OBJ.FETCH_METADATA: Recupera los metadatos de Cloud Storage para un valor ObjectRef que se propaga de forma parcial con los valores uri y authorizer.
  • OBJ.LIST: Devuelve una tabla de metadatos y valores ObjectRef para los archivos almacenados en Cloud Storage.

Para obtener más información, consulta Trabaja con valores de ObjectRef.

ObjectRefRuntime valores

Un valor ObjectRefRuntime es un valor JSON que usa el esquema ObjectRefRuntime. Un valor ObjectRefRuntime contiene los metadatos del objeto de Cloud Storage del valor ObjectRef que se usó para crearlo, un autorizador asociado y las URLs de acceso. Puedes usar las URLs de acceso para leer o modificar el objeto en Cloud Storage.

Usa valores ObjectRefRuntime para trabajar con datos de objetos en flujos de trabajo de análisis y transformación. Las URLs de acceso en los valores de ObjectRefRuntime vencen después de 6 horas como máximo, aunque puedes configurar un tiempo de vencimiento más corto. Si conservas los valores de ObjectRefRuntime en cualquier lugar como parte de tu flujo de trabajo, debes actualizar estos datos con regularidad. Para conservar los metadatos de los objetos, almacena los valores ObjectRef y, luego, úsalos para generar los valores ObjectRefRuntime cuando los necesites. No es necesario actualizar los valores de ObjectRef, a menos que se modifiquen los objetos subyacentes en Cloud Storage.

Crea valores ObjectRefRuntime con la función OBJ.GET_ACCESS_URL.

Funciones generativas de IA

Genera texto, embeddings y valores escalares basados en la entrada de ObjectRef con las siguientes funciones de IA generativa con modelos de Gemini:

Trabaja con datos multimodales en Python

Puedes analizar datos multimodales en Python con las clases y los métodos de BigQuery DataFrames.

DataFrames multimodales

Crea un DataFrame multimodal que integre datos estructurados y no estructurados con el método read_gbq: crea un DataFrame multimodal a partir de una tabla de objetos.

Para probarlo, consulta el instructivo de DataFrames multimodales en GitHub.

Métodos de IA generativa

Usa los siguientes métodos para realizar tareas de IA generativa en datos multimodales:

Tablas de objetos

Cualquier tabla de objetos nueva que crees tendrá una columna ref que contendrá un valor ObjectRef para el objeto determinado. La conexión que se usa para crear la tabla de objetos se usa para propagar los valores authorizer en la columna ref. Puedes usar la columna ref para propagar y actualizar los valores de ObjectRef en las tablas estándar.

Conjuntos de datos de Storage Insights

Un conjunto de datos de Storage Insights es un conjunto de datos de BigQuery vinculado que puedes consultar para analizar y visualizar tus datos de Cloud Storage. La columna ref contiene valores ObjectRef que puedes usar para analizar datos y metadatos de objetos.

Limitaciones

Las siguientes limitaciones se aplican a las funciones de datos multimodales de BigQuery:

  • Si no especificas de forma explícita el nombre del proyecto que contiene la conexión en el campo authorizer de un valor ObjectRef, la conexión debe existir en el proyecto que contiene la tabla de objetos que la almacena o en el proyecto en el que se ejecuta la consulta que hace referencia al valor ObjectRef.
  • No puedes tener más de 20 conexiones a recursos de Cloud en el proyecto y la región en los que tu consulta accede a los datos de objetos como valores ObjectRef.
  • Puedes hacer referencia a los valores de ObjectRef de un máximo de cinco proyectos, además del proyecto en el que ejecutas la consulta.

Precios

Se incurre en los siguientes costos cuando usas datos multimodales:

  • El almacenamiento de metadatos de objetos como valores ObjectRef en tablas estándar contribuye al costo de almacenamiento de BigQuery para la tabla.
  • Las consultas que se ejecutan en valores ObjectRef generan costos de procesamiento de BigQuery.
  • Los objetos nuevos que creas a partir de transformaciones de objetos generan costos de Cloud Storage.
  • Los datos nuevos que crees y conserves en BigQuery generan costos de almacenamiento de BigQuery.
  • Cuando usas funciones de IA generativa, incurres en costos de Gemini Enterprise Agent Platform.
  • Cuando usas las UDF de Python de BigQuery, los DataFrames multimodales y los métodos de transformación de objetos en BigQuery DataFrames, incurres en costos de UDF de Python.
  • Las funciones de OBJ, como OBJ.LIST y OBJ.GET_READ_URL, solo procesan metadatos, no los bytes de archivo subyacentes. Se generan costos cuando pasas la referencia del objeto que se muestra a una función IA downstream que lee el contenido del archivo, por ejemplo, AI.GENERATE o AI.IF.

Para obtener más información, consulta las siguientes páginas de precios:

¿Qué sigue?