Para consultar datos analíticos en vivo en BigQuery directamente desde AlloyDB para PostgreSQL sin ejecutar migraciones de extracción, transformación y carga (ETL), puedes configurar la federación de lakehouse. La federación de lakehouse unifica tu base de datos operativa y tu almacén de datos analítico para que puedas admitir estadísticas en tiempo real y aplicaciones interactivas sin mantener canalizaciones de datos independientes. Para obtener más información, consulta Descripción general del acceso a datos en tiempo real.
Con esta integración, puedes ejecutar consultas en AlloyDB que accedan a los datos de BigQuery en tiempo real y unir tablas operativas en AlloyDB con tablas externas que hagan referencia a tus conjuntos de datos de BigQuery.
Antes de configurar la federación de lakehouse, necesitas un clúster y una instancia principal de AlloyDB, y un conjunto de datos y tablas de BigQuery. Para obtener más información, consulta Crea conjuntos de datos y Crea y usa tablas.
Antes de comenzar
- Habilita la
marca
bigquery_fdw.enableden la instancia de AlloyDB para PostgreSQL. - Familiarízate con los tipos de datos admitidos.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
Roles required to select or create a project
- Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
-
Create a project: To create a project, you need the Project Creator role
(
roles/resourcemanager.projectCreator), which contains theresourcemanager.projects.createpermission. Learn how to grant roles.
-
Verify that billing is enabled for your Google Cloud project.
Enable the AlloyDB, Compute Engine, Resource Manager, and BigQuery APIs, if any are not already enabled.
Roles required to enable APIs
To enable APIs, you need the
serviceusage.services.enablepermission. If you created the project, then you likely already have this permission through the Owner role (roles/owner). Otherwise, you can get this permission through the Service Usage Admin role (roles/serviceusage.serviceUsageAdmin). Learn how to grant roles.-
Habilita las API de Cloud necesarias para crear AlloyDB y conectarse a ella.
En el paso Confirmar proyecto, haz clic en Siguiente para confirmar el nombre del proyecto en el que realizarás cambios.
En el paso Habilitar APIs, haz clic en Habilitar para habilitar lo siguiente:
- API de AlloyDB
- API de Compute Engine
- API de Cloud Resource Manager
- API de Service Networking
- API de BigQuery Storage
- API de BigQuery
La API de Service Networking es obligatoria si planeas configurar la conectividad de red a AlloyDB con una red de VPC que resida en el mismo proyecto de Google Cloud que AlloyDB.
Las APIs de Compute Engine y de Resource Manager son necesarias si planeas configurar la conectividad de red a AlloyDB con una red de VPC que reside en un proyecto de Google Cloud diferente.
Roles obligatorios
Para otorgar acceso de lectura al conjunto de datos de BigQuery a la cuenta de servicio del clúster de AlloyDB, necesitas los siguientes permisos. Para obtener más información, consulta Otorga acceso de AlloyDB al conjunto de datos de BigQuery.
- Visualizador de datos de BigQuery
(
roles/bigquery.dataViewer) o cualquier rol personalizado con los permisosbigquery.tables.getybigquery.tables.getData. Cuando se otorga en una tabla o vista, este rol proporciona permisos para leer datos y metadatos de la tabla o vista. - Usuario de sesión de lectura de BigQuery
(
roles/bigquery.readSessionUser) o cualquier rol personalizado con los permisosbigquery.readsessions.createybigquery.readsessions.getData. Proporciona la capacidad de crear y usar sesiones de lectura. - Usuario de trabajo de BigQuery (
roles/bigquery.jobUser) o cualquier rol personalizado con permisosbigquery.jobs.create. Proporciona permisos para ejecutar trabajos, incluidas las consultas, dentro del proyecto con la API de BigQuery. Este rol solo se puede otorgar en los recursos de Resource Manager (proyectos, carpetas y organizaciones). Cuando proporcionas un proyecto de entorno de ejecución independiente, el trabajo se ejecuta en ese proyecto en lugar de en el proyecto de datos. Esto significa que debes otorgar el rol de usuario de trabajo en el proyecto de entorno de ejecución.
Para acceder a las tablas de BigLake Metastore, sigue estos pasos:
- Visualizador de BigLake
(
roles/biglake.viewer) o cualquier rol personalizado con los permisosbiglake.catalogs.get,biglake.namespaces.get,biglake.tables.getybiglake.tables.getData. Proporciona permisos para leer catálogos, espacios de nombres y tablas de BigLake Metastore. - Visualizador de objetos de Storage
(
roles/storage.objectViewer) o cualquier rol personalizado con permisosstorage.objects.get. Proporciona permisos para acceder a las tablas externas de BigQuery y leer los objetos de Cloud Storage subyacentes que respaldan las tablas de BigLake y BigLake Metastore. Se debe otorgar a nivel de proyecto o de bucket.
Otorga acceso de AlloyDB al conjunto de datos de BigQuery
Después de habilitar los roles y permisos necesarios para la federación de lakehouse, debes otorgar a la cuenta de servicio del clúster de AlloyDB acceso al conjunto de datos de BigQuery.
La consola de Google Cloud otorga de forma automática los permisos necesarios a la cuenta de servicio del clúster cuando conectas una tabla de BigQuery con AlloyDB Studio.
Para otorgar acceso con gcloud CLI, sigue estos pasos:
gcloud
Para usar gcloud CLI, puedes instalar e inicializar Google Cloud CLI, o bien puedes usar Cloud Shell.
Abre gcloud CLI. Si no tienes instalada la gcloud CLI, instálala y, luego, inicialízala, o usa Cloud Shell.
Ejecuta el comando
gcloud beta alloydb clusters describe:gcloud beta alloydb clusters describe CLUSTER --region=REGIONReemplaza lo siguiente:
CLUSTER: Es el ID del clúster de AlloyDB.REGION: Es la ubicación del clúster de AlloyDB, por ejemplo,asia-east1,us-east1. Consulta la lista completa de regiones en Ubicaciones de AlloyDB.
El resultado contiene un campo
serviceAccountEmail, que es la cuenta de servicio de este clúster. También puedes encontrar la cuenta de servicio en la página Descripción general del clúster.Otorga los permisos necesarios. Para obtener más información, consulta Controla el acceso a los recursos con la IAM.
Si la cuenta de servicio del clúster no tiene los permisos necesarios, aparecen los siguientes errores cuando se ejecuta una consulta en la tabla de BigQuery:
The user does not have bigquery.readsessions.create permissionsPermission bigquery.tables.get denied on tablePermission bigquery.tables.getData denied on table
Configura la extensión
Para configurar la extensión, sigue estos pasos:
Console
Ve a la página Clústeres.
Haz clic en el ID del clúster que quieres usar.
En el menú de navegación, haz clic en AlloyDB Studio.
Accede a tu base de datos.
En el panel Explorador, expande el esquema correspondiente.
Haz clic en el menú Acciones junto a Tablas de BigQuery y, luego, en Conectar tabla de BigQuery.
En el panel Conectar tabla de BigQuery, elige un proyecto de origen, un conjunto de datos de origen y una tabla.
En la tabla Revisa y selecciona las columnas, se muestran las columnas de la tabla seleccionada. Selecciona las columnas que quieras asignar.
En el campo Nombre de la tabla, ingresa un nombre para la tabla externa.
Opcional: Haz clic en Ver comando SQL para ver el comando generado.
Haz clic en Conectar tabla. Aparecerá un diálogo que muestra el progreso. Después de que se complete el proceso, puedes consultar la tabla como lo harías con cualquier tabla en AlloyDB.
psql
Crea la extensión.
- Conéctate a la instancia de AlloyDB con el cliente de psql siguiendo las instrucciones que se indican en Conecta un cliente de psql a una instancia. También puedes usar AlloyDB Studio. Para obtener más información, consulta Administra tus datos con la consola de Google Cloud .
Ejecuta el comando siguiente:
CREATE EXTENSION bigquery_fdw;
Crea un servidor externo para definir los parámetros de conexión del conjunto de datos remoto de BigQuery.
CREATE SERVER BIGQUERY_SERVER_NAME FOREIGN DATA WRAPPER bigquery_fdw OPTIONS (runtime_project 'RUNTIME_PROJECT_ID');Reemplaza lo siguiente:
BIGQUERY_SERVER_NAME: Es el identificador único del servidor externo. Define esto una vez en una base de datos determinada. Puedes reemplazarBIGQUERY_SERVER_NAMEpor el nombre de tu servidor.RUNTIME_PROJECT_ID: es opcional. Es el ID del proyecto de Google Cloud que procesa la consulta y acumula los costos de procesamiento. Si omites este ID, las consultas se facturan al proyecto que almacena los datos.
Ejecuta el comando
CREATE USER MAPPINGpara crear la asignación de usuario, que asigna un usuario local de PostgreSQL que deseas conectar al servidor externo.CREATE USER MAPPING FOR USERNAME SERVER BIGQUERY_SERVER_NAME ;Reemplaza lo siguiente:
USERNAME: Es un nombre de usuario de la base de datos o un usuario de IAM que accede a la tabla externa.BIGQUERY_SERVER_NAME: Es el identificador único del servidor externo que creaste.
Define tablas externas que correspondan a las tablas a las que deseas acceder en BigQuery con el comando
CREATE FOREIGN TABLE. Este comando te permite definir la estructura de una tabla remota. La tabla externa puede tener todas las columnas de la tabla de origen en BigQuery o un subconjunto de ellas.CREATE FOREIGN TABLE TABLENAME ( COLUMN1_NAME DATA_TYPE, COLUMN2_NAME DATA_TYPE, ... ) SERVER BIGQUERY_SERVER_NAME OPTIONS ( project 'BIGQUERY_PROJECT_ID', dataset 'BIGQUERY_DATASET_NAME', table 'BIGQUERY_TABLE_NAME', runtime_project 'RUNTIME_PROJECT_ID' );Reemplaza lo siguiente:
TABLENAME: Es el nombre de la tabla externa en la base de datos local de AlloyDB.COLUMNX_NAME: Es el nombre de la columna de AlloyDB. El nombre de la columna debe coincidir exactamente con el nombre de la columna correspondiente en la tabla de origen de BigQuery.Xindica que la tabla se puede crear con varias columnas. El nombre también debe coincidir con el uso de mayúsculas y minúsculas exacto de la columna de BigQuery. Si el nombre de la columna de BigQuery contiene letras mayúsculas (por ejemplo,employeeID), el identificador de AlloyDB debe estar entre comillas dobles (por ejemplo,"employeeID") para conservar las letras mayúsculas o mixtas.DATA_TYPE: Es el tipo de datos de la columna. Cuando definas elDATA_TYPEpara cada columna de tu tabla externa, verifica que sea un tipo de PostgreSQL compatible. Para obtener más información sobre cómo se convierten los tipos de BigQuery, consulta Asignaciones de tipos de datos.BIGQUERY_SERVER_NAME: Es el identificador único del servidor externo que creaste.BIGQUERY_PROJECT_ID: Es el ID del proyecto en el que reside el conjunto de datos de BigQuery.BIGQUERY_DATASET_NAME: Es el nombre del conjunto de datos de BigQuery para la tabla.BIGQUERY_TABLE_NAME: Es el nombre de la tabla de BigQuery.RUNTIME_PROJECT_ID: es opcional. Es el ID del proyecto de Google Cloud que se facturará por la ejecución de la consulta. Si configuras esto a nivel de la tabla, se anula el proyecto de entorno de ejecución definido a nivel del servidor.
Después de crear la tabla externa, puedes consultarla de la misma manera que consultas cualquier tabla en AlloyDB.
Asignaciones de tipos de datos
Usa la siguiente tabla para obtener información sobre las asignaciones de tipos de datos entre BigQuery y AlloyDB. Para obtener más información, consulta Consideraciones sobre los tipos de datos para las consultas federadas.
En la siguiente tabla, se enumeran las asignaciones de tipos de datos entre BigQuery y AlloyDB.
| Tipos de datos de la tabla de BigQuery | Tipos de datos recomendados para tablas externas de PostgreSQL |
|---|---|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Para obtener más información, consulta PostGIS_Geography. |
|
|
|
Para obtener más información, consulta la extensión |