Crea conexiones entre nubes

Las conexiones entre nubes son conexiones de BigQuery que transfieren datos de Amazon Web Services (AWS), Microsoft Azure y Salesforce Data 360 a BigQuery para realizar consultas. Estas conexiones son una alternativa a las conexiones estándar de BigQuery que usan BigQuery Omni, en las que BigQuery implementa trabajadores de procesamiento ligeros en regiones remotas para que los datos de otras nubes estén disponibles para las consultas sin necesidad de mover datos.

Las cargas de trabajo pueden beneficiarse de las conexiones entre nubes en comparación con las conexiones estándar por los siguientes motivos:

  • Coherencia de las funciones: Cuando transfieres tus datos de otras nubes a BigQuery, obtienes acceso directo a las capacidades de IA de BigQuery, Gemini Enterprise Agent Platform, vistas materializadas, funciones definidas por el usuario y otras funciones que no están disponibles a través de las conexiones estándares.
  • Rentabilidad: Las cargas de trabajo que usan conexiones entre nubes consumen reservas y compromisos de ranuras estándar, lo que elimina la necesidad de administrar capacidades de procesamiento separadas.
  • Almacenamiento en caché inteligente. Mientras se transfieren los datos entre nubes, BigQuery almacena en caché automáticamente los fragmentos de forma local, lo que evita cargos significativos por salida entre nubes en las consultas posteriores. Para obtener más información, consulta Almacenamiento en caché inteligente.

Si tu carga de trabajo involucra catálogos de Apache Iceberg o necesitas compatibilidad con consultas en motores que no sean BigQuery, considera usar la capacidad de acceso a los datos entre nubes de Lakehouse sin límites.

Antes de comenzar

Otorga roles de Identity and Access Management y de terceros que les brindan a los usuarios los permisos necesarios para realizar cada tarea de este documento.

Roles de BigQuery requeridos

Para obtener los permisos que necesitas para crear una conexión entre nubes, pídele a tu administrador que te otorgue el rol de IAM de administrador de BigQuery (roles/bigquery.admin) en el proyecto. Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso a proyectos, carpetas y organizaciones.

También puedes obtener los permisos necesarios a través de roles personalizados o cualquier otro rol predefinido.

Roles de terceros obligatorios

Para obtener los permisos que necesitas para crear una conexión entre nubes, asegúrate de tener los siguientes roles de terceros:

  • Para AWS: Un rol que te permite crear políticas y roles de IAM en tu cuenta de AWS
  • Para Azure: Un rol que te permite administrar registros de aplicaciones en Microsoft Entra ID (Azure AD) y asignar roles, como el de lector de datos de Blob Storage, en la cuenta de Azure de destino.

Crea conexiones entre nubes de AWS

Para crear una conexión entre nubes de AWS, haz lo siguiente:

  1. Crea una política de IAM de AWS para BigQuery como lo harías para las conexiones estándar de BigQuery.
  2. Crea un rol de IAM de AWS para BigQuery como lo harías para las conexiones estándar de BigQuery.
  3. Para crear un recurso de conexión, usa el comando bq mk --connection:

    bq mk --connection \
        --connection_type='AWS' \
        --location=LOCATION \
        --project_id=PROJECT_ID \
        --properties='{"accessRole":{"iamRoleId":"arn:aws:iam::AWS_ACCOUNT_ID:role/ROLE_NAME"}}' \
        CONNECTION_ID

    Reemplaza lo siguiente:

    • LOCATION: Una ubicación de BigQuery estándar, no una ubicación de BigQuery Omni. Para obtener orientación sobre cómo seleccionar una región, consulta Recomendaciones de regiones.
    • PROJECT_ID: Es el ID de tu proyecto de Google Cloud .
    • AWS_ACCOUNT_ID: Es el ID del usuario de IAM de AWS del paso anterior.
    • ROLE_NAME: Es el nombre de la política del rol de AWS que elegiste.
    • CONNECTION_ID: Es un ID que se le asigna a este recurso de conexión.
  4. Para anotar la información de la cuenta de servicio, usa el comando bq show:

    bq show --connection \
        --location=LOCATION \
        PROJECT_ID.LOCATION.CONNECTION_ID
  5. Agrega una política de confianza al rol de AWS con la información de la cuenta de servicio, como lo harías para las conexiones estándar de BigQuery.

Con la conexión entre nubes de AWS establecida, ahora puedes crear tablas y conjuntos de datos para consultar tus datos remotos.

Ejemplos de AWS

En el siguiente ejemplo, se crea una tabla externa para consultar archivos Parquet directamente desde un bucket de Amazon Simple Storage Service (Amazon S3) con una conexión entre nubes:

CREATE SCHEMA `my-project.aws_raw_data`
  OPTIONS (
    location = 'us-east4');

CREATE EXTERNAL TABLE `my-project.aws_raw_data.sales_parquet`
WITH CONNECTION `us-east4.my-aws-connection`
  OPTIONS (
    format = 'PARQUET',
    uris = ['s3://my-data-bucket/sales/year=2025/*']);

En el siguiente ejemplo, se federa una base de datos completa en BigQuery con AWS Glue y una conexión entre nubes:

CREATE EXTERNAL SCHEMA `my-project.aws_glue_data`
WITH CONNECTION `us-east4.my-aws-connection`
  OPTIONS (
    location = 'us-east4',
    external_source = 'aws-glue://arn:aws:glue:us-east-4:123456789:database/test_database');

Para obtener más información sobre la federación de AWS Glue, consulta Crea y administra conjuntos de datos federados de AWS Glue.

Crea conexiones entre nubes de Azure

Para crear una conexión entre nubes de Azure, haz lo siguiente:

  1. Crea una aplicación en tu instancia de Azure como lo harías para las conexiones estándar de BigQuery y toma nota de los IDs de la aplicación (cliente) y del directorio (inquilino).
  2. Asigna un rol a la aplicación de Azure como lo harías para las conexiones estándar de BigQuery.
  3. Para crear un recurso de conexión, usa el comando bq mk --connection:

    bq mk --connection \
        --connection_type='Azure' \
        --tenant_id=TENANT_ID \
        --location=LOCATION \
        --federated_azure=true \
        --federated_app_client_id=APP_ID \
        --project_id=PROJECT_ID \
        CONNECTION_ID

    Reemplaza lo siguiente:

    • TENANT_ID: Es el ID de usuario del directorio de Azure que contiene la cuenta de Azure.
    • LOCATION: Una ubicación de BigQuery estándar, no una ubicación de BigQuery Omni. Para obtener orientación sobre cómo seleccionar una región, consulta Recomendaciones de regiones.
    • APP_ID: El ID de la aplicación (cliente) de Azure.
    • PROJECT_ID: Es el ID de tu proyecto de Google Cloud .
    • CONNECTION_ID: Es un ID que se le asigna a este recurso de conexión.
  4. Para anotar la información de la cuenta de servicio, usa el comando bq show:

    bq show --connection \
        --location=LOCATION \
        PROJECT_ID.LOCATION.CONNECTION_ID
  5. Agrega una credencial federada con la información de la cuenta de servicio, como lo harías para las conexiones estándar de BigQuery.

Con tu conexión entre nubes de Azure establecida, ahora puedes crear tablas y conjuntos de datos para consultar tus datos remotos.

Ejemplos de Azure

En el siguiente ejemplo, se crea una tabla externa para consultar archivos Parquet directamente desde un contenedor de Azure Blob Storage con una conexión entre nubes:

CREATE SCHEMA `my-project.azure_raw_data`
  OPTIONS (
    location = 'us-east4');

CREATE EXTERNAL TABLE `my-project.azure_raw_data.sales_parquet`
WITH CONNECTION `us-east4.my-azure-connection`
  OPTIONS (
    format = 'PARQUET',
    uris = ['azure://mystorageaccount.blob.core.windows.net/mycontainer/sales/year=2025/*']);

En el siguiente ejemplo, se crea una tabla externa para consultar las exportaciones sin procesar de CSV desde un contenedor de Blob Storage con una conexión entre nubes:

CREATE EXTERNAL TABLE `my-project.azure_raw_data.daily_logs_csv`
WITH CONNECTION `us-east4.my-azure-connection`
  OPTIONS (
    format = 'CSV',
    skip_leading_rows = 1,
    uris = ['azure://mystorageaccount.blob.core.windows.net/mycontainer/logs/*.csv']);

Crea conexiones entre nubes de Data 360

Para crear una conexión entre nubes de Data 360, sigue los pasos para vincular un conjunto de datos de Data 360 a BigQuery, pero, en lugar de crear el conjunto de datos vinculado en una ubicación de BigQuery Omni, créalo en una ubicación de BigQuery estándar. Para obtener orientación sobre cómo seleccionar una región, consulta Recomendaciones de regiones.

Después de actualizar tus consultas para que usen los nuevos conjuntos de datos, puedes borrar los conjuntos de datos vinculados heredados y las vistas materializadas de BigQuery Omni.

Recomendaciones de regiones

Cuando selecciones una región estándar de BigQuery para tu conexión entre nubes, elige la región que esté físicamente más cerca de tus datos para optimizar la eficiencia del costo y el rendimiento.

En la siguiente tabla, se enumeran las regiones de AWS y las regiones de BigQuery correspondientes más adecuadas:

Región de AWS Región de BigQuery más cercana Otras regiones cercanas de BigQuery
us-east-1 us-east4 us-east1
us-east5
us-central1
us-east-2 us-east5 us-east4
us-east1
us-central1
us-west-1 us-west2 us-west4
us-west1
us-west3
us-west-2 us-west1 us-west3
us-west4
us-west2
ca-central-1 northamerica-northeast1 northamerica-northeast2
us-east4
us-east5
sa-east-1 southamerica-east1 southamerica-west1
us-east1
us-south1
eu-west-1 europe-west1 europe-west2
europe-west9
europe-west4
eu-west-2 europe-west2 europe-west1
europe-west9
europe-west4
eu-west-3 europe-west9 europe-west1
europe-west2
europe-west3
eu-central-1 europe-west3 europe-west4
europe-west1
europe-west6
eu-central-2 europe-west6 europe-west8
europe-west12
europe-west3
eu-north-1 europe-north1 europe-west4
europe-central2
europe-west1
eu-south-1 europe-west8 europe-west12
europe-west6
europe-west3
eu-south-2 europe-southwest1 europe-west9
europe-west1
europe-west8
me-central-1 me-central1 me-central2
me-west1
asia-south1
me-south-1 me-central2 me-central1
me-west1
asia-south1
af-south-1 europe-southwest1 me-central2
me-west1
europe-west1
ap-east-1 asia-east2 asia-east1
asia-southeast1
asia-northeast1
ap-northeast-1 asia-northeast1 asia-northeast2
asia-northeast3
asia-east1
ap-northeast-2 asia-northeast3 asia-northeast2
asia-northeast1
asia-east1
ap-northeast-3 asia-northeast2 asia-northeast1
asia-northeast3
asia-east1
ap-south-1 asia-south1 asia-south2
me-central1
asia-southeast1
ap-south-2 asia-south2 asia-south1
asia-southeast1
me-central1
ap-southeast-1 asia-southeast1 asia-southeast2
asia-east1
asia-south1
ap-southeast-2 australia-southeast1 australia-southeast2
asia-southeast2
asia-southeast1
ap-southeast-3 asia-southeast2 asia-southeast1
australia-southeast1
asia-east1

En la siguiente tabla, se enumeran las regiones de Azure y las regiones de BigQuery correspondientes más adecuadas:

Región de Azure Región de BigQuery más cercana Otras regiones cercanas de BigQuery
EE.UU. este us-east4 us-east1
us-east5
us-central1
EE.UU. este 2 us-east4 us-east1
us-east5
us-south1
EE.UU. oeste us-west1 us-west2
us-west3
us-west4
EE.UU. oeste 2 us-west1 us-west4
us-west3
us-west2
EE.UU. oeste 3 us-west4 us-west2
us-west3
us-west1
EE.UU. central us-central1 us-east5
us-east4
us-east1
EE.UU. norte central us-east5 us-central1
us-east4
us-east1
EE.UU. sur central us-south1 us-east5
us-central1
us-east1
EE.UU. oeste central us-west3 us-central1
us-west4
us-west2
Canadá central northamerica-northeast2 northamerica-northeast1
us-east5
us-east4
Canadá este northamerica-northeast1 northamerica-northeast2
us-east4
us-east5
Europa oeste europe-west4 europe-west1
europe-west3
europe-west9
Europa norte europe-west1 europe-west2
europe-west9
europe-west4
Francia central europe-west9 europe-west1
europe-west2
europe-west3
Francia sur europe-west9 europe-southwest1
europe-west8
europe-west1
Alemania oeste central europe-west3 europe-west4
europe-west1
europe-west6
Alemania norte europe-west3 europe-west4
europe-central2
europe-west2
Suiza norte europe-west6 europe-west8
europe-west12
europe-west3
Suiza oeste europe-west6 europe-west9
europe-west8
europe-west3
Reino Unido sur europe-west2 europe-west1
europe-west9
europe-west4
Reino Unido oeste europe-west2 europe-west1
europe-west9
europe-west4
Noruega este europe-north1 europe-west4
europe-central2
europe-west1
Noruega oeste europe-north1 europe-west4
europe-central2
europe-west1
Suecia central europe-north1 europe-west4
europe-central2
europe-west1
Asia oriental asia-east2 asia-east1
asia-southeast1
asia-northeast1
Sudeste asiático asia-southeast1 asia-southeast2
asia-east1
asia-south1
Japón Oriental asia-northeast1 asia-northeast2
asia-northeast3
asia-east1
Japón oeste asia-northeast2 asia-northeast1
asia-northeast3
asia-east1
Corea Central asia-northeast3 asia-northeast2
asia-northeast1
asia-east1
Australia Oriental australia-southeast1 australia-southeast2
asia-southeast2
asia-southeast1
Australia sudeste australia-southeast2 australia-southeast1
asia-southeast1
asia-east1
Australia central australia-southeast1 australia-southeast2
asia-southeast2
asia-southeast1
India Occidental asia-south1 asia-south2
me-central1
asia-southeast1
India central asia-south1 asia-south2
me-central1
asia-southeast1
Sur de la India asia-south1 asia-south2
asia-southeast1
me-central1

¿Qué sigue?