Criar conexões entre nuvens

As conexões entre nuvens são conexões do BigQuery que trazem dados da Amazon Web Services (AWS), do Microsoft Azure e do Salesforce Data 360 para o BigQuery para consultas. Essas conexões são uma alternativa às conexões padrão do BigQuery que usam o BigQuery Omni, em que o BigQuery implanta trabalhadores de computação leves em regiões remotas para disponibilizar dados em outras nuvens para consulta sem movimentação de dados.

As cargas de trabalho podem se beneficiar das conexões entre nuvens em vez das conexões padrão pelos seguintes motivos:

  • Consistência de recursos. Ao trazer seus dados de outras nuvens para o BigQuery, você ganha acesso direto aos recursos de IA do BigQuery, à Gemini Enterprise Agent Platform, às visualizações materializadas, às funções definidas pelo usuário e a outros recursos que não estão disponíveis por conexões padrão.
  • Economia. As cargas de trabalho que usam conexões entre nuvens consomem reservas e compromissos de slots padrão, eliminando a necessidade de gerenciar capacidades de computação separadas.
  • Armazenamento inteligente em cache. Enquanto os dados são transferidos entre nuvens, o BigQuery armazena automaticamente fragmentos em cache localmente, evitando taxas significativas de saída entre nuvens em consultas subsequentes. Para mais informações, consulte Armazenamento em cache inteligente.

Se sua carga de trabalho envolver catálogos do Apache Iceberg ou você precisar de suporte a consultas em mecanismos diferentes do BigQuery, use o recurso de acesso aos dados entre nuvens do Lakehouse sem fronteiras.

Antes de começar

Atribua papéis do Identity and Access Management e de terceiros que concedam aos usuários as permissões necessárias para realizar cada tarefa deste documento.

Papéis obrigatórios do BigQuery

Para receber as permissões necessárias para criar uma conexão entre nuvens, peça ao administrador para conceder a você o papel do IAM Administrador do BigQuery (roles/bigquery.admin) no projeto. Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

Também é possível conseguir as permissões necessárias usando papéis personalizados ou outros papéis predefinidos.

Funções necessárias de terceiros

Para receber as permissões necessárias para criar uma conexão entre nuvens, verifique se você tem as seguintes funções de terceiros:

  • Para a AWS:um papel que permite criar políticas e papéis do IAM na sua conta da AWS.
  • Para o Azure:uma função que permite gerenciar registros de apps no Microsoft Entra ID (Azure AD) e atribuir funções, como leitor de dados de blob de armazenamento, na conta de destino do Azure.

Criar conexões entre nuvens da AWS

Para criar uma conexão entre nuvens da AWS, faça o seguinte:

  1. Crie uma política do AWS IAM para o BigQuery como faria para conexões padrão do BigQuery.
  2. Crie um papel do IAM da AWS para o BigQuery como faria para conexões padrão do BigQuery.
  3. Para criar um recurso de conexão, use o comando bq mk --connection:

    bq mk --connection \
        --connection_type='AWS' \
        --location=LOCATION \
        --project_id=PROJECT_ID \
        --properties='{"accessRole":{"iamRoleId":"arn:aws:iam::AWS_ACCOUNT_ID:role/ROLE_NAME"}}' \
        CONNECTION_ID

    Substitua:

    • LOCATION: um local padrão do BigQuery, não um local do BigQuery Omni. Para orientações sobre como selecionar uma região, consulte Recomendações de região.
    • PROJECT_ID: o ID do seu projeto do Google Cloud .
    • AWS_ACCOUNT_ID: o ID do usuário do IAM da AWS da etapa anterior.
    • ROLE_NAME: o nome da política de papéis da AWS que você escolheu.
    • CONNECTION_ID: um ID para dar a esse recurso de conexão.
  4. Para anotar as informações da conta de serviço, use o comando bq show:

    bq show --connection \
        --location=LOCATION \
        PROJECT_ID.LOCATION.CONNECTION_ID
  5. Adicione uma política de confiança ao papel da AWS usando as informações da conta de serviço, como faria para conexões padrão do BigQuery.

Com a conexão entre nuvens da AWS estabelecida, agora é possível criar tabelas e conjuntos de dados para consultar seus dados remotos.

Exemplos da AWS

O exemplo a seguir cria uma tabela externa para consultar arquivos Parquet diretamente de um bucket do Amazon Simple Storage Service (Amazon S3) com uma conexão entre nuvens:

CREATE SCHEMA `my-project.aws_raw_data`
  OPTIONS (
    location = 'us-east4');

CREATE EXTERNAL TABLE `my-project.aws_raw_data.sales_parquet`
WITH CONNECTION `us-east4.my-aws-connection`
  OPTIONS (
    format = 'PARQUET',
    uris = ['s3://my-data-bucket/sales/year=2025/*']);

O exemplo a seguir federa um banco de dados inteiro no BigQuery usando o AWS Glue com uma conexão entre nuvens:

CREATE EXTERNAL SCHEMA `my-project.aws_glue_data`
WITH CONNECTION `us-east4.my-aws-connection`
  OPTIONS (
    location = 'us-east4',
    external_source = 'aws-glue://arn:aws:glue:us-east-4:123456789:database/test_database');

Para mais informações sobre a federação do AWS Glue, consulte Criar e gerenciar conjuntos de dados federados do AWS Glue.

Criar conexões entre nuvens do Azure

Para criar uma conexão entre nuvens do Azure, faça o seguinte:

  1. Crie um aplicativo no locatário do Azure como faria para conexões padrão do BigQuery e anote os IDs do aplicativo (cliente) e do diretório (locatário).
  2. Atribua um papel ao aplicativo do Azure, como faria para conexões padrão do BigQuery.
  3. Para criar um recurso de conexão, use o comando bq mk --connection:

    bq mk --connection \
        --connection_type='Azure' \
        --tenant_id=TENANT_ID \
        --location=LOCATION \
        --federated_azure=true \
        --federated_app_client_id=APP_ID \
        --project_id=PROJECT_ID \
        CONNECTION_ID

    Substitua:

    • TENANT_ID: o ID do locatário do diretório do Azure que contém a conta do Azure.
    • LOCATION: um local padrão do BigQuery, não um local do BigQuery Omni. Para orientações sobre como selecionar uma região, consulte Recomendações de região.
    • APP_ID: o ID do aplicativo (cliente) do Azure.
    • PROJECT_ID: o ID do seu projeto do Google Cloud .
    • CONNECTION_ID: um ID para dar a esse recurso de conexão.
  4. Para anotar as informações da conta de serviço, use o comando bq show:

    bq show --connection \
        --location=LOCATION \
        PROJECT_ID.LOCATION.CONNECTION_ID
  5. Adicione uma credencial federada usando as informações da conta de serviço, como faria para conexões padrão do BigQuery.

Com a conexão entre nuvens do Azure estabelecida, agora é possível criar tabelas e conjuntos de dados para consultar seus dados remotos.

Exemplos do Azure

O exemplo a seguir cria uma tabela externa para consultar arquivos Parquet diretamente de um contêiner do Azure Blob Storage com uma conexão entre nuvens:

CREATE SCHEMA `my-project.azure_raw_data`
  OPTIONS (
    location = 'us-east4');

CREATE EXTERNAL TABLE `my-project.azure_raw_data.sales_parquet`
WITH CONNECTION `us-east4.my-azure-connection`
  OPTIONS (
    format = 'PARQUET',
    uris = ['azure://mystorageaccount.blob.core.windows.net/mycontainer/sales/year=2025/*']);

O exemplo a seguir cria uma tabela externa para consultar exportações CSV brutas de um contêiner do Armazenamento de Blobs com uma conexão entre nuvens:

CREATE EXTERNAL TABLE `my-project.azure_raw_data.daily_logs_csv`
WITH CONNECTION `us-east4.my-azure-connection`
  OPTIONS (
    format = 'CSV',
    skip_leading_rows = 1,
    uris = ['azure://mystorageaccount.blob.core.windows.net/mycontainer/logs/*.csv']);

Criar conexões entre nuvens do Data 360

Para criar uma conexão entre nuvens do Data 360, siga as etapas para vincular um conjunto de dados do Data 360 ao BigQuery, mas em vez de criar o conjunto de dados vinculado em um local do BigQuery Omni, crie em um local padrão do BigQuery. Para orientações sobre como selecionar uma região, consulte Recomendações de região.

Depois de atualizar as consultas para usar os novos conjuntos de dados, você pode excluir os conjuntos de dados vinculados legados e as visualizações materializadas do BigQuery Omni.

Recomendações de região

Ao selecionar uma região padrão do BigQuery para sua conexão entre nuvens, escolha a região fisicamente mais próxima dos seus dados para ter o melhor custo e eficiência de performance.

A tabela a seguir lista as regiões da AWS e as melhores regiões correspondentes do BigQuery:

Região da AWS Região mais próxima do BigQuery Outras regiões próximas do BigQuery
us-east-1 us-east4 us-east1
us-east5
us-central1
us-east-2 us-east5 us-east4
us-east1
us-central1
us-west-1 us-west2 us-west4
us-west1
us-west3
us-west-2 us-west1 us-west3
us-west4
us-west2
ca-central-1 northamerica-northeast1 northamerica-northeast2
us-east4
us-east5
sa-east-1 southamerica-east1 southamerica-west1
us-east1
us-south1
eu-west-1 europe-west1 europe-west2
europe-west9
europe-west4
eu-west-2 europe-west2 europe-west1
europe-west9
europe-west4
eu-west-3 europe-west9 europe-west1
europe-west2
europe-west3
eu-central-1 europe-west3 europe-west4
europe-west1
europe-west6
eu-central-2 europe-west6 europe-west8
europe-west12
europe-west3
eu-north-1 europe-north1 europe-west4
europe-central2
europe-west1
eu-south-1 europe-west8 europe-west12
europe-west6
europe-west3
eu-south-2 europe-southwest1 europe-west9
europe-west1
europe-west8
me-central-1 me-central1 me-central2
me-west1
asia-south1
me-south-1 me-central2 me-central1
me-west1
asia-south1
af-south-1 europe-southwest1 me-central2
me-west1
europe-west1
ap-east-1 asia-east2 asia-east1
asia-southeast1
asia-northeast1
ap-northeast-1 asia-northeast1 asia-northeast2
asia-northeast3
asia-east1
ap-northeast-2 asia-northeast3 asia-northeast2
asia-northeast1
asia-east1
ap-northeast-3 asia-northeast2 asia-northeast1
asia-northeast3
asia-east1
ap-south-1 asia-south1 asia-south2
me-central1
asia-southeast1
ap-south-2 asia-south2 asia-south1
asia-southeast1
me-central1
ap-southeast-1 asia-southeast1 asia-southeast2
asia-east1
asia-south1
ap-southeast-2 australia-southeast1 australia-southeast2
asia-southeast2
asia-southeast1
ap-southeast-3 asia-southeast2 asia-southeast1
australia-southeast1
asia-east1

A tabela a seguir lista as regiões do Azure e as melhores regiões correspondentes do BigQuery:

Região do Azure Região mais próxima do BigQuery Outras regiões próximas do BigQuery
Leste dos EUA us-east4 us-east1
us-east5
us-central1
Leste dos EUA 2 us-east4 us-east1
us-east5
us-south1
Oeste dos EUA us-west1 us-west2
us-west3
us-west4
Oeste dos EUA 2 us-west1 us-west4
us-west3
us-west2
Oeste dos EUA 3 us-west4 us-west2
us-west3
us-west1
Central dos EUA us-central1 us-east5
us-east4
us-east1
Centro-norte dos EUA us-east5 us-central1
us-east4
us-east1
Centro-sul dos EUA us-south1 us-east5
us-central1
us-east1
Centro-Oeste dos EUA us-west3 us-central1
us-west4
us-west2
Canadá (Central) northamerica-northeast2 northamerica-northeast1
us-east5
us-east4
Leste do Canadá northamerica-northeast1 northamerica-northeast2
us-east4
us-east5
Europa Ocidental europe-west4 europe-west1
europe-west3
europe-west9
Europa do Norte europe-west1 europe-west2
europe-west9
europe-west4
Centro da França europe-west9 europe-west1
europe-west2
europe-west3
Sul da França europe-west9 europe-southwest1
europe-west8
europe-west1
Centro-Oeste da Alemanha europe-west3 europe-west4
europe-west1
europe-west6
Norte da Alemanha europe-west3 europe-west4
europe-central2
europe-west2
Norte da Suíça europe-west6 europe-west8
europe-west12
europe-west3
Oeste da Suíça europe-west6 europe-west9
europe-west8
europe-west3
Sul do Reino Unido europe-west2 europe-west1
europe-west9
europe-west4
Oeste do Reino Unido europe-west2 europe-west1
europe-west9
europe-west4
Leste da Noruega europe-north1 europe-west4
europe-central2
europe-west1
Oeste da Noruega europe-north1 europe-west4
europe-central2
europe-west1
Suécia Central europe-north1 europe-west4
europe-central2
europe-west1
Leste da Ásia asia-east2 asia-east1
asia-southeast1
asia-northeast1
Sudeste Asiático asia-southeast1 asia-southeast2
asia-east1
asia-south1
Japão Oriental asia-northeast1 asia-northeast2
asia-northeast3
asia-east1
Oeste do Japão asia-northeast2 asia-northeast1
asia-northeast3
asia-east1
Coreia Central asia-northeast3 asia-northeast2
asia-northeast1
asia-east1
Leste da Austrália australia-southeast1 australia-southeast2
asia-southeast2
asia-southeast1
Sudeste da Austrália australia-southeast2 australia-southeast1
asia-southeast1
asia-east1
Austrália Central australia-southeast1 australia-southeast2
asia-southeast2
asia-southeast1
Índia Ocidental asia-south1 asia-south2
me-central1
asia-southeast1
Índia Central asia-south1 asia-south2
me-central1
asia-southeast1
Sul da Índia asia-south1 asia-south2
asia-southeast1
me-central1

A seguir