Criar conexões entre nuvens
As conexões entre nuvens são conexões do BigQuery que trazem dados do Amazon Web Services (AWS), do Microsoft Azure e do Salesforce Data 360 para o BigQuery para consulta. Essas conexões são uma alternativa às conexões padrão do BigQuery que usam o BigQuery Omni, em que o BigQuery implanta workers de computação leves em regiões remotas para disponibilizar dados em outras nuvens para consulta sem qualquer movimentação de dados.
As cargas de trabalho podem se beneficiar de conexões entre nuvens em comparação com conexões padrão pelos seguintes motivos:
- Consistência de recursos. Ao transferir seus dados de outras nuvens para o BigQuery, você tem acesso direto aos recursos de IA do BigQuery, à Gemini Enterprise Agent Platform, às visualizações materializadas, às funções definidas pelo usuário e a outros recursos que não estão disponíveis em conexões padrão.
- Custo-benefício. As cargas de trabalho que usam conexões entre nuvens consomem reservas e compromissos de slots padrão, eliminando a necessidade de gerenciar capacidades de computação separadas.
- Armazenamento em cache inteligente. Quando você ativa o armazenamento em cache entre nuvens na sua conexão, o BigQuery armazena em cache os blocos de arquivos recuperados localmente na região Google Cloud da conexão. As consultas subsequentes que segmentam os mesmos blocos de arquivos são lidas diretamente do cache local, em vez de buscar novamente os arquivos da nuvem remota, o que ajuda a reduzir os custos de saída entre nuvens e acelerar o desempenho da consulta. Por padrão, o armazenamento em cache entre nuvens está desativado. Para mais informações, consulte Armazenamento em cache inteligente.
Se a carga de trabalho envolve catálogos do Apache Iceberg ou se você precisa de suporte a consultas em mecanismos diferentes do BigQuery, use o recurso de acesso a dados entre nuvens do Lakehouse sem fronteiras.
Antes de começar
Conceda papéis do Identity and Access Management e de terceiros que dão aos usuários as permissões necessárias para realizar cada tarefa deste documento.
Papéis obrigatórios do BigQuery
Para receber as permissões necessárias para criar uma conexão entre nuvens, peça ao administrador para conceder a você o papel do IAM de Administrador do BigQuery (roles/bigquery.admin) no projeto.
Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.
Também é possível conseguir as permissões necessárias usando papéis personalizados ou outros papéis predefinidos.
Papéis de terceiros necessários
Para receber as permissões necessárias para criar uma conexão entre nuvens, verifique se você tem os seguintes papéis de terceiros:
- Para a AWS: um papel que permite criar políticas e papéis do IAM na sua conta da AWS.
- Para o Azure: um papel que permite gerenciar registros de apps no Microsoft Entra ID (Azure AD) e atribuir papéis, como leitor de dados de blob de armazenamento, na conta de destino do Azure.
Criar conexões entre nuvens da AWS
Para criar uma conexão entre nuvens da AWS, faça o seguinte:
- Crie uma política do IAM da AWS para o BigQuery, como faria para conexões padrão do BigQuery.
- Crie um papel do IAM da AWS para o BigQuery, como faria para conexões padrão do BigQuery.
Crie o recurso de conexão e recupere a identidade da conta de serviço usando o console do Google Cloud ou a ferramenta de linha de comando bq:
Console
Acessar a página do BigQuery.
No painel Explorer, expanda o nome do projeto e clique em Conexões.
Na página Conexões, clique em Criar conexão.
No painel Fonte de dados externa, insira as seguintes informações:
- Em Tipo de conexão, selecione BigLake on AWS (via BigQuery Omni).
- Em ID da conexão, insira um identificador para o recurso de conexão.
- Em Região, selecione um local padrão do BigQuery (por exemplo,
us-east4), não um local do BigQuery Omni. Para orientações sobre como selecionar uma região, consulte Recomendações de região. - Em ID do papel da AWS, insira o ARN completo do papel do IAM:
arn:aws:iam::AWS_ACCOUNT_ID:role/ROLE_NAME. - Opcional: em Armazenamento em cache entre nuvens, selecione Ativar o armazenamento em cache entre nuvens para armazenar em cache arquivos remotos na região Google Cloud da conexão e acelerar o desempenho da consulta. Também é possível atualizar essa configuração mais tarde na página Informações da conexão clicando em Editar detalhes. Para mais informações sobre como o armazenamento em cache funciona, retenção e preços, consulte Armazenamento em cache inteligente.
Clique em Criar conexão e depois em Acessar a conexão.
No painel Informações de conexão, copie o valor da identidade do Google no BigQuery.
bq
Para criar um recurso de conexão, use o comando
bq mk --connection:bq mk --connection \ --connection_type='AWS' \ --location=LOCATION \ --project_id=PROJECT_ID \ --properties='{"accessRole":{"iamRoleId":"arn:aws:iam::AWS_ACCOUNT_ID:role/ROLE_NAME"},"crossCloudCacheOptions":{"enabled":CROSS_CLOUD_CACHE_ENABLED}}' \ CONNECTION_ID
Substitua:
LOCATION: um local padrão do BigQuery, não um local do BigQuery Omni. Para orientações sobre como selecionar uma região, consulte Recomendações de região.PROJECT_ID: o ID do seu projeto do Google Cloud .AWS_ACCOUNT_ID: o ID do usuário do IAM da AWS da etapa anterior.ROLE_NAME: o nome da política de papéis da AWS que você escolheu.CROSS_CLOUD_CACHE_ENABLED: opcional: se o armazenamento em cache entre nuvens deve ser ativado na conexão (trueoufalse). O padrão éfalse. Quando definido comotrue, o BigQuery armazena em cache os arquivos remotos na região Google Cloud da conexão. Para mais informações, consulte Armazenamento em cache inteligente.CONNECTION_ID: um ID para fornecer a esse recurso de conexão.
Para mais informações sobre as propriedades de conexão da AWS, consulte AwsProperties.
Para anotar as informações da conta de serviço, use o comando
bq show:bq show --connection \ --location=LOCATION \ PROJECT_ID.LOCATION.CONNECTION_ID
Adicione uma política de confiança ao papel da AWS usando as informações da conta de serviço, como faria para conexões padrão do BigQuery.
Com a conexão entre nuvens da AWS estabelecida, agora é possível criar tabelas e conjuntos de dados para consultar seus dados remotos.
Exemplos da AWS
O exemplo a seguir cria uma tabela externa para consultar arquivos Parquet diretamente de um bucket do Amazon Simple Storage Service (Amazon S3) com uma conexão entre nuvens:
CREATE SCHEMA `my-project.aws_raw_data` OPTIONS ( location = 'us-east4'); CREATE EXTERNAL TABLE `my-project.aws_raw_data.sales_parquet` WITH CONNECTION `us-east4.my-aws-connection` OPTIONS ( format = 'PARQUET', uris = ['s3://my-data-bucket/sales/year=2025/*']);
O exemplo a seguir federa um banco de dados inteiro no BigQuery usando o AWS Glue com uma conexão entre nuvens:
CREATE EXTERNAL SCHEMA `my-project.aws_glue_data` WITH CONNECTION `us-east4.my-aws-connection` OPTIONS ( location = 'us-east4', external_source = 'aws-glue://arn:aws:glue:us-east-4:123456789:database/test_database');
Para mais informações sobre a federação do AWS Glue, consulte Criar e gerenciar conjuntos de dados federados do AWS Glue.
Criar conexões entre nuvens do Azure
Para criar uma conexão entre nuvens do Azure, faça o seguinte:
- Crie um aplicativo no locatário do Azure, como faria para conexões padrão do BigQuery, e anote os IDs do aplicativo (cliente) e do diretório (locatário).
- Atribua um papel ao aplicativo do Azure, como faria para conexões padrão do BigQuery.
Crie o recurso de conexão e recupere a identidade da conta de serviço usando o console do Google Cloud ou a ferramenta de linha de comando bq:
Console
Acessar a página do BigQuery.
No painel Explorer, expanda o nome do projeto e clique em Conexões.
Na página Conexões, clique em Criar conexão.
No painel Fonte de dados externa, insira as seguintes informações:
- Em Tipo de conexão, selecione BigLake on Azure (via BigQuery Omni).
- Em ID da conexão, insira um identificador para o recurso de conexão.
- Em Região, selecione um local padrão do BigQuery (por exemplo,
us-east4), não um local do BigQuery Omni. Para orientações sobre como selecionar uma região, consulte Recomendações de região. - Em ID do locatário do Azure, insira o ID do diretório (locatário) do Azure.
- Selecione Usar identidade federada e, no campo ID do aplicativo federado do Azure (cliente), insira o ID do aplicativo (cliente) do Azure.
- Opcional: em Armazenamento em cache entre nuvens, selecione Ativar o armazenamento em cache entre nuvens para armazenar em cache arquivos remotos na região Google Cloud da conexão e acelerar o desempenho da consulta. Também é possível atualizar essa configuração mais tarde na página Informações da conexão clicando em Editar detalhes. Para mais informações sobre como o armazenamento em cache funciona, retenção e preços, consulte Armazenamento em cache inteligente.
Clique em Criar conexão e depois em Acessar a conexão.
No painel Informações de conexão, copie o valor da identidade do Google no BigQuery.
bq
Para criar um recurso de conexão, use o comando
bq mk --connection:bq mk --connection \ --connection_type='Azure' \ --tenant_id=TENANT_ID \ --location=LOCATION \ --federated_azure=true \ --federated_app_client_id=APP_ID \ --project_id=PROJECT_ID \ --properties='{"crossCloudCacheOptions":{"enabled":CROSS_CLOUD_CACHE_ENABLED}}' \ CONNECTION_ID
Substitua:
TENANT_ID: o ID do locatário do diretório do Azure que contém a conta do Azure.LOCATION: um local padrão do BigQuery, não um local do BigQuery Omni. Para orientações sobre como selecionar uma região, consulte Recomendações de região.APP_ID: o ID do aplicativo (cliente) do Azure.PROJECT_ID: o ID do seu projeto do Google Cloud .CROSS_CLOUD_CACHE_ENABLED: opcional: se o armazenamento em cache entre nuvens deve ser ativado na conexão (trueoufalse). O padrão éfalse. Quando definido comotrue, o BigQuery armazena em cache os arquivos remotos na região Google Cloud da conexão. Para mais informações, consulte Armazenamento em cache inteligente.CONNECTION_ID: um ID para fornecer a esse recurso de conexão.
Para mais informações sobre as propriedades de conexão do Azure, consulte AzureProperties.
Para anotar as informações da conta de serviço, use o comando
bq show:bq show --connection \ --location=LOCATION \ PROJECT_ID.LOCATION.CONNECTION_ID
Adicione uma credencial federada usando as informações da conta de serviço, como faria para conexões padrão do BigQuery.
Com a conexão entre nuvens do Azure estabelecida, agora é possível criar tabelas e conjuntos de dados para consultar seus dados remotos.
Exemplos do Azure
O exemplo a seguir cria uma tabela externa para consultar arquivos Parquet diretamente de um contêiner do Armazenamento de Blobs do Azure com uma conexão entre nuvens:
CREATE SCHEMA `my-project.azure_raw_data` OPTIONS ( location = 'us-east4'); CREATE EXTERNAL TABLE `my-project.azure_raw_data.sales_parquet` WITH CONNECTION `us-east4.my-azure-connection` OPTIONS ( format = 'PARQUET', uris = ['azure://mystorageaccount.blob.core.windows.net/mycontainer/sales/year=2025/*']);
O exemplo a seguir cria uma tabela externa para consultar exportações de CSV brutas de um contêiner do Armazenamento de Blobs com uma conexão entre nuvens:
CREATE EXTERNAL TABLE `my-project.azure_raw_data.daily_logs_csv` WITH CONNECTION `us-east4.my-azure-connection` OPTIONS ( format = 'CSV', skip_leading_rows = 1, uris = ['azure://mystorageaccount.blob.core.windows.net/mycontainer/logs/*.csv']);
Criar conexões entre nuvens do Data 360
Para criar uma conexão entre nuvens do Data 360, siga as etapas para vincular um conjunto de dados do Data 360 ao BigQuery, mas, em vez de criar o conjunto de dados vinculado em um local do BigQuery Omni, crie-o em um local padrão do BigQuery. Para orientações sobre como selecionar uma região, consulte Recomendações de região.
Depois de atualizar as consultas para usar os novos conjuntos de dados, é possível excluir todos os conjuntos de dados vinculados legados e as visualizações materializadas do BigQuery Omni.
Recomendações de região
Ao selecionar uma região padrão do BigQuery para sua conexão entre nuvens, escolha a região que está fisicamente mais próxima dos seus dados para otimizar o custo e o desempenho.
A tabela a seguir lista as regiões da AWS e as regiões correspondentes do BigQuery:
| Região da AWS | Região do BigQuery mais próxima | Outras regiões próximas do BigQuery |
|---|---|---|
us-east-1 |
us-east4 |
us-east1us-east5us-central1
|
us-east-2 |
us-east5 |
us-east4us-east1us-central1
|
us-west-1 |
us-west2 |
us-west4us-west1us-west3
|
us-west-2 |
us-west1 |
us-west3us-west4us-west2
|
ca-central-1 |
northamerica-northeast1 |
northamerica-northeast2us-east4us-east5
|
sa-east-1 |
southamerica-east1 |
southamerica-west1us-east1us-south1
|
eu-west-1 |
europe-west1 |
europe-west2europe-west9europe-west4
|
eu-west-2 |
europe-west2 |
europe-west1europe-west9europe-west4
|
eu-west-3 |
europe-west9 |
europe-west1europe-west2europe-west3
|
eu-central-1 |
europe-west3 |
europe-west4europe-west1europe-west6
|
eu-central-2 |
europe-west6 |
europe-west8europe-west12europe-west3
|
eu-north-1 |
europe-north1 |
europe-west4europe-central2europe-west1
|
eu-south-1 |
europe-west8 |
europe-west12europe-west6europe-west3
|
eu-south-2 |
europe-southwest1 |
europe-west9europe-west1europe-west8
|
me-central-1 |
me-central1 |
me-central2me-west1asia-south1
|
me-south-1 |
me-central2 |
me-central1me-west1asia-south1
|
af-south-1 |
europe-southwest1 |
me-central2me-west1europe-west1
|
ap-east-1 |
asia-east2 |
asia-east1asia-southeast1asia-northeast1
|
ap-northeast-1 |
asia-northeast1 |
asia-northeast2asia-northeast3asia-east1
|
ap-northeast-2 |
asia-northeast3 |
asia-northeast2asia-northeast1asia-east1
|
ap-northeast-3 |
asia-northeast2 |
asia-northeast1asia-northeast3asia-east1
|
ap-south-1 |
asia-south1 |
asia-south2me-central1asia-southeast1
|
ap-south-2 |
asia-south2 |
asia-south1asia-southeast1me-central1
|
ap-southeast-1 |
asia-southeast1 |
asia-southeast2asia-east1asia-south1
|
ap-southeast-2 |
australia-southeast1 |
australia-southeast2asia-southeast2asia-southeast1
|
ap-southeast-3 |
asia-southeast2 |
asia-southeast1australia-southeast1asia-east1
|
A tabela a seguir lista as regiões do Azure e as regiões correspondentes do BigQuery:
| Região do Azure | Região do BigQuery mais próxima | Outras regiões próximas do BigQuery |
|---|---|---|
| Leste dos EUA | us-east4 |
us-east1us-east5us-central1
|
| Leste dos EUA 2 | us-east4 |
us-east1us-east5us-south1
|
| Oeste dos EUA | us-west1 |
us-west2us-west3us-west4
|
| Oeste dos EUA 2 | us-west1 |
us-west4us-west3us-west2
|
| Oeste dos EUA 3 | us-west4 |
us-west2us-west3us-west1
|
| Central dos EUA | us-central1 |
us-east5us-east4us-east1
|
| Centro-norte dos EUA | us-east5 |
us-central1us-east4us-east1
|
| Centro-sul dos EUA | us-south1 |
us-east5us-central1us-east1
|
| Centro-Oeste dos EUA | us-west3 |
us-central1us-west4us-west2
|
| Canadá (Central) | northamerica-northeast2 |
northamerica-northeast1us-east5us-east4
|
| Leste do Canadá | northamerica-northeast1 |
northamerica-northeast2us-east4us-east5
|
| Europa Ocidental | europe-west4 |
europe-west1europe-west3europe-west9
|
| Europa do Norte | europe-west1 |
europe-west2europe-west9europe-west4
|
| Centro da França | europe-west9 |
europe-west1europe-west2europe-west3
|
| Sul da França | europe-west9 |
europe-southwest1europe-west8europe-west1
|
| Centro-Oeste da Alemanha | europe-west3 |
europe-west4europe-west1europe-west6
|
| Norte da Alemanha | europe-west3 |
europe-west4europe-central2europe-west2
|
| Norte da Suíça | europe-west6 |
europe-west8europe-west12europe-west3
|
| Oeste da Suíça | europe-west6 |
europe-west9europe-west8europe-west3
|
| Sul do Reino Unido | europe-west2 |
europe-west1europe-west9europe-west4
|
| Oeste do Reino Unido | europe-west2 |
europe-west1europe-west9europe-west4
|
| Leste da Noruega | europe-north1 |
europe-west4europe-central2europe-west1
|
| Oeste da Noruega | europe-north1 |
europe-west4europe-central2europe-west1
|
| Suécia Central | europe-north1 |
europe-west4europe-central2europe-west1
|
| Leste da Ásia | asia-east2 |
asia-east1asia-southeast1asia-northeast1
|
| Sudeste Asiático | asia-southeast1 |
asia-southeast2asia-east1asia-south1
|
| Leste do Japão | asia-northeast1 |
asia-northeast2asia-northeast3asia-east1
|
| Oeste do Japão | asia-northeast2 |
asia-northeast1asia-northeast3asia-east1
|
| Coreia Central | asia-northeast3 |
asia-northeast2asia-northeast1asia-east1
|
| Leste da Austrália | australia-southeast1 |
australia-southeast2asia-southeast2asia-southeast1
|
| Sudeste da Austrália | australia-southeast2 |
australia-southeast1asia-southeast1asia-east1
|
| Austrália Central | australia-southeast1 |
australia-southeast2asia-southeast2asia-southeast1
|
| Oeste da Índia | asia-south1 |
asia-south2me-central1asia-southeast1
|
| Índia Central | asia-south1 |
asia-south2me-central1asia-southeast1
|
| Sul da Índia | asia-south1 |
asia-south2asia-southeast1me-central1
|
A seguir
- Saiba mais sobre as análises do BigQuery.