Criar conexões entre nuvens
As conexões entre nuvens são conexões do BigQuery que trazem dados da Amazon Web Services (AWS), do Microsoft Azure e do Salesforce Data 360 para o BigQuery para consultas. Essas conexões são uma alternativa às conexões padrão do BigQuery que usam o BigQuery Omni, em que o BigQuery implanta trabalhadores de computação leves em regiões remotas para disponibilizar dados em outras nuvens para consulta sem movimentação de dados.
As cargas de trabalho podem se beneficiar das conexões entre nuvens em vez das conexões padrão pelos seguintes motivos:
- Consistência de recursos. Ao trazer seus dados de outras nuvens para o BigQuery, você ganha acesso direto aos recursos de IA do BigQuery, à Gemini Enterprise Agent Platform, às visualizações materializadas, às funções definidas pelo usuário e a outros recursos que não estão disponíveis por conexões padrão.
- Economia. As cargas de trabalho que usam conexões entre nuvens consomem reservas e compromissos de slots padrão, eliminando a necessidade de gerenciar capacidades de computação separadas.
- Armazenamento inteligente em cache. Enquanto os dados são transferidos entre nuvens, o BigQuery armazena automaticamente fragmentos em cache localmente, evitando taxas significativas de saída entre nuvens em consultas subsequentes. Para mais informações, consulte Armazenamento em cache inteligente.
Se sua carga de trabalho envolver catálogos do Apache Iceberg ou você precisar de suporte a consultas em mecanismos diferentes do BigQuery, use o recurso de acesso aos dados entre nuvens do Lakehouse sem fronteiras.
Antes de começar
Atribua papéis do Identity and Access Management e de terceiros que concedam aos usuários as permissões necessárias para realizar cada tarefa deste documento.
Papéis obrigatórios do BigQuery
Para receber as permissões necessárias para criar uma conexão entre nuvens, peça ao administrador para conceder a você o papel do IAM Administrador do BigQuery (roles/bigquery.admin) no projeto.
Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.
Também é possível conseguir as permissões necessárias usando papéis personalizados ou outros papéis predefinidos.
Funções necessárias de terceiros
Para receber as permissões necessárias para criar uma conexão entre nuvens, verifique se você tem as seguintes funções de terceiros:
- Para a AWS:um papel que permite criar políticas e papéis do IAM na sua conta da AWS.
- Para o Azure:uma função que permite gerenciar registros de apps no Microsoft Entra ID (Azure AD) e atribuir funções, como leitor de dados de blob de armazenamento, na conta de destino do Azure.
Criar conexões entre nuvens da AWS
Para criar uma conexão entre nuvens da AWS, faça o seguinte:
- Crie uma política do AWS IAM para o BigQuery como faria para conexões padrão do BigQuery.
- Crie um papel do IAM da AWS para o BigQuery como faria para conexões padrão do BigQuery.
Para criar um recurso de conexão, use o comando
bq mk --connection:bq mk --connection \ --connection_type='AWS' \ --location=LOCATION \ --project_id=PROJECT_ID \ --properties='{"accessRole":{"iamRoleId":"arn:aws:iam::AWS_ACCOUNT_ID:role/ROLE_NAME"}}' \ CONNECTION_ID
Substitua:
LOCATION: um local padrão do BigQuery, não um local do BigQuery Omni. Para orientações sobre como selecionar uma região, consulte Recomendações de região.PROJECT_ID: o ID do seu projeto do Google Cloud .AWS_ACCOUNT_ID: o ID do usuário do IAM da AWS da etapa anterior.ROLE_NAME: o nome da política de papéis da AWS que você escolheu.CONNECTION_ID: um ID para dar a esse recurso de conexão.
Para anotar as informações da conta de serviço, use o comando
bq show:bq show --connection \ --location=LOCATION \ PROJECT_ID.LOCATION.CONNECTION_ID
Adicione uma política de confiança ao papel da AWS usando as informações da conta de serviço, como faria para conexões padrão do BigQuery.
Com a conexão entre nuvens da AWS estabelecida, agora é possível criar tabelas e conjuntos de dados para consultar seus dados remotos.
Exemplos da AWS
O exemplo a seguir cria uma tabela externa para consultar arquivos Parquet diretamente de um bucket do Amazon Simple Storage Service (Amazon S3) com uma conexão entre nuvens:
CREATE SCHEMA `my-project.aws_raw_data` OPTIONS ( location = 'us-east4'); CREATE EXTERNAL TABLE `my-project.aws_raw_data.sales_parquet` WITH CONNECTION `us-east4.my-aws-connection` OPTIONS ( format = 'PARQUET', uris = ['s3://my-data-bucket/sales/year=2025/*']);
O exemplo a seguir federa um banco de dados inteiro no BigQuery usando o AWS Glue com uma conexão entre nuvens:
CREATE EXTERNAL SCHEMA `my-project.aws_glue_data` WITH CONNECTION `us-east4.my-aws-connection` OPTIONS ( location = 'us-east4', external_source = 'aws-glue://arn:aws:glue:us-east-4:123456789:database/test_database');
Para mais informações sobre a federação do AWS Glue, consulte Criar e gerenciar conjuntos de dados federados do AWS Glue.
Criar conexões entre nuvens do Azure
Para criar uma conexão entre nuvens do Azure, faça o seguinte:
- Crie um aplicativo no locatário do Azure como faria para conexões padrão do BigQuery e anote os IDs do aplicativo (cliente) e do diretório (locatário).
- Atribua um papel ao aplicativo do Azure, como faria para conexões padrão do BigQuery.
Para criar um recurso de conexão, use o comando
bq mk --connection:bq mk --connection \ --connection_type='Azure' \ --tenant_id=TENANT_ID \ --location=LOCATION \ --federated_azure=true \ --federated_app_client_id=APP_ID \ --project_id=PROJECT_ID \ CONNECTION_ID
Substitua:
TENANT_ID: o ID do locatário do diretório do Azure que contém a conta do Azure.LOCATION: um local padrão do BigQuery, não um local do BigQuery Omni. Para orientações sobre como selecionar uma região, consulte Recomendações de região.APP_ID: o ID do aplicativo (cliente) do Azure.PROJECT_ID: o ID do seu projeto do Google Cloud .CONNECTION_ID: um ID para dar a esse recurso de conexão.
Para anotar as informações da conta de serviço, use o comando
bq show:bq show --connection \ --location=LOCATION \ PROJECT_ID.LOCATION.CONNECTION_ID
Adicione uma credencial federada usando as informações da conta de serviço, como faria para conexões padrão do BigQuery.
Com a conexão entre nuvens do Azure estabelecida, agora é possível criar tabelas e conjuntos de dados para consultar seus dados remotos.
Exemplos do Azure
O exemplo a seguir cria uma tabela externa para consultar arquivos Parquet diretamente de um contêiner do Azure Blob Storage com uma conexão entre nuvens:
CREATE SCHEMA `my-project.azure_raw_data` OPTIONS ( location = 'us-east4'); CREATE EXTERNAL TABLE `my-project.azure_raw_data.sales_parquet` WITH CONNECTION `us-east4.my-azure-connection` OPTIONS ( format = 'PARQUET', uris = ['azure://mystorageaccount.blob.core.windows.net/mycontainer/sales/year=2025/*']);
O exemplo a seguir cria uma tabela externa para consultar exportações CSV brutas de um contêiner do Armazenamento de Blobs com uma conexão entre nuvens:
CREATE EXTERNAL TABLE `my-project.azure_raw_data.daily_logs_csv` WITH CONNECTION `us-east4.my-azure-connection` OPTIONS ( format = 'CSV', skip_leading_rows = 1, uris = ['azure://mystorageaccount.blob.core.windows.net/mycontainer/logs/*.csv']);
Criar conexões entre nuvens do Data 360
Para criar uma conexão entre nuvens do Data 360, siga as etapas para vincular um conjunto de dados do Data 360 ao BigQuery, mas em vez de criar o conjunto de dados vinculado em um local do BigQuery Omni, crie em um local padrão do BigQuery. Para orientações sobre como selecionar uma região, consulte Recomendações de região.
Depois de atualizar as consultas para usar os novos conjuntos de dados, você pode excluir os conjuntos de dados vinculados legados e as visualizações materializadas do BigQuery Omni.
Recomendações de região
Ao selecionar uma região padrão do BigQuery para sua conexão entre nuvens, escolha a região fisicamente mais próxima dos seus dados para ter o melhor custo e eficiência de performance.
A tabela a seguir lista as regiões da AWS e as melhores regiões correspondentes do BigQuery:
| Região da AWS | Região mais próxima do BigQuery | Outras regiões próximas do BigQuery |
|---|---|---|
us-east-1 |
us-east4 |
us-east1us-east5us-central1
|
us-east-2 |
us-east5 |
us-east4us-east1us-central1
|
us-west-1 |
us-west2 |
us-west4us-west1us-west3
|
us-west-2 |
us-west1 |
us-west3us-west4us-west2
|
ca-central-1 |
northamerica-northeast1 |
northamerica-northeast2us-east4us-east5
|
sa-east-1 |
southamerica-east1 |
southamerica-west1us-east1us-south1
|
eu-west-1 |
europe-west1 |
europe-west2europe-west9europe-west4
|
eu-west-2 |
europe-west2 |
europe-west1europe-west9europe-west4
|
eu-west-3 |
europe-west9 |
europe-west1europe-west2europe-west3
|
eu-central-1 |
europe-west3 |
europe-west4europe-west1europe-west6
|
eu-central-2 |
europe-west6 |
europe-west8europe-west12europe-west3
|
eu-north-1 |
europe-north1 |
europe-west4europe-central2europe-west1
|
eu-south-1 |
europe-west8 |
europe-west12europe-west6europe-west3
|
eu-south-2 |
europe-southwest1 |
europe-west9europe-west1europe-west8
|
me-central-1 |
me-central1 |
me-central2me-west1asia-south1
|
me-south-1 |
me-central2 |
me-central1me-west1asia-south1
|
af-south-1 |
europe-southwest1 |
me-central2me-west1europe-west1
|
ap-east-1 |
asia-east2 |
asia-east1asia-southeast1asia-northeast1
|
ap-northeast-1 |
asia-northeast1 |
asia-northeast2asia-northeast3asia-east1
|
ap-northeast-2 |
asia-northeast3 |
asia-northeast2asia-northeast1asia-east1
|
ap-northeast-3 |
asia-northeast2 |
asia-northeast1asia-northeast3asia-east1
|
ap-south-1 |
asia-south1 |
asia-south2me-central1asia-southeast1
|
ap-south-2 |
asia-south2 |
asia-south1asia-southeast1me-central1
|
ap-southeast-1 |
asia-southeast1 |
asia-southeast2asia-east1asia-south1
|
ap-southeast-2 |
australia-southeast1 |
australia-southeast2asia-southeast2asia-southeast1
|
ap-southeast-3 |
asia-southeast2 |
asia-southeast1australia-southeast1asia-east1
|
A tabela a seguir lista as regiões do Azure e as melhores regiões correspondentes do BigQuery:
| Região do Azure | Região mais próxima do BigQuery | Outras regiões próximas do BigQuery |
|---|---|---|
| Leste dos EUA | us-east4 |
us-east1us-east5us-central1
|
| Leste dos EUA 2 | us-east4 |
us-east1us-east5us-south1
|
| Oeste dos EUA | us-west1 |
us-west2us-west3us-west4
|
| Oeste dos EUA 2 | us-west1 |
us-west4us-west3us-west2
|
| Oeste dos EUA 3 | us-west4 |
us-west2us-west3us-west1
|
| Central dos EUA | us-central1 |
us-east5us-east4us-east1
|
| Centro-norte dos EUA | us-east5 |
us-central1us-east4us-east1
|
| Centro-sul dos EUA | us-south1 |
us-east5us-central1us-east1
|
| Centro-Oeste dos EUA | us-west3 |
us-central1us-west4us-west2
|
| Canadá (Central) | northamerica-northeast2 |
northamerica-northeast1us-east5us-east4
|
| Leste do Canadá | northamerica-northeast1 |
northamerica-northeast2us-east4us-east5
|
| Europa Ocidental | europe-west4 |
europe-west1europe-west3europe-west9
|
| Europa do Norte | europe-west1 |
europe-west2europe-west9europe-west4
|
| Centro da França | europe-west9 |
europe-west1europe-west2europe-west3
|
| Sul da França | europe-west9 |
europe-southwest1europe-west8europe-west1
|
| Centro-Oeste da Alemanha | europe-west3 |
europe-west4europe-west1europe-west6
|
| Norte da Alemanha | europe-west3 |
europe-west4europe-central2europe-west2
|
| Norte da Suíça | europe-west6 |
europe-west8europe-west12europe-west3
|
| Oeste da Suíça | europe-west6 |
europe-west9europe-west8europe-west3
|
| Sul do Reino Unido | europe-west2 |
europe-west1europe-west9europe-west4
|
| Oeste do Reino Unido | europe-west2 |
europe-west1europe-west9europe-west4
|
| Leste da Noruega | europe-north1 |
europe-west4europe-central2europe-west1
|
| Oeste da Noruega | europe-north1 |
europe-west4europe-central2europe-west1
|
| Suécia Central | europe-north1 |
europe-west4europe-central2europe-west1
|
| Leste da Ásia | asia-east2 |
asia-east1asia-southeast1asia-northeast1
|
| Sudeste Asiático | asia-southeast1 |
asia-southeast2asia-east1asia-south1
|
| Japão Oriental | asia-northeast1 |
asia-northeast2asia-northeast3asia-east1
|
| Oeste do Japão | asia-northeast2 |
asia-northeast1asia-northeast3asia-east1
|
| Coreia Central | asia-northeast3 |
asia-northeast2asia-northeast1asia-east1
|
| Leste da Austrália | australia-southeast1 |
australia-southeast2asia-southeast2asia-southeast1
|
| Sudeste da Austrália | australia-southeast2 |
australia-southeast1asia-southeast1asia-east1
|
| Austrália Central | australia-southeast1 |
australia-southeast2asia-southeast2asia-southeast1
|
| Índia Ocidental | asia-south1 |
asia-south2me-central1asia-southeast1
|
| Índia Central | asia-south1 |
asia-south2me-central1asia-southeast1
|
| Sul da Índia | asia-south1 |
asia-south2asia-southeast1me-central1
|
A seguir
- Saiba mais sobre a análise do BigQuery.