Introdução aos conjuntos de dados

Com os conjuntos de dados do BigQuery, é possível organizar e controlar o acesso às suas tabelas e visualizações. Também é possível usar conjuntos de dados para especificar locais de armazenamento, gerenciar políticas de retenção, configurar a replicação entre regiões e a recuperação de desastres, definir propriedades de tabela padrão e se conectar a fontes de dados externas.

Conjuntos de dados

Um conjunto de dados fica contido em um projeto específico. Os conjuntos de dados são contêineres de nível superior usados na organização e no controle de acesso a suas tabelas e visualizações. É obrigatório que uma tabela ou visualização pertença a um conjunto de dados, então crie pelo menos um desses conjuntos antes de carregar dados no BigQuery. Use o formato projectname.datasetname para qualificar totalmente um nome do conjunto de dados ao usar o GoogleSQL, ou o formato projectname:datasetname para qualificar totalmente um nome de tabela ao usar a ferramenta de linha de comando bq.

Local

Você especifica um local para armazenar os dados do BigQuery ao criar um conjunto de dados. Para conferir uma lista de locais de conjuntos de dados do BigQuery, consulte Locais do BigQuery. O BigQuery armazena os dados no local selecionado. Por exemplo, se você escolher EU ou uma região com base na UE para o local do conjunto de dados, os principais dados de cliente do BigQuery ficarão na União Europeia.

Depois que você cria o conjunto de dados, o local dele não pode ser alterado diretamente. No entanto, é possível usar a replicação de conjuntos de dados entre regiões para replicar o conjunto de dados em um local diferente e promover a réplica secundária.

Se você não especificar um local explicitamente, ele será determinado de uma das seguintes maneiras:

  • O local dos conjuntos de dados referenciados na solicitação. Por exemplo, se uma consulta referenciar uma tabela ou visualização em um conjunto de dados armazenado na região asia-northeast1, o job de consulta será executado em asia-northeast1.
  • A região especificada para uma conexão referenciada em uma solicitação.
  • O local de uma tabela de destino.

Se o local não for especificado explicitamente e não puder ser determinado com base nos recursos da solicitação, o local padrão será usado. Se o local padrão não estiver definido, o job será executado na multirregião US.

Replicação de conjuntos de dados entre regiões

Com a replicação de conjuntos de dados entre regiões do BigQuery, é possível configurar a replicação assíncrona automática de um conjunto de dados entre duas regiões ou multirregiões diferentes. A replicação de conjuntos de dados oferece redundância geográfica, permite executar consultas de leitura na réplica secundária em outra região e migrar conjuntos de dados entre regiões. Para mais informações, consulte Replicação de conjuntos de dados entre regiões.

Recuperação de desastres gerenciada

Para garantir a continuidade dos negócios durante interrupções regionais totais, configure a recuperação de desastres gerenciada do BigQuery. A recuperação de desastres gerenciada combina a replicação de conjuntos de dados entre regiões com reservas de failover da edição Enterprise Plus para gerenciar o failover de armazenamento e computação. Ele oferece failover rígido para interrupções regionais e failover flexível para manutenção sincronizada. Para mais informações, consulte Recuperação de desastres gerenciada e Migrar para a recuperação de desastres gerenciada.

Retenção de dados

Os conjuntos de dados usam a viagem no tempo em conjunto com o período de segurança contra falhas para reter dados excluídos e modificados. Por padrão, a janela de viagem no tempo é de 7 dias, mas é possível configurá-la de 2 a 7 dias. A viagem no tempo permite consultar dados históricos em um momento específico ou restaurar tabelas e conjuntos de dados excluídos ou expirados. Depois que a janela de viagem no tempo termina, os dados entram em um período de segurança contra falhas não configurável de sete dias para recuperação de emergência pelo Cloud Customer Care. Para mais informações, consulte Retenção de dados com viagem no tempo e segurança contra falhas.

Conjuntos de dados externos

Além dos conjuntos de dados do BigQuery, é possível criar conjuntos de dados externos, que são links para fontes de dados externas:

Os conjuntos de dados externos também são conhecidos como conjuntos de dados federados. Os dois termos são usados de forma intercambiável.

Depois de criados, os conjuntos de dados externos contêm tabelas de uma fonte de dados externa referenciada. Os dados dessas tabelas não são copiados para o BigQuery, mas consultados sempre que são usados. Para mais informações, consulte Consultas federadas do Spanner.

Limitações

Os conjuntos de dados do BigQuery estão sujeitos às seguintes limitações:

  • O local do conjunto de dados só pode ser definido no momento da criação. Depois que um conjunto de dados é criado, o local não pode ser alterado.
  • Todas as tabelas referenciadas em uma consulta precisam ser armazenadas em conjuntos de dados no mesmo local.

  • Os conjuntos de dados externos não são compatíveis com expiração de tabela, réplicas, viagem no tempo, agrupamento padrão, modo de arredondamento padrão ou a opção de ativar ou desativar nomes de tabela que não diferenciam maiúsculas de minúsculas.

  • Ao copiar uma tabela, os conjuntos de dados que contêm as tabelas de origem e de destino precisam estar no mesmo local.

  • Os conjuntos de dados de cada projeto precisam ter nomes exclusivos.

Cotas

Para mais informações sobre cotas e limites de conjuntos de dados, consulte Cotas e limites.

Segurança

Para controlar o acesso a conjuntos de dados no BigQuery, consulte Como controlar o acesso a conjuntos de dados. Para saber mais sobre criptografia de dados, consulte Criptografia em repouso.

A seguir