Configurar um conjunto de dados do BigQuery

O Application Design Center permite criar e configurar conjuntos de dados do BigQuery para análise de dados corporativos. Os componentes e parâmetros do conjunto de dados são baseados no módulo do Terraform terraform-google-bigquery no GitHub.

Conexões de componentes

A tabela a seguir inclui os componentes que podem ser conectados a um conjunto de dados do BigQuery e as atualizações resultantes no aplicativo e no código do Terraform gerado.

Componente conectado Atualizações de aplicativos Informações prévias

Modelo de instância do Compute Engine

  • As instâncias do Compute Engine podem ler e gravar dados no conjunto de dados do BigQuery.
  • Os metadados do recurso do BigQuery são adicionados ao modelo de instância do Compute Engine.
  • O papel roles/bigquery.dataEditor é concedido à conta de serviço do modelo de instância do Compute Engine.
Modelos de instância
Conta de serviço
  • A conta de serviço pode ser usada por serviços, como o Cloud Run, para ler e modificar dados no conjunto de dados do BigQuery.
  • O papel roles/bigquery.dataEditor é concedido à conta de serviço.
Papéis e permissões do Identity and Access Management (IAM) do BigQuery
Cloud Run
  • O serviço do Cloud Run pode interagir com o conjunto de dados do BigQuery.
  • Os metadados do recurso do BigQuery são adicionados às variáveis de ambiente do Cloud Run.
  • O papel roles/bigquery.dataEditor é concedido à conta de serviço do Cloud Run.
O que é o Cloud Run

Pub/Sub

  • A assinatura do Pub/Sub pode gravar mensagens em uma tabela no conjunto de dados do BigQuery.
  • As informações do conjunto de dados e da tabela do BigQuery são adicionadas aos campos de assinatura do Pub/Sub.
Assinaturas do BigQuery

Parâmetros de configuração obrigatórios

Se o modelo incluir um componente do BigQuery, configure os seguintes parâmetros antes da implantação.

Nome do parâmetro Descrição e restrições Informações prévias

ID do conjunto de dados

id Introdução aos conjuntos de dados

ID do projeto

O projeto em que você quer implantar o conjunto de dados e a tabela do BigQuery.

Configurar componentes

Parâmetros de configuração opcionais

Os parâmetros a seguir são opcionais. Para exibir parâmetros avançados, na área Configuração, selecione Mostrar campos avançados.

Recurso Nome do parâmetro Descrição e informações de restrição Informações prévias
Tabelas

ID da tabela

id Introdução a tabelas
Tabelas

Descrição

description Introdução a tabelas
Tabelas

Nome da tabela

friendlyName Nomenclatura de tabelas
Tabelas

Esquema

schema Como especificar um esquema
Tabelas

Clustering

clustering Introdução às tabelas em cluster
Tabelas

Exigir filtro de particionamento

requirePartitionFilter Definir requisitos de filtro de partição
Tabelas: particionamento por tempo

Validade em milissegundos

expirationMs Definir a expiração da partição
Tabelas: particionamento por tempo

Campo

campo Criar uma tabela particionada por coluna de unidade de tempo
Tabelas: particionamento por tempo

Tipo

type Criar uma tabela particionada por coluna de unidade de tempo
Tabelas: particionamento por intervalo

Campo

campo Definir requisitos de filtro de partição
Tabelas: particionamento por intervalo

Início do intervalo

range.start Particionamento por intervalo de números inteiros
Tabelas: particionamento por intervalo

Fim do intervalo

range.end Particionamento por intervalo de números inteiros
Tabelas: particionamento por intervalo

Intervalo de intervalo

range.interval Particionamento por intervalo de números inteiros
Tabelas

Prazo de validade

expirationTime Atualizar o prazo de validade da tabela
Tabelas

Proteção contra exclusão

Marque a caixa de seleção para evitar que essa tabela seja excluída pelo Terraform. Se não for selecionada, a configuração de proteção contra exclusão no nível do componente será usada.

deletion_protection
Tabelas: rótulos

Key

labels Adicionar rótulos a tabelas e visualizações
Tabelas: rótulos

Valor

labels Adicionar rótulos a tabelas e visualizações

Nome do conjunto de dados

friendlyName Nomear conjuntos de dados

Descrição

description Atualizar a descrição do conjunto de dados

Região

local Locais do BigQuery

Excluir conteúdo ao destruir

Selecione para excluir todas as tabelas no conjunto de dados ao destruir o recurso. Se não for selecionada, a destruição do recurso vai falhar se houver tabelas.

delete_contents_on_destroy

Proteção contra exclusão

Quando selecionado, um terraform apply ou terraform destroy que excluiria tabelas falha. Quando não selecionada, as tabelas podem ser excluídas. É possível modificar essa configuração usando a configuração de proteção contra exclusão para cada tabela.

deletion_protection

Validade da tabela padrão em milissegundos

defaultTableExpirationMs Atualizar os prazos de validade padrão da tabela

MS de expiração da partição padrão

defaultPartitionExpirationMs Atualizar os prazos de validade padrão de partições

Horas máximas de viagem no tempo

maxTimeTravelHours Atualizar janelas de viagem no tempo

Modelo de faturamento do armazenamento

StorageBillingModel Modelos de faturamento do Storage

Chave de criptografia

kmsKeyName Criptografia em repouso
Rótulos do conjunto de dados

Key

labels Adicionar rótulos a conjuntos de dados
Rótulos do conjunto de dados

Valor

value Adicionar rótulos a conjuntos de dados
Tags de recurso

Key

resourceTags Definições e identificadores de tags
Tags de recurso

Valor

resourceTags Definições e identificadores de tags
Visualizações

ID da vista

id Nomeação de visualizações
Visualizações

Descrição

description Introdução às visualizações
Visualizações

Consulta

query Como atualizar a consulta SQL de uma visualização
Visualizações

Usar SQL legado

useLegacySql Como migrar para o GoogleSQL
Visualizações: rótulos

Key

labels Adicionar rótulos a tabelas e visualizações
Visualizações: rótulos

Valor

labels Adicionar rótulos a tabelas e visualizações
Visualizações materializadas

ID da vista

id Nomeação de visualizações
Visualizações materializadas

Descrição

description Introdução às visualizações materializadas
Visualizações materializadas

Consulta

query Compatibilidade com consultas de visualizações materializadas
Visualizações materializadas

Ativar atualização

enableRefresh Atualizar visualizações materializadas
Visualizações materializadas

Intervalo de atualização em milissegundos

refreshIntervalMs Definir o limite de frequência de atualização
Visualizações materializadas

Clustering

fields[] Visualizações materializadas do cluster
Visualizações materializadas: particionamento por tempo

Validade em milissegundos

expirationMs Definir a expiração da partição
Visualizações materializadas: particionamento por tempo

Campo

campo Criar uma tabela particionada por coluna de unidade de tempo
Visualizações materializadas: particionamento por tempo

Tipo

type Criar uma tabela particionada por coluna de unidade de tempo
Visualizações materializadas: particionamento por tempo

Exigir filtro de particionamento

requirePartitionFilter Definir requisitos de filtro de partição
Visualizações materializadas: particionamento por intervalo

Campo

campo Visualizações materializadas particionadas
Visualizações materializadas: particionamento por intervalo

Início do intervalo

range.start Particionamento por intervalo de números inteiros
Visualizações materializadas: particionamento por intervalo

Fim do intervalo

range.end Particionamento por intervalo de números inteiros
Visualizações materializadas: particionamento por intervalo

Intervalo de intervalo

range.interval Particionamento por intervalo de números inteiros
Visualizações materializadas

Prazo de validade

expirationTime Como atualizar o prazo de validade de uma visualização
Visualizações materializadas

Máximo de inatividade

maxStaleness Usar visualizações materializadas com a opção max_staleness
Visualizações materializadas: rótulos

Key

labels Adicionar rótulos a tabelas e visualizações
Visualizações materializadas: rótulos

Valor

labels Adicionar rótulos a tabelas e visualizações
Tabelas externas

ID da tabela

id Introdução a tabelas externas
Tabelas externas

Descrição

Uma descrição da tabela externa. description
Tabelas externas

Detecção automática

autodetect Usar a sinalização de detecção automática
Tabelas externas

Compactação

compression Como carregar dados compactados e descompactados
Tabelas externas

Ignorar valores desconhecidos

ignoreUnknownValues Crie um arquivo de definição de tabelas em uma fonte de dados externa.
Tabelas externas

Máximo de registros corrompidos

maxBadRecords Crie um arquivo de definição de tabelas em uma fonte de dados externa.
Tabelas externas

Esquema

schema Crie um arquivo de definição de tabelas em uma fonte de dados externa.
Tabelas externas

Formato de origem

sourceFormat Crie um arquivo de definição de tabelas em uma fonte de dados externa.
Tabelas externas

URIs de origem

sourceUris Crie um arquivo de definição de tabelas em uma fonte de dados externa.
Tabelas externas: opções de CSV

Citação

quote Como carregar dados CSV do Cloud Storage
Tabelas externas: opções de CSV

Permitir linhas dentadas

allowJaggedRows Como carregar dados CSV do Cloud Storage
Tabelas externas: opções de CSV

Permitir novas linhas com consulta

allowQuotedNewlines Como carregar dados CSV do Cloud Storage
Tabelas externas: opções de CSV

Codificação

codificação Codificação
Tabelas externas: opções de CSV

Delimitador de campo

FieldDelimiter Delimitadores de campos
Tabelas externas: opções de CSV

Pular linhas iniciais

skipLeadingRows Opções de CSV
Tabelas externas: opções do Google Planilhas

Intervalo

Intervalo Criar tabelas externas no Google Drive
Tabelas externas: opções do Google Planilhas

Pular linhas iniciais

skipLeadingRows Criar tabelas externas no Google Drive
Tabelas externas: opções de particionamento do Hive

Moda

mode Modos de detecção
Tabelas externas: opções de particionamento do Hive

Prefixo do URI de origem

sourceUriPrefix Usar dados particionados externamente
Tabelas externas

Prazo de validade

expirationTime Atualizar o prazo de validade da tabela
Tabelas externas

Máximo de inatividade

maxStaleness Gerenciar inatividade da tabela
Tabelas externas

Proteção contra exclusão

Marque a caixa de seleção para evitar que essa tabela seja excluída pelo Terraform. Se não for selecionada, a configuração de proteção contra exclusão no nível do componente será usada.

deletion_protection
Tabelas externas: rótulos

Key

labels Adicionar rótulos a tabelas e visualizações
Tabelas externas: rótulos

Valor

labels Adicionar rótulos a tabelas e visualizações
Rotinas

ID da rotina

routineId Gerenciar rotinas
Rotinas

Tipo de rotina

routineType RoutineType
Rotinas

Idioma

idioma Idioma
Rotinas

Corpo da definição

definitionBody Ver o corpo de uma rotina
Rotinas

Tipo de retorno

returnType StandardSqlDataType
Rotinas

Descrição

Uma descrição da rotina. description
Rotinas: argumentos

Nome

O nome do argumento. name
Rotinas: argumentos

Tipo de dado

dataType StandardSqlDataType
Rotinas: argumentos

Tipo de argumento

argumentKind ArgumentKind
Rotinas: argumentos

Moda

mode Moda