Configura un set di dati BigQuery

Application Design Center ti consente di creare e configurare set di dati BigQuery per l'analisi dei dati aziendali. I componenti e i parametri del set di dati si basano sul modulo Terraform terraform-google-bigquery su GitHub.

Connessioni dei componenti

La tabella seguente include i componenti che puoi connettere a un set di dati BigQuery e i relativi aggiornamenti alla tua applicazione e al codice Terraform generato.

Componente collegato Aggiornamenti delle applicazioni Informazioni introduttive

Template di istanza Compute Engine

  • Le istanze di Compute Engine possono leggere e scrivere dati nel set di dati BigQuery.
  • I metadati della risorsa BigQuery vengono aggiunti al template di istanza di Compute Engine.
  • Il ruolo roles/bigquery.dataEditor viene concesso al account di servizio del template di istanza Compute Engine.
Template di istanza
Service account
  • Il account di servizio può essere utilizzato da servizi come Cloud Run per leggere e modificare i dati nel set di dati BigQuery.
  • Il ruolo roles/bigquery.dataEditor viene concesso al account di servizio.
Ruoli e autorizzazioni di Identity and Access Management (IAM) di BigQuery
Cloud Run
  • Il servizio Cloud Run può interagire con il set di dati BigQuery.
  • I metadati della risorsa BigQuery vengono aggiunti alle variabili di ambiente di Cloud Run.
  • Il ruolo roles/bigquery.dataEditor viene concesso al account di servizio Cloud Run.
Che cos'è Cloud Run

Pub/Sub

  • La sottoscrizione Pub/Sub può scrivere messaggi in una tabella del set di dati BigQuery.
  • Le informazioni sul set di dati e sulla tabella BigQuery vengono aggiunte ai campi della sottoscrizione Pub/Sub.
Sottoscrizioni BigQuery

Parametri di configurazione obbligatori

Se il modello include un componente BigQuery, devi configurare i seguenti parametri prima del deployment.

Nome parametro Descrizione e vincoli Informazioni introduttive

ID set di dati

id Introduzione ai set di dati

ID progetto

Il progetto in cui vuoi eseguire il deployment del set di dati e della tabella BigQuery.

Configura i componenti

Parametri di configurazione facoltativi

I seguenti parametri sono facoltativi. Per visualizzare i parametri avanzati, nell'area Configurazione, seleziona Mostra campi avanzati.

Funzionalità Nome parametro Descrizione e informazioni sui vincoli Informazioni introduttive
Tabelle

ID tabella

id Introduzione alle tabelle
Tabelle

Descrizione

description Introduzione alle tabelle
Tabelle

Nome tabella

friendlyName Denominazione delle tabelle
Tabelle

Schema

schema Specifica di uno schema
Tabelle

Clustering

clustering Introduzione alle tabelle in cluster
Tabelle

Richiedi filtro di partizionamento

requirePartitionFilter Imposta i requisiti del filtro di partizionamento
Tabelle: partizionamento temporale

Expiration MS

expirationMs Imposta la scadenza della partizione
Tabelle: partizionamento temporale

Campo

field Crea una tabella partizionata per colonne di unità di tempo
Tabelle: partizionamento temporale

Tipo

type Crea una tabella partizionata per colonne di unità di tempo
Tabelle: partizionamento per intervallo

Campo

field Imposta i requisiti del filtro di partizionamento
Tabelle: partizionamento per intervallo

Inizio intervallo

range.start Partizionamento per intervalli di numeri interi
Tabelle: partizionamento per intervallo

Fine intervallo

range.end Partizionamento per intervalli di numeri interi
Tabelle: partizionamento per intervallo

Intervallo di intervalli

range.interval Partizionamento per intervalli di numeri interi
Tabelle

Data di scadenza

expirationTime Aggiorna la scadenza di una tabella
Tabelle

Protezione da eliminazione

Seleziona la casella di controllo per impedire l'eliminazione di questa tabella da parte di Terraform. Se non viene selezionata, viene utilizzata l'impostazione di protezione da eliminazione a livello di componente.

deletion_protection
Tabelle: etichette

Key (Chiave)

labels Aggiungi etichette a tabelle e visualizzazioni
Tabelle: etichette

Valore

labels Aggiungi etichette a tabelle e visualizzazioni

Nome set di dati

friendlyName Assegna un nome ai set di dati

Descrizione

description Aggiorna la descrizione del set di dati

Regione

location Località di BigQuery

Elimina i contenuti al momento della distruzione

Seleziona questa opzione per eliminare tutte le tabelle nel set di dati quando elimini la risorsa. Se non viene selezionata, l'eliminazione della risorsa non va a buon fine se sono presenti tabelle.

delete_contents_on_destroy

Protezione da eliminazione

Se selezionata, un'operazione terraform apply o terraform destroy che eliminerebbe le tabelle non va a buon fine. Se non è selezionata, le tabelle possono essere eliminate. Puoi eseguire l'override di questa impostazione utilizzando l'impostazione di protezione da eliminazione per ogni tabella.

deletion_protection

Scadenza tabella predefinita (ms)

defaultTableExpirationMs Aggiorna le scadenze predefinite delle tabelle

Scadenza predefinita della partizione in millisecondi

defaultPartitionExpirationMs Aggiorna le scadenze predefinite delle partizioni

Numero massimo di ore di viaggio nel tempo

maxTimeTravelHours Aggiorna le finestre di spostamento cronologico

Modello di fatturazione dello spazio di archiviazione

StorageBillingModel Modelli di fatturazione dello spazio di archiviazione

Chiave di crittografia

kmsKeyName Crittografia at-rest
Etichette dei set di dati

Key (Chiave)

labels Aggiungi etichette ai set di dati
Etichette dei set di dati

Valore

valore Aggiungi etichette ai set di dati
Tag delle risorse

Key (Chiave)

resourceTags Definizioni e identificatori dei tag
Tag delle risorse

Valore

resourceTags Definizioni e identificatori dei tag
Visualizzazioni

ID vista

id Denominazione delle visualizzazioni
Visualizzazioni

Descrizione

description Introduzione alle viste
Visualizzazioni

Query

query Aggiornamento della query SQL di una vista
Visualizzazioni

Utilizza SQL precedente

useLegacySql Migrazione a GoogleSQL
Visualizzazioni: etichette

Key (Chiave)

labels Aggiungi etichette a tabelle e visualizzazioni
Visualizzazioni: etichette

Valore

labels Aggiungi etichette a tabelle e visualizzazioni
Viste materializzate

ID vista

id Denominazione delle visualizzazioni
Viste materializzate

Descrizione

description Introduzione alle viste materializzate
Viste materializzate

Query

query Supporto delle query sulle viste materializzate
Viste materializzate

Attiva aggiornamento

enableRefresh Aggiorna le viste materializzate
Viste materializzate

Refresh Interval MS

refreshIntervalMs Imposta la quota limite di aggiornamento
Viste materializzate

Clustering

fields[] Clustera le viste materializzate
Viste materializzate: partizionamento temporale

Expiration MS

expirationMs Imposta la scadenza della partizione
Viste materializzate: partizionamento temporale

Campo

field Crea una tabella partizionata per colonne di unità di tempo
Viste materializzate: partizionamento temporale

Tipo

type Crea una tabella partizionata per colonne di unità di tempo
Viste materializzate: partizionamento temporale

Richiedi filtro di partizionamento

requirePartitionFilter Imposta i requisiti del filtro di partizionamento
Viste materializzate: partizionamento per intervallo

Campo

field Viste materializzate partizionate
Viste materializzate: partizionamento per intervallo

Inizio intervallo

range.start Partizionamento per intervalli di numeri interi
Viste materializzate: partizionamento per intervallo

Fine intervallo

range.end Partizionamento per intervalli di numeri interi
Viste materializzate: partizionamento per intervallo

Intervallo di intervalli

range.interval Partizionamento per intervalli di numeri interi
Viste materializzate

Data di scadenza

expirationTime Aggiornamento della data di scadenza di una visualizzazione
Viste materializzate

Livello massimo di inattività

maxStaleness Utilizza le viste materializzate con l'opzione max_staleness
Viste materializzate: etichette

Key (Chiave)

labels Aggiungi etichette a tabelle e visualizzazioni
Viste materializzate: etichette

Valore

labels Aggiungi etichette a tabelle e visualizzazioni
Tabelle esterne

ID tabella

id Introduzione alle tabelle esterne
Tabelle esterne

Descrizione

Una descrizione della tabella esterna. description
Tabelle esterne

Rilevamento automatico

autodetect Utilizzare il flag di rilevamento automatico
Tabelle esterne

Compressione

compression Caricamento di dati compressi e non compressi
Tabelle esterne

Ignora valori sconosciuti

ignoreUnknownValues Crea un file di definizione della tabella per un'origine dati esterna
Tabelle esterne

Numero massimo di record in errore

maxBadRecords Crea un file di definizione della tabella per un'origine dati esterna
Tabelle esterne

Schema

schema Crea un file di definizione della tabella per un'origine dati esterna
Tabelle esterne

Formato di origine

sourceFormat Crea un file di definizione della tabella per un'origine dati esterna
Tabelle esterne

URI di origine

sourceUris Crea un file di definizione della tabella per un'origine dati esterna
Tabelle esterne: opzioni CSV

Citazione

quote Caricamento dei dati CSV da Cloud Storage
Tabelle esterne: opzioni CSV

Consenti righe incomplete

allowJaggedRows Caricamento dei dati CSV da Cloud Storage
Tabelle esterne: opzioni CSV

Consenti caratteri di fine riga con virgolette

allowQuotedNewlines Caricamento dei dati CSV da Cloud Storage
Tabelle esterne: opzioni CSV

Codifica

encoding Codifica
Tabelle esterne: opzioni CSV

Delimitatore di campo

FieldDelimiter Delimitatori di campo
Tabelle esterne: opzioni CSV

Ignora righe iniziali

skipLeadingRows Opzioni CSV
Tabelle esterne: opzioni di Fogli Google

Intervallo

range Crea tabelle esterne di Google Drive
Tabelle esterne: opzioni di Fogli Google

Ignora righe iniziali

skipLeadingRows Crea tabelle esterne di Google Drive
Tabelle esterne: opzioni di partizionamento Hive

Modalità

mode Modalità di rilevamento
Tabelle esterne: opzioni di partizionamento Hive

Prefisso URI di origine

sourceUriPrefix Utilizza i dati partizionati esternamente
Tabelle esterne

Data di scadenza

expirationTime Aggiorna la scadenza di una tabella
Tabelle esterne

Livello massimo di inattività

maxStaleness Gestisci l'obsolescenza delle tabelle
Tabelle esterne

Protezione da eliminazione

Seleziona la casella di controllo per impedire l'eliminazione di questa tabella da parte di Terraform. Se non viene selezionata, viene utilizzata l'impostazione di protezione da eliminazione a livello di componente.

deletion_protection
Tabelle esterne: etichette

Key (Chiave)

labels Aggiungi etichette a tabelle e visualizzazioni
Tabelle esterne: etichette

Valore

labels Aggiungi etichette a tabelle e visualizzazioni
Routine

ID routine

routineId Gestisci le routine
Routine

Tipo di routine

routineType RoutineType
Routine

Lingua

language Lingua
Routine

Definition Body

definitionBody Visualizza il corpo di una routine
Routine

Tipo restituito

returnType StandardSqlDataType
Routine

Descrizione

Una descrizione della routine. description
Routine: argomenti

Nome

Il nome dell'argomento. name
Routine: argomenti

Tipo di dati

dataType StandardSqlDataType
Routine: argomenti

Tipo di argomento

argumentKind ArgumentKind
Routine: argomenti

Modalità

mode Modalità