Configurer un ensemble de données BigQuery

Application Design Center vous permet de créer et de configurer des ensembles de données BigQuery pour l'analyse des données d'entreprise. Les composants et les paramètres de l'ensemble de données sont basés sur le module Terraform terraform-google-bigquery sur GitHub.

Connexions des composants

Le tableau suivant inclut les composants que vous pouvez connecter à un ensemble de données BigQuery, ainsi que les mises à jour de votre application et du code Terraform généré qui en résultent.

Composant connecté Mises à jour de l'application Informations générales

Modèle d'instance Compute Engine

  • Les instances Compute Engine peuvent lire et écrire des données dans l'ensemble de données BigQuery.
  • Les métadonnées de la ressource BigQuery sont ajoutées au modèle d'instance Compute Engine.
  • Le rôle roles/bigquery.dataEditor est attribué au compte de service du modèle d'instance Compute Engine.
Modèles d'instance
Compte de service
  • Le compte de service peut être utilisé par des services tels que Cloud Run pour lire et modifier des données dans l'ensemble de données BigQuery.
  • Le rôle roles/bigquery.dataEditor est attribué au compte de service.
Rôles et autorisations IAM (Identity and Access Management) BigQuery
Cloud Run
  • Le service Cloud Run peut interagir avec l'ensemble de données BigQuery.
  • Les métadonnées de la ressource BigQuery sont ajoutées aux variables d'environnement Cloud Run.
  • Le rôle roles/bigquery.dataEditor est attribué au compte de service Cloud Run.
Qu'est-ce que Cloud Run ?

Pub/Sub

  • L'abonnement Pub/Sub peut écrire des messages dans une table de l'ensemble de données BigQuery.
  • Les informations sur l'ensemble de données et la table BigQuery sont ajoutées aux champs de l'abonnement Pub/Sub.
Abonnements BigQuery

Paramètres de configuration requis

Si votre modèle inclut un composant BigQuery, vous devez configurer les paramètres suivants avant de le déployer.

Nom du paramètre Description et contraintes Informations générales

ID de l'ensemble de données

id Présentation des ensembles de données

ID du projet

Projet dans lequel vous souhaitez déployer l'ensemble de données et la table BigQuery.

Configurer les composants

Paramètres de configuration facultatifs

Les paramètres suivants sont facultatifs. Pour afficher les paramètres avancés, dans la zone Configuration, sélectionnez Afficher les champs avancés.

Fonctionnalité Nom du paramètre Description et informations sur les contraintes Informations générales
Tables

ID de la table

id Présentation des tables
Tables

Description

description Présentation des tables
Tables

Nom de la table

friendlyName Nommer les tables
Tables

Schéma

schema Spécifier un schéma
Tables

Clustering

clustering Présentation des tables groupées
Tables

Demander un filtre de partitionnement

requirePartitionFilter Définir les exigences relatives au filtre de partitionnement
Tables : partitionnement temporel

Expiration MS

expirationMs Définir le délai d'expiration de la partition
Tables : partitionnement temporel

Champ

field Créer une table partitionnée par colonne d'unité de temps
Tables : partitionnement temporel

Type

type Créer une table partitionnée par colonne d'unité de temps
Tables : partitionnement par plage

Champ

field Définir les exigences relatives au filtre de partitionnement
Tables : partitionnement par plage

Début de la plage

range.start Partitionnement par plages d'entiers
Tables : partitionnement par plage

Fin de la plage

range.end Partitionnement par plages d'entiers
Tables : partitionnement par plage

Intervalle de plage

range.interval Partitionnement par plages d'entiers
Tables

Date/Heure d'expiration

expirationTime Mettre à jour le délai d'expiration d'une table
Tables

Protection contre la suppression

Cochez la case pour empêcher la suppression de cette table par Terraform. Si cette option n'est pas sélectionnée, le paramètre de protection contre la suppression au niveau du composant est utilisé.

deletion_protection
Tables : libellés

Clé

labels Ajouter des libellés à des tables et à des vues
Tables : libellés

Valeur

labels Ajouter des libellés à des tables et à des vues

Nom de l'ensemble de données

friendlyName Nommer des ensembles de données

Description

description Mettre à jour la description d'un ensemble de données

Région

location Emplacements BigQuery

Supprimer le contenu lors de la destruction

Sélectionnez cette option pour supprimer toutes les tables de l'ensemble de données lors de la destruction de la ressource. Si cette option n'est pas sélectionnée, la destruction de la ressource échoue si des tables sont présentes.

delete_contents_on_destroy

Protection contre la suppression

Lorsque cette option est sélectionnée, une opération terraform apply ou terraform destroy qui supprimerait des tables échoue. Si cette option n'est pas sélectionnée, les tables peuvent être supprimées. Vous pouvez remplacer ce paramètre à l'aide du paramètre de protection contre la suppression pour chaque table.

deletion_protection

Expiration de la table par défaut (ms)

defaultTableExpirationMs Mettre à jour les délais d'expiration des tables par défaut

Expiration de partition par défaut (ms)

defaultPartitionExpirationMs Mettre à jour les délais d'expiration des partitions par défaut

Nombre maximal d'heures de fonctionnalité temporelle

maxTimeTravelHours Mettre à jour les fenêtres de fonctionnalité temporelle

Modèle de facturation du stockage

StorageBillingModel Modèles de facturation du stockage

Clé de chiffrement

kmsKeyName Chiffrement au repos
Étiquettes d'ensemble de données

Clé

labels Ajouter des libellés à des ensembles de données
Étiquettes d'ensemble de données

Valeur

value Ajouter des libellés à des ensembles de données
Tags de ressource

Clé

resourceTags Définitions et identifiants de tags
Tags de ressource

Valeur

resourceTags Définitions et identifiants de tags
Vues

ID de la vue

id Nommer les vues
Vues

Description

description Présentation des vues
Vues

Requête

query Mettre à jour la requête SQL d'une vue
Vues

Utiliser l'ancien SQL

useLegacySql Migrer vers GoogleSQL
Vues : libellés

Clé

labels Ajouter des libellés à des tables et à des vues
Vues : libellés

Valeur

labels Ajouter des libellés à des tables et à des vues
Vues matérialisées

ID de la vue

id Nommer les vues
Vues matérialisées

Description

description Présentation des vues matérialisées
Vues matérialisées

Requête

query Compatibilité avec les requêtes de vues matérialisées
Vues matérialisées

Activer l'actualisation

enableRefresh Actualiser les vues matérialisées
Vues matérialisées

Intervalle d'actualisation en ms

refreshIntervalMs Définir la limite de la fréquence d'actualisation
Vues matérialisées

Clustering

fields[] Vues matérialisées en cluster
Vues matérialisées : partitionnement temporel

Expiration MS

expirationMs Définir le délai d'expiration de la partition
Vues matérialisées : partitionnement temporel

Champ

field Créer une table partitionnée par colonne d'unité de temps
Vues matérialisées : partitionnement temporel

Type

type Créer une table partitionnée par colonne d'unité de temps
Vues matérialisées : partitionnement temporel

Demander un filtre de partitionnement

requirePartitionFilter Définir les exigences relatives au filtre de partitionnement
Vues matérialisées : partitionnement par plage de nombres entiers

Champ

field Vues matérialisées partitionnées
Vues matérialisées : partitionnement par plage de nombres entiers

Début de la plage

range.start Partitionnement par plages d'entiers
Vues matérialisées : partitionnement par plage de nombres entiers

Fin de la plage

range.end Partitionnement par plages d'entiers
Vues matérialisées : partitionnement par plage de nombres entiers

Intervalle de plage

range.interval Partitionnement par plages d'entiers
Vues matérialisées

Date/Heure d'expiration

expirationTime Mettre à jour le délai d'expiration d'une vue
Vues matérialisées

Obsolescence maximale

maxStaleness Utiliser les vues matérialisées avec l'option "max_staleness"
Vues matérialisées : libellés

Clé

labels Ajouter des libellés à des tables et à des vues
Vues matérialisées : libellés

Valeur

labels Ajouter des libellés à des tables et à des vues
Tables externes

ID de la table

id Présentation des tables externes
Tables externes

Description

Description de la table externe. description
Tables externes

Détection automatique

autodetect Utiliser l'option de détection automatique
Tables externes

Compression

compression Charger des données compressées et non compressées
Tables externes

Ignorer les valeurs inconnues

ignoreUnknownValues Créer un fichier de définition de table pour une source de données externe
Tables externes

Enregistrements incorrects max.

maxBadRecords Créer un fichier de définition de table pour une source de données externe
Tables externes

Schéma

schema Créer un fichier de définition de table pour une source de données externe
Tables externes

Format source

sourceFormat Créer un fichier de définition de table pour une source de données externe
Tables externes

URI sources

sourceUris Créer un fichier de définition de table pour une source de données externe
Tables externes : options CSV

Citation

quote Charger des données CSV à partir de Cloud Storage
Tables externes : options CSV

Autoriser les lignes irrégulières

allowJaggedRows Charger des données CSV à partir de Cloud Storage
Tables externes : options CSV

Autoriser les nouvelles lignes entre guillemets

allowQuotedNewlines Charger des données CSV à partir de Cloud Storage
Tables externes : options CSV

Encodage

encodage Encodage
Tables externes : options CSV

Délimiteur de champ

FieldDelimiter Délimiteurs de champs
Tables externes : options CSV

Ignorer les premières lignes

skipLeadingRows Options CSV
Tables externes : options Google Sheets

Plage

range Créer des tables externes Google Drive
Tables externes : options Google Sheets

Ignorer les premières lignes

skipLeadingRows Créer des tables externes Google Drive
Tables externes : options de partitionnement Hive

Mode

mode Modes de détection
Tables externes : options de partitionnement Hive

Préfixe de l'URI source

sourceUriPrefix Utiliser des données partitionnées en externe
Tables externes

Date/Heure d'expiration

expirationTime Mettre à jour le délai d'expiration d'une table
Tables externes

Obsolescence maximale

maxStaleness Gérer l'obsolescence de la table
Tables externes

Protection contre la suppression

Cochez la case pour empêcher la suppression de cette table par Terraform. Si cette option n'est pas sélectionnée, le paramètre de protection contre la suppression au niveau du composant est utilisé.

deletion_protection
Tables externes : libellés

Clé

labels Ajouter des libellés à des tables et à des vues
Tables externes : libellés

Valeur

labels Ajouter des libellés à des tables et à des vues
Routines

ID de la routine

routineId Gérer les routines
Routines

Type de routine

routineType RoutineType
Routines

Langue

language Langue
Routines

Corps de la définition

definitionBody Afficher le corps d'une routine
Routines

Type renvoyé

returnType StandardSqlDataType
Routines

Description

Description de la routine. description
Routines : arguments

Nom

Nom de l'argument. name
Routines : arguments

Type de données

dataType StandardSqlDataType
Routines : arguments

Type d'argument

argumentKind ArgumentKind
Routines : arguments

Mode

mode Mode