Présentation des ensembles de données

Les ensembles de données BigQuery vous permettent d'organiser et de contrôler l'accès à vos tables et vues. Vous pouvez également utiliser des ensembles de données pour spécifier des emplacements de stockage, gérer des règles de conservation, configurer la réplication interrégionale et la reprise après sinistre, définir des propriétés de table par défaut et vous connecter à des sources de données externes.

Ensembles de données

Un ensemble de données est contenu dans un projet spécifique. Les ensembles de données sont des conteneurs de niveau supérieur utilisés pour organiser et contrôler l'accès à vos tables et vues. Une table ou une vue doit appartenir à un ensemble de données. Vous devez donc créer au moins un ensemble de données avant de charger des données dans BigQuery. Utilisez le format projectname.datasetname pour qualifier entièrement un nom d'ensemble de données lorsque vous utilisez GoogleSQL, ou le format projectname:datasetname pour qualifier entièrement un nom d'ensemble de données lorsque vous utilisez l'outil de ligne de commande bq.

Emplacement

Lorsque vous créez un ensemble de données, vous spécifiez une zone pour stocker vos données BigQuery. Pour obtenir la liste des emplacements des ensembles de données BigQuery, consultez Emplacements BigQuery. BigQuery stocke vos données dans la zone sélectionnée. Par exemple, si vous sélectionnez EU ou une région européenne comme emplacement de l'ensemble de données, vos données client BigQuery principales se trouveront dans l'UE.

Une fois l'ensemble de données créé, son emplacement ne peut pas être modifié directement. Toutefois, vous pouvez utiliser la réplication d'ensembles de données interrégionale pour répliquer l'ensemble de données dans un autre emplacement et promouvoir l'instance répliquée secondaire.

Si vous ne spécifiez pas explicitement d'emplacement, l'emplacement est déterminé de l'une des manières suivantes :

  • Emplacement des ensembles de données référencés dans la requête. Par exemple, si une requête fait référence à une table ou à une vue d'un ensemble de données stocké dans la région asia-northeast1, le job de requête est exécuté dans asia-northeast1.
  • Région spécifiée pour une connexion référencée dans une requête.
  • Emplacement d'une table de destination.

Si l'emplacement n'est pas explicitement spécifié et qu'il ne peut pas être déterminé à partir des ressources de la requête, l'emplacement par défaut est utilisé. Si l'emplacement par défaut n'est pas défini, le job s'exécute dans l'emplacement multirégional US.

Réplication d'ensembles de données interrégionale

La réplication d'ensembles de données interrégionaux BigQuery vous permet de configurer la réplication asynchrone automatique d'un ensemble de données entre deux régions ou emplacements multirégionaux différents. La réplication d'ensembles de données offre une géoredondance, vous permet d'exécuter des requêtes de lecture sur l'instance répliquée secondaire dans une autre région et vous permet de migrer des ensembles de données entre les régions. Pour en savoir plus, consultez la page Réplication interrégionale d'ensembles de données.

Reprise après sinistre gérée

Pour assurer la continuité de l'activité lors d'une panne régionale totale, vous pouvez configurer la reprise après sinistre gérée de BigQuery. La reprise après sinistre gérée associe la réplication interrégionale d'ensembles de données aux réservations de basculement de l'édition Enterprise Plus pour gérer le basculement du stockage et du calcul. Il propose à la fois un basculement dur pour les pannes régionales et un basculement progressif pour la maintenance synchronisée. Pour en savoir plus, consultez Reprise après sinistre gérée et Migrer vers la reprise après sinistre gérée.

Conservation des données

Les ensembles de données utilisent la fonctionnalité temporelle conjointement avec la période de sécurité pour conserver les données supprimées et modifiées. Par défaut, la fenêtre temporelle est de sept jours, mais vous pouvez la configurer pour qu'elle dure entre deux et sept jours. La fonctionnalité temporelle vous permet d'interroger des données historiques à un moment précis, ou de restaurer des tables et des ensembles de données supprimés ou arrivés à expiration. Une fois la fenêtre de fonctionnalité temporelle terminée, les données entrent dans une période de sécurité non configurable de sept jours pour la récupération d'urgence par Cloud Customer Care. Pour en savoir plus, consultez Conservation des données avec la fonctionnalité temporelle et de sécurité.

Ensembles de données externes

En plus des ensembles de données BigQuery, vous pouvez créer des ensembles de données externes, qui sont des liens vers des sources de données externes :

Les ensembles de données externes sont également appelés ensembles de données fédérés. Les deux termes sont interchangeables.

Une fois créés, les ensembles de données externes contiennent des tables provenant d'une source de données externe référencée. Les données de ces tables ne sont pas copiées dans BigQuery, mais interrogées chaque fois qu'elles sont utilisées. Pour en savoir plus, consultez Requêtes fédérées Spanner.

Limites

Les ensembles de données BigQuery sont soumis aux limitations suivantes :

  • L'emplacement de l'ensemble de données ne peut être défini qu'au moment de la création. Une fois l'ensemble de données créé, l'emplacement ne peut plus être modifié.
  • Toutes les tables référencées dans une requête doivent être stockées dans des ensembles de données situés au même emplacement.

  • Les ensembles de données externes ne sont pas compatibles avec l'expiration des tables, les instances répliquées, les fonctionnalités temporelles, le classement par défaut, le mode d'arrondi par défaut ni l'option permettant d'activer ou de désactiver les noms de table non sensibles à la casse.

  • Lorsque vous copiez une table, les ensembles de données contenant la table source et la table de destination doivent se trouver au même emplacement.

  • Les noms d'ensembles de données doivent être uniques pour chaque projet.

Quotas

Pour plus d'informations sur les quotas et les limites des ensembles de données, consultez la page Quotas et limites.

Sécurité

Pour savoir comment contrôler l'accès aux ensembles de données dans BigQuery, consultez la page Contrôler l'accès aux ensembles de données. Pour en savoir plus sur le chiffrement des données, consultez la page Chiffrement au repos.

Étapes suivantes