Diffuser des données à partir de sources Spanner

L'utilisation d'une base de données Spanner comme source dans Datastream vous permet de répliquer les données historiques et les événements de flux de modifications dans votre destination pour des analyses en temps réel.

Pour préparer votre source Spanner dans Datastream, consultez le comportement de réplication, les éditions compatibles et les limites connues.

Comportement

Spanner est un service de base de données entièrement géré, évolutif et disponibilité élevée que vous pouvez utiliser comme source avec Datastream. Datastream utilise un flux de modifications Spanner pour suivre les modifications apportées aux bases de données Spanner. Les modifications incluses dans le flux de modifications sont ensuite répliquées vers la destination pour reproduire les événements sources.

Datastream ne crée ni ne modifie les flux de modifications. Par conséquent, les objets de base de données qui ne sont pas suivis par le flux de modifications Spanner fourni ne peuvent pas être inclus dans votre flux Datastream.

Pour en savoir plus sur Spanner, consultez la documentation Spanner.

Versions

Datastream est compatible avec toutes les éditions Spanner disponibles :

  • Édition Standard
  • Édition Enterprise
  • Édition Enterprise Plus

Pour en savoir plus sur chaque version, consultez la présentation des éditions Spanner.

Niveau sans frais

Datastream vous permet de diffuser des données de Spanner vers BigQuery à l'aide du niveau sans frais, qui fournit jusqu'à 100 Gio de données de capture de données modifiées sans frais chaque mois. Pour en savoir plus, consultez la page Tarifs de Datastream.

Limitations connues

Voici les limites connues concernant l'utilisation d'une base de données Spanner comme source :

  • Seuls les flux de modifications utilisant les types de capture de valeur NEW_ROW ou NEW_ROW_AND_OLD_VALUES sont acceptés.
  • Datastream n'est pas compatible avec les colonnes de type de données PROTO ou ENUM.
  • Datastream n'est pas compatible avec les tableaux de types de données DATE ou TIMESTAMP.
  • Le remplissage des bases de données de plus de 3 tébioctets (Tio) peut prendre plus de 24 heures.
  • Les remplissages créent des époques d'instantanés, un type de sauvegarde créé pour un code temporel spécifique qui conserve les versions des données pour ce code temporel. Les époques d'instantané retardent les compactions majeures jusqu'à ce que le remplissage soit terminé. Pour en savoir plus sur les compactions, consultez la présentation du moteur de données en colonnes Spanner.
  • Datastream peut avoir du mal à suivre les flux de modifications Spanner comportant plus de 10 000 partitions. Cela signifie que les événements de modification peuvent arriver en retard ou que le flux peut échouer.
  • Datastream peut avoir du mal à suivre les flux de modifications Spanner avec plus de 60 000 mises à jour par seconde. Cela signifie que les événements de modification peuvent arriver en retard ou que le flux peut finir par échouer.
  • Datastream peut avoir des difficultés à suivre les flux de modifications Spanner dont le débit est supérieur à 60 mébioctets (Mio) par seconde. Cela signifie que les événements de modification peuvent arriver en retard ou que le flux peut échouer.
  • La réplication des données partitionnées géographiquement n'est pas possible, car les flux de modifications Spanner ne sont pas compatibles avec les données partitionnées.

Étapes suivantes