Transmitir dados de fontes do Spanner

Usar um banco de dados do Spanner como origem no Datastream permite replicar dados históricos e eventos de fluxo de alterações no destino para análises em tempo real.

Para preparar sua origem do Spanner no Datastream, analise o comportamento de replicação, as edições compatíveis e as limitações conhecidas.

Comportamento

O Spanner é um serviço de banco de dados totalmente gerenciado, escalonável e altamente disponível que pode ser usado como origem com o Datastream. O Datastream usa um fluxo de alterações do Spanner para rastrear as mudanças feitas nos bancos de dados do Spanner. As mudanças incluídas no fluxo de alterações são replicadas no destino para reproduzir os eventos de origem.

O Datastream não cria nem modifica fluxos de alterações. Portanto, os objetos de banco de dados que não são rastreados pelo fluxo de alterações do Spanner fornecido não podem ser incluídos no fluxo do Datastream.

Para mais informações sobre o Spanner, consulte a documentação do Spanner.

Versões

O Datastream é compatível com todas as edições disponíveis do Spanner:

  • Edição Standard
  • Edição Enterprise
  • Edição Enterprise Plus

Para uma visão geral de cada versão, consulte Visão geral das edições do Spanner.

Nível sem custo financeiro

O Datastream permite fazer streaming do Spanner para o BigQuery usando o nível sem custo financeiro, que oferece até 100 GiB de dados de captura de dados alterados sem custo financeiro todos os meses. Para mais informações, consulte Preços do Datastream.

Limitações conhecidas

As limitações conhecidas para usar um banco de dados do Spanner como origem incluem:

  • Somente os fluxo de alterações que usam os tipos de captura de valor NEW_ROW ou NEW_ROW_AND_OLD_VALUES são compatíveis.
  • O Datastream não é compatível com as colunas de tipo de dados PROTO ou ENUM.
  • O Datastream não é compatível com matrizes de tipos de dados DATE ou TIMESTAMP.
  • Os preenchimentos de bancos de dados com mais de 3 tebibytes (TiB) podem levar mais de 24 horas para serem concluídos.
  • Os preenchimentos criam períodos de snapshot, um tipo de backup criado para um carimbo de data/hora específico que retém as versões de dados desse carimbo. As épocas de snapshot atrasam as compactações principais até que o preenchimento seja concluído. Para saber mais sobre compactações, consulte Visão geral do mecanismo colunar do Spanner.
  • O Datastream pode ter problemas para acompanhar os fluxo de alterações do Spanner que têm mais de 10.000 partições. Isso significa que os eventos de alteração podem chegar atrasados ou o stream pode falhar.
  • O Datastream pode ter problemas para acompanhar os fluxos de alterações do Spanner com mais de 60.000 atualizações por segundo. Isso significa que os eventos de alteração podem chegar atrasados ou o stream pode falhar.
  • O Datastream pode ter problemas para acompanhar os fluxos de alterações do Spanner com mais de 60 mebibytes (MiB) por segundo de capacidade de processamento. Isso significa que os eventos de alteração podem chegar atrasados ou o stream pode falhar.
  • Não é possível replicar dados particionados geograficamente porque fluxo de alterações do Spanner não são compatíveis com dados particionados.

A seguir