Visão geral do Datastream

O Datastream é um serviço de replicação e captura de dados alterados (CDC) sem servidor que permite sincronizar dados em bancos de dados e aplicativos heterogêneos com latência mínima. Como o Datastream é sem servidor, ele é escalonado automaticamente sem que você precise provisionar ou gerenciar recursos.

É possível replicar dados no BigQuery para análise quase em tempo real ou gravar fluxos de eventos de alteração no Cloud Storage para arquiteturas orientadas por eventos. A integração com os modelos do Pub/Sub e do Dataflow permite carregar dados em destinos como o Cloud SQL e o Spanner. O Datastream também se integra ao Knowledge Catalog para gerenciamento centralizado de metadados e linhagem no Google Cloud.

O Datastream é compatível com fontes de banco de dados, incluindo MySQL, Oracle, PostgreSQL, AlloyDB para PostgreSQL, SQL Server, MongoDB e Spanner. Também é possível transmitir dados do Salesforce e de origens em pré-lançamento, como Salesforce Marketing Cloud, Microsoft Dataverse, ServiceNow e Workday. As opções de conectividade privada, os relatórios de status e o processamento de mudanças de esquema oferecem suporte à replicação confiável para migrações e implantações de nuvem híbrida.

Casos de uso

Os recursos de streaming do Datastream permitem vários casos de uso:

  • Replicação e sincronização de dados em toda a organização com latência mínima

    É possível sincronizar dados em bancos de dados e aplicativos heterogêneos de maneira confiável, com baixa latência e com impacto mínimo no desempenho da origem. Aproveite o poder dos fluxos de dados para análise, replicação de banco de dados, migração para a nuvem e arquiteturas orientadas a eventos em ambientes híbridos.

  • Aumente ou reduza a escala com uma arquitetura sem servidor

    Comece a trabalhar rapidamente com um serviço sem servidor e fácil de usar que é escalonado de maneira integrada conforme os volumes de dados mudam. Concentre-se em extrair insights atualizados dos seus dados e responder a problemas de alta prioridade, em vez de gerenciar a infraestrutura, ajustar o desempenho ou provisionar recursos.

  • Integração com o Google Cloud pacote de integração de dados

    Conecte dados em toda a organização com o pacote de produtos de integração de dados do Google Cloud . Integre o Datastream aos modelos de job do Dataflow para ler dados de um bucket do Cloud Storage e carregá-los em vários destinos, como BigQuery, Spanner e Cloud SQL.

Elementos de experiência

Há três elementos principais no Datastream:

  • As configurações de conectividade privada permitem que o Datastream se comunique com uma fonte de dados por uma rede privada (internamente noGoogle Cloudou com fontes externas conectadas por VPN ou Interconnect). Essa comunicação acontece por uma conexão de peering de nuvem privada virtual (VPC).
  • Os perfis de conexão representam informações de conectividade para uma origem e um destino. Essas informações serão usadas por um stream.
  • Os streams usam as informações nos perfis de conexão para transferir dados de CDC e de preenchimento da origem para o destino.

A seguir