Datastream 概览

Datastream 是一种无服务器变更数据捕获 (CDC) 和复制服务，可让您跨异构数据库和应用同步数据，同时将延迟时间缩至最短。由于 Datastream 是无服务器服务，因此它会自动扩缩，无需您预配或管理资源。

您可以将数据复制到 BigQuery 中以进行近乎实时的分析，也可以将变更事件流写入 Cloud Storage 以用于事件驱动型架构。通过与 Pub/Sub 和 Dataflow 模板集成，您可以将数据加载到 Cloud SQL 和 Spanner 等目标位置。Datastream 还与 Knowledge Catalog 集成，可跨 Google Cloud集中管理元数据和沿袭。

Datastream 支持数据库源，包括 MySQL、Oracle、PostgreSQL、AlloyDB for PostgreSQL、SQL Server、MongoDB 和 Spanner。您还可以从 Salesforce 以及 Salesforce Marketing Cloud、Microsoft Dataverse、ServiceNow 和 Workday 等预览版来源流式传输数据。专用连接选项、状态报告和架构更改处理功能可为迁移和混合云部署提供可靠的复制支持。

使用场景

Datastream 的流式传输功能可实现各种使用场景：

  • 以最低延迟在整个组织中复制和同步数据

    您可以跨异构数据库和应用以可靠且延迟极低的方式同步数据，同时将对源性能的影响降至最低。在混合环境中，利用数据流的强大功能进行分析、数据库复制、云迁移和事件驱动型架构。

  • 通过无服务器架构无缝扩容或缩容

    借助简单易用的无服务器服务快速启动，该服务可随着数据量的变化无缝扩缩。专注于从数据中获取最新数据洞见并应对高优先级问题，而不是管理基础设施、性能调优或资源预配。

  • 与 Google Cloud 数据集成套件集成

    使用 Google Cloud 数据集成产品套件连接整个组织的数据。将 Datastream 与 Dataflow 作业模板集成，以从 Cloud Storage 存储桶中读取数据并将其加载到各种目标位置，例如 BigQuery、Spanner 和 Cloud SQL。

体验元素

Datastream 中有三个主要元素：

  • 专用连接配置使 Datastream 能够通过专用网络（Google Cloud内部，或通过 VPN 或 Interconnect 连接的外部来源）与数据源进行通信。这种通信通过虚拟私有云 (VPC) 对等互连连接进行。
  • 连接配置文件表示与来源和目标的连接信息。此信息将由数据流使用。
  • 数据流使用连接配置文件中的信息将 CDC 和回填数据从来源传输到目标。

后续步骤