从 MongoDB 数据库流式传输数据

Datastream 支持从 MongoDB 来源复制变更事件。 MongoDB 是一种面向文档的开源 NoSQL 数据库,使用类似 JSON 的文档。一个文档可以嵌入其他文档。文档会收集到集合中,而 MongoDB 数据库会存储一个或多个文档集合。

MongoDB 数据库中的每条记录都是以二进制 JSON (BSON)(一种数据的二进制表示法)描述的文档,而不是像关系型 SQL 数据库那样将数据存储在行和列的表中。然后,应用可以 JSON 格式检索此数据。

本页包含以下方面的信息:

  • 从 MongoDB 数据库复制时需要了解的关键术语
  • Datastream 如何处理从来源 MongoDB 数据库中拉取的数据的行为
  • Datastream 支持的 MongoDB 版本和版本
  • 将 MongoDB 用作来源的已知限制

关键词

以下是使用 MongoDB 来源时需要了解的关键术语:

  • SRV 连接:包含与 域名服务 (DNS) 服务记录 (SRV) 对应的主机名的连接字符串。该字符串的格式如下:

    mongodb+srv://[username:password@]host[/[defaultauthdb][?options]]

    如需了解详情,请参阅 MongoDB 文档

  • 标准连接字符串:用于连接到自行托管的 MongoDB 独立部署、 副本集或分片集群的 MongoDB 连接 URI 的标准格式。该字符串的格式如下:

    mongodb://[username:password@]host1[:port1][,...hostN[:portN]][/[defaultauthdb][?options]]

    如需了解详情,请参阅 MongoDB 文档

  • 副本集:实现复制和 自动故障切换的 MongoDB 服务器集群。副本集提供冗余和高可用性,是所有生产部署的基础。

  • 分片集群:MongoDB 分片集群由分片、mongos 和 配置服务器组成。MongoDB 在集合级对数据进行分片,并将集合数据分布在集群中的分片中。

  • mongos:客户端应用与分片 集群之间的接口。mongos 充当查询路由器,并将操作写入分片。

  • 集合:MongoDB 以分层结构组织数据。MongoDB 部署包含一个或多个数据库,每个数据库包含一个或多个集合。在每个集合中,MongoDB 将数据存储为包含字段和值对的文档。集合类似于关系型数据库中的表。

行为

来源 MongoDB 数据库依赖于变更数据流将变更复制到目标位置。变更数据流可让您访问实时数据,并且副本集和分片集群均支持变更数据流。

  • 如果已配置,系统会复制所包含对象的所有历史数据。
  • 系统会复制所有变更,例如指定对象的插入、更新和删除。

版本

Datastream 支持 5.0 及更高版本的 MongoDB。

已知限制

将 MongoDB 用作来源的已知限制包括:

  • 使用 Datastream API 时,您只能指定要在数据流中排除的字段。不支持为字段指定包含列表。
  • Datastream 不支持基于请求单位 (RU) 的 Azure Cosmos DB。
  • Datastream 不支持 Amazon DocumentDB 弹性集群。

后续步骤