开发者社区 > 大数据与机器学习 > 实时计算 Flink > 正文

flinkcdc是没有办法抽单机版mongodb嘛?

flinkcdc是没有办法抽单机版mongodb嘛?

展开
收起
真的很搞笑 2023-11-22 08:14:58 63 0
2 条回答
写回答
取消 提交回答
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    Flink CDC是可以抽取单机版MongoDB的数据变化的。Flink CDC提供了MongoDBCDC连接器,该连接器可以抽取MongoDB的实时数据更改。其工作原理是通过伪装成一个MongoDB集群里的副本,利用MongoDB集群的高可用机制来捕获数据更改。同时也可以通过MongoDB oplog的方式抽取数据变更,从而实现实时抽取和增量抽取的功能。但是要注意一点,这种方式依赖于oplog的存在和设置,如果oplog过大可能会影响系统的性能,所以在使用时要综合考虑。

    2023-11-29 14:26:15
    赞同 展开评论 打赏
  • Flink CDC 提供了 MongoDB CDC 连接器,该连接器可以抽取 MongoDB 的实时数据更改。其工作原理是通过伪装成一个 MongoDB 集群里的副本,利用 MongoDB 集群的高可用机制,从 master 节点获取完整的 oplog(operation log) 事件流。不过要注意的是,Flink MongoDB CDC Connector 是基于 MongoDB Change Streams 实现的,所以对于单机版的 MongoDB,该连接器将无法使用。因此,如果你正在使用单机版的 MongoDB,你可能需要寻找其他的解决方案。

    2023-11-22 09:02:08
    赞同 1 展开评论 打赏

实时计算Flink版是阿里云提供的全托管Serverless Flink云服务,基于 Apache Flink 构建的企业级、高性能实时大数据处理系统。提供全托管版 Flink 集群和引擎,提高作业开发运维效率。

相关电子书

更多
开源数据库 MongoDB 专场 MongoDB疑难杂症分析及优化 立即下载
MongoDB多数据中心的方案选型之路 立即下载
饿了么高级架构师陈东明:MongoDB是如何逐步提高可靠性的 立即下载