开发者社区 > 云原生 > 正文

请问一下各位大佬 MongoCDC多并发读取 目前是只在全量阶段吗?增量阶段还是单并非吗?

请问一下各位大佬 MongoCDC多并发读取 目前是只在全量阶段吗?增量阶段还是单并非吗?官网和社区没有找到相关文档。40a8427b2254bca5f9b9745d325eefd7.png

展开
收起
滴滴滴~ 2023-03-20 17:02:33 283 0
3 条回答
写回答
取消 提交回答
  • 增量是单并行度。 此答案整理自钉群“Flink CDC 社区”

    2023-03-21 16:22:02
    赞同 展开评论 打赏
  • 坚持这件事孤独又漫长。
    • MongoCDC支持在增量同步阶段开启多并发读取,可以通过调整MongoCDC的配置来实现。在增量同步阶段,MongoCDC会监控MongoDB oplog,并将更改数据同步到目标存储中。
    • 多并发读取可以通过同时启动多个增量同步任务,并配置不同的过滤条件来实现。
    • 需要注意的是,多并发读取可能会对MongoDB和目标存储中的读写性能产生一定的影响,需要根据实际情况进行调整和优化。
    • 此外,多并发读取还可能会增加数据同步的时间窗口,需要根据数据同步的要求和业务需求来确定最佳方案。
    2023-03-21 14:09:46
    赞同 展开评论 打赏
  • 发表文章、提出问题、分享经验、结交志同道合的朋友

    目前,MongoCDC在全量阶段和增量阶段都支持多线程读取。在全量阶段,可以通过设置mongo.source.parallelism参数来配置并发读取的线程数。在增量阶段,可以通过设置mongo.oplog.parallelism参数来配置并发读取的线程数。

    2023-03-20 20:41:26
    赞同 展开评论 打赏

阿里云拥有国内全面的云原生产品技术以及大规模的云原生应用实践,通过全面容器化、核心技术互联网化、应用 Serverless 化三大范式,助力制造业企业高效上云,实现系统稳定、应用敏捷智能。拥抱云原生,让创新无处不在。

相关电子书

更多
低代码开发师(初级)实战教程 立即下载
冬季实战营第三期:MySQL数据库进阶实战 立即下载
阿里巴巴DevOps 最佳实践手册 立即下载