备案控制台

开发者社区

开发者社区 > 数据库 > 正文

MongoDB 增量同步流程是怎样的

MongoDB 增量同步流程是怎样的

展开

收起

一人吃饱，全家不饿 2021-01-08 17:27:39 772 0

1 条回答

写回答

取消提交回答

一人吃饱，全家不饿
1. Oplog Fetcher 线程负责拉取 Oplog Find 命令创建 Tailable Cursor，GetMore 命令批量从同步源拉取 Oplog，单个 Batch 最大 16MB；
2. 拉取的 Oplog Batch 放到内存中的 Blocking Queue 中；
3. ReplBatcher 线程负责从 Blocking Queue 中取出 Batch 生成新的可 Apply 的 Batch 放到 Deque 中，这里主要是因为需要控制并发，有些操作需要放到一个单独的 Batch；
4. OplogApplier 线程负责从 Deque 中取出 Batch 写 Oplog，然后把 Batch 拆分，分发到 Worker 线程进行并发 Apply；
5. 为了保持一致性，中间需要保存多个不同的 Oplog 应用位点信息。
2021-01-11 10:12:17

赞同展开评论打赏

问答分类：

NoSQL MongoDB 云数据库 MongoDB 版

问答标签：

云数据库 MongoDB 版同步云数据库 MongoDB 版增量云数据库 MongoDB 版增量同步云数据库 MongoDB 版流程

问答地址：

开发者社区 > 数据库 > 问答

版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

相关问答

Flink CDC中mongodb 整库同步的时候报错这个是咋回事？

53

2

0

Flink CDC中有相关 mongodb 整库同步的示例吗？在官方文档看到的都是单表的？

48

2

0

DataWorks增量同步Mongodb，写过滤条件时怎么在json中格式化日期？

62

1

0

DataWorks中mongodb的json类型同步？

32

3

0

DataWorks中mongodb时间戳类型增量同步？

30

3

0

dataworks数据从ODPS同步回MongoDB时写入模式为非覆盖这种通常是什么原因？

25

1

0

DataWorks同步mongodb时测试连通性失败，已确认：mongo不行？

40

3

0

DataWorks如何同步mongodb数据？

45

3

0

Flink CDC为什么我同步mongodb到kafka完成后点击savepoint停止？

38

3

0

Flink CDC2.4.1中是不是不支持mongodb同步时指定过滤条件了？

43

1

0

数据库

数据库领域前沿技术分享与交流

我要提问

热门讨论

热门文章

当下主流数据库，哪个最火？

在数据库上云中，NGLB网络方案的优缺点是什么？

redis查看某个前缀键值数量

RDS，DRDS，REDIS，ADS，ODPS之间的联系和区别是什么？

DTS是什么的缩写，是什么意思？

我插入几千条数据到ADB，就会报这个错误Buffer length is less then exp

你印象最深的一道SQL题目是什么？

如何看待云原生数据库一体化的技术趋势？

请问是否有sql语句之间相互转换的应用，比如mysql到oracle，或者oracle到hive。

你认为一个优秀的数据库，最重要的特质是什么？

展开全部

PolarDB闪电助攻，《香肠派对》百亿好友关系实现毫秒级查询

PostgreSQL upsert功能(insert on conflict do)的用法

使用Redis实例搭建网上商城的商品相关性分析程序

为什么 MongoDB 连接数被用满了？

数据库选型十八摸之 PostgreSQL - 致架构师、开发者

PostgreSQL 9.6 并行计算优化器算法浅析

PostgreSQL 如何高效解决按任意字段分词检索的问题 - case 1

通过MongoDB安全事件来谈谈为什么要用云服务

PostgreSQL GPU 加速(HeteroDB pg_strom) (GPU计算, GPU-DIO-Nvme SSD, 列存, GPU内存缓存)

PostgreSQL 9.6 等待事件出炉

展开全部

相关课程

更多

MongoDB精讲课程（下）

188

25

去学习

MongoDB精讲课程（上）

288

24

去学习

MongoDB完全自学手册

2574

45

去学习

云数据库MongoDB版使用教程

6195

7

去学习

快速掌握 MongoDB 数据库

7881

22

去学习

MongoDB快速入门

1532

7

去学习

相关电子书

更多

开源数据库 MongoDB 专场 MongoDB疑难杂症分析及优化 立即下载

阿里云MongoDB云服务构建 立即下载

饿了么高级架构师陈东明：MongoDB是如何逐步提高可靠性的 立即下载

相关实验场景

更多