• 关于

    集合oplog

    的搜索结果
  • MongoDB中local.replset.minvalid集合的作用

    在mongodb副本集的local库中,有一个replset.minvalid集合,这个集合正常情况下会记录一个OpTime,包含时间戳(ts)字段和选举任期(t,如果使用的v1选举协议)。有时候会有一些额外的字段,如『begin』、『doingInitialSync:true』等,如下,摘抄自m...

    文章 明俨 2016-12-09 3176浏览量

  • MongoDB-3.2 oplog删除策略优化

    MongoDB oplog是一个capped collection,创建capped collection时,createCollection可以设置size(最大字节数)和max(最大文档数)的参数,当这个集合的『总大小超过size』或者『总文档数超过max』时,在新插入文档时就会自动删除一些集...

    文章 张友东(林青) 2016-05-20 5456浏览量

  • MongoDB Primary 为何持续出现 oplog 全表扫描?

    线上某 MongoDB 复制集实例(包含 Primary、Secondary、Hidden 3个节点 ),Primary 节点突然 IOPS 很高,调查后发现,其中 Hidden 处于 RECOVERING 状态,同时 Priamry 上持续有一全表扫描 oplog 的操作,正是这个 oplog...

    文章 张友东(林青) 2017-10-24 3355浏览量

  • MongoDB 如何保证 oplog 顺序?

    MongoDB 复制集里,主备节点间通过 oplog 来同步数据,Priamry 上写入数据时,会记录一条oplog,Secondary 从 Primary 节点拉取 oplog并重放,以保证最终存储相同的数据集。 oplog 主要特性 幂等性,每一条oplog,重放一次或多次,得到的结果是一样...

    文章 张友东(林青) 2016-08-28 5512浏览量

  • MongoDB复制集同步原理解析

    MongoDB副本集数据同步](https://docs.mongodb.com/manual/core/replica-set-sync/)主要包含2个步骤 intial sync,可以理解为全量同步 replication,追同步源的oplog,可以理解为增量同步 本文是对MongoDB高...

    文章 张友东(林青) 2016-07-18 12719浏览量

  • MongoDB Secondary同步慢问题分析

    MongoDB Scondary同步慢问题分析 问题背景 最近生产环境出现多次Primary写入QPS太高,导致Seconary的同步无法跟上的问题(Secondary上的最新oplog时间戳比Primary上最旧oplog时间戳小),使得Secondary变成RECOVERING状态,这时需要人...

    文章 张友东(林青) 2016-05-18 12306浏览量

  • MongoDB journal 与 oplog,究竟谁先写入?

    MongoDB journal 与 oplog,谁先写入?最近经常被人问到,本文主要科普一下 MongoDB 里 oplog 以及 journal 这两个概念。 journal journal 是 MongoDB 存储引擎层的概念,目前 MongoDB主要支持 mmapv1、wiredtiger、...

    文章 张友东(林青) 2017-03-31 7619浏览量

  • MongoDB · 引擎特性 · journal 与 oplog,究竟谁先写入?

    MongoDB journal 与 oplog,谁先写入?最近经常被人问到,本文主要科普一下 MongoDB 里 oplog 以及 journal 这两个概念。 journal journal 是 MongoDB 存储引擎层的概念,目前 MongoDB主要支持 mmapv1、wiredtige...

    文章 db匠 2018-05-22 1375浏览量

  • MongoDB副本集回滚那些事

    回滚(rollback)操作是MongoDB副本集发生一些异常主备切换后可能发生的现象。回滚操作会撤销在当前节点上已执行的一些修改操作。 什么时候会触发回滚 MongoDB副本集节点上有个同步线程,负责拉取需要同步的oplog。被拉取oplog的节点称作同步源。那么,要回滚,首先要有一个同步源。 ...

    文章 明俨 2016-12-09 5564浏览量

  • MongoDB复制集自适应oplog管理

    MongoDB复制集运行过程中,经常可能出现Secondary同步跟不上的情况,主要原因是主备写入速度上有差异,而复制集配置的oplog又太小,这时需要人工介入,向Secondary节点发送resync命令。 上述问题可通过配置更大的oplog来规避,目前官方文档建议的修改方案步骤比较长,而且需要...

    文章 张友东(林青) 2016-06-08 3498浏览量

  • MongoDB 定位 oplog 必须全表扫描吗?

    MongoDB oplog (类似于 MySQL binlog) 记录数据库的所有修改操作,除了用于主备同步;oplog 还能玩出很多花样,比如 全量备份 + 增量备份所有的 oplog,就能实现 MongoDB 恢复到任意时间点的功能 通过 oplog,除了实现到备节点的同步,也可以额外再往单...

    文章 张友东(林青) 2019-07-26 19963浏览量

  • 最佳实践 | MongoDB 定位 oplog 必须全表扫描吗?

    MongoDB oplog (类似于 MySQL binlog) 记录数据库的所有修改操作,除了用于主备同步;oplog 还能玩出很多花样,比如 全量备份 + 增量备份所有的 oplog,就能实现 MongoDB 恢复到任意时间点的功能 通过 oplog,除了实现到备节点的同步,也可以额外再往单...

    文章 Roin123 2019-08-15 1860浏览量

  • MongoDB dropdatabase 后,数据能恢复么?

    最近好几个社区用户咨询,错误的执行了 dropDatabse 把数据库误删除了(或 dropCollection 误删集合),有什么方法能恢复数据?本文主要介绍几种可能有效的恢复方案。 方案1:通过备份集恢复 如果对 MongoDB 做了全量备份 + 增量备份,那么可以通过备份集及来恢复数据。备份...

    文章 张友东(林青) 2017-05-02 6632浏览量

  • 修改mongodb oplog size

    转载地址:http://blog.csdn.net/huwei2003/article/details/43307647 修改mongodb oplog size oplog简介: oplog:operations log的简写,存储在一个特殊的数据库中(local),oplog就存储在其...

    文章 涂宗勋 2016-03-15 2562浏览量

  • mongo-connector导入数据到Elasticsearch

    当前测试环境下Elasticsearch版本为2.3。不同版本的mongo-connector、elastic-doc-manager/elastic2-doc-manager所支持的Elasticsearch版本不同,安装时注意版本的选择。 安装mongo-connector 测试机上Pyth...

    文章 涂作权 2017-05-25 2491浏览量

  • 从炉石传说数据库故障谈谈MongoDB的数据库备份和恢复手段

    看到这个消息,我的第一反应是重新翻出尘封已久的ipad,装上炉石准备上线领补偿。等等,作为一个数据库行业从业人员,是不是还应该干点什么?恩,很有必要再重新审视一下我们的数据库有没有做好容灾,否则,今天你看别人热闹,明天可能就别人看你热闹了。借此机会我想给大家普及一下MongoDB数据库的备份和恢复...

    文章 知与谁同 2017-08-01 1741浏览量

  • MongoDB管理:副本集创建集合时慎用{autoIndexId: false}选项

    MongoDB默认对_id字段建立索引 MongoDB创建集合时,默认会给集合创建id索引。用户如果不需要id索引,可以在创建结合时指定{autoIndexId: false}选项,这样创建出来的集合,就不会有任何索引了。 mongo-9552:PRIMARY> db.createColle...

    文章 张友东(林青) 2016-03-11 6873浏览量

  • MongoDB日志浅析

      MongoDB中主要有四种日志。分别是系统日志、Journal日志、oplog主从日志、慢查询日志。这些日志记录着MongoDB数据库不同的信息。下面分别介绍这四种日志: 一、系统日志   系统日志在MongoDB中十分重要,它记录MongoDB启动和停止的操作,以及服务器在运行过程中发生的任...

    文章 梓杰 2019-09-01 1637浏览量

  • mongorocks引擎原理解析

    mongorocks 是基于著名的开源KV数据库RocksDB)实现的一个MongoDB存储引擎,借助rocksdb的优秀特性,mongorocks能很好的支持一些高并发随机写入、读取的应用场景。 MongoDB 与 mongorocks 的关系 mongodb 支持多种引擎,目前官方已经支持了...

    文章 张友东(林青) 2016-12-19 8452浏览量

  • 从炉石传说数据库故障谈谈MongoDB的数据库备份和恢复手段

    云数据库 MongoDB 版 基于飞天分布式系统和高性能存储,提供三节点副本集的高可用架构,容灾切换,故障迁移完全透明化。并提供专业的数据库在线扩容、备份回滚、...

    文章 明俨 2017-01-19 9721浏览量

  • 千金药方——MongoDB疑难杂症的分析和优化

    Driver 使用问题 慎用local、admin: • local:存储节点自身配置信息,数据不会被同步,重要的数据不要存储在 local 数据库,避免数据丢失 • admin:存储⽤用户、⻆⾊等管理信息,写⼊时会加 DB 级别互斥写锁,业务数据不要存储在 admin 数据库,影响性能   合...

    文章 云计算小粉 2016-11-17 2896浏览量

  • MongoDB Secondary同步慢问题分析(续)

    在MongoDB Scondary同步慢问题分析文中介绍了因Primary上写入qps过大,导致Secondary节点的同步无法追上的问题,本文再分享一个case,因oplog的写入被放大,导致同步追不上的问题。 MongoDB用于同步的oplog具有一个重要的『幂等』特性,也就是说,一条oplo...

    文章 张友东(林青) 2016-05-24 5610浏览量

  • MongoDB 3.4 复制集全量同步改进

    3.2版本复制集同步的过程参考MongoDB 复制集同步原理解析 在 3.4 版本里 MongoDB 对复制集同步的全量同步阶段做了2个改进 在拷贝数据的时候同时建立所有的索引,在之前的版本里,拷贝数据时会先建立_id索引,其余的索引在数据拷贝完之后集中建立 在拷贝数据的同时,会把同步源上新产生...

    文章 张友东(林青) 2017-01-03 3703浏览量

  • MongoDB Oplog Stones 实现分析及启动加载优化

    本文基于 4.2 代码分析 背景 Oplog Collection 首先是作为一个 Capped Collection 来实现的,但是单纯的 Capped Collection 会在每一次的写操作之后,如果发现集合大小超出配置的最大值,就会同步的去进行删除文档的操作。 删除文档的步骤大约是, 计...

    文章 夏周tony 2020-10-27 2903浏览量

  • oplogTruncateAfterPoint 在 MongoDB 4.4 中的变化

    背景 在内部针对 MongoDB 4.4 的测试中,我们发现在带写压力的情况下对主库进行 unclean shutdown (kill -9),主库在重启之后少了很多数据,通过分析日志可以看到在加载完 stable checkpoint,进行 replication recovery,即 appl...

    文章 夏周tony 2021-02-01 127浏览量

  • MongoDB · 引擎特性 · 复制集原理

    复制集简介 Mongodb复制集由一组Mongod实例(进程)组成,包含一个Primary节点和多个Secondary节点,Mongodb Driver(客户端)的所有数据都写入Primary,Secondary从Primary同步写入的数据,以保持复制集内所有成员存储相同的数据集,提供数据的高...

    文章 db匠 2018-10-22 1201浏览量

  • MongoDB复制集原理

    复制集简介 Mongodb复制集由一组Mongod实例(进程)组成,包含一个Primary节点和多个Secondary节点,Mongodb Driver(客户端)的所有数据都写入Primary,Secondary从Primary同步写入的数据,以保持复制集内所有成员存储相同的数据集,提供数据的高可...

    文章 张友东(林青) 2015-12-09 17098浏览量

  • Secondary节点为何阻塞请求近一个小时?

    看到Secondary节点上的日志,我的内心的崩溃的,鉴权请求居然耗时2977790ms(约50分钟),经详细统计,这个Secondary节点上,所有16:54之后发起的用户请求,都阻塞到17:54左右才返回,处理时间最长的请求约1个小时。 2016-06-17T17:54:57.575+0800...

    文章 张友东(林青) 2016-06-20 3901浏览量

  • MongoDB副本集

    MongoDB副本集 一、副本集基础 1.1 副本集概念   MongoDB副本集是由一个主节点和多个副本节点组成。主节点将数据的改变推送到副本节点上,在一定的延迟之后,每个MongoDB实例维护相同的数据。通过维护冗余的数据副本,能够实现数据的备份,读写分离和自动故障转移。 1.2 副本集使用场...

    文章 梓杰 2019-09-08 1258浏览量

  • MongoDB副本集同步原理

    MongoDB的同步原理,官方文档介绍的比较少,网上资料也不是太多,下面是结合官方文档、网上资料和测试时候的日志,整理出来的一点东西。因为MongoDB的每个分片也是副本集,所以只需要搞副本集的同步原理即可。 一、Initial Sync 大体来说,MongoDB副本集同步主要包含两个步骤: 1....

    文章 南山123 2019-08-23 1719浏览量

1 2 3 4 >

云产品推荐

上海奇点人才服务相关的云产品 小程序定制 上海微企信息技术相关的云产品 国内短信套餐包 ECS云服务器安全配置相关的云产品 开发者问答 阿里云建站 自然场景识别相关的云产品 万网 小程序开发制作 视频内容分析 视频集锦 代理记账服务 阿里云AIoT