MongoDB 定位 oplog 必须全表扫描吗?
MongoDB oplog (类似于 MySQL binlog) 记录数据库的所有修改操作,除了用于主备同步;oplog 还能玩出很多花样,比如
全量备份 + 增量备份所有的 oplog,就能实现 MongoDB 恢复到任意时间点的功能
通过 oplog,除了实现到备节点的同步,也可以额外再往单独的集群同步数据(甚至是异构的数据库),实现容灾、多活等场景,比如阿里云开源的 MongoShake 就能实现基于 oplog 的增量同步。
MongoShake——基于MongoDB的跨数据中心的数据复制平台
MongoShake是基于MongoDB的通用型平台服务,作为数据连通的桥梁,打通各个闭环节点的通道。通过MongoShake的订阅消费,可以灵活对接以适应不同场景,例如日志订阅、数据中心同步、监控审计等。其中,集群数据同步作为核心应用场景,能够灵活实现灾备和多活的业务场景。
【转载】时隔一年多,我又用起了 Superset
去年 6 月份在流利说提离职后,leader 问我为什么要走。我说,流利说有很健全的数据处理基础设施,但这不是所有的公司都会有的条件,所以我想看看在一个基建不全的创业公司我是否也可以像现在一样做的好。
Mongodb集群搭建及spring和java连接配置记录
<p>一、基本环境:</p>
<p>mongdb3.0.5数据库</p>
<p>spring-data-mongodb-1.7.2.jar</p>
<p>mongo-java-driver-3.0.2.jar</p>
<p>linux-redhat6.3</p>
<p>tomcat7</p>
<p> </p>
<p> </p>
<p>二、搭建mongodb副本集:</p>
MongoDB sharding 集合不分片性能更高?
最近云上用户用户遇到一个 sharding 集群性能问题的疑惑,比较有代表性,简单分享一下
测试配置
mongos x 2、shard x 3
测试1:集合不开启分片,批量 insert 导入数据,每个 batch 100 个文档
测试2:集合开启分片,随机生成 shardKey,chunk 已...
MongoDB Secondary同步慢问题分析
MongoDB Scondary同步慢问题分析
问题背景
最近生产环境出现多次Primary写入QPS太高,导致Seconary的同步无法跟上的问题(Secondary上的最新oplog时间戳比Primary上最旧oplog时间戳小),使得Secondary变成RECOVERING状态,这时需要
MongoDB分布式架构演进
文章内容为2016年 PostgresSQL 中国用户会上分享内容,主要介绍 MongoDB 高可用、可扩展的分布式架构的演进过程。