查询MongoDB oplog.rs

本文涉及的产品
云数据库 MongoDB,独享型 2核8GB
推荐场景:
构建全方位客户视图
简介:

oplog是Capped Collection,默认分配5%的空闲磁盘空间。

来看下oplog.rs的样子:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
rs_test:SECONDARY> use local
switched to db local
 
rs_test:SECONDARY> db.oplog.rs.findOne();
{
         "ts"  : Timestamp(1465879171, 238),
         "h"  : NumberLong( "-2275413922284641862" ),
         "v"  : 2,
         "op"  "u" ,
         "ns"  "MyDB.SyncTable" ,
         "o2"  : {
                 "_id"  "bbf80260-3d58-49f1-9c8c-e093d5d57527"
         },
         "o"  : {
                 "_id"  "bbf80260-3d58-49f1-9c8c-e093d5d57527" ,
                 "EntityId"  "362569" ,
                 "TypeName"  "Product" ,
                 "Times"  : 14208,
                 "CreateTime"  : ISODate( "2014-11-15T14:35:51.916Z" ),
                 "LastModified"  : ISODate( "2016-06-14T04:38:21.708Z" ),
                 "LastOperationTime"  : ISODate( "2016-06-14T04:39:30.957Z" )
         }
}


字段含义

ts:8字节的时间戳,由4字节unix timestamp + 4字节自增计数表示。
这个值很重要,在选举(如master宕机时)新primary时,会选择ts最大的那个secondary作为新primary。

op:1字节的操作类型,例如i表示insert,d表示delete。

ns:操作所在的namespace。
o:操作所对应的document,即当前操作的内容(比如更新操作时要更新的的字段和值)
o2: 在执行更新操作时的条件,仅限于update时才有该属性。

其中op,可以是如下几种情形之一:
"i": insert
"u": update
"d": delete
"c": db cmd
"db":声明当前数据库 (其中ns 被设置成为=>数据库名称+ '.')
"n": no op,即空操作,其会定期执行以确保时效性。修改配置,会产生 "n" 操作。


查询示例


oplog.rs系统集合只用于复制,不能创建索引,查询语句会很慢。

1
2
3
4
5
6
7
8
> db.oplog.rs.find({},{ "ts" :1}).sort({$natural: -1})
"ts"  : Timestamp(1406185666, 1) }  
"ts"  : Timestamp(1406180043, 1) }  
"ts"  : Timestamp(1406180033, 1) }  
"ts"  : Timestamp(1406172831, 1) }  
"ts"  : Timestamp(1406171938, 1) }  
 
> db.oplog.rs.find({  "ts"  : {  "$gte"  : Timestamp(1406185630, 1) } },{ "ts" :1})


查询一小时内的oplog

1
2
3
var  SECS_PER_HOUR = 3600
var  now = Math.floor(( new  Date().getTime()) / 1000)  // seconds since epoch right now
> db.oplog.rs.find({  "ts"  : {  "$lt"  : Timestamp(now, 1),  "$gt"  : Timestamp(now - SECS_PER_HOUR, 1) } }


查询某一时间段内的oplog(当然注意时间是UTC存储)

1
2
3
var  since = Math.floor(ISODate( "2014-08-12T09:00:00.000Z" ).getTime() / 1000)
var  until = Math.floor(ISODate( "2014-08-12T15:00:00.000Z" ).getTime() / 1000)
> db.oplog.rs.find({  "ts"  : {  "$lt"  : Timestamp(until, 1),  "$gt"  : Timestamp(since, 1) } })


聚合统计各个集合的UPDATE操作量

1
2
3
4
> db.oplog.rs.aggregate([
         { $match: {  "op" : "u"  }},
         { $group: { _id: "$ns" ,count:{$sum:1}}}
     ])


oplog参考


Replica Set Oplog
https://docs.mongodb.com/manual/core/replica-set-oplog/












本文转自UltraSQL51CTO博客,原文链接:http://blog.51cto.com/ultrasql/1789178 ,如需转载请自行联系原作者


相关实践学习
MongoDB数据库入门
MongoDB数据库入门实验。
快速掌握 MongoDB 数据库
本课程主要讲解MongoDB数据库的基本知识,包括MongoDB数据库的安装、配置、服务的启动、数据的CRUD操作函数使用、MongoDB索引的使用(唯一索引、地理索引、过期索引、全文索引等)、MapReduce操作实现、用户管理、Java对MongoDB的操作支持(基于2.x驱动与3.x驱动的完全讲解)。 通过学习此课程,读者将具备MongoDB数据库的开发能力,并且能够使用MongoDB进行项目开发。   相关的阿里云产品:云数据库 MongoDB版 云数据库MongoDB版支持ReplicaSet和Sharding两种部署架构,具备安全审计,时间点备份等多项企业能力。在互联网、物联网、游戏、金融等领域被广泛采用。 云数据库MongoDB版(ApsaraDB for MongoDB)完全兼容MongoDB协议,基于飞天分布式系统和高可靠存储引擎,提供多节点高可用架构、弹性扩容、容灾、备份回滚、性能优化等解决方案。 产品详情: https://www.aliyun.com/product/mongodb
相关文章
|
2月前
|
NoSQL 定位技术 MongoDB
解锁MongoDB索引的秘密:优化查询效率与应对限制的策略
解锁MongoDB索引的秘密:优化查询效率与应对限制的策略
|
7天前
|
监控 NoSQL MongoDB
mongodb查询100万数据如何查询快速
综上,提高MongoDB百万级数据的查询性能需要综合多项技术,并在实际应用中不断调优和实践。理解数据的特征,合理设计索引,优化查询语句,在数据访问、管理上遵循最佳的实践,这样才能有效地管理和查询大规模的数据集合。
29 1
|
1月前
|
NoSQL 关系型数据库 MySQL
优化MongoDB查询
【7月更文挑战第4天】
31 0
|
1月前
|
NoSQL 中间件 MongoDB
MongoDB查询过程
【7月更文挑战第3天】
24 0
|
2月前
|
NoSQL BI MongoDB
深入理解 MongoDB 条件操作符:优化查询、精准筛选、提升性能
深入理解 MongoDB 条件操作符:优化查询、精准筛选、提升性能
|
3月前
|
NoSQL MongoDB 数据库
通过优化索引以消除 MongoDB 中的 "查询目标已超过1000个扫描对象/返回的文档数" 警告
MongoDB NoSQL数据库在处理复杂查询时可能出现“查询目标已超过1000个扫描对象/返回的文档数”警告。文章分析了该问题,展示了一个示例集合和相关索引,并提供了查询示例。通过`explain`命令发现查询未有效利用索引。解决方案是遵循ESR规则,创建新索引从而优化查询并消除警告。
101 1
|
2月前
|
监控 NoSQL MongoDB
深度优化:掌握 MongoDB 查询分析的关键技巧
深度优化:掌握 MongoDB 查询分析的关键技巧
|
2月前
|
NoSQL BI MongoDB
MongoDB 数据探索之道:查询文档操作详解
MongoDB 数据探索之道:查询文档操作详解
|
2月前
|
存储 监控 NoSQL
MongoDB 覆盖索引查询:提升性能的完整指南
MongoDB 覆盖索引查询:提升性能的完整指南
|
2月前
|
NoSQL MongoDB 数据库
MongoDB索引:加速查询、提升性能的利器
MongoDB索引:加速查询、提升性能的利器

热门文章

最新文章