查询MongoDB oplog.rs

本文涉及的产品
云数据库 MongoDB,独享型 2核8GB
推荐场景:
构建全方位客户视图
简介:

oplog是Capped Collection,默认分配5%的空闲磁盘空间。

来看下oplog.rs的样子:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
rs_test:SECONDARY> use local
switched to db local
 
rs_test:SECONDARY> db.oplog.rs.findOne();
{
         "ts"  : Timestamp(1465879171, 238),
         "h"  : NumberLong( "-2275413922284641862" ),
         "v"  : 2,
         "op"  "u" ,
         "ns"  "MyDB.SyncTable" ,
         "o2"  : {
                 "_id"  "bbf80260-3d58-49f1-9c8c-e093d5d57527"
         },
         "o"  : {
                 "_id"  "bbf80260-3d58-49f1-9c8c-e093d5d57527" ,
                 "EntityId"  "362569" ,
                 "TypeName"  "Product" ,
                 "Times"  : 14208,
                 "CreateTime"  : ISODate( "2014-11-15T14:35:51.916Z" ),
                 "LastModified"  : ISODate( "2016-06-14T04:38:21.708Z" ),
                 "LastOperationTime"  : ISODate( "2016-06-14T04:39:30.957Z" )
         }
}


字段含义

ts:8字节的时间戳,由4字节unix timestamp + 4字节自增计数表示。
这个值很重要,在选举(如master宕机时)新primary时,会选择ts最大的那个secondary作为新primary。

op:1字节的操作类型,例如i表示insert,d表示delete。

ns:操作所在的namespace。
o:操作所对应的document,即当前操作的内容(比如更新操作时要更新的的字段和值)
o2: 在执行更新操作时的条件,仅限于update时才有该属性。

其中op,可以是如下几种情形之一:
"i": insert
"u": update
"d": delete
"c": db cmd
"db":声明当前数据库 (其中ns 被设置成为=>数据库名称+ '.')
"n": no op,即空操作,其会定期执行以确保时效性。修改配置,会产生 "n" 操作。


查询示例


oplog.rs系统集合只用于复制,不能创建索引,查询语句会很慢。

1
2
3
4
5
6
7
8
> db.oplog.rs.find({},{ "ts" :1}).sort({$natural: -1})
"ts"  : Timestamp(1406185666, 1) }  
"ts"  : Timestamp(1406180043, 1) }  
"ts"  : Timestamp(1406180033, 1) }  
"ts"  : Timestamp(1406172831, 1) }  
"ts"  : Timestamp(1406171938, 1) }  
 
> db.oplog.rs.find({  "ts"  : {  "$gte"  : Timestamp(1406185630, 1) } },{ "ts" :1})


查询一小时内的oplog

1
2
3
var  SECS_PER_HOUR = 3600
var  now = Math.floor(( new  Date().getTime()) / 1000)  // seconds since epoch right now
> db.oplog.rs.find({  "ts"  : {  "$lt"  : Timestamp(now, 1),  "$gt"  : Timestamp(now - SECS_PER_HOUR, 1) } }


查询某一时间段内的oplog(当然注意时间是UTC存储)

1
2
3
var  since = Math.floor(ISODate( "2014-08-12T09:00:00.000Z" ).getTime() / 1000)
var  until = Math.floor(ISODate( "2014-08-12T15:00:00.000Z" ).getTime() / 1000)
> db.oplog.rs.find({  "ts"  : {  "$lt"  : Timestamp(until, 1),  "$gt"  : Timestamp(since, 1) } })


聚合统计各个集合的UPDATE操作量

1
2
3
4
> db.oplog.rs.aggregate([
         { $match: {  "op" : "u"  }},
         { $group: { _id: "$ns" ,count:{$sum:1}}}
     ])


oplog参考


Replica Set Oplog
https://docs.mongodb.com/manual/core/replica-set-oplog/












本文转自UltraSQL51CTO博客,原文链接:http://blog.51cto.com/ultrasql/1789178 ,如需转载请自行联系原作者


相关文章
|
8月前
|
NoSQL 测试技术 MongoDB
微服务——MongoDB实战演练——根据上级ID查询文章评论的分页列表
本节介绍如何根据上级ID查询文章评论的分页列表,主要包括以下内容:(1)在CommentRepository中新增`findByParentid`方法,用于按父ID查询子评论分页列表;(2)在CommentService中新增`findCommentListPageByParentid`方法,封装分页逻辑;(3)提供JUnit测试用例,验证功能正确性;(4)使用Compass插入测试数据并执行测试,展示查询结果。通过这些步骤,实现对评论的高效分页查询。
144 0
|
3月前
|
存储 JSON NoSQL
查询 MongoDB--SPL 轻量级多源混算实践 4
SPL 支持多种数据源连接,包括 MongoDB 等 NoSQL 数据库。通过外部库形式提供驱动,灵活扩展,可实现实时数据计算与混合分析。
|
存储 NoSQL MongoDB
掌握MongoDB索引优化策略:提升查询效率的关键
在数据库性能调优中,索引是提升查询效率的利器。本文将带你深入了解MongoDB索引的内部工作原理,探讨索引对查询性能的影响,并通过实际案例指导如何针对不同的查询模式建立有效的索引。不仅将涵盖单一字段索引,还会探讨复合索引的使用,以及如何通过分析查询模式和执行计划来优化索引,最终实现查询性能的最大化。
|
10月前
|
SQL NoSQL Java
Java使用sql查询mongodb
通过MongoDB Atlas Data Lake或Apache Drill,可以在Java中使用SQL语法查询MongoDB数据。这两种方法都需要适当的配置和依赖库的支持。希望本文提供的示例和说明能够帮助开发者实现这一目标。
416 17
|
11月前
|
SQL NoSQL Java
Java使用sql查询mongodb
通过使用 MongoDB Connector for BI 和 JDBC,开发者可以在 Java 中使用 SQL 语法查询 MongoDB 数据库。这种方法对于熟悉 SQL 的团队非常有帮助,能够快速实现对 MongoDB 数据的操作。同时,也需要注意到这种方法的性能和功能限制,根据具体应用场景进行选择和优化。
437 9
|
存储 NoSQL MongoDB
MongoDB 查询分析
10月更文挑战第21天
114 1
|
NoSQL MongoDB 索引
MongoDB 覆盖索引查询
10月更文挑战第21天
122 1
|
SQL NoSQL MongoDB
MongoDB 查询文档
10月更文挑战第15天
426 1
|
人工智能 NoSQL 机器人
MongoDB Atlas与YoMio.AI近乎完美适配:推理更快速、查询更灵活、场景更丰富
随着MongoDB的新发布和革新,YoMio.AI的“闪电式发展”值得期待。
|
SQL NoSQL JavaScript
04 MongoDB各种查询操作 以及聚合操作总结
文章全面总结了MongoDB中的查询操作及聚合操作,包括基本查询、条件筛选、排序以及聚合管道的使用方法和实例。
2626 0

推荐镜像

更多