MongoDB自然排序

本文涉及的产品
云数据库 MongoDB,通用型 2核4GB
简介:

名词解释

natural order
    该排序下数据库参照文档在磁盘上的存储顺序。这是默认的排序顺序。

ObjectId
    一个特定的12字节BSON类型,用于保证集合中的唯一性。ObjectId基于timestamp、machine ID、process ID和 a process-local incremental counter产生。MongoDB使用ObjectId值作为_id键的默认值。


_id 和 ObjectId

当集合创建的时候,MongoDB在_id键上创建了一个唯一索引。这个索引阻止插入在_id键上有相同值的两个文档。你不能删除_id键上的索引。

集合里的文档必需有一个_id键,这个键的值可以是任意类型的,默认是ObjectId对象。在一个集合里面,每个文档都有唯一的"_id" 值,来确保集合里面每个文档都能被唯一标识。如果有两个集合的话,两个集合可以都有一个值为123 的"_id" 键,但是每个集合里面只能有一个"_id" 是123 的文档。

1. ObjectId


ObjectId 是"_id" 的默认类型。它设计成轻量型的,不同的机器都能用全局唯一的同种方法方便地生成它。这是MongoDB 采用ObjectId,而不是其他比较常规的做法(比如自动增加的主键)的主要原因,因为在多个服务器上同步自动增加主键值既费力还费时。MongoDB 从一开始就设计用来作为分布式数据库,处理多个节点是一个核心要求。后面会看到ObjectId 类型在分片环境中要容易生成得多。

ObjectId 使用12 字节的存储空间,每个字节两位十六进制数字,是一个24 位的字符串。由于看起来很长,不少人会觉得难以处理。但关键是要知道这个长长的ObjectId 是实际存储数据的两倍长。

如果快速连续创建多个ObjectId,会发现每次只有最后几位数字有变化。另外中间的几位数字也会变化(要
是在创建的过程中停顿几秒钟)。这是ObjectId的创建方式导致的。12字节按照如下方式生成:
      0|1|2|3 | 4|5|6 | 7|8 | 9|10|11
      时间戳 | 机器  | PID | 计数器
前4字节是从标准纪元开始的时间戳,单位为秒。这会带来一些有用的属性。

时间戳,与随后的5个字节组合起来,提供了秒级别的唯一性。
由于时间戳在前,这意味着ObjectId大致会按照插入的顺序排列。这对于某些方面很有用,如将其作为索引提
高效率,但是这个是没有保证的,仅仅是"大致"。这4个字节也隐含了文档创建的时间。绝大多数驱动都会公开
一个方法从ObjectId获取这个信息。

因为使用的是当前时间,很多用户担心要对服务器进行时间同步,其实这个没有必要,因为时间戳的实际值并不
重要,只要其总是不停增加就好了(每秒一次)。

接下来的三个字节是所在主机的唯一标识符。通常是机器主机名的散列值。这样就可以确保不同主机生成不同的
ObjectId,不产生冲突。

为了确保在同一台机器上并发的多个进程产生的ObjectId是唯一的。后3个字节就是一个自动增加的计数器,确
保相同进程同一秒产生的ObjectId也是不一样的。同一秒钟最多允许每个进程拥有256(16777216)个不同的ObjectId。 

2. 自动生成_id


前面讲到,如果插入文档的时候没有"_id" 键,系统会自动帮你创建一个。可以由MongoDB 服务器来做这件事情,但通常会在客户端由驱动程序完成。理由如下。

虽然ObjectId 设计成轻量型的,易于生成,但是毕竟生成的时候还是产生开销。在客户端生成体现了MongoDB 的设计理念:能从服务器端转移到驱动程序来做的事,就尽量转移。这种理念背后的原因是,即便是像MongoDB 这样的可扩展数据库,扩展应用层也要比扩展数据库层容易得多。将事务交由客户端来处理,就减轻了数据库扩展的负担。

在客户端生成ObjectId,驱动程序能够提供更加丰富的API。例如,驱动程序可以有自己的insert 方法,可以返回生成的ObjectId,也可以直接将其插入文档。如果驱动程序允许服务器生成ObjectId,那么将需要单独的查询,以确定插入的文档中的"_id" 值。



自然排序

1. _id和$natural

那么_id排序可以理解为相当于是按插入时间排序,因为它由客户端驱动产生并内嵌有当前时间戳。按$natural排序的时候,相当于是按数据在磁盘上的组织顺序排序。

2. 索引使用

包含$natural排序的查询不使用索引满足查询谓词,但有个例外:如果查询谓词是_id键上的等值条件},那么使用$natural排序的查询可以使用_id索引。

3. 自然排序内幕

MongoDB的查询排序默认是未定义的,因此会返回文档的顺序。如果没有查询条件,那么将使用自然顺序(natural order)。结果以它们被找到的顺序来返回,可能与插入顺序(但不能保证)或者索引使用的顺序一致。

一些会影响存储(自然)顺序的情况:
. 如果文档被更新而无法放置在它们当前分配的空间,那么会被移动
. 新的文档可能会插入到因删除或移动文档而产生的可用空隙空间

如果使用了索引,文档将以通过索引被找到的顺序返回。如果使用了不止一个索引,那么顺序内部依赖于在重复数据删除(de-duplication)过程中首先通过哪个索引识别文档。

如果你需要一个特定顺序,那么你必需在你的查询中包含一个排序。

需要指出的特例是固定集合的自然顺序(Capped Collections' natural order),因为文档不能移动且以插入的顺序存储。排序是固定集合特性的部分,确保最旧的文档先删除掉。另外,在一个固定集合里文档不能被删除或移动。

说明影响自然顺序的情况:
如果文档被移动、删除,你可能得到不同的结果集。如果没有文档插入、更新、删除你会获得相同的结果。添加索引不会影响文档在磁盘上的位置。

还要附加说明的是,如果你使用复制,在复制集成员之间自然顺序可能不一样。



参考资料

$natural
https://docs.mongodb.com/manual/reference/operator/meta/natural/

cursor.sort()
https://docs.mongodb.com/manual/reference/method/cursor.sort/#return-natural-order

Capped Collections
https://docs.mongodb.com/manual/core/capped-collections/

Default _id Index
https://docs.mongodb.com/manual/indexes/#default-id-index

重复数据删除(De-duplication)技术研究
http://blog.csdn.net/liuaigui/article/details/5829083














本文转自UltraSQL51CTO博客,原文链接: http://blog.51cto.com/ultrasql/1812708,如需转载请自行联系原作者




相关实践学习
MongoDB数据库入门
MongoDB数据库入门实验。
快速掌握 MongoDB 数据库
本课程主要讲解MongoDB数据库的基本知识,包括MongoDB数据库的安装、配置、服务的启动、数据的CRUD操作函数使用、MongoDB索引的使用(唯一索引、地理索引、过期索引、全文索引等)、MapReduce操作实现、用户管理、Java对MongoDB的操作支持(基于2.x驱动与3.x驱动的完全讲解)。 通过学习此课程,读者将具备MongoDB数据库的开发能力,并且能够使用MongoDB进行项目开发。   相关的阿里云产品:云数据库 MongoDB版 云数据库MongoDB版支持ReplicaSet和Sharding两种部署架构,具备安全审计,时间点备份等多项企业能力。在互联网、物联网、游戏、金融等领域被广泛采用。 云数据库MongoDB版(ApsaraDB for MongoDB)完全兼容MongoDB协议,基于飞天分布式系统和高可靠存储引擎,提供多节点高可用架构、弹性扩容、容灾、备份回滚、性能优化等解决方案。 产品详情: https://www.aliyun.com/product/mongodb
相关文章
|
4月前
|
NoSQL MongoDB Python
深入了解 Python MongoDB 操作:排序、删除、更新、结果限制全面解析
使用 sort() 方法对结果进行升序或降序排序。 sort() 方法接受一个参数用于“字段名”,一个参数用于“方向”(升序是默认方向)。
70 0
|
NoSQL 关系型数据库 MongoDB
mongodb[六] 排序
语法: sort(fields)  类似于mysql 中的 order by ,在mongodb中对查询结果进行排序显示,排序有 1升序、-1降序 例如: 1、升序 db.user.find().sort({age:1}); 2、降序 db.user.find().sort({age:-1}); 3、组合排序 db.user.find().sort({age:-1,
1612 0
|
10月前
|
NoSQL MongoDB
MongoDB 排序
MongoDB 排序
51 0
|
9月前
|
索引
MongoDB-索引对排序影响
如果排序的字段, 正好是索引的字段, 那么会大大提升排序效率。
66 0
|
JSON NoSQL 关系型数据库
MongoDB(一)——增删改查,排序分页,索引,权限机制
数据库就是用来存放数据的仓库 关系型和非关系型数据库软件的项目数据 相同点:都是数据库软件,用来存放项目数据
396 0
MongoDB(一)——增删改查,排序分页,索引,权限机制
|
存储 JSON NoSQL
MongoDB基本操作(二)——排序、分页、聚合查询、优化索引等
MongoDB基本操作(二)——排序、分页、聚合查询、优化索引等
1248 0
|
存储 NoSQL 前端开发
【MongoDB实战】Java中如何对MongoDB字符串数值进行排序
案例讲解Java中如何对MongoDB字符串数值进行排序
876 0
【MongoDB实战】Java中如何对MongoDB字符串数值进行排序