两万字详解MongoDB从入门到精通(一)

本文涉及的产品
云数据库 MongoDB,通用型 2核4GB
简介: 两万字详解MongoDB从入门到精通

一、MongoDB入门


1.1.基本介绍


MongoDB:是一个数据库 ,高性能、无模式、文档性,目前 nosql 中最热门的数据库,开源产品,基于 c++开发。是 nosql 数据库中功能最丰富,最像关系数据库的。

为什么 mongodb 很耗内存?读和写都是基于内存的


1.2.特性


1.面向集合文档的存储:适合存储 Bson(json 的扩展)形式的数据

2.格式自由,数据格式不固定,生产环境下修改结构都可以不影响程序运行;

3.强大的查询语句,面向对象的查询语言,基本覆盖 sql 语言所有能力

4.完整的索引支持,支持查询计划

5.支持复制和自动故障转移

6.支持二进制数据及大型对象(文件)的高效存储

7.使用分片集群提升系统扩展性

8.使用内存映射存储引擎,把磁盘的 IO 操作转换成为内存的操作


1.3.相对关系型数据库结构


mongo 实例->库->集合->文档


1.4.基础概念


数据库

集合

文档:最大 16M 索引


1.5.数据类型


1.null {"key":null} null 表示空值或者不存在该字段

2.布尔 {"key","true"} 布尔类型表示真或者假

3.32 位整数 {"key":8} 存储 32 位整数,但再 shell 界面显示会被自动转成 64 位浮点数

4.64 位整数 {"key":{"floatApprox":8}} 存储 64 位整数,floatApprox 意思是使用 64 位浮点数近似表示一个 64 位整数

5.对象 ID {"key":ObjectId()} 12 字节的唯一 ID

6.日期 {"key":new Date()}

7.代码 {"key":function(){}}

8.二进制数据

9.未定义 {"key":undefined}

10.数组 {“key”:[16,15,17]}

11.内嵌文档 {“user”:{“name”:“lison”}}

12.Decimal128 {“price”:NumberDecimal(“2.099”)}


二、MongoDB进阶


2.1.启动配置文件


storage:
  dbPath: "/usr/local/apache/mongoDB/mongodb-linux-x86_64-rh
el70-3.4.10/data"
systemLog:
  destination: file
  path: "/usr/local/apache//mongoDB/mongodb-linux-x86_64-rhe
l70-3.4.10/logs/mongodb.log"
net:
  port: 27017
  http:
    RESTInterfaceEnabled: true
processManagement:
  fork: false


2.2.常用命令


1.show dbs :显示数据库列表

2.show collections :显示集合列表

3.db : 显示当前数据库

4.db.stats() :显示数据库信息

5.db.serverStatus() : 查看服务器状态

6.db.dropDatabase():删除数据库

7.db.help(),db.collection.help():内置帮助,显示各种方法的说明;

8.db.users.find().size(),db.users.count():获取查询集合的数量;

9.db.users.drop():删除集合包括索引;

10.db.users.remove():仅删除集合的数据

11.db.shutdownServer() 优雅关机

12.nohup ./mongod -f mongodb.conf & :配置文件方式启动 mongo

13../mongo localhost:27022 指定 ip 端口连接 mongo

14../mongod --shutdown -f mongodb.conf 优雅关机

15../mongodump -h localhost:27022 -d dbname -o dataPath 备份数据 原理执行查询,

然后写入文件…

16../mongorestore -h localhost:27022 -d dbname dataPath --drop 恢复数据 --drop 已存在 lison 库则删除原数据库,去掉–drop 则是合并

17../mongoexport -h localhost:27022 -d dbname -c collection -f id,username,age,salary --type=csv -o dataPath 数据导出 -c :指定导出的集合; -f :要导出的字段; --type:导出的文件格式类型[csv,json]

18../mongoexport -h localhost:27022 -d dbname -c collection dataPath --upsert 数据导入–upsert 表示更新现有数据,如果不适用—upsert,则导入时已经存在的文档会报 id 重复,数据不再插入,也可以使用—drop 删除原有数据


2.3.Spring 集成配置


2.3.1.xml

<!-- mongodb 连接池配置 -->
<mongo:mongo-client host="192.168.1.129" port="27017">
<mongo:client-options
    write-concern="ACKNOWLEDGED"
    connections-per-host="100"
    threads-allowed-to-block-for-connection-multiplier="5"
    max-wait-time="120000"
  connect-timeout="10000"/>
</mongo:mongo-client>>
<!-- mongodb 数据库工厂配置 -->
<mongo:db-factory dbname="lison" mongo-ref="mongo" />
<!-- mongodb 模板配置 -->
<bean id="anotherMongoTemplate" class="org.springframework.data.mongodb.core.MongoTemplate">
  <constructor-arg name="mongoDbFactory" ref="mongoDbFactory"/>
  <property name="writeResultChecking" value="EXCEPTION"></property>
</bean>


2.3.2.连接池配置


writeConcern

写入安全机制,是一种客户端设置,用于控制写入安全的级别:


ACKNOWLEDGED 默认选项,数据写入到 Primary 就向客户端发送确认

0 Unacknowledged 对客户端的写入不需要发送任何确认,适用于性能要求高,但不关注正确性的场景;

1 W1 数据写入后,会等待集群中 1 台发送确认

2 W2 数据写入后,会等待集群中两台台发送确认

3 W3 数据写入后,会等待集群中 3 台台发送确认

JOURNALED 确保所有数据提交到 journal file

MAJORITY 等待集群中大多数服务器提交后确认;

默认值:ACKNOWLEDGED


codecRegistry 编解码类,实现 Codec 接口:


1.MongoClient.getDefaultCodecRegistry()

2.minConnectionsPerHost 最小连接数,connections-per-host

3.connectionsPerHost 最大连接数 :100

4.threadsAllowedToBlockForConnectionMultiplier 此参数跟connectionsPerHost 的乘机为一个线程变为可用的最大阻塞数,超过此乘机数之后的所有线程将及时获取一个异常:5

5.maxWaitTime 一个线程等待链接可用的最大等待毫秒数,0 表示不等待 :1000 * 60 * 2

6.maxConnectionIdleTime 设置池连接的最大空闲时间,0 表示没有限制 :0

7.maxConnectionLifeTime 设置池连接的最大使用时间,0 表示没有限制 :0

8.connectTimeout 连接超时时间 :1000*10

9.alwaysUseMBeans 是否打开 JMX 监控 :false

10.heartbeatFrequency 设置心跳频率。 这是驱动程序尝试确定群集中每个服务器的当前状态的频率。 :10000

11.minHeartbeatFrequenc 设置最低心跳频率。 如果驱动程序必须经常重新检查服务器的可用性,那么至少要等上一次检查以避免浪费:500

12.heartbeatConnectTimeout 心跳检测连接超时时间:20000

13.heartbeatSocketTimeout 心跳检测 Socket 超时时间:20000


2.4.MongoDB客户端驱动


compass

robo 3t

studio 3t


三、增删改查与聚合


3.1.新增


insert

insertOne

insertMany


3.2.更新


替换更新

db.users.update({"username":"lison"},{"country":"USA"})

操作符更新


db.users.update({"username":"james"},{"$set":{"country":"USA"}})


query 查询条件,类似 sql update 查询内 where 后面的;


update的对象和一些更新的操作符(如$, $inc…)等,也可以理解为 sql update 查询内 set 后面的


$inc 指定值自增

$set 更新指定字段

$unset 将指定字段删除

$rename 更新字段名称

$ 定位到某一个元素

$push 添加值到数组中,默认放在数组最后

$addToSet 添加值到数组中,有重复则不处理

$pop 删除数组第一个或者最后一个

$pull 从数组中删除匹配查询条件的值

$pullAll 从数组中删除多个值

$each 与$push 和$addToSet 等一起使用来操作多个值

$slice 与$push 和$each 一起使用来操作用来缩小更新后数组的大小

$sort 与$push、$each 和$slice 一起使用来对数组进行排序


1.upsert 可选,这个参数的意思是,如果不存在 update 的记录,是

否插入,true 为插入,默认是 false,不插入

2.multi 可选,mongodb 默认是 false,只更新找到的第一条记录,如

果这个参数为 true,就把按条件查出来多条记录全部更新

3.writeConcern 可选,写策略配置。


注意


mongodb 的更新都是原子的,mongodb 所有的写操作都是有锁的。mongoDB2.2 之前锁级别为实例级别,mongoDB 2.2 到 3.2 之前的版本锁级别为数据库级别,mongoDB 3.2 以后,WiredTiger 的锁级别是文档级别;

findAndModify 命令:在同一往返过程中原子更新文档并返回它;


3.3.删除(不会删除索引)


deleteOne

deleteMany


3.4.查询


3.4.1.常用查询选择器


范围


$eq 等于

$lt 小于

$gt 大于

$lte 小于等于

$gte 大于等于

$in 判断元素是否在指定的集合范围里 db.users.find({“username”:{" KaTeX parse error: Expected 'EOF', got '}' at position 30: …mark", "james"]}̲}).pretty()查询姓名…all` 判断数组中是否包含某几个元素,无关顺序;

$nin 判断元素是否不在指定的集合范围里


布尔运算


$ne 不等于,不匹配参数条件

$not 不匹配结果 db.users.find({"lenght":{"$not":{"$gte":1.77}}}).pretty()

查询高度小于 1.77 或者没有身高的人 not 语句 会把不包含查询语句字段的文档 也检索出来

$or 有一个条件成立则匹配

$nor 所有条件都不匹配

$and 所有条件都必须匹配

$exists 判断元素是否存在 db.users.find({"lenght":{"$exists":true}}).pretty()

判断文档有没有关心的字段


其他


. 子文档匹配

$regex 正则表达式匹配


3.4.2.普通查询


映射


字段选择并排除其他字段:db.users.find({},{'username':1})

字段排除:db.users.find({},{'username':0})


排序


sort():db.users.find().sort({“username”:1}).pretty() 1:升序 -1:降序


跳过和限制


skip(n):跳过 n 条数据

limit(n):限制 n 条数据

eg: db.users.find().sort({"username":1}).limit(2).skip(2)


查询唯一值


distinct():查询指定字段的唯一值,e.g:db.users.distinct(“username”)


示例

db.collection.find(query, projection)
db.users.find({"$and":[{"username":"lison"},{"age":18}]},{"username":0,"age":0})
db.collection.findOne(query, projection)
db.users.find({"$and":[{"username":"lison"},{"age":18}]},{"username":0,"age":0})

3.4.3.数组查询


字符串数组


数组单元素查询


db.users.find({“favorites.movies”:“蜘蛛侠”})

查询数组中包含"蜘蛛侠"


数组精确查找


db.users.find({“favorites.movies”:[ “杀破狼 2”, “战狼”, “雷神1” ]},{“favorites.movies”:1})

查询数组等于[ “杀破狼 2”, “战狼”, “雷神 1” ]的文档,严格按照数量、顺序;


数组多元素查询


db.users.find({“favorites.movies”:{" $all":[ “雷神 1”, “战狼” ]}},{“favorites.movies”:1})

查询数组包含[“雷神 1”, “战狼” ]的文档,跟顺序无关,跟数量有关

db.users.find({“favorites.movies”:{" $in":[ “雷神 1”, “战狼” ]}},{“favorites.movies”:1})

查询数组包含[“雷神 1”, “战狼” ]中任意一个的文档,跟顺序无关,跟数量无关


索引查询


db.users.find({“favorites.movies.0”:“妇联 4”},{“favorites.movies”:1})

查询数组中第一个为"妇联 4"的文档返回数组子集

db.users.find({},{“favorites.movies”:{"$slice":[1,2]},“favorites”:1})

$slice 可以取两个元素数组,分别表示跳过和限制的条数;


对象数组


单元素查询


db.users.find({“comments”:{“author” : “lison6”,“content” : “lison 评论6”,“commentTime” :ISODate(“2017-06-06T00:00:00Z”)}})

备注:对象数组精确查找


查找 1 lison1 者 或者 2 lison12 评论过的 r user (n $in 查找符)


db.users.find({“comments.author”:{"$in":[“lison1”,“lison12”]}}).pretty()

备注:跟数量无关,跟顺序无关;


查找 1 lison1 和 和 2 lison12 都评论过的 user


db.users.find({“comments.author”:{"$all":[“lison12”,“lison1”]}}).pretty()

备注:跟数量有关,跟顺序无关;


查找 5 lison5 评语为包含" " 苍老师" " 关键字的 user (h $elemMatch 查找符)


db.users.find({“comments”:{" $elemMatch":{“author” : “lison5”,

“content” : { " $regex" : “. 苍老师 .”}}}}) .pretty()

备注:数组中对象数据要符合查询对象里面所有的字段, $ 全元素匹配,和顺序无关;


3.4.4.聚合查询


db.collection.aggregate()

$project:投影,指定输出文档中的字段;

$match:用于过滤数据,只输出符合条件的文档。 m a t c h 使 用 M o n g o D B 的 标 准 查 询 操 作 ‘ match 使用 MongoDB 的标准查询操作 `match使用MongoDB的标准查询操作‘limit:用来限制 MongoDB 聚合管道返回的文档数。s k i p ‘ : 在 聚 合 管 道 中 跳 过 指 定 数 量 的 文 档 , 并 返 回 余 下 的 文 档 。 ‘ skip`:在聚合管道中跳过指定数量的文档,并返回余下的文档。 `skip‘:在聚合管道中跳过指定数量的文档,并返回余下的文档。‘unwind:将文档中的某一个数组类型字段拆分成多条,每条包含数组中的一个值。g r o u p ‘ : 将 集 合 中 的 文 档 分 组 , 可 用 于 统 计 结 果 。 ‘ group`:将集合中的文档分组,可用于统计结果。 `group‘:将集合中的文档分组,可用于统计结果。‘sort`:将输入文档排序后输出。


相关实践学习
MongoDB数据库入门
MongoDB数据库入门实验。
快速掌握 MongoDB 数据库
本课程主要讲解MongoDB数据库的基本知识,包括MongoDB数据库的安装、配置、服务的启动、数据的CRUD操作函数使用、MongoDB索引的使用(唯一索引、地理索引、过期索引、全文索引等)、MapReduce操作实现、用户管理、Java对MongoDB的操作支持(基于2.x驱动与3.x驱动的完全讲解)。 通过学习此课程,读者将具备MongoDB数据库的开发能力,并且能够使用MongoDB进行项目开发。 &nbsp; 相关的阿里云产品:云数据库 MongoDB版 云数据库MongoDB版支持ReplicaSet和Sharding两种部署架构,具备安全审计,时间点备份等多项企业能力。在互联网、物联网、游戏、金融等领域被广泛采用。 云数据库MongoDB版(ApsaraDB for MongoDB)完全兼容MongoDB协议,基于飞天分布式系统和高可靠存储引擎,提供多节点高可用架构、弹性扩容、容灾、备份回滚、性能优化等解决方案。 产品详情: https://www.aliyun.com/product/mongodb
目录
相关文章
|
存储 监控 NoSQL
两万字详解MongoDB从入门到精通(二)
两万字详解MongoDB从入门到精通
251 0
两万字详解MongoDB从入门到精通(二)
|
4月前
|
JSON NoSQL 小程序
Mongodb数据库的导出和导入总结
Mongodb数据库的导出和导入总结
206 0
|
4月前
|
存储 NoSQL 大数据
mongodb数据库的优缺点
MongoDB 是一个流行的 NoSQL 数据库,主要用于大规模数据存储和处理。下面是 MongoDB 数据库的一些优点和缺点: ### 优点: 1. **灵活的模式设计**:MongoDB 是一个文档数据库,支持动态的模式设计,允许您存储不同结构和格式的数据。 2. **水平扩展**:MongoDB 支持水平扩展,可以轻松地在多个节点和服务器之间分布数据,以满足高并发和大规模数据处理的需求。 3. **丰富的查询功能**:MongoDB 提供了强大的查询语言和索引支持,允许您在大数据集上进行高效的数据检索和分析。 4. **高性能**:通过使用内存映射(mmap)和其他优化技术,M
332 0
|
13天前
|
NoSQL MongoDB 数据库
MongoDB数据恢复—MongoDB数据库文件被破坏的数据恢复案例
服务器数据恢复环境: 一台Windows Server操作系统服务器,服务器上部署MongoDB数据库。 MongoDB数据库故障&检测: 工作人员在未关闭MongoDB数据库服务的情况下,将数据库文件拷贝到其他分区。拷贝完成后将原MongoDB数据库所在分区进行了格式化操作,然后将数据库文件拷回原分区,重新启动MongoDB服务,服务无法启动。
|
17天前
|
NoSQL MongoDB Redis
Python与NoSQL数据库(MongoDB、Redis等)面试问答
【4月更文挑战第16天】本文探讨了Python与NoSQL数据库(如MongoDB、Redis)在面试中的常见问题,包括连接与操作数据库、错误处理、高级特性和缓存策略。重点介绍了使用`pymongo`和`redis`库进行CRUD操作、异常捕获以及数据一致性管理。通过理解这些问题、易错点及避免策略,并结合代码示例,开发者能在面试中展现其技术实力和实践经验。
148 8
Python与NoSQL数据库(MongoDB、Redis等)面试问答
|
2月前
|
NoSQL 网络协议 MongoDB
Windows公网远程连接MongoDB数据库【无公网IP】
Windows公网远程连接MongoDB数据库【无公网IP】
|
2月前
|
存储 NoSQL 关系型数据库
一篇文章带你搞懂非关系型数据库MongoDB
一篇文章带你搞懂非关系型数据库MongoDB
58 0
|
2月前
|
人工智能 NoSQL MongoDB
|
3月前
|
SQL NoSQL Java
文档型数据库MongoDB
文档型数据库MongoDB