两万字详解MongoDB从入门到精通(一)

本文涉及的产品
云数据库 MongoDB,独享型 2核8GB
推荐场景:
构建全方位客户视图
简介: 两万字详解MongoDB从入门到精通

一、MongoDB入门


1.1.基本介绍


MongoDB:是一个数据库 ,高性能、无模式、文档性,目前 nosql 中最热门的数据库,开源产品,基于 c++开发。是 nosql 数据库中功能最丰富,最像关系数据库的。

为什么 mongodb 很耗内存?读和写都是基于内存的


1.2.特性


1.面向集合文档的存储:适合存储 Bson(json 的扩展)形式的数据

2.格式自由,数据格式不固定,生产环境下修改结构都可以不影响程序运行;

3.强大的查询语句,面向对象的查询语言,基本覆盖 sql 语言所有能力

4.完整的索引支持,支持查询计划

5.支持复制和自动故障转移

6.支持二进制数据及大型对象(文件)的高效存储

7.使用分片集群提升系统扩展性

8.使用内存映射存储引擎,把磁盘的 IO 操作转换成为内存的操作


1.3.相对关系型数据库结构


mongo 实例->库->集合->文档


1.4.基础概念


数据库

集合

文档:最大 16M 索引


1.5.数据类型


1.null {"key":null} null 表示空值或者不存在该字段

2.布尔 {"key","true"} 布尔类型表示真或者假

3.32 位整数 {"key":8} 存储 32 位整数,但再 shell 界面显示会被自动转成 64 位浮点数

4.64 位整数 {"key":{"floatApprox":8}} 存储 64 位整数,floatApprox 意思是使用 64 位浮点数近似表示一个 64 位整数

5.对象 ID {"key":ObjectId()} 12 字节的唯一 ID

6.日期 {"key":new Date()}

7.代码 {"key":function(){}}

8.二进制数据

9.未定义 {"key":undefined}

10.数组 {“key”:[16,15,17]}

11.内嵌文档 {“user”:{“name”:“lison”}}

12.Decimal128 {“price”:NumberDecimal(“2.099”)}


二、MongoDB进阶


2.1.启动配置文件


storage:
  dbPath: "/usr/local/apache/mongoDB/mongodb-linux-x86_64-rh
el70-3.4.10/data"
systemLog:
  destination: file
  path: "/usr/local/apache//mongoDB/mongodb-linux-x86_64-rhe
l70-3.4.10/logs/mongodb.log"
net:
  port: 27017
  http:
    RESTInterfaceEnabled: true
processManagement:
  fork: false


2.2.常用命令


1.show dbs :显示数据库列表

2.show collections :显示集合列表

3.db : 显示当前数据库

4.db.stats() :显示数据库信息

5.db.serverStatus() : 查看服务器状态

6.db.dropDatabase():删除数据库

7.db.help(),db.collection.help():内置帮助,显示各种方法的说明;

8.db.users.find().size(),db.users.count():获取查询集合的数量;

9.db.users.drop():删除集合包括索引;

10.db.users.remove():仅删除集合的数据

11.db.shutdownServer() 优雅关机

12.nohup ./mongod -f mongodb.conf & :配置文件方式启动 mongo

13../mongo localhost:27022 指定 ip 端口连接 mongo

14../mongod --shutdown -f mongodb.conf 优雅关机

15../mongodump -h localhost:27022 -d dbname -o dataPath 备份数据 原理执行查询,

然后写入文件…

16../mongorestore -h localhost:27022 -d dbname dataPath --drop 恢复数据 --drop 已存在 lison 库则删除原数据库,去掉–drop 则是合并

17../mongoexport -h localhost:27022 -d dbname -c collection -f id,username,age,salary --type=csv -o dataPath 数据导出 -c :指定导出的集合; -f :要导出的字段; --type:导出的文件格式类型[csv,json]

18../mongoexport -h localhost:27022 -d dbname -c collection dataPath --upsert 数据导入–upsert 表示更新现有数据,如果不适用—upsert,则导入时已经存在的文档会报 id 重复,数据不再插入,也可以使用—drop 删除原有数据


2.3.Spring 集成配置


2.3.1.xml

<!-- mongodb 连接池配置 -->
<mongo:mongo-client host="192.168.1.129" port="27017">
<mongo:client-options
    write-concern="ACKNOWLEDGED"
    connections-per-host="100"
    threads-allowed-to-block-for-connection-multiplier="5"
    max-wait-time="120000"
  connect-timeout="10000"/>
</mongo:mongo-client>>
<!-- mongodb 数据库工厂配置 -->
<mongo:db-factory dbname="lison" mongo-ref="mongo" />
<!-- mongodb 模板配置 -->
<bean id="anotherMongoTemplate" class="org.springframework.data.mongodb.core.MongoTemplate">
  <constructor-arg name="mongoDbFactory" ref="mongoDbFactory"/>
  <property name="writeResultChecking" value="EXCEPTION"></property>
</bean>


2.3.2.连接池配置


writeConcern

写入安全机制,是一种客户端设置,用于控制写入安全的级别:


ACKNOWLEDGED 默认选项,数据写入到 Primary 就向客户端发送确认

0 Unacknowledged 对客户端的写入不需要发送任何确认,适用于性能要求高,但不关注正确性的场景;

1 W1 数据写入后,会等待集群中 1 台发送确认

2 W2 数据写入后,会等待集群中两台台发送确认

3 W3 数据写入后,会等待集群中 3 台台发送确认

JOURNALED 确保所有数据提交到 journal file

MAJORITY 等待集群中大多数服务器提交后确认;

默认值:ACKNOWLEDGED


codecRegistry 编解码类,实现 Codec 接口:


1.MongoClient.getDefaultCodecRegistry()

2.minConnectionsPerHost 最小连接数,connections-per-host

3.connectionsPerHost 最大连接数 :100

4.threadsAllowedToBlockForConnectionMultiplier 此参数跟connectionsPerHost 的乘机为一个线程变为可用的最大阻塞数,超过此乘机数之后的所有线程将及时获取一个异常:5

5.maxWaitTime 一个线程等待链接可用的最大等待毫秒数,0 表示不等待 :1000 * 60 * 2

6.maxConnectionIdleTime 设置池连接的最大空闲时间,0 表示没有限制 :0

7.maxConnectionLifeTime 设置池连接的最大使用时间,0 表示没有限制 :0

8.connectTimeout 连接超时时间 :1000*10

9.alwaysUseMBeans 是否打开 JMX 监控 :false

10.heartbeatFrequency 设置心跳频率。 这是驱动程序尝试确定群集中每个服务器的当前状态的频率。 :10000

11.minHeartbeatFrequenc 设置最低心跳频率。 如果驱动程序必须经常重新检查服务器的可用性,那么至少要等上一次检查以避免浪费:500

12.heartbeatConnectTimeout 心跳检测连接超时时间:20000

13.heartbeatSocketTimeout 心跳检测 Socket 超时时间:20000


2.4.MongoDB客户端驱动


compass

robo 3t

studio 3t


三、增删改查与聚合


3.1.新增


insert

insertOne

insertMany


3.2.更新


替换更新

db.users.update({"username":"lison"},{"country":"USA"})

操作符更新


db.users.update({"username":"james"},{"$set":{"country":"USA"}})


query 查询条件,类似 sql update 查询内 where 后面的;


update的对象和一些更新的操作符(如$, $inc…)等,也可以理解为 sql update 查询内 set 后面的


$inc 指定值自增

$set 更新指定字段

$unset 将指定字段删除

$rename 更新字段名称

$ 定位到某一个元素

$push 添加值到数组中,默认放在数组最后

$addToSet 添加值到数组中,有重复则不处理

$pop 删除数组第一个或者最后一个

$pull 从数组中删除匹配查询条件的值

$pullAll 从数组中删除多个值

$each 与$push 和$addToSet 等一起使用来操作多个值

$slice 与$push 和$each 一起使用来操作用来缩小更新后数组的大小

$sort 与$push、$each 和$slice 一起使用来对数组进行排序


1.upsert 可选,这个参数的意思是,如果不存在 update 的记录,是

否插入,true 为插入,默认是 false,不插入

2.multi 可选,mongodb 默认是 false,只更新找到的第一条记录,如

果这个参数为 true,就把按条件查出来多条记录全部更新

3.writeConcern 可选,写策略配置。


注意


mongodb 的更新都是原子的,mongodb 所有的写操作都是有锁的。mongoDB2.2 之前锁级别为实例级别,mongoDB 2.2 到 3.2 之前的版本锁级别为数据库级别,mongoDB 3.2 以后,WiredTiger 的锁级别是文档级别;

findAndModify 命令:在同一往返过程中原子更新文档并返回它;


3.3.删除(不会删除索引)


deleteOne

deleteMany


3.4.查询


3.4.1.常用查询选择器


范围


$eq 等于

$lt 小于

$gt 大于

$lte 小于等于

$gte 大于等于

$in 判断元素是否在指定的集合范围里 db.users.find({“username”:{" KaTeX parse error: Expected 'EOF', got '}' at position 30: …mark", "james"]}̲}).pretty()查询姓名…all` 判断数组中是否包含某几个元素,无关顺序;

$nin 判断元素是否不在指定的集合范围里


布尔运算


$ne 不等于,不匹配参数条件

$not 不匹配结果 db.users.find({"lenght":{"$not":{"$gte":1.77}}}).pretty()

查询高度小于 1.77 或者没有身高的人 not 语句 会把不包含查询语句字段的文档 也检索出来

$or 有一个条件成立则匹配

$nor 所有条件都不匹配

$and 所有条件都必须匹配

$exists 判断元素是否存在 db.users.find({"lenght":{"$exists":true}}).pretty()

判断文档有没有关心的字段


其他


. 子文档匹配

$regex 正则表达式匹配


3.4.2.普通查询


映射


字段选择并排除其他字段:db.users.find({},{'username':1})

字段排除:db.users.find({},{'username':0})


排序


sort():db.users.find().sort({“username”:1}).pretty() 1:升序 -1:降序


跳过和限制


skip(n):跳过 n 条数据

limit(n):限制 n 条数据

eg: db.users.find().sort({"username":1}).limit(2).skip(2)


查询唯一值


distinct():查询指定字段的唯一值,e.g:db.users.distinct(“username”)


示例

db.collection.find(query, projection)
db.users.find({"$and":[{"username":"lison"},{"age":18}]},{"username":0,"age":0})
db.collection.findOne(query, projection)
db.users.find({"$and":[{"username":"lison"},{"age":18}]},{"username":0,"age":0})

3.4.3.数组查询


字符串数组


数组单元素查询


db.users.find({“favorites.movies”:“蜘蛛侠”})

查询数组中包含"蜘蛛侠"


数组精确查找


db.users.find({“favorites.movies”:[ “杀破狼 2”, “战狼”, “雷神1” ]},{“favorites.movies”:1})

查询数组等于[ “杀破狼 2”, “战狼”, “雷神 1” ]的文档,严格按照数量、顺序;


数组多元素查询


db.users.find({“favorites.movies”:{" $all":[ “雷神 1”, “战狼” ]}},{“favorites.movies”:1})

查询数组包含[“雷神 1”, “战狼” ]的文档,跟顺序无关,跟数量有关

db.users.find({“favorites.movies”:{" $in":[ “雷神 1”, “战狼” ]}},{“favorites.movies”:1})

查询数组包含[“雷神 1”, “战狼” ]中任意一个的文档,跟顺序无关,跟数量无关


索引查询


db.users.find({“favorites.movies.0”:“妇联 4”},{“favorites.movies”:1})

查询数组中第一个为"妇联 4"的文档返回数组子集

db.users.find({},{“favorites.movies”:{"$slice":[1,2]},“favorites”:1})

$slice 可以取两个元素数组,分别表示跳过和限制的条数;


对象数组


单元素查询


db.users.find({“comments”:{“author” : “lison6”,“content” : “lison 评论6”,“commentTime” :ISODate(“2017-06-06T00:00:00Z”)}})

备注:对象数组精确查找


查找 1 lison1 者 或者 2 lison12 评论过的 r user (n $in 查找符)


db.users.find({“comments.author”:{"$in":[“lison1”,“lison12”]}}).pretty()

备注:跟数量无关,跟顺序无关;


查找 1 lison1 和 和 2 lison12 都评论过的 user


db.users.find({“comments.author”:{"$all":[“lison12”,“lison1”]}}).pretty()

备注:跟数量有关,跟顺序无关;


查找 5 lison5 评语为包含" " 苍老师" " 关键字的 user (h $elemMatch 查找符)


db.users.find({“comments”:{" $elemMatch":{“author” : “lison5”,

“content” : { " $regex" : “. 苍老师 .”}}}}) .pretty()

备注:数组中对象数据要符合查询对象里面所有的字段, $ 全元素匹配,和顺序无关;


3.4.4.聚合查询


db.collection.aggregate()

$project:投影,指定输出文档中的字段;

$match:用于过滤数据,只输出符合条件的文档。 m a t c h 使 用 M o n g o D B 的 标 准 查 询 操 作 ‘ match 使用 MongoDB 的标准查询操作 `match使用MongoDB的标准查询操作‘limit:用来限制 MongoDB 聚合管道返回的文档数。s k i p ‘ : 在 聚 合 管 道 中 跳 过 指 定 数 量 的 文 档 , 并 返 回 余 下 的 文 档 。 ‘ skip`:在聚合管道中跳过指定数量的文档,并返回余下的文档。 `skip‘:在聚合管道中跳过指定数量的文档,并返回余下的文档。‘unwind:将文档中的某一个数组类型字段拆分成多条,每条包含数组中的一个值。g r o u p ‘ : 将 集 合 中 的 文 档 分 组 , 可 用 于 统 计 结 果 。 ‘ group`:将集合中的文档分组,可用于统计结果。 `group‘:将集合中的文档分组,可用于统计结果。‘sort`:将输入文档排序后输出。


相关实践学习
MongoDB数据库入门
MongoDB数据库入门实验。
快速掌握 MongoDB 数据库
本课程主要讲解MongoDB数据库的基本知识,包括MongoDB数据库的安装、配置、服务的启动、数据的CRUD操作函数使用、MongoDB索引的使用(唯一索引、地理索引、过期索引、全文索引等)、MapReduce操作实现、用户管理、Java对MongoDB的操作支持(基于2.x驱动与3.x驱动的完全讲解)。 通过学习此课程,读者将具备MongoDB数据库的开发能力,并且能够使用MongoDB进行项目开发。 &nbsp; 相关的阿里云产品:云数据库 MongoDB版 云数据库MongoDB版支持ReplicaSet和Sharding两种部署架构,具备安全审计,时间点备份等多项企业能力。在互联网、物联网、游戏、金融等领域被广泛采用。 云数据库MongoDB版(ApsaraDB for MongoDB)完全兼容MongoDB协议,基于飞天分布式系统和高可靠存储引擎,提供多节点高可用架构、弹性扩容、容灾、备份回滚、性能优化等解决方案。 产品详情: https://www.aliyun.com/product/mongodb
目录
相关文章
|
存储 JSON NoSQL
一.MongoDB入门-MongDB介绍和安装
MongoDB入门-MongDB介绍和安装
|
NoSQL MongoDB 索引
开心档-软件开发入门之MongoDB 覆盖索引查询
开心档-软件开发入门之MongoDB 覆盖索引查询
72 0
|
2月前
|
NoSQL MongoDB
MongoDB入门-sort和投影
这篇文章介绍了MongoDB中的排序(sort)和投影(projection)操作,通过示例代码展示了如何使用这些功能来控制查询结果的排序顺序和返回的字段。
33 3
MongoDB入门-sort和投影
|
2月前
|
NoSQL MongoDB
MongoDB入门-MongoDB的CURD语句练习
这篇文章提供了MongoDB的CURD操作的练习,涵盖了插入、查询、更新和删除数据的基本命令,并通过具体示例展示了如何在MongoDB中执行这些操作。
41 2
|
27天前
|
存储 NoSQL MongoDB
MongoDB入门级别教程全(Windows版,保姆级教程)
一份全面的MongoDB入门级教程,包括在Windows系统上安装MongoDB、使用MongoDB Shell和Compass GUI进行数据库操作,以及MongoDB的基本数据类型和查询技巧。
56 2
MongoDB入门级别教程全(Windows版,保姆级教程)
|
3月前
|
NoSQL BI 数据处理
【超实用攻略】MongoDB 聚合框架:从入门到精通,带你解锁数据处理新姿势!
【8月更文挑战第24天】MongoDB是一款以其灵活性和高性能闻名的NoSQL数据库。其强大的聚合框架采用管道式处理,允许用户定义多个数据处理阶段如过滤、分组等。本文通过示例数据库`orders`和`products`,演示如何利用聚合框架计算各产品的总销售额。示例代码展示了使用`$lookup`连接两集合、`$unwind`打平数组及`$group`按产品ID分组并计算总销售额的过程。这突显了聚合框架处理复杂查询的强大能力,是进行数据分析和报表生成的理想选择。
41 3
|
3月前
|
持续交付 jenkins C#
“WPF与DevOps深度融合:从Jenkins配置到自动化部署全流程解析,助你实现持续集成与持续交付的无缝衔接”
【8月更文挑战第31天】本文详细介绍如何在Windows Presentation Foundation(WPF)项目中应用DevOps实践,实现自动化部署与持续集成。通过具体代码示例和步骤指导,介绍选择Jenkins作为CI/CD工具,结合Git进行源码管理,配置构建任务、触发器、环境、构建步骤、测试及部署等环节,显著提升开发效率和代码质量。
69 0
|
6月前
|
存储 NoSQL MongoDB
【MongoDB 专栏】MongoDB 入门指南:从零开始学习
【5月更文挑战第10天】本文介绍了MongoDB,一个流行的NoSQL数据库,以其灵活的数据模型和高性能著称。内容包括MongoDB的基础知识、安装配置、文档数据模型、数据库操作(如创建、查询、更新和删除)、索引创建、数据备份恢复及性能优化策略。此外,还探讨了MongoDB在社交网络、电子商务等领域的应用。对于初学者,本文提供了从零开始学习MongoDB的入门指导。
103 0
【MongoDB 专栏】MongoDB 入门指南:从零开始学习
|
6月前
|
存储 NoSQL MongoDB
Mongodb 入门
Mongodb 入门
39 0
|
12月前
|
运维 NoSQL MongoDB
[慕课笔记]mongodb入门篇
[慕课笔记]mongodb入门篇
60 1