一、MongoDB入门
1.1.基本介绍
MongoDB:是一个数据库 ,高性能、无模式、文档性,目前 nosql 中最热门的数据库,开源产品,基于 c++开发。是 nosql 数据库中功能最丰富,最像关系数据库的。
为什么 mongodb 很耗内存?读和写都是基于内存的
1.2.特性
1.面向集合文档的存储:适合存储 Bson(json 的扩展)形式的数据
2.格式自由,数据格式不固定,生产环境下修改结构都可以不影响程序运行;
3.强大的查询语句,面向对象的查询语言,基本覆盖 sql 语言所有能力
4.完整的索引支持,支持查询计划
5.支持复制和自动故障转移
6.支持二进制数据及大型对象(文件)的高效存储
7.使用分片集群提升系统扩展性
8.使用内存映射存储引擎,把磁盘的 IO 操作转换成为内存的操作
1.3.相对关系型数据库结构
mongo 实例->库->集合->文档
1.4.基础概念
数据库
集合
文档:最大 16M 索引
1.5.数据类型
1.null {"key":null} null 表示空值或者不存在该字段
2.布尔 {"key","true"} 布尔类型表示真或者假
3.32 位整数 {"key":8} 存储 32 位整数,但再 shell 界面显示会被自动转成 64 位浮点数
4.64 位整数 {"key":{"floatApprox":8}} 存储 64 位整数,floatApprox 意思是使用 64 位浮点数近似表示一个 64 位整数
5.对象 ID {"key":ObjectId()} 12 字节的唯一 ID
6.日期 {"key":new Date()}
7.代码 {"key":function(){}}
8.二进制数据
9.未定义 {"key":undefined}
10.数组 {“key”:[16,15,17]}
11.内嵌文档 {“user”:{“name”:“lison”}}
12.Decimal128 {“price”:NumberDecimal(“2.099”)}
二、MongoDB进阶
2.1.启动配置文件
storage: dbPath: "/usr/local/apache/mongoDB/mongodb-linux-x86_64-rh el70-3.4.10/data" systemLog: destination: file path: "/usr/local/apache//mongoDB/mongodb-linux-x86_64-rhe l70-3.4.10/logs/mongodb.log" net: port: 27017 http: RESTInterfaceEnabled: true processManagement: fork: false
2.2.常用命令
1.show dbs :显示数据库列表
2.show collections :显示集合列表
3.db : 显示当前数据库
4.db.stats() :显示数据库信息
5.db.serverStatus() : 查看服务器状态
6.db.dropDatabase():删除数据库
7.db.help(),db.collection.help():内置帮助,显示各种方法的说明;
8.db.users.find().size(),db.users.count():获取查询集合的数量;
9.db.users.drop():删除集合包括索引;
10.db.users.remove():仅删除集合的数据
11.db.shutdownServer() 优雅关机
12.nohup ./mongod -f mongodb.conf & :配置文件方式启动 mongo
13../mongo localhost:27022 指定 ip 端口连接 mongo
14../mongod --shutdown -f mongodb.conf 优雅关机
15../mongodump -h localhost:27022 -d dbname -o dataPath 备份数据 原理执行查询,
然后写入文件…
16../mongorestore -h localhost:27022 -d dbname dataPath --drop 恢复数据 --drop 已存在 lison 库则删除原数据库,去掉–drop 则是合并
17../mongoexport -h localhost:27022 -d dbname -c collection -f id,username,age,salary --type=csv -o dataPath 数据导出 -c :指定导出的集合; -f :要导出的字段; --type:导出的文件格式类型[csv,json]
18../mongoexport -h localhost:27022 -d dbname -c collection dataPath --upsert 数据导入–upsert 表示更新现有数据,如果不适用—upsert,则导入时已经存在的文档会报 id 重复,数据不再插入,也可以使用—drop 删除原有数据
2.3.Spring 集成配置
2.3.1.xml
<!-- mongodb 连接池配置 --> <mongo:mongo-client host="192.168.1.129" port="27017"> <mongo:client-options write-concern="ACKNOWLEDGED" connections-per-host="100" threads-allowed-to-block-for-connection-multiplier="5" max-wait-time="120000" connect-timeout="10000"/> </mongo:mongo-client>> <!-- mongodb 数据库工厂配置 --> <mongo:db-factory dbname="lison" mongo-ref="mongo" /> <!-- mongodb 模板配置 --> <bean id="anotherMongoTemplate" class="org.springframework.data.mongodb.core.MongoTemplate"> <constructor-arg name="mongoDbFactory" ref="mongoDbFactory"/> <property name="writeResultChecking" value="EXCEPTION"></property> </bean>
2.3.2.连接池配置
writeConcern
写入安全机制,是一种客户端设置,用于控制写入安全的级别:
ACKNOWLEDGED 默认选项,数据写入到 Primary 就向客户端发送确认
0 Unacknowledged 对客户端的写入不需要发送任何确认,适用于性能要求高,但不关注正确性的场景;
1 W1 数据写入后,会等待集群中 1 台发送确认
2 W2 数据写入后,会等待集群中两台台发送确认
3 W3 数据写入后,会等待集群中 3 台台发送确认
JOURNALED 确保所有数据提交到 journal file
MAJORITY 等待集群中大多数服务器提交后确认;
默认值:ACKNOWLEDGED
codecRegistry 编解码类,实现 Codec 接口:
1.MongoClient.getDefaultCodecRegistry()
2.minConnectionsPerHost 最小连接数,connections-per-host
3.connectionsPerHost 最大连接数 :100
4.threadsAllowedToBlockForConnectionMultiplier 此参数跟connectionsPerHost 的乘机为一个线程变为可用的最大阻塞数,超过此乘机数之后的所有线程将及时获取一个异常:5
5.maxWaitTime 一个线程等待链接可用的最大等待毫秒数,0 表示不等待 :1000 * 60 * 2
6.maxConnectionIdleTime 设置池连接的最大空闲时间,0 表示没有限制 :0
7.maxConnectionLifeTime 设置池连接的最大使用时间,0 表示没有限制 :0
8.connectTimeout 连接超时时间 :1000*10
9.alwaysUseMBeans 是否打开 JMX 监控 :false
10.heartbeatFrequency 设置心跳频率。 这是驱动程序尝试确定群集中每个服务器的当前状态的频率。 :10000
11.minHeartbeatFrequenc 设置最低心跳频率。 如果驱动程序必须经常重新检查服务器的可用性,那么至少要等上一次检查以避免浪费:500
12.heartbeatConnectTimeout 心跳检测连接超时时间:20000
13.heartbeatSocketTimeout 心跳检测 Socket 超时时间:20000
2.4.MongoDB客户端驱动
compass
robo 3t
studio 3t
三、增删改查与聚合
3.1.新增
insert
insertOne
insertMany
3.2.更新
替换更新
db.users.update({"username":"lison"},{"country":"USA"})
操作符更新
db.users.update({"username":"james"},{"$set":{"country":"USA"}})
query 查询条件,类似 sql update 查询内 where 后面的;
update的对象和一些更新的操作符(如$, $inc…)等,也可以理解为 sql update 查询内 set 后面的
$inc 指定值自增
$set 更新指定字段
$unset 将指定字段删除
$rename 更新字段名称
$ 定位到某一个元素
$push 添加值到数组中,默认放在数组最后
$addToSet 添加值到数组中,有重复则不处理
$pop 删除数组第一个或者最后一个
$pull 从数组中删除匹配查询条件的值
$pullAll 从数组中删除多个值
$each 与$push 和$addToSet 等一起使用来操作多个值
$slice 与$push 和$each 一起使用来操作用来缩小更新后数组的大小
$sort 与$push、$each 和$slice 一起使用来对数组进行排序
1.upsert 可选,这个参数的意思是,如果不存在 update 的记录,是
否插入,true 为插入,默认是 false,不插入
2.multi 可选,mongodb 默认是 false,只更新找到的第一条记录,如
果这个参数为 true,就把按条件查出来多条记录全部更新
3.writeConcern 可选,写策略配置。
注意
mongodb 的更新都是原子的,mongodb 所有的写操作都是有锁的。mongoDB2.2 之前锁级别为实例级别,mongoDB 2.2 到 3.2 之前的版本锁级别为数据库级别,mongoDB 3.2 以后,WiredTiger 的锁级别是文档级别;
findAndModify 命令:在同一往返过程中原子更新文档并返回它;
3.3.删除(不会删除索引)
deleteOne
deleteMany
3.4.查询
3.4.1.常用查询选择器
范围
$eq 等于
$lt 小于
$gt 大于
$lte 小于等于
$gte 大于等于
$in 判断元素是否在指定的集合范围里 db.users.find({“username”:{" KaTeX parse error: Expected 'EOF', got '}' at position 30: …mark", "james"]}̲}).pretty()查询姓名…all` 判断数组中是否包含某几个元素,无关顺序;
$nin 判断元素是否不在指定的集合范围里
布尔运算
$ne 不等于,不匹配参数条件
$not 不匹配结果 db.users.find({"lenght":{"$not":{"$gte":1.77}}}).pretty()
查询高度小于 1.77 或者没有身高的人 not 语句 会把不包含查询语句字段的文档 也检索出来
$or 有一个条件成立则匹配
$nor 所有条件都不匹配
$and 所有条件都必须匹配
$exists 判断元素是否存在 db.users.find({"lenght":{"$exists":true}}).pretty()
判断文档有没有关心的字段
其他
. 子文档匹配
$regex 正则表达式匹配
3.4.2.普通查询
映射
字段选择并排除其他字段:db.users.find({},{'username':1})
字段排除:db.users.find({},{'username':0})
排序
sort():db.users.find().sort({“username”:1}).pretty() 1:升序 -1:降序
跳过和限制
skip(n):跳过 n 条数据
limit(n):限制 n 条数据
eg: db.users.find().sort({"username":1}).limit(2).skip(2)
查询唯一值
distinct():查询指定字段的唯一值,e.g:db.users.distinct(“username”)
示例
db.collection.find(query, projection) db.users.find({"$and":[{"username":"lison"},{"age":18}]},{"username":0,"age":0}) db.collection.findOne(query, projection) db.users.find({"$and":[{"username":"lison"},{"age":18}]},{"username":0,"age":0})
3.4.3.数组查询
字符串数组
数组单元素查询
db.users.find({“favorites.movies”:“蜘蛛侠”})
查询数组中包含"蜘蛛侠"
数组精确查找
db.users.find({“favorites.movies”:[ “杀破狼 2”, “战狼”, “雷神1” ]},{“favorites.movies”:1})
查询数组等于[ “杀破狼 2”, “战狼”, “雷神 1” ]的文档,严格按照数量、顺序;
数组多元素查询
db.users.find({“favorites.movies”:{" $all":[ “雷神 1”, “战狼” ]}},{“favorites.movies”:1})
查询数组包含[“雷神 1”, “战狼” ]的文档,跟顺序无关,跟数量有关
db.users.find({“favorites.movies”:{" $in":[ “雷神 1”, “战狼” ]}},{“favorites.movies”:1})
查询数组包含[“雷神 1”, “战狼” ]中任意一个的文档,跟顺序无关,跟数量无关
索引查询
db.users.find({“favorites.movies.0”:“妇联 4”},{“favorites.movies”:1})
查询数组中第一个为"妇联 4"的文档返回数组子集
db.users.find({},{“favorites.movies”:{"$slice":[1,2]},“favorites”:1})
$slice 可以取两个元素数组,分别表示跳过和限制的条数;
对象数组
单元素查询
db.users.find({“comments”:{“author” : “lison6”,“content” : “lison 评论6”,“commentTime” :ISODate(“2017-06-06T00:00:00Z”)}})
备注:对象数组精确查找
查找 1 lison1 者 或者 2 lison12 评论过的 r user (n $in 查找符)
db.users.find({“comments.author”:{"$in":[“lison1”,“lison12”]}}).pretty()
备注:跟数量无关,跟顺序无关;
查找 1 lison1 和 和 2 lison12 都评论过的 user
db.users.find({“comments.author”:{"$all":[“lison12”,“lison1”]}}).pretty()
备注:跟数量有关,跟顺序无关;
查找 5 lison5 评语为包含" " 苍老师" " 关键字的 user (h $elemMatch 查找符)
db.users.find({“comments”:{" $elemMatch":{“author” : “lison5”,
“content” : { " $regex" : “. 苍老师 .”}}}}) .pretty()
备注:数组中对象数据要符合查询对象里面所有的字段, $ 全元素匹配,和顺序无关;
3.4.4.聚合查询
db.collection.aggregate()
$project:投影,指定输出文档中的字段;
$match:用于过滤数据,只输出符合条件的文档。 m a t c h 使 用 M o n g o D B 的 标 准 查 询 操 作 ‘ match 使用 MongoDB 的标准查询操作 `match使用MongoDB的标准查询操作‘limit:用来限制 MongoDB 聚合管道返回的文档数。s k i p ‘ : 在 聚 合 管 道 中 跳 过 指 定 数 量 的 文 档 , 并 返 回 余 下 的 文 档 。 ‘ skip`:在聚合管道中跳过指定数量的文档,并返回余下的文档。 `skip‘:在聚合管道中跳过指定数量的文档,并返回余下的文档。‘unwind:将文档中的某一个数组类型字段拆分成多条,每条包含数组中的一个值。g r o u p ‘ : 将 集 合 中 的 文 档 分 组 , 可 用 于 统 计 结 果 。 ‘ group`:将集合中的文档分组,可用于统计结果。 `group‘:将集合中的文档分组,可用于统计结果。‘sort`:将输入文档排序后输出。