目录
一、MongoDB概述:
传统关系型数据库(MySQL),在操作上对于满足Web2.0网站需求显得力不从心,而MongoDB可应对“三高”需求。
- Highperformance:对数据库高井发读写的需求
- HugeStorage:对海量数据的高效率存储和访问的需求
- High Scalability && High Availability:对数据库的高可扩展性和高可用性的需求
1.MongoDB简介:
MongoDB是一个开源、高性能、无模式的文档型数据库,当初的设计就是用于简化开发和方便扩展,是NoSQL数据库产品中的一种。是最像关系型数据库(MySQL)的非关系型数据库。
它支持的数据结构非常松散,是一种类似于JSON的格式叫BSON,所以它既可以存储比较复杂的数据类型,又相当的灵活。
MongoDB中的记录是一个文档,它是一个由字段和值对(field:value)组成的数据结构,MongoDB文档类似于JSON对象,即一个文档认为就是一个对象。字段的数据类型是字符型,它的值除了使用基本的一些类型外,还可以包括其他文档、普通数组和文档数组
体系结构:
编辑
编辑
数据模型:
MongoDB的最小存储单位就是文档(document)对象。文档(document)对象对应于关系型数据库的行。数据在MongoDB中以BSON(Binary-JSON)文档的格式存储在磁盘上。
BSON(Binary Serialized Document Format)是一种类json的一种二进制形式的存储格式,简称Binary JSON。BSON和JSON一样,支持内嵌的文档对象和数组对象,但是BSON有JSON没有的一些数据类型,如Date和BinData类型。
BSON采用了类似于 C 语言结构体的名称、对表示方法,支持内嵌的文档对象和数组对象,具有轻量性、可遍历性、高效性的三个特点,可以有效描述非结构化数据和结构化数据。这种格式的优点是灵活性高,但它的缺点是空间利用率不是很理想。
Bson中,除了基本的JSON类型:string,integer,boolean,double,null,array和object,mongo还使用了特殊的数据类型。这些类型包括date,object id,binary data,regular expression 和code。每一个驱动都以特定语言的方式实现了这些类型,查看你的驱动的文档来获取详细信息。
BSON数据类型参考列表:
编辑
shell默认使用64位浮点型数值。{“x”:3.14}或{“x”:3}。对于整型值,可以使用NumberInt(4字节符号整数)或NumberLong(8字节符号整数),{“x”:NumberInt(“3”)}{“x”:NumberLong(“3”)}
2.MongoDB特点:
MongoDB主要有如下特点:
a.高性能:
MongoDB提供高性能的数据持久性。特别是, 对嵌入式数据模型的支持减少了数据库系统上的I/O活动。 索引支持更快的查询,并且可以包含来自嵌入式文档和数组的键。(文本索引解决搜索的需求、TTL索引解决历史数据自动过期的需求、地理位置索引可用于构建各种 O2O 应用) mmapv1、wiredtiger、mongorocks(rocksdb)、in-memory 等多引擎支持满足各种场景需求。 Gridfs解决文件存储的需求。
b.高可用性:
MongoDB的复制工具称为副本集(replica set),它可提供自动故障转移和数据冗余。
c.高扩展性:
MongoDB提供了水平可扩展性作为其核心功能的一部分。分片将数据分布在一组集群的机器上。(海量数据存储,服务能力水平扩展) 从3.4开始,MongoDB支持基于片键创建数据区域。在一个平衡的集群中,MongoDB将一个区域所覆盖的读写只定向到该区域内的那些片。
d.丰富的查询支持:
MongoDB支持丰富的查询语言,支持读和写操作(CRUD),比如数据聚合、文本搜索和地理空间查询等。
e.其他特点:
如无模式(动态模式)、灵活的文档模型、
3.具体的应用场景如:
- 社交场景,使用MongoDB存储存储用户信息,以以及用户发表的朋友圈信息,通过地理位置索引实现附近的人、地点等功能。
- 游戏场景,使用MongoDB存储游戏用户信息,用户的装备、积分等直接以内嵌文档的形式存储,方便查询、高效率存储和访问。
- 物流场景,使用MongoDB存储订单信息,订单状态在运送过程中会不断更新,以MongoDB内嵌数组的形式来存储,一次查询就能将订单所有的变更读取出来。
- 物联网场景,使用MongoDB存储所有接入的智能设备信息,以及设备汇报的日志信息,并对这些信息进行多维度的分析。
- 视频直描,使用MongoDB存储用户信息、点赞互动信息等
这些场景的数据操作的共同特点:
- 数据量大
- 写入操作频繁(读写频繁)
- 价值较低的数据,对事务的要求性不高
对于这类数据,我们更适合使用MongDB来实现数据的存储
4.MongoDB选择:
在架构选型上,除了上述的三个特点外,如果你还犹豫是否要选择它?可以考虑以下的一些问题
- 应用不需要事务及复杂join支持
- 新应用,需求会变,数据模型无法确定,想快速选代开发
- 应用需要2000-3000以上的读写QPS(更高也可以)
- 应用需要TB基至PB级别数据存储
- 应用发属迅速,需要能快速水平扩展
- 应用要求存储的数据不丢失
- 应用需要99.999%高可用
- 应用需要大量的地理位置查询、文本查询
如果上述有1个符合,可以考虑MongoDB,2个及以上的符合,选择MongoDB绝不会后悔!
二、Windows系统中安装:
下载安装包:
MongoDB 提供了可用于 32 位和 64 位系统的预编译二进制包,你可以从MongoDB官网下载安装:
编辑
根据上图所示下载 zip 包:
编辑
MongoDB的版本命名规范如:x.y.z; y为奇数时表示当前版本为开发版,如:1.5.2、4.1.13; y为偶数时表示当前版本为稳定版,如:1.6.3、4.0.10; z是修正版本号,数字越大越好
解压安装启动:
将压缩包解压到一个目录中。 在解压目录中,手动建立一个目录用于存放数据文件,如 data/db
方式一:命令行参数方式启动服务
在 bin 目录中打开命令行提示符,输入如下命令:
mongodb --dbpath=..\data\db
我们在启动信息中可以看到,mongoDB的默认端口是27017,如果我们想改变默认的启动端口,可以通过--port来指定端口。为了方便我们每次启动,可以将安装目录的bin目录设置到环境变量的path中, bin 目录下是一些常用命令,比如 mongod 启动服务用的,mongo 客户端连接服务用的。
编辑
方式2:配置文件方式启动服务
在解压目录中新建 config 文件夹,该文件夹中新建配置文件 mongod.conf ,内如参考如下:
storage: #The directory where the mongod instance stores its data.Default Value is "\data\db" on Windows. dbPath: data目录路径
详细配置项内容可以参考官方文档:
注意:
- 配置文件中如果使用双引号,比如路径地址,自动会将双引号的内容转义。如果不转义,则会报错:
error-parsing-yaml-config-file-yaml-cpp-error-at-line-3-column-15-unknown-escape-character-d
解决: 对 \ 换成 / 或 \\ ;如果路径中没有空格,则无需加引号。
- 配置文件中不能以Tab分割字段,将其转换成空格。
启动方式:
mongod -f ../config/mongod.conf mongod --config ../config/mongod.conf
更多参数配置:
systemLog: destination: file #The path of the log file to which mongod or mongos should send all diagnostic logging information path: "C:/software/mongodb-win32-x86_64-windows-5.0.6-rc2/log/mongod.log" logAppend: true storage: journal: enabled: true #The directory where the mongod instance stores its data.Default Value is "/data/db". dbPath: "C:/software/mongodb-win32-x86_64-windows-5.0.6-rc2/data" net: #bindIp: 127.0.0.1 port: 27017 setParameter: enableLocalhostAuthBypass: false
Shell连接MongoDB:
在命令提示符输入以下shell命令即可完成登陆
mongo mongo --host=127.0.0.1 --port=27017
查看已经有的数据:
show databases
退出mongodb :
exit
更多参数可以通过帮助查看:
mongo --help
MongoDB javascript shell是一个基于javascript的解释器,故是支持js程序的。
编辑
三、Linux系统中的安装启动和连接:
在Linux中部署一个单机的MongoDB,作为生产环境下使用。
1.官网下载压缩包:
编辑
2.上传压缩包到Linux中,解压到当前目录:
tar -xvf mongodb-linux-x86_64-5.0.5.tgz
3.移动解压后的文件夹到指定的目录中:
mv mongodb-linux-x86_64-5.0.5 /usr/local/mongodb
4.新建几个目录,分别用来存储数据和日志:
#数据存储目录 mkdir -p /mongodb/single/data/db #日志存储目录 mkdir -p /mongodb/single/log
5.新建并修改配置文件:
vim /mongodb/single/mongod.conf
systemLog: #MongoDB发送所有日志输出的目标指定为文件 # #The path of the log file to which mongod or mongos should send all diagnostic logging information destination: file #mongod或mongos应向其发送所有诊断日志记录信息的日志文件的路径 path: "/mongodb/single/log/mongod.log" #当mongos或mongod实例重新启动时,mongos或mongod会将新条目附加到现有日志文件的末尾 logAppend: true storage: #mongod实例存储其数据的目录。storage.dbPath设置仅适用于mongod ##The directory where the mongod instance stores its data.Default Value is "/data/db". dbPath: "/mongodb/single/data/db" journal: #启用或禁用持久性日志以确保数据文件保持有效和可恢复。 enabled: true processManagement: #启用在后台运行mongos或mongod进程的守护进程模式。 fork: true net: #服务实例绑定的IP,默认是localhost bindIp: localhost,192.168.10.110 #bindIp #绑定的端口,默认是27017 port: 27017
6.启动MongoDB服务:
/usr/local/mongodb/bin/mongod -f /mongodb/single/mongod.conf
编辑
如果启动后不是 successfully ,则是启动失败了。原因基本上就是配置文件有问题。通过进程来查看服务是否启动了:
ps -ef |grep mongod
编辑
7.分别使用mongo命令和远程连接工具来连接测试:
提示:如果远程连接不上,需要配置防火墙放行,或直接关闭linux防火墙(云服务器需要配置端口开发白名单)
#查看防火墙状态 systemctl status firewalld #临时关闭防火墙 systemctl stop firewalld #开机禁止启动防火墙 systemctl disable firewalld
8.停止关闭服务:
停止服务的方式有两种:快速关闭和标准关闭,下面依次说明:
(一)快速关闭方法(快速,简单,数据可能会出错)
目标:通过系统的kill命令直接杀死进程: (杀完要检查一下,避免有的没有杀掉)
#通过进程编号关闭节点 kill -2 54410
如果一旦是因为数据损坏,则需要进行如下操作:
- 删除lock文件:
rm -f /mongodb/single/data/db/*.lock
- 修复数据:
/usr/local/mongdb/bin/mongod --repair --dbpath=/mongodb/single/data/db
(二)标准的关闭方法(数据不容易出错,但麻烦):
通过mongo客户端中的shutdownServer命令来关闭服:
//客户端登录服务,注意,这里通过localhost登录,如果需要远程登录,必须先登录认证才行。 mongo --port 27017 //#切换到admin库 use admin //关闭服务 db.shutdownServer()