mongodb相关

本文涉及的产品
云原生数据库 PolarDB MySQL 版,Serverless 5000PCU 100GB
云数据库 MongoDB,通用型 2核4GB
简介:

一. 简介。
    Mongo是一个高性能,开源,无模式的文档型数据库。其名字来自humongous这个单词的中间部分,从名字可见其野心所在就是海量数据的处理。
和mysql一样,一个mongod服务可以建立多个数据库。每个数据库可以有多张表,这里的表成为collection,每个collection可以存放多个文档(document),每个文档都以bson(binary json)的形式存放于硬盘中。跟关系型数据库不一样的地方时,他是以单文档为单位存储的,你可以任意的给一个或一批文档新增或删除字段,而不对其他文档造成影响,这就是所谓的schema-free,也是文档型书苦苦最主要的优点。跟一般的key-value数据库不一样的是,它的value中存储了结构信息,所以你也可以像关系型数据库那样对某些域进行读写、统计等操作。可以说是兼备了key-value数据库的方便高效与关系型数据库的强大功能。
和关系型数据库类似,mongodb可以对某个字段建立索引,可以建立组合索引、唯一索引,当然建立索引就以为着增加空间开销。所以个人建议就是将一个文档作为一个对象来考虑,在线上应用中通常只对对象id建立一个索引就可以了、根据id取出对象数据放在memcache中。默认情况下每个collection队会有一个唯一索引:_id,如果插入数据时没有指定_id,服务会自动生成一个_id,为了充分利用已有索引,减少空间开销,最好是自己指定一个unique的key为_id,通常用对象的id比较合适。
Mongodb允许在建表之初就指定一定的空间大小,接下来的插入操作会不断的按照顺序append数据再这个预分配好的空间中,如果超出这个大小,则回到文件头覆盖原来的数据继续插入。这种结构保证了插入和查询的高效性,它不允许删除单个记录,更新的也有限制:不能超过原有记录的大小。
Monogodb的复制架构和mysql很类似,除了包括master-slave构型和master-master构型之外,还有一个replica pairs构型,这种构型在平常可以像master-slave那样工作,一旦master出现问题,应用会自动连接slave。
千万级的数据mongodb的性能插入效率是mysql的20倍,查询效率也是好几倍。缺点是磁盘空间占用率。
GridFS是mongodb一个很有趣的类似文件系统的东西,它可以用一大块文件空间来存放大量的小文件,不过性能以及其他方面还没有作深入的尝试。
Monogodb不支持事务操作。支持分片不过还未研究。
总结:面向集合的存储、动态查询、完整的索引支持、查询监视、复制及自动故障转移、搞笑的传统存储方式、自动分片以及支持云级别的伸缩性。

二. 场景。
适合于
1. 网站数据,mongo非常适合实时的插入.
2. 缓存,由于性能很高,Monogo也适合作为信息基础设施持久化的缓存层。
3. 大尺寸、低价值的数据。这类数据用传统的关系型数据库代价比较大。
4. 高伸缩的场景,Monogo非常适合由数十台或数百台服务器组成的数据库。
5. 用于对象及json数据的存储。
不适于
高度事务性的系统。

 

三. 性能分析

1. 先从单线程的角度来测试

         模式:单master。非嵌入式。目标地址192.168.140.2,端口27017

         空间初始大小:

         

         插入速度:

         初始状态

         

 

         插入动作执行10秒后

        

         平均每秒插入1w6条数据,每条数据的大小在4k以内。

      

 

      插入后占用空间:

          

 

         读取速度:

          

      大概在3500-4000间浮动

        

      数据的场合

      

 

模式:主从master-slave。非嵌入式。目标地址192.168.140.2,端口主27017,从27018

空间初始大小:

主:

          

     从:

         

 

     插入速度:

         初始状态

           

 

         插入动作执行10秒后:(只插入主库)

         

         影响不大

         

30w数据占用的空间                        

 

         

      读取速度:

         

         模式对性能上的影响不大。

 

 

      下面再看看mm模式,双向同步

模式:主从master-master。非嵌入式。目标地址192.168.140.2,端口主27017,主27018

 

初始空间:

 

插入速度:

         初始状态

         

 

         插入动作执行10秒后

 

性能大概降低了一半

 

32w数据占用的空间                             

 

 

读取速度:

大体不变。

 

 

 

下面拿ms模式来试下多线程的情况

开了3个线程10秒插入数据量

 

开了2个进程10秒插入数据量

 

 

读取数据不变。

 

          

在服务器端直接安装程序读写本地库

 

读取速度相当可观相当赞。

10秒写入速度不变

 

 

 

测试中发现的不稳定问题点:

开启2个进程测试读取速度时程序堵塞过一次。

 

删除操作时,ms模式同步不及时

 

 

主:

 

 

 

 

 

 

 

本文转自 熬夜的虫子  51CTO博客,原文链接:http://blog.51cto.com/dubing/712438


相关实践学习
MongoDB数据库入门
MongoDB数据库入门实验。
快速掌握 MongoDB 数据库
本课程主要讲解MongoDB数据库的基本知识,包括MongoDB数据库的安装、配置、服务的启动、数据的CRUD操作函数使用、MongoDB索引的使用(唯一索引、地理索引、过期索引、全文索引等)、MapReduce操作实现、用户管理、Java对MongoDB的操作支持(基于2.x驱动与3.x驱动的完全讲解)。 通过学习此课程,读者将具备MongoDB数据库的开发能力,并且能够使用MongoDB进行项目开发。   相关的阿里云产品:云数据库 MongoDB版 云数据库MongoDB版支持ReplicaSet和Sharding两种部署架构,具备安全审计,时间点备份等多项企业能力。在互联网、物联网、游戏、金融等领域被广泛采用。 云数据库MongoDB版(ApsaraDB for MongoDB)完全兼容MongoDB协议,基于飞天分布式系统和高可靠存储引擎,提供多节点高可用架构、弹性扩容、容灾、备份回滚、性能优化等解决方案。 产品详情: https://www.aliyun.com/product/mongodb
相关文章
|
8月前
|
存储 NoSQL MongoDB
|
9月前
|
存储 NoSQL 关系型数据库
什么时候选择MongoDB
什么时候选择MongoDB
67 2
|
11月前
|
存储 SQL 分布式计算
MongoDB的介绍
MongoDB的介绍
58 0
|
NoSQL Shell Linux
|
存储 分布式计算 NoSQL
MongoDB的主要特点
MongoDB 是一个面向文档存储的数据库,操作起来比较简单和容易。
118 0
|
NoSQL JavaScript 关系型数据库
MongoDB使用实际很简单
MongoDB是个文档型数据库,虽然前有CouchDB夹击,后有MySQL 8.x文档支持的追赶,但是丝毫不影响它在市场中占据的份额。
|
NoSQL MongoDB 索引
mongodb的限制
知道一个产品的限制所在,就可以更好的使用它。目前已知的mongodb限制如下: BSON Document Size:最大为16M 数据库:大小写敏感、数据库名称必须少于64个字符 集合名称不能包含如下信息:contain the $.
2211 0
|
NoSQL 关系型数据库 数据库
mongoDB总结
版本3.6.x 配置 windows建议安装service方式,省的每次通过命令行启动server端。 对比mysql 大部分人都有mysql的使用经验,对比着学习也是种不错的方法。
820 0
|
NoSQL Shell
|
存储 NoSQL 数据库