MongoDB使用技术点的总结

本文涉及的产品
云数据库 MongoDB,通用型 2核4GB
简介: MongoDB使用技术点的总结

一:MongoDB内容  

   1)NoSQL的兴起:查找网页

   2)各种nosql数据库介绍

   3)MongoDB的特点

   4)传统的数据库:SQL server ,Oracle,mysql

1. nosql的运动背景:

       web2.0的异军突起,传统的关系数据库为了保证“通用性”的设计而带来的功能复杂,性能开销大,价格昂贵的问题。

       避免不需要的复杂性

       更高的吞吐量,高并发

       在商用硬件上的水平扩展能力

       NOSQL实现了大表的自动分割功能,更好的支持可靠性之间的折中

       云计算的需求(从中心模式转到分布模式)

2.各种nosql数据库接收-memcached

   1)一个存储键/值对的hashmap

   2)高性能的分布式内存缓存服务器,用于动态Web应用以减轻数据库负载

   3)客户端通过memcache协议与守护进程通信

   4)缺乏认证基于安全管制

   5)协议简单

   6)基于libevent的时间处理(I/O处理性能好,IO是基于libevent的,是以异步事件处理机制)

   7)内置内存通信的方式

   8)不互相通信的分布式(服务器之间互补通信,数据是基于客户端的)

3.各种redis数据库介绍-redis

   1)一个key-value存储系统,和Memcached类似

   2)运行异常快

   3)数据都是缓存在内存中,有硬盘存储支持的内存数据库

   4)Master-slave复制

   5)value数据库类型丰富,string(字符串),list(链表),set(集合)和zet(有序集合)

   6)支持push/pop,允许用户实现消息机制

4.各种nosql数据库介绍-neo4j

1)基于关系的图形数据库

2)协议:HTTP/REST

   3) 可独立使用或嵌入到Java应用程序

   4)图形的节点和边都可以带有元数据

   5)使用多种算法支持路径搜索

   6)使用键值和关系进行搜索

   7)为读操作进行优化

   8)支持事物(用java api)

   9)企业版支持在线备份,高级监控及高可靠性

5.各种nosql数据库介绍-HBase

   1)Hadoop Database,是Google Bigtable的开源实现

   2)分布式的,面向列的开源数据库。在Hadoop智商提供了类似于Bigtable的能力

   3)HBase利用Hadoop HDFS作为其文件存储系统,利用Hadoop MapReduce来处理HBase中的海数据

   4)采用分布式架构师Map/ReduceREST,

   5)协议:HTTP/支持thrift

   6)支持数十亿行X上百万列

7)最佳应用场景:使用与偏好BigTable,并且需要对大数据随机,实时访问的场合

6)MongoDB特点

   1)社区活跃,文档丰富,又10gen商业支持,持续性有保障

   2)所用语言:C++

   3)特点:保留了SQL一些友好的特性(查询,索引)

   4)协议:Custom,binary(BSON—)

   5)  Master/slave复制(支持自动错误恢复),使用sets复制)

   6)内建分片机制

   7)支持javascript表达式查询

   8)可在服务器端执行任意的javascript函数

   9)在数据存储时采用内存到文件映射

   10)对性能的关注超过对功能的要求

   11)在32位操作系统上,数据库大小限制在约2.5Gb,64位系统数据库大小无限制

   12)空数据库约占192Mb

   13)采用GridFS存储大数据或元数据

14)读写都比较快

二:Mongodb和HBase的对比

第一点

  1. MongoDB bson文档型数据库,整个数据都存在磁盘中,Hbase是列式数据库,集群部署时每个familycolumn保存在单独的hdfs文件中。

第二点

2.Mongodb 主键是“_id”,主键上面可以不建索引,记录插入的顺序和存放的顺序一样,hbase的主键就是row key,可以是任意字符串(最大长度是 64KB,实际应用中长度一般为 10-100bytes),在hbase内部,row key保存为字节数组。存储时,数据按照Row key的字典序(byte order)排序存储。设计key时,要充分排序存储这个特性,将经常一起读取的行存储放到一起。

字典序对int排序的结果是1,10,100,11,12,13,14,15,16,17,18,19,2,20,21,…,9,91,92,93,94,95,96,97,98,99。要保持整形的自然序,行键必须用0作左填充。

第三点

3.Mongodb支持二级索引,而hbase本身不支持二级索引

第四点

4.Mongodb支持集合查找,正则查找,范围查找,支持skip和limit等等,是最像MySQL的nosql数据库,而hbase只支持三种查找:通过单个row key访问,通过row key的range,全表扫描

第五点

5.mongodb的update是update-in-place,也就是原地更新,除非原地容纳不下更新后的数据记录。而hbase的修改和添加都是同一个命令:put,如果put传入的row key已经存在就更新原记录,实际上hbase内部也不是更新,它只是将这一份数据已不同的版本保存下来而已,hbase默认的保存版本的历史数量是3。

第六点

6.mongodb的delete会将该行的数据标示为已删除,因为mongodb在删除记录时并不是真把记录从内存或文件中remove,而是将该删除记录数据置空(写0或特殊数字加以标识)同时将该记录所在地址放到一个list列表“释放列表”中,这样做的好就是就是如果有用户要执行插入记录操作时,mongodb会首先从该“释放列表”中获取size合适的“已删除记录”地址返回,这种方法会提升性能(避免了malloc内存操作),同时mongodb也使用了bucket size数组来定义多个大小size不同的列表,用于将要删除的记录根据其size大小放到合适的“释放列表”中。Hbase的delete是先新建一个tombstonemarkers,然后读的时候会和tombstonemarkers做merge,在 发生major compaction时delete的数据记录才会真真删除。

第七点

7.mongodb和hbase都支持mapreduce,不过mongodb的mapreduce支持不够强大,如果没有使用mongodb分片,mapreduce实际上不是并行执行的

第八点

8.mongodb支持shard分片,hbase根据row key自动负载均衡,这里shard key和row key的选取尽量用非递增的字段,尽量用分布均衡的字段,因为分片都是根据范围来选择对应的存取server的,如果用递增字段很容易热点server的产生,由于是根据key的范围来自动分片的,如果key分布不均衡就会导致有些key根本就没法切分,从而产生负载不均衡。

第九点

9.mongodb的读效率比写高,hbase默认适合写多读少的情况,可以通过hfile.block.cache.size配置,该配置storefile的读缓存占用Heap的大小百分比,0.2表示20%。该值直接影响数据读的性能。如果写比读少很多,开到0.4-0.5也没问题。如果读写较均衡,0.3左右。如果写比读多,果断默认0.2吧。设置这个值的时候,你同时要参考hbase.regionserver.global.memstore.upperLimit,该值是memstore占heap的最大百分比,两个参数一个影响读,一个影响写。如果两值加起来超过80-90%,会有OOM的风险,谨慎设置。

第十点

10.hbase采用的LSM思想(Log-Structured Merge-Tree),就是将对数据的更改hold在内存中,达到指定的threadhold后将该批更改merge后批量写入到磁盘,这样将单个写变成了批量写,大大提高了写入速度,不过这样的话读的时候就费劲了,需要merge disk上的数据和memory中的修改数据,这显然降低了读的性能。mongodb采用的是mapfile+Journal思想,如果记录不在内存,先加载到内存,然后在内存中更改后记录日志,然后隔一段时间批量的写入data文件,这样对内存的要求较高,至少需要容纳下热点数据和索引。


相关实践学习
MongoDB数据库入门
MongoDB数据库入门实验。
快速掌握 MongoDB 数据库
本课程主要讲解MongoDB数据库的基本知识,包括MongoDB数据库的安装、配置、服务的启动、数据的CRUD操作函数使用、MongoDB索引的使用(唯一索引、地理索引、过期索引、全文索引等)、MapReduce操作实现、用户管理、Java对MongoDB的操作支持(基于2.x驱动与3.x驱动的完全讲解)。 通过学习此课程,读者将具备MongoDB数据库的开发能力,并且能够使用MongoDB进行项目开发。   相关的阿里云产品:云数据库 MongoDB版 云数据库MongoDB版支持ReplicaSet和Sharding两种部署架构,具备安全审计,时间点备份等多项企业能力。在互联网、物联网、游戏、金融等领域被广泛采用。 云数据库MongoDB版(ApsaraDB for MongoDB)完全兼容MongoDB协议,基于飞天分布式系统和高可靠存储引擎,提供多节点高可用架构、弹性扩容、容灾、备份回滚、性能优化等解决方案。 产品详情: https://www.aliyun.com/product/mongodb
相关文章
|
5月前
|
存储 NoSQL Java
微服务技术系列教程(46)-SpringBoot整合MongoDB(文章评论案例)
微服务技术系列教程(46)-SpringBoot整合MongoDB(文章评论案例)
121 0
|
9月前
|
存储 弹性计算 运维
互娱NoSQL架构优化 —— 暨MongoDB“在线换引擎”技术服务指南”
XX工作室是某大客户核心游戏工作室,其核心业务是国内二次元RPG手游,采用实时开放世界对战模式,整体采用阿里云方案,本次专项攻坚主要对于玩家在游戏期间各类游戏属性交互(包含过图、物品、面板、剧情等)的核心业务模块进行优化,其中涉及NoSQL部分由于在专项优化期间存在诸多细节,特此提炼出来给各位有类似互娱业务场景进行参考。
|
NoSQL 搜索推荐 数据管理
MongoDB University推出全新课程,助推开发者生态系统发展,提升开发者技术能力
让所有人都能随时随地、以任意方式进行学习,提升全民数据技能
MongoDB University推出全新课程,助推开发者生态系统发展,提升开发者技术能力
|
机器学习/深度学习 NoSQL 安全
MongoDB全球云端技术盛会强势来袭,阿里云MongoDB新特性首发,期待ing!
作为全球排名第一的NoSQL数据库,也是业界最受欢迎的开源数据库之一,MongoDB又有“大动作”啦!
751 0
MongoDB全球云端技术盛会强势来袭,阿里云MongoDB新特性首发,期待ing!
|
存储 人工智能 运维
【0608 - 0612 直播导视 | PPT 下载】MongoDB全球云端技术盛会、阿里巴巴研发效能峰会与你见面啦
本周开发者社区将为大家了多场技术直播,阿里巴巴研发效能峰会将于6月12日—13日首次对外直播!快来观看吧!
786 0
|
JavaScript NoSQL C++
一起谈.NET技术,VS2010 C++下编译调试MongoDB源码
  考虑到mongodb使用了boost库源码,参考mongodb官方文档后,下载编译boost版本是1.42(时间为2010-2-2)或更新版本:  boost版本1.42:  http://sourceforge.net/projects/boost/files/boost/1.42.0/boost_1_42_0.zip/download         下载boost源码之后,我把boost解压在D盘。
1118 0
|
NoSQL 数据库
【直播回顾】阿里技术专家一挃:MongoDB 优化器 & 执行器介绍
MongoDB 的 Schema Free 的特性让应用程序得以快速迭代, 同时它也对MongoDB 的优化器和执行器带来了新的挑战, 而这些挑战是其他传统数据库所没有的。 我们会去讨论这些挑战是什么,如何解决的,以及一些最佳实践。
1349 0
|
NoSQL 数据库
【直播预告】阿里技术专家一挃:MongoDB 优化器 & 执行器介绍
MongoDB 的 Schema Free 的特性让应用程序得以快速迭代, 同时它也对MongoDB 的优化器和执行器带来了新的挑战, 而这些挑战是其他传统数据库所没有的。 我们会去讨论这些挑战是什么,如何解决的,以及一些最佳实践。
2648 0
|
新零售 监控 数据库
【干货合集】NoSQL技术体系深度解读系列(二):MongoDB,最像关系型数据库的非关系型数据库
在2018年开年NoSQL数据库直播大讲堂峰会即将召开之际,云栖社区特收集整理了一批优秀的技术博客,希望能够对大家探究、学习NoSQL体系中的MongoDB技术的原理及实践经验有所帮助。
8229 0