MongoDB使用技术点的总结

本文涉及的产品
云数据库 MongoDB,独享型 2核8GB
推荐场景:
构建全方位客户视图
简介: MongoDB使用技术点的总结

一:MongoDB内容  

   1)NoSQL的兴起:查找网页

   2)各种nosql数据库介绍

   3)MongoDB的特点

   4)传统的数据库:SQL server ,Oracle,mysql

1. nosql的运动背景:

       web2.0的异军突起,传统的关系数据库为了保证“通用性”的设计而带来的功能复杂,性能开销大,价格昂贵的问题。

       避免不需要的复杂性

       更高的吞吐量,高并发

       在商用硬件上的水平扩展能力

       NOSQL实现了大表的自动分割功能,更好的支持可靠性之间的折中

       云计算的需求(从中心模式转到分布模式)

2.各种nosql数据库接收-memcached

   1)一个存储键/值对的hashmap

   2)高性能的分布式内存缓存服务器,用于动态Web应用以减轻数据库负载

   3)客户端通过memcache协议与守护进程通信

   4)缺乏认证基于安全管制

   5)协议简单

   6)基于libevent的时间处理(I/O处理性能好,IO是基于libevent的,是以异步事件处理机制)

   7)内置内存通信的方式

   8)不互相通信的分布式(服务器之间互补通信,数据是基于客户端的)

3.各种redis数据库介绍-redis

   1)一个key-value存储系统,和Memcached类似

   2)运行异常快

   3)数据都是缓存在内存中,有硬盘存储支持的内存数据库

   4)Master-slave复制

   5)value数据库类型丰富,string(字符串),list(链表),set(集合)和zet(有序集合)

   6)支持push/pop,允许用户实现消息机制

4.各种nosql数据库介绍-neo4j

1)基于关系的图形数据库

2)协议:HTTP/REST

   3) 可独立使用或嵌入到Java应用程序

   4)图形的节点和边都可以带有元数据

   5)使用多种算法支持路径搜索

   6)使用键值和关系进行搜索

   7)为读操作进行优化

   8)支持事物(用java api)

   9)企业版支持在线备份,高级监控及高可靠性

5.各种nosql数据库介绍-HBase

   1)Hadoop Database,是Google Bigtable的开源实现

   2)分布式的,面向列的开源数据库。在Hadoop智商提供了类似于Bigtable的能力

   3)HBase利用Hadoop HDFS作为其文件存储系统,利用Hadoop MapReduce来处理HBase中的海数据

   4)采用分布式架构师Map/ReduceREST,

   5)协议:HTTP/支持thrift

   6)支持数十亿行X上百万列

7)最佳应用场景:使用与偏好BigTable,并且需要对大数据随机,实时访问的场合

6)MongoDB特点

   1)社区活跃,文档丰富,又10gen商业支持,持续性有保障

   2)所用语言:C++

   3)特点:保留了SQL一些友好的特性(查询,索引)

   4)协议:Custom,binary(BSON—)

   5)  Master/slave复制(支持自动错误恢复),使用sets复制)

   6)内建分片机制

   7)支持javascript表达式查询

   8)可在服务器端执行任意的javascript函数

   9)在数据存储时采用内存到文件映射

   10)对性能的关注超过对功能的要求

   11)在32位操作系统上,数据库大小限制在约2.5Gb,64位系统数据库大小无限制

   12)空数据库约占192Mb

   13)采用GridFS存储大数据或元数据

14)读写都比较快

二:Mongodb和HBase的对比

第一点

  1. MongoDB bson文档型数据库,整个数据都存在磁盘中,Hbase是列式数据库,集群部署时每个familycolumn保存在单独的hdfs文件中。

第二点

2.Mongodb 主键是“_id”,主键上面可以不建索引,记录插入的顺序和存放的顺序一样,hbase的主键就是row key,可以是任意字符串(最大长度是 64KB,实际应用中长度一般为 10-100bytes),在hbase内部,row key保存为字节数组。存储时,数据按照Row key的字典序(byte order)排序存储。设计key时,要充分排序存储这个特性,将经常一起读取的行存储放到一起。

字典序对int排序的结果是1,10,100,11,12,13,14,15,16,17,18,19,2,20,21,…,9,91,92,93,94,95,96,97,98,99。要保持整形的自然序,行键必须用0作左填充。

第三点

3.Mongodb支持二级索引,而hbase本身不支持二级索引

第四点

4.Mongodb支持集合查找,正则查找,范围查找,支持skip和limit等等,是最像MySQL的nosql数据库,而hbase只支持三种查找:通过单个row key访问,通过row key的range,全表扫描

第五点

5.mongodb的update是update-in-place,也就是原地更新,除非原地容纳不下更新后的数据记录。而hbase的修改和添加都是同一个命令:put,如果put传入的row key已经存在就更新原记录,实际上hbase内部也不是更新,它只是将这一份数据已不同的版本保存下来而已,hbase默认的保存版本的历史数量是3。

第六点

6.mongodb的delete会将该行的数据标示为已删除,因为mongodb在删除记录时并不是真把记录从内存或文件中remove,而是将该删除记录数据置空(写0或特殊数字加以标识)同时将该记录所在地址放到一个list列表“释放列表”中,这样做的好就是就是如果有用户要执行插入记录操作时,mongodb会首先从该“释放列表”中获取size合适的“已删除记录”地址返回,这种方法会提升性能(避免了malloc内存操作),同时mongodb也使用了bucket size数组来定义多个大小size不同的列表,用于将要删除的记录根据其size大小放到合适的“释放列表”中。Hbase的delete是先新建一个tombstonemarkers,然后读的时候会和tombstonemarkers做merge,在 发生major compaction时delete的数据记录才会真真删除。

第七点

7.mongodb和hbase都支持mapreduce,不过mongodb的mapreduce支持不够强大,如果没有使用mongodb分片,mapreduce实际上不是并行执行的

第八点

8.mongodb支持shard分片,hbase根据row key自动负载均衡,这里shard key和row key的选取尽量用非递增的字段,尽量用分布均衡的字段,因为分片都是根据范围来选择对应的存取server的,如果用递增字段很容易热点server的产生,由于是根据key的范围来自动分片的,如果key分布不均衡就会导致有些key根本就没法切分,从而产生负载不均衡。

第九点

9.mongodb的读效率比写高,hbase默认适合写多读少的情况,可以通过hfile.block.cache.size配置,该配置storefile的读缓存占用Heap的大小百分比,0.2表示20%。该值直接影响数据读的性能。如果写比读少很多,开到0.4-0.5也没问题。如果读写较均衡,0.3左右。如果写比读多,果断默认0.2吧。设置这个值的时候,你同时要参考hbase.regionserver.global.memstore.upperLimit,该值是memstore占heap的最大百分比,两个参数一个影响读,一个影响写。如果两值加起来超过80-90%,会有OOM的风险,谨慎设置。

第十点

10.hbase采用的LSM思想(Log-Structured Merge-Tree),就是将对数据的更改hold在内存中,达到指定的threadhold后将该批更改merge后批量写入到磁盘,这样将单个写变成了批量写,大大提高了写入速度,不过这样的话读的时候就费劲了,需要merge disk上的数据和memory中的修改数据,这显然降低了读的性能。mongodb采用的是mapfile+Journal思想,如果记录不在内存,先加载到内存,然后在内存中更改后记录日志,然后隔一段时间批量的写入data文件,这样对内存的要求较高,至少需要容纳下热点数据和索引。


相关实践学习
MongoDB数据库入门
MongoDB数据库入门实验。
快速掌握 MongoDB 数据库
本课程主要讲解MongoDB数据库的基本知识,包括MongoDB数据库的安装、配置、服务的启动、数据的CRUD操作函数使用、MongoDB索引的使用(唯一索引、地理索引、过期索引、全文索引等)、MapReduce操作实现、用户管理、Java对MongoDB的操作支持(基于2.x驱动与3.x驱动的完全讲解)。 通过学习此课程,读者将具备MongoDB数据库的开发能力,并且能够使用MongoDB进行项目开发。   相关的阿里云产品:云数据库 MongoDB版 云数据库MongoDB版支持ReplicaSet和Sharding两种部署架构,具备安全审计,时间点备份等多项企业能力。在互联网、物联网、游戏、金融等领域被广泛采用。 云数据库MongoDB版(ApsaraDB for MongoDB)完全兼容MongoDB协议,基于飞天分布式系统和高可靠存储引擎,提供多节点高可用架构、弹性扩容、容灾、备份回滚、性能优化等解决方案。 产品详情: https://www.aliyun.com/product/mongodb
相关文章
|
6月前
|
人工智能 自然语言处理 NoSQL
对谈Concured首席技术官:利用AI和MongoDB打造个性化内容推荐系统
内容无处不在。无论消费者寻找什么或所处任何行业,找到内容并不困难;关键在于如何找到对应的内容。
1649 0
|
2月前
|
存储 NoSQL 关系型数据库
非关系型数据库-MongoDB技术(二)
非关系型数据库-MongoDB技术(二)
|
2月前
|
NoSQL 关系型数据库 MongoDB
非关系型数据库-MongoDB技术(一)
非关系型数据库-MongoDB技术(一)
|
2月前
|
存储 监控 NoSQL
*MongoDB的水平扩展主要通过分片技术实
*MongoDB的水平扩展主要通过分片技术实
44 5
|
6月前
|
存储 负载均衡 NoSQL
MongoDB分片技术:实现水平扩展的利器
【4月更文挑战第30天】MongoDB的分片技术是应对数据增长和复杂业务需求的解决方案,它将数据水平拆分存储在多个实例上,实现数据库的水平扩展。分片带来水平扩展性、负载均衡、高可用性和灵活的数据管理。分片工作涉及mongos路由进程、config server和shard实例。设置分片包括部署配置服务器、添加分片、启动mongos、配置分片键和开始分片。选择合适的分片键和有效管理能确保系统性能和稳定性。
|
5月前
|
NoSQL 数据挖掘 数据处理
深入浅出:MongoDB聚合管道的技术详解
深入浅出:MongoDB聚合管道的技术详解
|
6月前
|
NoSQL MongoDB 数据库
国内唯一 阿里云荣膺MongoDB“2024年度DBaaS认证合作伙伴奖”
阿里云连续第五年斩获MongoDB合作伙伴奖项,也是唯一获此殊荣的中国云厂商。一起学习MongoDB副本集的选举机制以及可能会出现的特殊情况。
国内唯一 阿里云荣膺MongoDB“2024年度DBaaS认证合作伙伴奖”
|
6月前
|
NoSQL 大数据 数据处理
MongoDB聚合框架与复杂查询优化:技术深度解析
【4月更文挑战第30天】本文深入探讨了MongoDB的聚合框架和复杂查询优化技术。聚合框架包含$match、$group、$sort和$project阶段,用于数据处理和分析,提供灵活性和高性能。优化查询涉及创建合适索引、使用聚合框架、简化查询语句、限制返回结果数、避免跨分片查询、只查询所需字段及使用$inc操作符。理解这些技术有助于提升MongoDB在大数据和复杂查询场景下的性能。
|
6月前
|
存储 监控 NoSQL
MongoDB实时数据分析与流处理的技术探讨
【4月更文挑战第30天】MongoDB支持实时数据分析与流处理,其灵活数据模型适合非结构化数据存储。通过BSON格式、高性能查询和聚合管道,MongoDB满足实时分析需求。变更数据流功能提供实时事件处理,可用于跨实例数据同步和复杂事件处理。在电商等场景中,MongoDB可实现实时销售监控、用户行为分析及异常检测。结合流处理框架,助力企业做出明智决策。