一:MongoDB内容
1)NoSQL的兴起:查找网页
2)各种nosql数据库介绍
3)MongoDB的特点
4)传统的数据库:SQL server ,Oracle,mysql
1. nosql的运动背景:
web2.0的异军突起,传统的关系数据库为了保证“通用性”的设计而带来的功能复杂,性能开销大,价格昂贵的问题。
避免不需要的复杂性
更高的吞吐量,高并发
在商用硬件上的水平扩展能力
NOSQL实现了大表的自动分割功能,更好的支持可靠性之间的折中
云计算的需求(从中心模式转到分布模式)
2.各种nosql数据库接收-memcached
1)一个存储键/值对的hashmap
2)高性能的分布式内存缓存服务器,用于动态Web应用以减轻数据库负载
3)客户端通过memcache协议与守护进程通信
4)缺乏认证基于安全管制
5)协议简单
6)基于libevent的时间处理(I/O处理性能好,IO是基于libevent的,是以异步事件处理机制)
7)内置内存通信的方式
8)不互相通信的分布式(服务器之间互补通信,数据是基于客户端的)
3.各种redis数据库介绍-redis
1)一个key-value存储系统,和Memcached类似
2)运行异常快
3)数据都是缓存在内存中,有硬盘存储支持的内存数据库
4)Master-slave复制
5)value数据库类型丰富,string(字符串),list(链表),set(集合)和zet(有序集合)
6)支持push/pop,允许用户实现消息机制
4.各种nosql数据库介绍-neo4j
1)基于关系的图形数据库
2)协议:HTTP/REST
3) 可独立使用或嵌入到Java应用程序
4)图形的节点和边都可以带有元数据
5)使用多种算法支持路径搜索
6)使用键值和关系进行搜索
7)为读操作进行优化
8)支持事物(用java api)
9)企业版支持在线备份,高级监控及高可靠性
5.各种nosql数据库介绍-HBase
1)Hadoop Database,是Google Bigtable的开源实现
2)分布式的,面向列的开源数据库。在Hadoop智商提供了类似于Bigtable的能力
3)HBase利用Hadoop HDFS作为其文件存储系统,利用Hadoop MapReduce来处理HBase中的海数据
4)采用分布式架构师Map/ReduceREST,
5)协议:HTTP/支持thrift
6)支持数十亿行X上百万列
7)最佳应用场景:使用与偏好BigTable,并且需要对大数据随机,实时访问的场合
6)MongoDB特点
1)社区活跃,文档丰富,又10gen商业支持,持续性有保障
2)所用语言:C++
3)特点:保留了SQL一些友好的特性(查询,索引)
4)协议:Custom,binary(BSON—)
5) Master/slave复制(支持自动错误恢复),使用sets复制)
6)内建分片机制
7)支持javascript表达式查询
8)可在服务器端执行任意的javascript函数
9)在数据存储时采用内存到文件映射
10)对性能的关注超过对功能的要求
11)在32位操作系统上,数据库大小限制在约2.5Gb,64位系统数据库大小无限制
12)空数据库约占192Mb
13)采用GridFS存储大数据或元数据
14)读写都比较快
二:Mongodb和HBase的对比
第一点
第二点
2.Mongodb 主键是“_id”,主键上面可以不建索引,记录插入的顺序和存放的顺序一样,hbase的主键就是row key,可以是任意字符串(最大长度是 64KB,实际应用中长度一般为 10-100bytes),在hbase内部,row key保存为字节数组。存储时,数据按照Row key的字典序(byte order)排序存储。设计key时,要充分排序存储这个特性,将经常一起读取的行存储放到一起。
字典序对int排序的结果是1,10,100,11,12,13,14,15,16,17,18,19,2,20,21,…,9,91,92,93,94,95,96,97,98,99。要保持整形的自然序,行键必须用0作左填充。
第三点
3.Mongodb支持二级索引,而hbase本身不支持二级索引
第四点
4.Mongodb支持集合查找,正则查找,范围查找,支持skip和limit等等,是最像MySQL的nosql数据库,而hbase只支持三种查找:通过单个row key访问,通过row key的range,全表扫描
第五点
5.mongodb的update是update-in-place,也就是原地更新,除非原地容纳不下更新后的数据记录。而hbase的修改和添加都是同一个命令:put,如果put传入的row key已经存在就更新原记录,实际上hbase内部也不是更新,它只是将这一份数据已不同的版本保存下来而已,hbase默认的保存版本的历史数量是3。
第六点
6.mongodb的delete会将该行的数据标示为已删除,因为mongodb在删除记录时并不是真把记录从内存或文件中remove,而是将该删除记录数据置空(写0或特殊数字加以标识)同时将该记录所在地址放到一个list列表“释放列表”中,这样做的好就是就是如果有用户要执行插入记录操作时,mongodb会首先从该“释放列表”中获取size合适的“已删除记录”地址返回,这种方法会提升性能(避免了malloc内存操作),同时mongodb也使用了bucket size数组来定义多个大小size不同的列表,用于将要删除的记录根据其size大小放到合适的“释放列表”中。Hbase的delete是先新建一个tombstonemarkers,然后读的时候会和tombstonemarkers做merge,在 发生major compaction时delete的数据记录才会真真删除。
第七点
7.mongodb和hbase都支持mapreduce,不过mongodb的mapreduce支持不够强大,如果没有使用mongodb分片,mapreduce实际上不是并行执行的
第八点
8.mongodb支持shard分片,hbase根据row key自动负载均衡,这里shard key和row key的选取尽量用非递增的字段,尽量用分布均衡的字段,因为分片都是根据范围来选择对应的存取server的,如果用递增字段很容易热点server的产生,由于是根据key的范围来自动分片的,如果key分布不均衡就会导致有些key根本就没法切分,从而产生负载不均衡。
第九点
9.mongodb的读效率比写高,hbase默认适合写多读少的情况,可以通过hfile.block.cache.size配置,该配置storefile的读缓存占用Heap的大小百分比,0.2表示20%。该值直接影响数据读的性能。如果写比读少很多,开到0.4-0.5也没问题。如果读写较均衡,0.3左右。如果写比读多,果断默认0.2吧。设置这个值的时候,你同时要参考hbase.regionserver.global.memstore.upperLimit,该值是memstore占heap的最大百分比,两个参数一个影响读,一个影响写。如果两值加起来超过80-90%,会有OOM的风险,谨慎设置。
第十点
10.hbase采用的LSM思想(Log-Structured Merge-Tree),就是将对数据的更改hold在内存中,达到指定的threadhold后将该批更改merge后批量写入到磁盘,这样将单个写变成了批量写,大大提高了写入速度,不过这样的话读的时候就费劲了,需要merge disk上的数据和memory中的修改数据,这显然降低了读的性能。mongodb采用的是mapfile+Journal思想,如果记录不在内存,先加载到内存,然后在内存中更改后记录日志,然后隔一段时间批量的写入data文件,这样对内存的要求较高,至少需要容纳下热点数据和索引。