开发者社区> 天斯> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

hbase2.0 vs hbase1.x 延时比较

简介: 背景 hbase2.0已经正式发布,对比之前1.x版本,2.0在读写链路上做了完善的优化,offheap、netty rpc等,这里做个小测试实验对比1.x和2.0在读写上的延时情况。本测试基于特定测试环境与软件版本得到的结果,仅供参考。
+关注继续查看

背景

hbase2.0已经正式发布,对比之前1.x版本,2.0在读写链路上做了完善的优化,offheap、netty rpc等,这里做个小测试实验对比1.x和2.0在读写上的延时情况。本测试基于特定测试环境与软件版本得到的结果,仅供参考。

测试介绍

测试环境

​ HBase2.0集群,2副本DataNode,单regionserver,便于线性扩展,集群的配置​ 8core x 16G内存;

​ 4 x 250G ssd云盘;

情况简介

​ 读写,1KB,数据,分有cache的读(命中近100%),无cache读;

​ scan:无cache的scan,有cache 的scan ;

​ 预先分配60region

测试数据

    ​​单条读写的延时,99延时,磁盘的util,cpu的利用率,网卡占用率,gc的时间;

对于99延时的话,查看gc的频率,进行调整。大块数据的直接升到年老代等;

步骤,先是把没有做调优的性能数据丢出来,完成以后,在就99延时做调优,主要关注网络以及gc的信息;

测试结果

​​调优的涉及:offheap,netty server访问,g1 gc 修改。

99延时:offheap,g1 gc 默认开启,默认netty 开启;25MB 带宽峰值,主要做对比!

case 调优点 99延时 1.1版本(99.9延时) /1.4.4版本99延时(99.9延时) 99延时2.0开启优化(999延时) 单条延时1.1/1.4.4 单条延时优化2.0 1.1 rps/1.4.4 2.0rps
写 sync 1 offheap开启 410.840ms(1156.452ms)/392.422ms(510.943ms) 22.634ms(50.184ms) 43.06ms/42.62ms 7.65ms 4616/ 4752 26133
写 sync 2 offheap开启 382.196ms(617.041ms)/337.391ms(499.595ms) 31.038ms(61.771ms) 28.03ms/13.74ms 5.5ms 7172/14023 36085
写 sync 100 offheap开启 164.400ms(820.500ms)/64.055ms(460.636ms) 22.625ms(422.554ms) 5.62ms/3.01ms 3.07ms 34956/63621 67824
读无cache offheap开启 424.796ms(1071.ms)/292.628ms(801.108ms) 185.674ms(622.890ms) 54.63ms/27.50ms 11.64ms 3022/7222 14548
读大部分cache offheap开启 80.200ms(105.828ms)/26.900ms(58.095ms) 17.893ms(31.755ms) 6.30ms/4.98ms 4.80ms 31616/39802 41805
scan 无cache offheap开启 2529.507ms(5736.35sms)/2311.319ms(3204.116ms) 1609.485ms(3441.447ms) 1057.09ms/535.72ms 388.463ms 186*100/387 *100 515*100
scan 命中cache offheap开启 2452.913ms(3472.019ms)/450.97ms(629.903ms) 363.358ms(537.894ms)





测试小结

    hbase2.0在读写链路上进行了完善的优化,相比1.1、1.4.4 版本,在延时方面有了比较大的成果。本测试基于特定测试环境与软件版本得到的结果,仅供参考。更多2.0特性优化,钉钉扫描下方二维码关注hbase技术交流群了解更多。

12c2eca00a159aa7f620847b3253568acb9c31d7
最后播报一下,云HBase2.0 在2018年6月6日将正式发布,点击了解更多
02e60ad330a6a8d6913136d358d31b1fd7d3ea31

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
JAVA base64 工具类
JAVA base64 工具类
43 0
Java版Spring Cloud B2B2C o2o社交电商-Hystrix的缓存使用
一 介绍 在高并发的场景之下,Hystrix中提供了请求缓存的功能,可以方便地开启和使用请求缓存来优化系统,达到减轻高并发时请求线程的消耗、降低请求响应时间的效果。 二开启请求缓存功能 在实现HystrixCommand或HystrixObservableCommand时,通过重载getCacheKey()方法来开启请求缓存。
708 0
Hbase基础使用与云Hbase2.0体验
Hbase基础使用与云Hbase2.0体验以及基础使用
1566 0
HBase2.0中的Benchmark工具 — PerformanceEvaluation
在项目开发过程中,我们经常需要一些benchmark工具来对系统进行压测,以获得系统的性能参数,极限吞吐等等指标。而在HBase中,就自带了一个benchmark工具—PerformanceEvaluation,可以非常方便地对HBase的Put、Get、Scan等API进行性能测试,并提供了非常丰富的参数来模拟各种场景。
6244 0
Apache HBase2.0正式发布——内附导读材料
激动 HBase2.0 啥时候发布?好奇宝宝也是期待了很久,曾几何时都把stack问“烦”了,就在2018年4月30日中午, 期待已久的HBase 2.0发布啦! 你是不是也很迫不及待想了解它?这次,作为一枚HBase搬运工,已经为你准备好了一大波 HBase 2.0.0导读材料,拿走不谢~ 北京时间2018年4月30日(星期一) 中午12:24,HBase的“掌门人”Michael Stack 在Announce Mail List中宣布了HBase 2.0.0 版本正式Release,大家可以开始下载使用了。
10506 0
ASI通讯协议——ASI2x1
<p><strong>通讯协议——<span style="font-family:Times New Roman">ASI2x1</span></strong></p> <p><strong>基本功能描述</strong></p> <p><span style="font-size:14px">计算机或控制器通过以太网口或者<span style="font-family:Times
1409 0
H3C S5100-SI[EI]系列以太网交换机 命令手册-Release 220X系列
H3C S5100-SI[EI]系列以太网交换机 命令手册-Release 220X系列   http://www.
651 0
+关注
10
文章
12
问答
文章排行榜
最热
最新