阿里 Hbase的优化策略(上)

简介: 社区开源的做法 常见的HBASE的问题是GC的问题 社区里做的BucketCache MemSore 原生的memstore是跳跃列表 插入的复杂度很高 查询的复杂度很高 是基于ConcurrentSkipListMap实现 但是ConcurrentSkipListMap的MemSore也有很多.

社区开源的做法

4

常见的HBASE的问题是GC的问题

社区里做的BucketCache MemSore

原生的memstore是跳跃列表

插入的复杂度很高

查询的复杂度很高

是基于ConcurrentSkipListMap实现

但是ConcurrentSkipListMap的MemSore也有很多问题!

(1)新老索引的跨代引用,在做youngGC的时候还会扫描Old这样很好效率极低

(2)内存会越来越大,要维护的SKIPLIST索引的对象也会越来越多,然后会造成内存碎片

(3)数据长度不规则也会造成内存碎片

(4)索引对象本身也需要些内存

1

阿里的优化策略

阿里主要是做了云Hbase的MEMSTORE.

他的优化方面包括了

索引对象&数据内存空间高度聚合使之CPU的缓存效率高了很多
无碎片对GC友好、从而避免了Full GC的问题
节约了内存、加大了吞吐量
节约了YUONGGC的时间
阿里优化的MEMSTORE的原理是什么样的呢?

其实也是基于数组实现的SKIPLIST

每次去申请连续的CHURK内存(1个默认为2M的byte[])
Node的节点NEXT、KEYVALUE的所有信息全部放在chuck上
一些信息被压缩成若干个bit,然后再放入Hbase里

2

加强版的bucket cache

原生的bucket cache ,通过复制解决多个任务引用同一个Block;需要格外的拷贝开销
云HBase bucket cache 是通过基于引用计数实现Block 的智能指针

3

目录
相关文章
|
SQL 存储 分布式数据库
bigdata-28-HBase基本调优策略
bigdata-28-HBase基本调优策略
174 0
|
存储 搜索推荐 关系型数据库
用户画像系列——HBase 在画像标签过期策略中的应用
用户画像系列——HBase 在画像标签过期策略中的应用
218 0
|
机器学习/深度学习 分布式计算 Hadoop
一种HBase表数据迁移方法的优化
一种HBase表数据迁移方法的优化
171 0
|
缓存 监控 Java
"Java垃圾回收太耗时?阿里HBase GC优化秘籍大公开,让你的应用性能飙升90%!"
【8月更文挑战第17天】阿里巴巴在HBase实践中成功将Java垃圾回收(GC)时间降低90%。通过选用G1垃圾回收器、精细调整JVM参数(如设置堆大小、目标停顿时间等)、优化代码减少内存分配(如使用对象池和缓存),并利用监控工具分析GC行为,有效缓解了高并发大数据场景下的性能瓶颈,极大提升了系统运行效率。
356 4
|
存储 SQL 消息中间件
Kylin 在贝壳的性能挑战和 HBase 优化实践(2)
Kylin 在贝壳的性能挑战和 HBase 优化实践
200 0
Kylin 在贝壳的性能挑战和 HBase 优化实践(2)
|
SQL 分布式计算 监控
Kylin 在贝壳的性能挑战和 HBase 优化实践(1)
Kylin 在贝壳的性能挑战和 HBase 优化实践
245 0
Kylin 在贝壳的性能挑战和 HBase 优化实践(1)
|
搜索推荐 分布式数据库 Hbase
|
Arthas 负载均衡 Java
Hbase1.3 生产优化,源码分析
Hbase1.3 生产优化,源码分析
175 0
|
缓存 安全 Java
HBase 优化_3 | 学习笔记
快速学习 HBase 优化_3
192 0
|
存储 缓存 分布式数据库
HBase 优化_2 | 学习笔记
快速学习 HBase 优化_2
151 0