阿里 Hbase的优化策略(上)

简介: 社区开源的做法 常见的HBASE的问题是GC的问题 社区里做的BucketCache MemSore 原生的memstore是跳跃列表 插入的复杂度很高 查询的复杂度很高 是基于ConcurrentSkipListMap实现 但是ConcurrentSkipListMap的MemSore也有很多.

社区开源的做法

4

常见的HBASE的问题是GC的问题

社区里做的BucketCache MemSore

原生的memstore是跳跃列表

插入的复杂度很高

查询的复杂度很高

是基于ConcurrentSkipListMap实现

但是ConcurrentSkipListMap的MemSore也有很多问题!

(1)新老索引的跨代引用,在做youngGC的时候还会扫描Old这样很好效率极低

(2)内存会越来越大,要维护的SKIPLIST索引的对象也会越来越多,然后会造成内存碎片

(3)数据长度不规则也会造成内存碎片

(4)索引对象本身也需要些内存

1

阿里的优化策略

阿里主要是做了云Hbase的MEMSTORE.

他的优化方面包括了

索引对象&数据内存空间高度聚合使之CPU的缓存效率高了很多
无碎片对GC友好、从而避免了Full GC的问题
节约了内存、加大了吞吐量
节约了YUONGGC的时间
阿里优化的MEMSTORE的原理是什么样的呢?

其实也是基于数组实现的SKIPLIST

每次去申请连续的CHURK内存(1个默认为2M的byte[])
Node的节点NEXT、KEYVALUE的所有信息全部放在chuck上
一些信息被压缩成若干个bit,然后再放入Hbase里

2

加强版的bucket cache

原生的bucket cache ,通过复制解决多个任务引用同一个Block;需要格外的拷贝开销
云HBase bucket cache 是通过基于引用计数实现Block 的智能指针

3

相关实践学习
lindorm多模间数据无缝流转
展现了Lindorm多模融合能力——用kafka API写入,无缝流转在各引擎内进行数据存储和计算的实验。
云数据库HBase版使用教程
  相关的阿里云产品:云数据库 HBase 版 面向大数据领域的一站式NoSQL服务,100%兼容开源HBase并深度扩展,支持海量数据下的实时存储、高并发吞吐、轻SQL分析、全文检索、时序时空查询等能力,是风控、推荐、广告、物联网、车联网、Feeds流、数据大屏等场景首选数据库,是为淘宝、支付宝、菜鸟等众多阿里核心业务提供关键支撑的数据库。 了解产品详情: https://cn.aliyun.com/product/hbase   ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库 ECS 实例和一台目标数据库 RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
目录
相关文章
|
7月前
|
SQL 存储 分布式数据库
bigdata-28-HBase基本调优策略
bigdata-28-HBase基本调优策略
93 0
|
7月前
|
存储 搜索推荐 关系型数据库
用户画像系列——HBase 在画像标签过期策略中的应用
用户画像系列——HBase 在画像标签过期策略中的应用
139 0
|
7月前
|
机器学习/深度学习 分布式计算 Hadoop
一种HBase表数据迁移方法的优化
一种HBase表数据迁移方法的优化
94 0
|
4月前
|
缓存 监控 Java
"Java垃圾回收太耗时?阿里HBase GC优化秘籍大公开,让你的应用性能飙升90%!"
【8月更文挑战第17天】阿里巴巴在HBase实践中成功将Java垃圾回收(GC)时间降低90%。通过选用G1垃圾回收器、精细调整JVM参数(如设置堆大小、目标停顿时间等)、优化代码减少内存分配(如使用对象池和缓存),并利用监控工具分析GC行为,有效缓解了高并发大数据场景下的性能瓶颈,极大提升了系统运行效率。
101 4
|
存储 SQL 消息中间件
Kylin 在贝壳的性能挑战和 HBase 优化实践(2)
Kylin 在贝壳的性能挑战和 HBase 优化实践
136 0
Kylin 在贝壳的性能挑战和 HBase 优化实践(2)
|
SQL 分布式计算 监控
Kylin 在贝壳的性能挑战和 HBase 优化实践(1)
Kylin 在贝壳的性能挑战和 HBase 优化实践
129 0
Kylin 在贝壳的性能挑战和 HBase 优化实践(1)
|
搜索推荐 分布式数据库 Hbase
|
Arthas 负载均衡 Java
Hbase1.3 生产优化,源码分析
Hbase1.3 生产优化,源码分析
134 0
|
缓存 安全 Java
HBase 优化_3 | 学习笔记
快速学习 HBase 优化_3
163 0
|
存储 缓存 分布式数据库
HBase 优化_2 | 学习笔记
快速学习 HBase 优化_2
117 0