开发者社区> 问答> 正文

hbase每个RS高达几十上百万个压缩队列 日志显示频繁的minor compaction 现在导致写入数据变的缓慢? 这种情况该如何优化?

大家帮忙看下 hbase每个RS高达几十上百万个压缩队列 日志显示频繁的minor compaction 现在导致写入数据变的缓慢了 这种情况该如何优化或解决?我的设置参数如下:
hbase.hregion.memstore.flush.size=256M
每台redionserver上有region数量2000+个
每台regionserver的HBASE_HEAPSIZE设置为24G
每个RS上memstore3G
每次flush的时候 memstore才10m以内 增加的filesize才几百kb。

展开
收起
hbase小助手 2018-11-25 10:37:57 4426 0
1 条回答
写回答
取消 提交回答
  • 单台redionserver上的region数量太多了, memstore总和达到阈值导致不断flush,官方建议最多1000个
    hbase.hregion.memstore.mslab.chunksize。 默认2M的话,光2000region就要小4G内存了

    2019-07-17 23:16:25
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
PostgresChina2018_赖思超_PostgreSQL10_hash索引的WAL日志修改版final 立即下载
Kubernetes下日志实时采集、存储与计算实践 立即下载
日志数据采集与分析对接 立即下载