开发者社区> 问答> 正文

HBASE2.0 MOB compaction问题

最近在准备使用HBASE_MOB作为S3存储的后端实现,在代码阅读验证时发现问题如下:
(1)在社区的最初设计时,是有一个外部的MR工具进行辅助compaction,但是在最新代码中已经去掉,由HMASTER进行相关工作。但是进程本身只有HMASTER单点进行,如果表的写入较多(目前测试单点不停写的情况下)compaction完全无法完成。
(2)基于(1)的情况,目前单表单CF在MOBDIR里对应的为一个目录,则MOBFILE则会不停积压,最终可能会导致HDFS目录文件数过多无法写入。
(3)是否可认为,目前如果将MOB正式应用,还需要完成自行compaction的编码工作,或将外围的mr工具实现后,才可正式使用?
如果有MOB相关经验的大大,能在百忙中帮忙解答下,多谢!

展开
收起
hbase小能手 2018-11-06 16:58:26 1770 0
1 条回答
写回答
取消 提交回答
  • 社区管理员

    参考HBase2.0重新定义小对象实时存取以及HBase实战之MOB使用指南

    2019-07-17 23:12:28
    赞同 展开评论 打赏
问答分类:
问答地址:
问答排行榜
最热
最新

相关电子书

更多
HBase In-Memory Compaction 立即下载
HBase Coprocessor的实现与应用 立即下载
HBase Coprocessor 立即下载