开发者社区> 问答> 正文

在hbase中主要存在两种类型的compaction合并是什么?

在hbase中主要存在两种类型的compaction合并是什么?

展开
收起
游客fbdr25iajcjto 2021-12-06 19:03:07 595 0
1 条回答
写回答
取消 提交回答
  • minor compaction 小合并

    在将Store中多个HFile合并为一个HFile

    这个过程中,达到TTL(记录保留时间)会被移除,删除和更新的数据仅仅只是做了标记,并没有物理移除,这种合并的触发频率很高。```

    minor compaction触发条件由一下几个参数共同决定:

    hbase.hstore.compaction.min 3 hbase.hstore.compaction.max 10 hbase.hstore.compaction.min.size 134217728 hbase.hstore.compaction.max.size 9223372036854775807

    major compaction 大合并

    合并Store中所有的HFile为一个HFile

    这个过程有删除标记的数据会被真正移除,同时超过单元格maxVersion的版本记录也会被删除。 合并频率比较低,默认7天执行一次,并且性能消耗非常大,建议生产关闭(设置为0),在应用空闲时间手动触发。 一般可以是手动控制进行合并,防止出现在业务高峰期。

    major compaction触发时间条件

    hbase.hregion.majorcompaction 604800000

    手动触发 ##使用major_compact命令 major_compact tableName

    2021-12-06 19:04:14
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
大数据时代的存储 ——HBase的实践与探索 立即下载
Hbase在滴滴出行的应用场景和最佳实践 立即下载
阿里云HBase主备双活 立即下载