在hbase中主要存在两种类型的compaction合并是什么?
minor compaction 小合并
在将Store中多个HFile合并为一个HFile
这个过程中,达到TTL(记录保留时间)会被移除,删除和更新的数据仅仅只是做了标记,并没有物理移除,这种合并的触发频率很高。```
minor compaction触发条件由一下几个参数共同决定:
hbase.hstore.compaction.min 3 hbase.hstore.compaction.max 10 hbase.hstore.compaction.min.size 134217728 hbase.hstore.compaction.max.size 9223372036854775807major compaction 大合并
合并Store中所有的HFile为一个HFile
这个过程有删除标记的数据会被真正移除,同时超过单元格maxVersion的版本记录也会被删除。 合并频率比较低,默认7天执行一次,并且性能消耗非常大,建议生产关闭(设置为0),在应用空闲时间手动触发。 一般可以是手动控制进行合并,防止出现在业务高峰期。
major compaction触发时间条件
hbase.hregion.majorcompaction 604800000手动触发 ##使用major_compact命令 major_compact tableName
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。