修改完成后,需要重启集群 ,采取滚动重启的方式,对集群影响较小,且规模越大,影响较小
修改完后,有历史记录
后续优化:后续有一些参数可以采取直接应用的方式,无需重启集群
目前开放的一些配置(仅仅列举一些,具体查看管控页面)
参数名称 | 参数默认值 | 描述 |
hbase.hregion.majorcompaction | 604800000 | 默认为一周,可以改为0,不触发,后续产品支持周期性触发,或者时间段内触发major |
hbase.ipc.server.callqueue.read.ratio | 0 | 可以调整read与scan的队列大小,控制读写分离 |
hbase.ipc.server.callqueue.scan.ratio | 0 | 读写分离控制 |
hbase.regionserver.global.memstore.lowerLimit | 0.3 | memstore的占比 |
hbase.regionserver.global.memstore.size | 0.35 | memstore的占比 |
hbase.rpc.timeout | 60000 | rpc超时时间,可以延长 |
hfile.block.cache.size | 0.4 | 如果读比较多,可以调整威0.5 |
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
您提到的这些配置项是针对HBase集群进行调优的一些关键参数,它们对于提升集群性能、管理资源分配以及确保服务稳定性至关重要。下面我将基于阿里云的产品知识,为您提供一些关于如何在阿里云上操作和优化HBase集群的建议:
在阿里云上,如果您使用的是EMR(Elastic MapReduce)服务来部署HBase集群,您可以利用EMR的管理功能实现滚动重启。这意味着您可以在不影响整个集群服务的情况下,逐个或分批重启节点,从而减少对业务的影响。具体操作可以通过EMR控制台或者使用阿里云CLI(命令行工具)来完成。
部分HBase配置确实支持动态更新,即修改后无需重启集群即可生效。例如,hbase.rpc.timeout
这样的参数通常可以实时生效。但请注意,并非所有参数都支持动态修改,比如涉及内存管理的参数(如hbase.regionserver.global.memstore.lowerLimit
和hbase.regionserver.global.memstore.size
)可能需要重启RegionServer来应用新值。
hbase.ipc.server.callqueue.read.ratio
和hbase.ipc.server.callqueue.scan.ratio
,可以优化读写请求的处理效率,特别是在高并发场景下。hbase.regionserver.global.memstore.*
参数和hfile.block.cache.size
可以帮助平衡内存使用与I/O效率,特别是对于读密集型应用,增加块缓存大小可以显著提升性能。虽然您提到后续产品可能会支持周期性触发Major Compaction,但目前在阿里云EMR中,这可能需要手动干预或自定义脚本来实现。不过,随着产品迭代,更多自动化管理和优化功能会被逐步引入,建议定期关注阿里云EMR的官方文档和公告,以便获取最新功能信息。
总之,在阿里云EMR上管理与优化HBase集群时,充分利用其提供的管理工具和监控能力,结合业务实际需求,灵活调整配置参数,可以有效提升集群的整体性能和稳定性。