线上Hadoop集群使用ganglia监控非常方便集成,不过ganglia的gmetad节点存在High IO问题;ganglia是使用rrd来存储数据的,这样的话监控一个稍微上规模的集群每次更新rrd也会产生大量的离散IO,造成磁盘100% busy;
好在使用的rrdtool是1.4.x版本,支持rrdcached,其原理细节:http://linux.die.net/man/1/rrdcached,基本思想就是在内存中合并更新,批量写磁盘;
安装起来也十分简单:修改default_config.php/gmetad启动文件,添加一个rrdcached的init文件就可以跑了;效果非常明显,原来是经常100%的磁盘使用后不到10%,疗效显著!
本文转自MIKE老毕 51CTO博客,原文链接:http://blog.51cto.com/boylook/1299872,如需转载请自行联系原作者