0、需求
随着ELKStack在应用系统中的数据规模的急剧增长，每天千万级别数据量（存储大小：10000000*10k/1024/1024=95.37GB，假设单条数据10kB，实际远大于10KB）的累积成为日常需求。
如何以相对简单的图形化效果展示数据的增量呢？
本文给出思路和实现。
1、问题分解
1.1 ES集群的数据量统计
ES自带的命令行统计举例：
curl 'localhost:9200/_cat/indices?v'1.2 如何实现增量？
简化思路：
1）每天的固定时间，如早晨0：00统计一次当天的数据量，形成日志文件存储如：20180228-08:00.log
2）20180228的增量为：20180229-00:00.log的数据值-20180228-00:00.log的数据量。（下一天-前一天）
1.3 如何实现统计
简化思路：
1）shell脚本获取每天统计的数据量
2）Excel公式简单计算增量
1.4 如何实现定时邮件统计
简化思路：
1）java + 邮件程序 + 读取脚本实现。
2）crontab实现定时任务处理。
2、具体实现
2.1 单日数据量统计
#!/bin/sh
echo "curTime: "`date '+%Y-%m-%d %H:%M:%S'`
rm -f ./tmp.rst
curl -s -XGET '192.168.1.21:9200/_cat/indices?v&pretty' | grep "open" | grep "index_*" | sort -n -k7 | tee ./tmp.rst
echo "total:" `awk '{sum += $7};END {print sum}' ./tmp.rst`
rm -f ./tmp.rst返回结果如下：
2.2 Java读取Shell脚本
public static String getShellCont(){
String strRst = "";
try {
String shpath="/home/mail_print.sh";
Process ps = Runtime.getRuntime().exec(shpath);
ps.waitFor();
BufferedReader br = new BufferedReader(new InputStreamReader(ps.getInputStream()));
StringBuffer sb = new StringBuffer();
Strig line;
while ((line = br.readLine()) != null) {
//特殊字符替换
line = line.replace("\t", "  ");
line = line.replace(" ", "  ");
sb.append(line).append("<br>");
}
strRst = sb.toString();
System.out.println(strRst);
}
catch (Exception e) {
e.printStackTrace();
}
return strRst;
}2.3 增量数据统计
步骤1：单日数据统计。
步骤2：增量数据统计。
步骤1，步骤2数据可以Excel统计得出。
其中单日数据的拷贝shell脚本如下：
cat 20180102-00000*.log | grep count | awk -F "count:" ' { print $2 }'步骤3:Excel生成图表。
3、难点
无
4、小结
通过shell脚本+Excel数据统计，简单实现了数据增量可视化。
通过java+邮件处理+定时任务，实现了数据的定时统计以及定时邮件预警功能。可以，在此基础上，做更多的扩展应用，比如：
1）集群监控状态监控；
2）集群堆内存使用监控；
3）开发中其他相关物理机器内存、CPU、磁盘读写性能等指标的监控等。
更多ES相关实战干货经验分享，请扫描下方【铭毅天下】微信公众号二维码关注。
（每周至少更新一篇！）
