Elasticsearch索引增量统计及定时邮件实现

1、问题分解

1.1 ES集群的数据量统计

ES自带的命令行统计举例：

 curl 'localhost:9200/_cat/indices?v'

1

1.2 如何实现增量？

简化思路：

1）每天的固定时间，如早晨0：00统计一次当天的数据量，形成日志文件存储如：20180228-08:00.log

2）20180228的增量为：20180229-00:00.log的数据值-20180228-00:00.log的数据量。（下一天-前一天）

1.3 如何实现统计

简化思路：

1）shell脚本获取每天统计的数据量

2）Excel公式简单计算增量

1.4 如何实现定时邮件统计

简化思路：

1）java + 邮件程序 + 读取脚本实现。

2）crontab实现定时任务处理。

2、具体实现

2.1 单日数据量统计

#!/bin/sh

echo "curTime: "`date '+%Y-%m-%d %H:%M:%S'`

rm -f ./tmp.rst

curl -s -XGET '192.168.1.21:9200/_cat/indices?v&pretty' | grep "open" | grep "index_*" | sort -n -k7 | tee ./tmp.rst

echo "total:" `awk '{sum += $7};END {print sum}' ./tmp.rst`

rm -f ./tmp.rst

1

2

3

4

5

6

返回结果如下：

2.2 Java读取Shell脚本

public static String getShellCont(){

String strRst = "";

try {

String shpath="/home/mail_print.sh";

Process ps = Runtime.getRuntime().exec(shpath);

ps.waitFor();

BufferedReader br = new BufferedReader(new InputStreamReader(ps.getInputStream()));

StringBuffer sb = new StringBuffer();

Strig line;

while ((line = br.readLine()) != null) {

//特殊字符替换

line = line.replace("\t", "&nbsp&nbsp");

line = line.replace(" ", "&nbsp&nbsp");

sb.append(line).append("<br>");

}

strRst = sb.toString();

System.out.println(strRst);

}

catch (Exception e) {

e.printStackTrace();

}

return strRst;

}

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

2.3 增量数据统计

步骤1：单日数据统计

步骤1，步骤2数据可以Excel统计得出。

其中单日数据的拷贝shell脚本如下：

cat 20180102-00000*.log | grep count | awk -F "count:" ' { print $2 }'• 1

步骤3:Excel生成图表。

3、难点

无

4、小结

通过shell脚本+Excel数据统计，简单实现了数据增量可视化。

通过java+邮件处理+定时任务，实现了数据的定时统计以及定时邮件预警功能。

可以，在此基础上，做更多的扩展应用，比如：

1）集群监控状态监控；

2）集群堆内存使用监控；

3）开发中其他相关物理机器内存、CPU、磁盘读写性能等指标的监控等。