- 前情提要：
- 最近elasticsearch集群总出问题，之前虽然修复了，现在又出现新的问题，于是PM要求拉取elasticsearch每天建立的索引有多少，索引有多大，需要对机器进行评估
- 客户现场无法接触到elasticsearch集群（生产环境，客户方不许可），通过dashboard开启一个pod（资源有限，无法流畅的操作），只好另寻妖路，从dashboard操作获取索引信息，再将文件传输到本机
- 下面，我要开始装13了（我是菜13，狗头保命）
# curl -XGET "localhostIp:9200/_cat/indices?v" | grep xxx > /tmp/xxx.indices '这步是为了将elasticsearch的indices重定向到一个文件里面，因为elasticsearch收集的日志中，有一部分是自己公司产品的日志，还有一部分是客户方的日志，因为保密协议，所以，一些公司的信息就以xxx来替代了
请看脚本
#!/usr/bin/env bash set -e pwd=$(cd `dirname $0`; pwd) year=2020 month=12 day=$(seq -w 1 31) file=test dir=${pwd}/total mkdir ${dir} for i in ${day} do kb=$(grep ${year}-${month}-${i} ${file}.indices.txt | \ awk '{print $NF}' | \ grep kb | \ awk -F 'kb' '{print $1}' | \ awk '{sum += $1};END {print sum/1024/1024}' ) echo "${year}-${month}-${i}合计:${kb}gb" > ${dir}/${file}.indices.${year}-${month}-${i}.txt mb=$(grep ${year}-${month}-${i} ${file}.indices.txt | \ awk '{print $NF}' | \ grep mb | \ awk -F 'mb' '{print $1}' | \ awk '{sum += $1};END {print sum/1024}') echo "${year}-${month}-${i}合计:${mb}gb" >> ${dir}/${file}.indices.${year}-${month}-${i}.txt gb=$(grep ${year}-${month}-${i} ${file}.indices.txt | \ awk '{print $NF}' | \ grep gb | \ awk -F 'gb' '{print $1}' | \ awk '{sum += $1};END {print sum}') echo "${year}-${month}-${i}合计:${gb}gb" >> ${dir}/${file}.indices.${year}-${month}-${i}.txt total=$(cat ${dir}/${file}.indices.${year}-${month}-${i}.txt | \ awk -F ':' '{print $NF}' | awk -F 'gb' '{sum += $1};END {print sum}') echo "${year}-${month}-${i}总计:${total}gb" >> ${dir}/${file}.indices.${year}-${month}-${i}.txt wc=$(grep ${year}-${month}-${i} ${file}.indices.txt | \ wc -l) echo "${year}-${month}-${i}总计:${wc}条" >> ${dir}/${file}.indices.${year}-${month}-${i}.txt done grep 总计 ${dir}/${file}.indices.${year}-${month}-*.txt > ${dir}/${file}.indices.total.txt cat ${dir}/${file}.indices.total.txt sleep 10 rm -rf ${dir} rm -f ${pwd}/${file}.indices.total.txt
README: 1、因为一个月31天嘛，所以脚本会生成31份文件，为了不影响一些平时的操作，脚本执行完，会将获取的信息输出到终端，随后会将这些收集信息的文件都删除，请知悉 2、关于elasticsearch导出的信息模板，请看下面，如果模板不一样，需要修改awk的位置变量（建议重写。。。） 3、统计的数据大小单位，我默认的是GB，awk我不太会用，所以最终求和后，会有科学计算的符号在里面，'如果有大佬看过，知道如何优化，还望赐教 4、关于变量： 4.1、year是指年，month是指月，day用的seq命令（利用-w参数，使得数字的输出都是两位数，因为索引的模板中，日期都是两位数的） 4.2、file是指最先导出的indices文件中，过滤出来的字段，我的文件名称格式是test.indices.txt，使用的时候，需要注意，否则会报错 4.3、dir是脚本运行的时候，创建的目录，是在脚本所在目录下创建的下一级目录，将后面统计的文件都存放在这个目录下面，目的是为了方便后面直接删除目录，避免错删文件 4.4、kb是指store.size一列的kb大小的indices过滤出来，通过awk进行求和（mb和gb同理） 4.5、total是将kb和mb换算成gb后的数字和gb的数字求和，获取一天的索引总大小 4.6、wc是索引数量求和，获取一天的索引数量 5、脚本逻辑： 5.1、通过for循环，awk切割，将store.size这一列过滤出来，然后细分kb,mb和gb，切割出数字进行换算和求和，最终默认的单位是gb 5.2、通过for循环，wc统计，获取每天的索引数量 5.3、通过'grep 总计'将每天的indices信息重定向到xxx.indices.total.txt，通过cat输出到终端，然后睡眠10秒后，删除脚本生成的文件 6、'脚本只在我自己的环境上测试过，也是完成了PM交代的任务，以上的内容，仅供学习和参考，切勿用于商业用途（开源万岁）
elasticsearch 模板(公司相关的信息和谐了，这些不重要) health status index uuid pri rep docs.count docs.deleted store.size pri.store.size green open xxx-xxx-xxx-ip:port-2020-11-27 8psXiCG0Acubr46OcKo9TA 5 1 525 0 841.1kb 420.5kb
# 输出到终端的效果（同样，公司的信息做了和谐）： /tmp/total/xxxxxx.indices.2020-12-01.txt:2020-12-01总计:27.5024gb /tmp/total/xxxxxx.indices.2020-12-01.txt:2020-12-01总计:3条 /tmp/total/xxxxxx.indices.2020-12-02.txt:2020-12-02总计:57.0024gb /tmp/total/xxxxxx.indices.2020-12-02.txt:2020-12-02总计:4条 /tmp/total/xxxxxx.indices.2020-12-03.txt:2020-12-03总计:59.6024gb /tmp/total/xxxxxx.indices.2020-12-03.txt:2020-12-03总计:4条 /tmp/total/xxxxxx.indices.2020-12-04.txt:2020-12-04总计:61.5026gb /tmp/total/xxxxxx.indices.2020-12-04.txt:2020-12-04总计:4条 /tmp/total/xxxxxx.indices.2020-12-05.txt:2020-12-05总计:0.48008gb /tmp/total/xxxxxx.indices.2020-12-05.txt:2020-12-05总计:2条
'本菜鸡有一个远大的志向：用最low的脚本，跑最贵的服务器 /二哈/二哈/二哈'
