【shell脚本】Graylog服务状态异常监测与告警

简介: 【shell脚本】Graylog服务状态异常监测与告警

Graylog服务状态异常监测与告警的shell脚本

需求场景

1、当graylog-server服务状态异常时发送异常告警

2、当graylog-server服务状态从异常状态恢复时发送恢复告警

实现的脚本如下

之前有写过类似脚本 【优化篇】使用Keepalived实现简单的GrayLog高可用

下面借助chatgpt重新编写了一个

vim /opt/check_graylog_status.sh

#!/bin/bash
LOCK_FILE=/var/log/graylog-server_record.log
# 钉钉机器人 Webhook URL
WEBHOOK_URL="https://oapi.dingtalk.com/robot/send?access_token=b672dc14ee9a965d75a1fe9XXXXXXXXXX09586594572abf8f41cf"
# 记录异常状态的文件路径
STATUS_FILE="/tmp/graylog-server_status.txt"
NORMAL_STATUS_FILE="/opt/graylog-server_normal_status.txt"
#echo "Active: active (running)" > /opt/graylog-server_normal_status.txt
# 获取当前时间
current_time=$(date +"%Y-%m-%d %H:%M:%S")
# 获取当前 graylog-server 状态
current_status=$(/usr/bin/systemctl status graylog-server | grep Active | awk -F "since" '{print $1}' | sed 's/^ *//;s/ *$//')
# 读取上次记录的状态
previous_status=$(cat "$STATUS_FILE")
# 正常graylog-server 状态
#Active: active (running)
normal_status=$(cat "$NORMAL_STATUS_FILE")
# 判断当前状态是否与上次记录的状态不一致
if [[ "$current_status" == "$normal_status" && "$previous_status" != "$normal_status" ]]; then
    # 发送恢复正常告警到钉钉机器人
    echo "--------------------------------"  >> ${LOCK_FILE} 2>&1
    echo `date +"%Y-%m-%d %H:%M:%S"`  >> ${LOCK_FILE} 2>&1
    echo "服务状态已恢复运行,发送dingding告警"  >> ${LOCK_FILE} 2>&1
    recovery_message="【告警通知】:graylog-server 状态已恢复正常。\n\n【时间】:$current_time \n\n【graylog-server状态】:<font color=#67C23A>$current_status</font>"
    echo $recovery_message  >> ${LOCK_FILE} 2>&1
    curl -s -H "Content-Type: application/json" -d "{\"msgtype\":\"markdown\",\"markdown\":{\"title\":\"告警通知\",\"text\":\"$recovery_message\"}}" "$WEBHOOK_URL"
    # 将当前状态记录到文件
    echo "$current_status" > "$STATUS_FILE"  
    echo "--------------------------------" >> ${LOCK_FILE} 2>&1
elif [[ "$current_status" != "$previous_status" ]]; then
    # 发送异常告警到钉钉机器人
    echo "--------------------------------"  >> ${LOCK_FILE} 2>&1
    echo `date +"%Y-%m-%d %H:%M:%S"`  >> ${LOCK_FILE} 2>&1
    echo "服务状态异常,发送dingding告警"  >> ${LOCK_FILE} 2>&1
    alert_message="【告警通知】:graylog-server 状态异常告警!\n\n【时间】:$current_time \n\n 【graylog-server状态】:<font color=#FF0000>$current_status</font>"
    echo $alert_message >> ${LOCK_FILE} 2>&1
    curl -s -H "Content-Type: application/json" -d "{\"msgtype\":\"markdown\",\"markdown\":{\"title\":\"告警通知\",\"text\":\"$alert_message\"}}" "$WEBHOOK_URL"
    # 将当前状态记录到文件
    echo "$current_status" > "$STATUS_FILE"
    echo "--------------------------------" >> ${LOCK_FILE} 2>&1
fi

部署步骤

1、创建相关文件

touch /tmp/graylog-server_status.txt
touch /opt/graylog-server_normal_status.txt
echo "Active: active (running)" > /opt/graylog-server_normal_status.txt

2、定时任务

crontab -e
* * * * * /opt/check_graylog_status.sh

3、测试

正常运行时停止graylog-server

systemctl stop graylog-server

异常时再启动graylog-server

systemctl stop graylog-server

最终的效果如下:只有状态发生变化时才告警

相关文章
|
13天前
|
弹性计算 Shell Perl
ecs服务器shell常用脚本练习(二)
【4月更文挑战第1天】shell代码训练(二)
100 1
|
16天前
|
Java Shell
SpringBoot启动脚本Shell
SpringBoot启动脚本Shell
15 0
|
2天前
|
存储 弹性计算 Shell
ecs服务器shell常用脚本练习(十)
【4月更文挑战第11天】shell代码训练(十)
130 0
|
2天前
|
弹性计算 Shell Go
ecs服务器shell常用脚本练习(九)
【4月更文挑战第10天】shell代码训练(八)
120 0
|
11天前
|
弹性计算 Shell 应用服务中间件
ecs服务器shell常用脚本练习(四)
【4月更文挑战第4天】shell代码训练(四)
94 0
|
13天前
|
Shell
【shell】实时查看网卡流量脚本
【shell】实时查看网卡流量脚本
|
19天前
|
Shell Linux C++
【Shell 编程设计】 编写自己的清理后台的Shell脚本
【Shell 编程设计】 编写自己的清理后台的Shell脚本
28 1
|
23天前
|
Shell Linux C语言
【Shell 命令集合 系统设置 】Linux 管理系统服务 ntsysv命令 使用指南
【Shell 命令集合 系统设置 】Linux 管理系统服务 ntsysv命令 使用指南
27 0
|
23天前
|
存储 Shell Linux
【Shell 命令集合 系统设置 】Linux 管理系统服务 chkconfig命令 使用指南
【Shell 命令集合 系统设置 】Linux 管理系统服务 chkconfig命令 使用指南
27 0
|
24天前
|
Kubernetes Shell Docker
容器服务ACK常见问题之容器服务ACK kubectl命令写到shell脚本失败如何解决
容器服务ACK(阿里云容器服务 Kubernetes 版)是阿里云提供的一种托管式Kubernetes服务,帮助用户轻松使用Kubernetes进行应用部署、管理和扩展。本汇总收集了容器服务ACK使用中的常见问题及答案,包括集群管理、应用部署、服务访问、网络配置、存储使用、安全保障等方面,旨在帮助用户快速解决使用过程中遇到的难题,提升容器管理和运维效率。