shell脚本实现文件自动清理并推送钉钉机器人告警

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介: shell脚本实现文件自动清理并推送钉钉机器人告警

shell脚本实现文件自动清理并推送钉钉机器人告警

需求场景:

接上一篇shell脚本实现Linux磁盘空间超过阈值自动钉钉机器人告警

当磁盘空间超过阈值时,这时需要人为去清理一些不需要的历史大日志文件,那能否做成自动化呢?

解决思路

1、在磁盘空间超过阈值时自动执行清理脚本即可

2、某台特定服务器,需要清理的历史大日志文件的目录是固定的,这时可以写文件清理脚本来实现

3、清理的文件名称、路径、大小最好能通过告警通知发送出来,所见及所知

比如需要清理一个MySQL服务器的历史binlog日志,调试修改后的最终脚本如下largesizefile_delete.sh

#!/bin/bash
# 监控目录和文件名
HOSTNAME=$(hostname)
HOSTIP=$(hostname -I)
dir_path="/var/lib/mysql"
filelists=`ls -ltrh $dir_path | grep binlog | head -n 3 | awk '{print $NF}'`
# webhook 地址
webhook_url="https://oapi.dingtalk.com/robot/send?access_token=XXXX"
set_payload_file(){
cat  > /opt/payload_result.json << \EOF
{       
"msgtype": "actionCard",
"actionCard": {
"title":"binlog日志文件清理通知",
"text":"
##### 服务器<font color=#67C23A>hostname</font>(<font color=#FF0000>hostip</font> )上MySQL binlog日志文件清理通知 \n
>  ##### <font color=#67C23A> 【文件路径】</font> :<font color=#FF0000> template1 </font> \n
>  ##### <font color=#67C23A> 【文件大小】</font> :<font color=#FF0000> template2</font> \n
>  ##### <font color=#67C23A>  此文件已经完成清理,请知悉</font> \n
"
}
}        
EOF
}
delete_file(){  
cd $dir_path
for file in $filelists; do
    if [[ -f "$file" ]]; then
      # 获取文件大小(单位:字节)
      file_size=$(stat -c "%s" "$file")
      file_size_mb=$((file_size/(1024*1024)))
      rm -f $file
      # 发送告警到 webhook 机器人
        message1="$dir_path/${file}"
        message2="${file_size_mb} MB"
        set_payload_file
        sed -i "s^template1^$message1^g" /opt/payload_result.json
        sed -i "s^template2^$message2^g" /opt/payload_result.json
        sed -i "s^hostname^$HOSTNAME^g" /opt/payload_result.json
        sed -i "s^hostip^$HOSTIP^g" /opt/payload_result.json
        response=$(curl -sS -H "Content-Type: application/json" -X POST -d @/opt/payload_result.json "${webhook_url}")
        if [ $? -eq 0 ]; then
            echo "Alert sent successfully"
        else
            echo "Failed to send alert: ${response}"
        fi
      fi
done
}
delete_file

模拟测试

在之前的/opt/disk_usage_check.sh 基础上

添加一行sh /opt/largesizefile_delete.sh 调用此脚本

(图片点击放大查看)

最终的效果如下

我先生成测试的几个binlog文件,模拟某个分区磁盘空间高的告警

(图片点击放大查看)

(图片点击放大查看)

sh /opt/disk_usage_check.sh进行测试

告警效果如下

(图片点击放大查看)

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
相关文章
|
3月前
|
关系型数据库 MySQL Shell
MySQL 备份 Shell 脚本:支持远程同步与阿里云 OSS 备份
一款自动化 MySQL 备份 Shell 脚本,支持本地存储、远程服务器同步(SSH+rsync)、阿里云 OSS 备份,并自动清理过期备份。适用于数据库管理员和开发者,帮助确保数据安全。
|
26天前
|
存储 Unix Shell
确定Shell脚本在操作系统中的具体位置方法。
这对于掌握Linux的文件系统组织结构和路径方面的理解很有帮助,是我们日常工作和学习中都可能使用到的知识。以上讲解详细清晰,应用简便,是每一个想要精通操作系统的计算机爱好者必备的实用技能。
55 17
|
8月前
|
Shell
Shell 文件包含
10月更文挑战第5天
71 4
|
30天前
|
Linux Shell 数据安全/隐私保护
Centos或Linux编写一键式Shell脚本创建用户、组、目录分配权限指导手册
Centos或Linux编写一键式Shell脚本创建用户、组、目录分配权限指导手册
115 3
|
1月前
|
Linux Shell
Centos或Linux编写一键式Shell脚本删除用户、组指导手册
Centos或Linux编写一键式Shell脚本删除用户、组指导手册
50 4
|
2月前
|
Linux Shell
在Linux、CentOS7中设置shell脚本开机自启动服务
以上就是在CentOS 7中设置shell脚本开机自启动服务的全部步骤。希望这个指南能帮助你更好地管理你的Linux系统。
144 25
|
9月前
|
Unix Shell Linux
LeetCode刷题 Shell编程四则 | 194. 转置文件 192. 统计词频 193. 有效电话号码 195. 第十行
本文提供了几个Linux shell脚本编程问题的解决方案,包括转置文件内容、统计词频、验证有效电话号码和提取文件的第十行,每个问题都给出了至少一种实现方法。
129 6
LeetCode刷题 Shell编程四则 | 194. 转置文件 192. 统计词频 193. 有效电话号码 195. 第十行
|
8月前
|
Shell
一个用于添加/删除定时任务的shell脚本
一个用于添加/删除定时任务的shell脚本
231 1
|
4月前
|
Shell Linux
【linux】Shell脚本中basename和dirname的详细用法教程
本文详细介绍了Linux Shell脚本中 `basename`和 `dirname`命令的用法,包括去除路径信息、去除后缀、批量处理文件名和路径等。同时,通过文件备份和日志文件分离的实践应用,展示了这两个命令在实际脚本中的应用场景。希望本文能帮助您更好地理解和应用 `basename`和 `dirname`命令,提高Shell脚本编写的效率和灵活性。
327 32
|
3月前
|
关系型数据库 Shell 网络安全
定期备份数据库:基于 Shell 脚本的自动化方案
本篇文章分享一个简单的 Shell 脚本,用于定期备份 MySQL 数据库,并自动将备份传输到远程服务器,帮助防止数据丢失。

热门文章

最新文章