不再担心日志文件过大:通用日志滚动脚本

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介: log_rotater.zip #!/bin/sh # https://github.com/eyjian/mooon/blob/master/mooon/shell/log_rotater.
img_e25d4fb2f8de1caf41a735ec53088516.pnglog_rotater.zip

#!/bin/sh
# https://github.com/eyjian/mooon/blob/master/mooon/shell/log_rotater.sh
# Writed by yijian on 2012/7/22
#
# Linux自带的工具logrotate使用稍复杂,但功能强大
#
# 本脚本功能:
# 1) 实现一个通用的按大小的日志滚动
# 2) 要求日志文件扩展名为“.log”,否则请稍修改代码
# 3) 支持处理多个目录下的日志文件,如果需要使用这个功能,
#    必须启用dirs_list参数
#
# 为何要写一个这样的东东?
# 答:因为在日常中,经常发现程序输出重定向,
#     或脚本的输出,如果不处理的话,就可能导致
#     单个文件过大,甚至爆满整个磁盘;而每套脚本
#     都重复写一个日志滚动逻辑,显然是件无聊的事,
#     甚至一些人懒得做处理,日子一久,就会发现一个超大的
#     日志文件,本脚本希望可以帮助解决这个问题,让大家无
#     后顾之忧。
#
# 使用方法:
# 1) 把脚本复制到日志文件所在目录,
#    然后以nohup ./log_rotater.sh > /dev/null & 等方式启动脚本即可
# 2) 除了上面的方法,也可以将log_rotater.sh任何目录下,
#    但这个时候,应当将backup_dir的值修改为日志文件所在目录
#
# sudo dpkg-reconfigure dash
# 新版本Ubuntu默认使用dash作为shell,
# 这个shell功能较弱,不支持数组等,但速度快,
# 可采取如下办法检测是何种shell:
# ls -l `which sh`


# 可根据需要修改以下参数
backup_count=10 # 日志滚动的个数
backup_size=$((1024 * 1024 * 200)) # 单个日志文件大小
backup_interval=60 # 检测的间隔时间,单位为秒


# 如果dirs_list指定的文件存在,则从dirs_list中读取目录,
# 否则仅处理backup_dir指定的单个目录
# 往dirs_list指定文件增减目录时,不需要重启log_rotater.sh
backup_dir=. # 日志文件所在目录
dirs_list=./dirs.list # 存储目录列表的文件,要求一行一个目录


# 处理单个目录下的日志滚动
scan_single_dir()
{
dir=$1
cd $dir
if test $? -ne 0; then
return
fi


# 用到了awk给外部变量赋值的特性
eval $(ls -l --time-style=long-iso *.log 2>/dev/null|awk '{ printf("filesize=%s\nfiledate=%s\nfilename=%s\n", $5,$6,$8); }')
if test $? -ne 0; then
return
fi
if test -z $filename; then
return
fi


if test $filesize -gt $backup_size; then
file_index=$(($backup_count - 1))
while test $file_index -gt 1; do
new_filename="${filename}.$file_index"
old_filename="${filename}.$(($file_index - 1))"
if test -f "$old_filename"; then
mv "$old_filename" "$new_filename"
fi

file_index=$(($file_index - 1))
done

    # 这里需要使用truncate,而不能使用mv,
        # 因为需要保持文件的inode不变
cp "$filename" "${filename}.1"
truncate -s 1024 "$filename"
fi

cd -
sleep 1
}


# 循环检测
while true; do
if test ! -f $dirs_list; then
scan_single_dir $backup_dir
else
while read dirpath
do
scan_single_dir $dirpath
done fi


sleep $backup_interval
done


相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
目录
相关文章
|
28天前
|
Java Shell
「sh脚步模版自取」测试线排查的三个脚本:启动、停止、重启、日志保存
「sh脚步模版自取」测试线排查的三个脚本:启动、停止、重启、日志保存
36 1
|
1月前
|
监控 Linux 应用服务中间件
系统监控:使用日志文件 journalctl的使用
本文介绍了如何使用`journalctl`命令来监控和查看Linux系统的日志文件,包括查看特定行数、过滤日志级别、实时跟踪日志、按时间段查询日志以及日志轮换和压缩的配置。
32 2
系统监控:使用日志文件 journalctl的使用
|
28天前
|
SQL 数据库
为什么 SQL 日志文件很大,我应该如何处理?
为什么 SQL 日志文件很大,我应该如何处理?
|
1月前
|
开发工具 git
git显示开发日志+WinSW——将.exe文件注册为服务的一个工具+图床PicGo+kubeconfig 多个集群配置 如何切换
git显示开发日志+WinSW——将.exe文件注册为服务的一个工具+图床PicGo+kubeconfig 多个集群配置 如何切换
35 1
|
1月前
|
存储 监控 固态存储
如何监控和优化 WAL 日志文件的存储空间使用?
如何监控和优化 WAL 日志文件的存储空间使用?
|
30天前
|
SQL 数据库
为什么SQL日志文件很大,该如何处理?
为什么SQL日志文件很大,该如何处理?
|
2月前
|
Python
Python如何将日志输入到文件里
Python如何将日志输入到文件里
|
4天前
|
XML 安全 Java
【日志框架整合】Slf4j、Log4j、Log4j2、Logback配置模板
本文介绍了Java日志框架的基本概念和使用方法,重点讨论了SLF4J、Log4j、Logback和Log4j2之间的关系及其性能对比。SLF4J作为一个日志抽象层,允许开发者使用统一的日志接口,而Log4j、Logback和Log4j2则是具体的日志实现框架。Log4j2在性能上优于Logback,推荐在新项目中使用。文章还详细说明了如何在Spring Boot项目中配置Log4j2和Logback,以及如何使用Lombok简化日志记录。最后,提供了一些日志配置的最佳实践,包括滚动日志、统一日志格式和提高日志性能的方法。
79 30
【日志框架整合】Slf4j、Log4j、Log4j2、Logback配置模板
|
30天前
|
XML JSON Java
Logback 与 log4j2 性能对比:谁才是日志框架的性能王者?
【10月更文挑战第5天】在Java开发中,日志框架是不可或缺的工具,它们帮助我们记录系统运行时的信息、警告和错误,对于开发人员来说至关重要。在众多日志框架中,Logback和log4j2以其卓越的性能和丰富的功能脱颖而出,成为开发者们的首选。本文将深入探讨Logback与log4j2在性能方面的对比,通过详细的分析和实例,帮助大家理解两者之间的性能差异,以便在实际项目中做出更明智的选择。
185 3
|
30天前
|
存储 缓存 关系型数据库
MySQL事务日志-Redo Log工作原理分析
事务的隔离性和原子性分别通过锁和事务日志实现,而持久性则依赖于事务日志中的`Redo Log`。在MySQL中,`Redo Log`确保已提交事务的数据能持久保存,即使系统崩溃也能通过重做日志恢复数据。其工作原理是记录数据在内存中的更改,待事务提交时写入磁盘。此外,`Redo Log`采用简单的物理日志格式和高效的顺序IO,确保快速提交。通过不同的落盘策略,可在性能和安全性之间做出权衡。
1611 14