不再担心日志文件过大:通用日志滚动脚本

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介: log_rotater.zip #!/bin/sh # https://github.com/eyjian/mooon/blob/master/mooon/shell/log_rotater.
img_e25d4fb2f8de1caf41a735ec53088516.pnglog_rotater.zip

#!/bin/sh
# https://github.com/eyjian/mooon/blob/master/mooon/shell/log_rotater.sh
# Writed by yijian on 2012/7/22
#
# Linux自带的工具logrotate使用稍复杂,但功能强大
#
# 本脚本功能:
# 1) 实现一个通用的按大小的日志滚动
# 2) 要求日志文件扩展名为“.log”,否则请稍修改代码
# 3) 支持处理多个目录下的日志文件,如果需要使用这个功能,
#    必须启用dirs_list参数
#
# 为何要写一个这样的东东?
# 答:因为在日常中,经常发现程序输出重定向,
#     或脚本的输出,如果不处理的话,就可能导致
#     单个文件过大,甚至爆满整个磁盘;而每套脚本
#     都重复写一个日志滚动逻辑,显然是件无聊的事,
#     甚至一些人懒得做处理,日子一久,就会发现一个超大的
#     日志文件,本脚本希望可以帮助解决这个问题,让大家无
#     后顾之忧。
#
# 使用方法:
# 1) 把脚本复制到日志文件所在目录,
#    然后以nohup ./log_rotater.sh > /dev/null & 等方式启动脚本即可
# 2) 除了上面的方法,也可以将log_rotater.sh任何目录下,
#    但这个时候,应当将backup_dir的值修改为日志文件所在目录
#
# sudo dpkg-reconfigure dash
# 新版本Ubuntu默认使用dash作为shell,
# 这个shell功能较弱,不支持数组等,但速度快,
# 可采取如下办法检测是何种shell:
# ls -l `which sh`


# 可根据需要修改以下参数
backup_count=10 # 日志滚动的个数
backup_size=$((1024 * 1024 * 200)) # 单个日志文件大小
backup_interval=60 # 检测的间隔时间,单位为秒


# 如果dirs_list指定的文件存在,则从dirs_list中读取目录,
# 否则仅处理backup_dir指定的单个目录
# 往dirs_list指定文件增减目录时,不需要重启log_rotater.sh
backup_dir=. # 日志文件所在目录
dirs_list=./dirs.list # 存储目录列表的文件,要求一行一个目录


# 处理单个目录下的日志滚动
scan_single_dir()
{
dir=$1
cd $dir
if test $? -ne 0; then
return
fi


# 用到了awk给外部变量赋值的特性
eval $(ls -l --time-style=long-iso *.log 2>/dev/null|awk '{ printf("filesize=%s\nfiledate=%s\nfilename=%s\n", $5,$6,$8); }')
if test $? -ne 0; then
return
fi
if test -z $filename; then
return
fi


if test $filesize -gt $backup_size; then
file_index=$(($backup_count - 1))
while test $file_index -gt 1; do
new_filename="${filename}.$file_index"
old_filename="${filename}.$(($file_index - 1))"
if test -f "$old_filename"; then
mv "$old_filename" "$new_filename"
fi

file_index=$(($file_index - 1))
done

    # 这里需要使用truncate,而不能使用mv,
        # 因为需要保持文件的inode不变
cp "$filename" "${filename}.1"
truncate -s 1024 "$filename"
fi

cd -
sleep 1
}


# 循环检测
while true; do
if test ! -f $dirs_list; then
scan_single_dir $backup_dir
else
while read dirpath
do
scan_single_dir $dirpath
done fi


sleep $backup_interval
done


相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
目录
相关文章
|
2月前
|
Java Shell
「sh脚步模版自取」测试线排查的三个脚本:启动、停止、重启、日志保存
「sh脚步模版自取」测试线排查的三个脚本:启动、停止、重启、日志保存
43 1
|
1月前
|
存储 Oracle 关系型数据库
【赵渝强老师】MySQL InnoDB的数据文件与重做日志文件
本文介绍了MySQL InnoDB存储引擎中的数据文件和重做日志文件。数据文件包括`.ibd`和`ibdata`文件,用于存放InnoDB数据和索引。重做日志文件(redo log)确保数据的可靠性和事务的持久性,其大小和路径可由相关参数配置。文章还提供了视频讲解和示例代码。
142 11
【赵渝强老师】MySQL InnoDB的数据文件与重做日志文件
|
1月前
|
SQL Oracle 关系型数据库
【赵渝强老师】Oracle的控制文件与归档日志文件
本文介绍了Oracle数据库中的控制文件和归档日志文件。控制文件记录了数据库的物理结构信息,如数据库名、数据文件和联机日志文件的位置等。为了保护数据库,通常会进行控制文件的多路复用。归档日志文件是联机重做日志文件的副本,用于记录数据库的变更历史。文章还提供了相关SQL语句,帮助查看和设置数据库的日志模式。
【赵渝强老师】Oracle的控制文件与归档日志文件
|
25天前
|
监控 数据挖掘 数据安全/隐私保护
Python脚本:自动化下载视频的日志记录
Python脚本:自动化下载视频的日志记录
|
1月前
|
SQL 关系型数据库 MySQL
【赵渝强老师】MySQL的全量日志文件
MySQL全量日志记录所有操作的SQL语句,默认禁用。启用后,可通过`show variables like %general_log%检查状态,使用`set global general_log=ON`临时开启,执行查询并查看日志文件以追踪SQL执行详情。
|
1月前
|
Oracle 关系型数据库 数据库
【赵渝强老师】Oracle的参数文件与告警日志文件
本文介绍了Oracle数据库的参数文件和告警日志文件。参数文件分为初始化参数文件(PFile)和服务器端参数文件(SPFile),在数据库启动时读取并分配资源。告警日志文件记录了数据库的重要活动、错误和警告信息,帮助诊断问题。文中还提供了相关视频讲解和示例代码。
|
1月前
|
存储 Oracle 关系型数据库
【赵渝强老师】MySQL的撤销日志文件和错误日志文件
本文介绍了MySQL的物理存储结构,重点讲解了InnoDB存储引擎中的撤销日志文件(undo log)和错误日志文件。从MySQL 8.0开始,默认生成两个10MB的undo表空间文件,并支持动态扩容和收缩。错误日志文件记录了MySQL启动、运行、关闭过程中的问题,通过示例展示了如何查看和使用这些日志。
|
2月前
|
SQL 数据库
为什么 SQL 日志文件很大,我应该如何处理?
为什么 SQL 日志文件很大,我应该如何处理?
|
1月前
|
XML 安全 Java
【日志框架整合】Slf4j、Log4j、Log4j2、Logback配置模板
本文介绍了Java日志框架的基本概念和使用方法,重点讨论了SLF4J、Log4j、Logback和Log4j2之间的关系及其性能对比。SLF4J作为一个日志抽象层,允许开发者使用统一的日志接口,而Log4j、Logback和Log4j2则是具体的日志实现框架。Log4j2在性能上优于Logback,推荐在新项目中使用。文章还详细说明了如何在Spring Boot项目中配置Log4j2和Logback,以及如何使用Lombok简化日志记录。最后,提供了一些日志配置的最佳实践,包括滚动日志、统一日志格式和提高日志性能的方法。
282 30
【日志框架整合】Slf4j、Log4j、Log4j2、Logback配置模板
|
10天前
|
监控 安全 Apache
什么是Apache日志?为什么Apache日志分析很重要?
Apache是全球广泛使用的Web服务器软件,支持超过30%的活跃网站。它通过接收和处理HTTP请求,与后端服务器通信,返回响应并记录日志,确保网页请求的快速准确处理。Apache日志分为访问日志和错误日志,对提升用户体验、保障安全及优化性能至关重要。EventLog Analyzer等工具可有效管理和分析这些日志,增强Web服务的安全性和可靠性。
下一篇
DataWorks