不再担心日志文件过大:通用日志滚动脚本

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介: log_rotater.zip #!/bin/sh # https://github.com/eyjian/mooon/blob/master/mooon/shell/log_rotater.
img_e25d4fb2f8de1caf41a735ec53088516.pnglog_rotater.zip

#!/bin/sh
# https://github.com/eyjian/mooon/blob/master/mooon/shell/log_rotater.sh
# Writed by yijian on 2012/7/22
#
# Linux自带的工具logrotate使用稍复杂,但功能强大
#
# 本脚本功能:
# 1) 实现一个通用的按大小的日志滚动
# 2) 要求日志文件扩展名为“.log”,否则请稍修改代码
# 3) 支持处理多个目录下的日志文件,如果需要使用这个功能,
#    必须启用dirs_list参数
#
# 为何要写一个这样的东东?
# 答:因为在日常中,经常发现程序输出重定向,
#     或脚本的输出,如果不处理的话,就可能导致
#     单个文件过大,甚至爆满整个磁盘;而每套脚本
#     都重复写一个日志滚动逻辑,显然是件无聊的事,
#     甚至一些人懒得做处理,日子一久,就会发现一个超大的
#     日志文件,本脚本希望可以帮助解决这个问题,让大家无
#     后顾之忧。
#
# 使用方法:
# 1) 把脚本复制到日志文件所在目录,
#    然后以nohup ./log_rotater.sh > /dev/null & 等方式启动脚本即可
# 2) 除了上面的方法,也可以将log_rotater.sh任何目录下,
#    但这个时候,应当将backup_dir的值修改为日志文件所在目录
#
# sudo dpkg-reconfigure dash
# 新版本Ubuntu默认使用dash作为shell,
# 这个shell功能较弱,不支持数组等,但速度快,
# 可采取如下办法检测是何种shell:
# ls -l `which sh`


# 可根据需要修改以下参数
backup_count=10 # 日志滚动的个数
backup_size=$((1024 * 1024 * 200)) # 单个日志文件大小
backup_interval=60 # 检测的间隔时间,单位为秒


# 如果dirs_list指定的文件存在,则从dirs_list中读取目录,
# 否则仅处理backup_dir指定的单个目录
# 往dirs_list指定文件增减目录时,不需要重启log_rotater.sh
backup_dir=. # 日志文件所在目录
dirs_list=./dirs.list # 存储目录列表的文件,要求一行一个目录


# 处理单个目录下的日志滚动
scan_single_dir()
{
dir=$1
cd $dir
if test $? -ne 0; then
return
fi


# 用到了awk给外部变量赋值的特性
eval $(ls -l --time-style=long-iso *.log 2>/dev/null|awk '{ printf("filesize=%s\nfiledate=%s\nfilename=%s\n", $5,$6,$8); }')
if test $? -ne 0; then
return
fi
if test -z $filename; then
return
fi


if test $filesize -gt $backup_size; then
file_index=$(($backup_count - 1))
while test $file_index -gt 1; do
new_filename="${filename}.$file_index"
old_filename="${filename}.$(($file_index - 1))"
if test -f "$old_filename"; then
mv "$old_filename" "$new_filename"
fi

file_index=$(($file_index - 1))
done

    # 这里需要使用truncate,而不能使用mv,
        # 因为需要保持文件的inode不变
cp "$filename" "${filename}.1"
truncate -s 1024 "$filename"
fi

cd -
sleep 1
}


# 循环检测
while true; do
if test ! -f $dirs_list; then
scan_single_dir $backup_dir
else
while read dirpath
do
scan_single_dir $dirpath
done fi


sleep $backup_interval
done


相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
目录
相关文章
|
27天前
|
Java Apache 开发工具
【Azure 事件中心】 org.slf4j.Logger 收集 Event Hub SDK(Java) 输出日志并以文件形式保存
【Azure 事件中心】 org.slf4j.Logger 收集 Event Hub SDK(Java) 输出日志并以文件形式保存
|
1天前
|
缓存 监控 算法
分析慢日志文件来优化 PHP 脚本的性能
分析慢日志文件来优化 PHP 脚本的性能
|
11天前
|
消息中间件 存储 监控
Kafka的logs目录下的文件都是什么日志?
Kafka的logs目录下的文件都是什么日志?
30 11
|
25天前
|
Java 应用服务中间件 HSF
Java应用结构规范问题之配置Logback以仅记录错误级别的日志到一个滚动文件中的问题如何解决
Java应用结构规范问题之配置Logback以仅记录错误级别的日志到一个滚动文件中的问题如何解决
|
26天前
【Azure Function & Application Insights】调用Function上传和下载文件,有时候遇见大于1MB的文件的日志没有记录在Application Insights中
【Azure Function & Application Insights】调用Function上传和下载文件,有时候遇见大于1MB的文件的日志没有记录在Application Insights中
|
27天前
|
存储 Java Spring
【Azure Spring Cloud】Azure Spring Cloud服务,如何获取应用程序日志文件呢?
【Azure Spring Cloud】Azure Spring Cloud服务,如何获取应用程序日志文件呢?
|
27天前
|
Kubernetes Ubuntu Windows
【Azure K8S | AKS】分享从AKS集群的Node中查看日志的方法(/var/log)
【Azure K8S | AKS】分享从AKS集群的Node中查看日志的方法(/var/log)
|
9天前
|
Java
日志框架log4j打印异常堆栈信息携带traceId,方便接口异常排查
日常项目运行日志,异常栈打印是不带traceId,导致排查问题查找异常栈很麻烦。
|
19天前
|
存储 监控 数据可视化
SLS 虽然不是直接使用 OSS 作为底层存储,但它凭借自身独特的存储架构和功能,为用户提供了一种专业、高效的日志服务解决方案。
【9月更文挑战第2天】SLS 虽然不是直接使用 OSS 作为底层存储,但它凭借自身独特的存储架构和功能,为用户提供了一种专业、高效的日志服务解决方案。
50 9
|
27天前
|
开发框架 .NET Docker
【Azure 应用服务】App Service .NET Core项目在Program.cs中自定义添加的logger.LogInformation,部署到App Service上后日志不显示Log Stream中的问题
【Azure 应用服务】App Service .NET Core项目在Program.cs中自定义添加的logger.LogInformation,部署到App Service上后日志不显示Log Stream中的问题