使用Logrotate来管理系统日志

本文涉及的产品
云数据库 RDS MySQL,集群系列 2核4GB
推荐场景:
搭建个人博客
RDS MySQL Serverless 基础系列,0.5-2RCU 50GB
RDS MySQL Serverless 高可用系列,价值2615元额度,1个月
简介:

对于Linux 的系统安全来说,日志文件是极其重要的工具。系统管理员可以使用logrotate 程序用来管理系统中的最新的事件。logrotate 还可以用来备份日志文件,本篇将通过以下几部分来介绍...

 

日志文件的管理:

1、logrotate 配置    
2、缺省配置 logrotate     
3、使用include 选项读取其他配置文件     
4、使用include 选项覆盖缺省配置     
5、为指定的文件配置转储参数     
6、其他需要注意的问题

 

一、logrotate 配置

logrotate 程序是一个日志文件管理工具。用来把旧的日志文件删除,并创建新的日志文件,我们把它叫做“转储”。我们可以根据日志文件的大小,也可以根据其天数来转储,这个过程一般通过 cron 程序来执行。

 

logrotate 程序还可以用于压缩日志文件,以及发送日志到指定的E-mail 。

 

logrotate 的配置文件是 /etc/logrotate.conf。主要参数如下表:

 

参数 功能

compress 通过gzip 压缩转储以后的日志    
nocompress 不需要压缩时,用这个参数     
copytruncate 用于还在打开中的日志文件,把当前日志备份并截断     
nocopytruncate 备份日志文件但是不截断     
create mode owner group 转储文件,使用指定的文件模式创建新的日志文件     
nocreate 不建立新的日志文件     
delaycompress 和 compress 一起使用时,转储的日志文件到下一次转储时才压缩     
nodelaycompress 覆盖 delaycompress 选项,转储同时压缩。     
errors address 专储时的错误信息发送到指定的Email 地址     
ifempty 即使是空文件也转储,这个是 logrotate 的缺省选项。     
notifempty 如果是空文件的话,不转储     
mail address 把转储的日志文件发送到指定的E-mail 地址     
nomail 转储时不发送日志文件     
olddir directory 转储后的日志文件放入指定的目录,必须和当前日志文件在同一个文件系统     
noolddir 转储后的日志文件和当前日志文件放在同一个目录下     
prerotate/endscript 在转储以前需要执行的命令可以放入这个对,这两个关键字必须单独成行     
postrotate/endscript 在转储以后需要执行的命令可以放入这个对,这两个关键字必须单独成行     
daily 指定转储周期为每天     
weekly 指定转储周期为每周     
monthly 指定转储周期为每月     
rotate count 指定日志文件删除之前转储的次数,0 指没有备份,5 指保留5 个备份     
tabootext [+] list 让logrotate 不转储指定扩展名的文件,缺省的扩展名是:.rpm-orig, .rpmsave, v, 和 ~     
size size 当日志文件到达指定的大小时才转储,Size 可以指定 bytes (缺省)以及KB (sizek)或者MB (sizem).

 

二、缺省配置 logrotate

logrotate 缺省的配置文件为etc/logrotate.conf。

 

Red Hat Linux 缺省安装的文件内容是:

# see "man logrotate" for details    
# rotate log files weekly     
weekly     
# keep 4 weeks worth of backlogs     
rotate 4     
# send errors to root     
errors root     
# create new (empty) log files after rotating old ones     
create     
# uncomment this if you want your log files compressed     
#compress     
1     
# RPM packages drop log rotation information into this directory     
include /etc/logrotate.d     
# no packages own lastlog or wtmp --we'll rotate them here     
/var/log/wtmp {     
monthly     
create 0664 root utmp     
rotate 1     
}     
/var/log/lastlog {     
monthly     
rotate 1     
}     
# system-specific logs may be configured here

 

缺省的配置一般放在logrotate.conf 文件的最开始处,影响整个系统。在本例中就是前面12行。

 

第三行   
weekly 指定所有的日志文件每周转储一次。

第五行   
rotate 4 指定转储文件的保留 4份。

第七行   
errors root 指定错误信息发送给root。

第九行   
create 指定 logrotate 自动建立新的日志文件,新的日志文件具有和原来的文件一样的权限。

第十一行 #compress 指定不压缩转储文件,如果需要压缩,去掉注释就可以了。

 

三、使用include 选项读取其他配置文件

include 选项允许系统管理员把分散到几个文件的转储信息,集中到一个

主要的配置文件。当 logrotate 从logrotate.conf 读到include 选项时,会从指定文件读入配置信息,就好像他们已经在/etc/logrotate.conf 中一样。

第十三行 include /etc/logrotate.d 告诉 logrotate 读入存放在/etc/logrotate.d 目录中的日志转储参数,当系统中安装了RPM 软件包时,使用include 选项十分有用。RPM 软件包的日志转储参数一般存放在/etc/logrotate.d 目录。

 

include 选项十分重要,一些应用把日志转储参数存放在 /etc/logrotate.d 。

典型的应用有:apache, linuxconf, samba, cron 以及syslog。

这样,系统管理员只要管理一个 /etc/logrotate.conf 文件就可以了。

 

四、使用include 选项覆盖缺省配置

当 /etc/logrotate.conf 读入文件时,include 指定的文件中的转储参数将覆盖缺省的参数,如下例:

# linuxconf 的参数    
/var/log/htmlaccess.log     
{ errors jim     
notifempty     
nocompress     
weekly     
prerotate     
/usr/bin/chattr -a /var/log/htmlaccess.log     
endscript     
postrotate     
/usr/bin/chattr +a /var/log/htmlaccess.log     
endscript     
}     
/var/log/netconf.log     
{ nocompress     
monthly     
}

 

在这个例子中,当 /etc/logrotate.d/linuxconf 文件被读入时,下面的参数将覆盖/etc/logrotate.conf中缺省的参数。

Notifempty    
errors jim

 

五、为指定的文件配置转储参数

经常需要为指定文件配置参数,一个常见的例子就是每月转储/var/log/wtmp。为特定文件而使用的参数格式是:

# 注释    
/full/path/to/file     
{     
option(s)     
}


下面的例子就是每月转储 /var/log/wtmp 一次:     
#Use logrotate to rotate wtmp     
/var/log/wtmp     
{     
monthly     
rotate 1     
}

 

六、其他需要注意的问题

1、尽管花括号的开头可以和其他文本放在同一行上,但是结尾的花括号必须单独成行。

2、使用 prerotate 和 postrotate 选项

下面的例子是典型的脚本 /etc/logrotate.d/syslog,这个脚本只是对

/var/log/messages 有效。    
/var/log/messages     
{     
prerotate     
/usr/bin/chattr -a /var/log/messages     
endscript     
postrotate     
/usr/bin/kill -HUP syslogd     
/usr/bin/chattr +a /var/log/messages     
endscript     
}

 

第一行指定脚本对 /var/log messages 有效

/var/log/messages

 

prerotate 命令指定转储以前的动作/usr/bin/chattr -a 去掉/var/log/messages文件的“只追加”属性 endscript 结束 prerotate 部分的脚本postrotate 指定转储后的动作

/usr/bin/killall -HUP syslogd

 

用来重新初始化系统日志守护程序 syslogd

/usr/bin/chattr +a /var/log/messages

 

重新为 /var/log/messages 文件指定“只追加”属性,这样防治程序员或用户覆盖此文件。

最后的 endscript 用于结束 postrotate 部分的脚本

 

3、logrotate 的运行分为三步:

判断系统的日志文件,建立转储计划以及参数,通过cron daemon 运行下面的代码是 Red Hat Linux 缺省的crontab 来每天运行logrotate。

#/etc/cron.daily/logrotate    
#! /bin/sh     
/usr/sbin/logrotate /etc/logrotate.conf

 

4、/var/log/messages 不能产生的原因:

这种情况很少见,但是如果你把/etc/services 中的 514/UDP 端口关掉的话,这个文件就不能产生了。

 

小结:本文通过对Red Hat 系统上典型的logrotate 配置例子的介绍,详细说明了logrotate 程序的应用方法。希望对所有Linux 系统管理员有所帮助。管理好,分析好日志文件是系统安全的第一步,在以后的文章里FreeLAMP还会介绍另外一个检查日志的好东东 logcheck。

 

Logrotate的演示

按天保存一周的Nginx日志压缩文件,配置文件为「/etc/logrotate.d/nginx」:

/usr/local/nginx/logs/*.log {

daily

dateext

compress

rotate 7

sharedscripts

postrotate

kill -USR1 `cat /var/run/nginx.pid`

endscript

}

 

如果你等不及CRON,可以通过如下命令来手动执行:

shell> logrotate -f /etc/logrotate.d/nginx

 

当然,正式执行前最好通过Debug选项来验证一下,这对调试也很重要:

shell> logrotate -d -f /etc/logrotate.d/nginx

 

BTW:类似的还有Verbose选项,这里就不多说了。

 

Logrotate的疑问

问题:sharedscripts的作用是什么?

大家可能注意到了,我在前面Nginx的例子里声明日志文件的时候用了星号通配符,也就是说这里可能涉及多个日志文件,比如:access.log和error.log。说到这里大家或许就明白了,sharedscripts的作用是在所有的日志文件都轮转完毕后统一执行一次脚本。如果没有配置这条指令,那么每个日志文件轮转完毕后都会执行一次脚本。

 

问题:rotate和maxage的区别是什么?

它们都是用来控制保存多少日志文件的,区别在于rotate是以个数为单位的,而maxage是以天数为单位的。如果我们是以按天来轮转日志,那么二者的差别就不大了。

 

问题:为什么生成日志的时间是凌晨四五点?

前面我们说过,Logrotate是基于CRON运行的,所以这个时间是由CRON控制的,具体可以查询CRON的配置文件「/etc/crontab」,可以手动改成如23:59等时间执行:

SHELL=/bin/bash

PATH=/sbin:/bin:/usr/sbin:/usr/bin

MAILTO=root

HOME=/

# run-parts

01 * * * * root run-parts /etc/cron.hourly

59 23 * * * root run-parts /etc/cron.daily

22 4 * * 0 root run-parts /etc/cron.weekly

42 4 1 * * root run-parts /etc/cron.monthly

 

如果使用的是新版CentOS,那么配置文件为:/etc/anacrontab。

 

问题:如何告诉应用程序重新打开日志文件?

以Nginx为例,是通过postrotate指令发送USR1信号来通知Nginx重新打开日志文件的。但是其他的应用程序不一定遵循这样的约定,比如说MySQL是通过flush-logs来重新打开日志文件的。更有甚者,有些应用程序就压根没有提供类似的方法,此时如果想重新打开日志文件,就必须重启服务,但为了高可用性,这往往不能接受。还好Logrotate提供了一个名为copytruncate的指令,此方法采用的是先拷贝再清空的方式,整个过程中日志文件的操作句柄没有发生改变,所以不需要通知应用程序重新打开日志文件,但是需要注意的是,在拷贝和清空之间有一个时间差,所以可能会丢失部分日志数据。

 

BTW:MySQL本身在support-files目录已经包含了一个名为mysql-log-rotate的脚本,不过它比较简单,更详细的日志轮转详见「Rotating MySQL Slow Logs Safely」。
















本文转自UltraSQL51CTO博客,原文链接: http://blog.51cto.com/ultrasql/1620666,如需转载请自行联系原作者



相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
相关文章
|
4天前
|
存储 Linux Docker
centos系统清理docker日志文件
通过以上方法,可以有效清理和管理CentOS系统中的Docker日志文件,防止日志文件占用过多磁盘空间。选择合适的方法取决于具体的应用场景和需求,可以结合手动清理、logrotate和调整日志驱动等多种方式,确保系统的高效运行。
8 2
|
15天前
|
XML JSON 监控
告别简陋:Java日志系统的最佳实践
【10月更文挑战第19天】 在Java开发中,`System.out.println()` 是最基本的输出方法,但它在实际项目中往往被认为是不专业和不足够的。本文将探讨为什么在现代Java应用中应该避免使用 `System.out.println()`,并介绍几种更先进的日志解决方案。
40 1
|
23天前
|
监控 网络协议 安全
Linux系统日志管理
Linux系统日志管理
37 3
|
28天前
|
监控 应用服务中间件 网络安全
#637481#基于django和neo4j的日志分析系统
#637481#基于django和neo4j的日志分析系统
32 4
|
1月前
|
监控 Linux 测试技术
Linux系统命令与网络,磁盘和日志监控总结
Linux系统命令与网络,磁盘和日志监控总结
52 0
|
1月前
|
监控 Linux 测试技术
Linux系统命令与网络,磁盘和日志监控三
Linux系统命令与网络,磁盘和日志监控三
36 0
|
3月前
|
缓存 NoSQL Linux
【Azure Redis 缓存】Windows和Linux系统本地安装Redis, 加载dump.rdb中数据以及通过AOF日志文件追加数据
【Azure Redis 缓存】Windows和Linux系统本地安装Redis, 加载dump.rdb中数据以及通过AOF日志文件追加数据
123 1
【Azure Redis 缓存】Windows和Linux系统本地安装Redis, 加载dump.rdb中数据以及通过AOF日志文件追加数据
|
2月前
|
JSON 缓存 fastjson
一行日志引发的系统异常
本文记录了一行日志引发的系统异常以及作者解决问题的思路。
使用装饰器实现自动化日志系统
使用装饰器实现自动化日志系统
|
3月前
|
存储 消息中间件 监控
Java日志详解:日志级别,优先级、配置文件、常见日志管理系统ELK、日志收集分析
Java日志详解:日志级别,优先级、配置文件、常见日志管理系统、日志收集分析。日志级别从小到大的关系(优先级从低到高): ALL < TRACE < DEBUG < INFO < WARN < ERROR < FATAL < OFF 低级别的会输出高级别的信息,高级别的不会输出低级别的信息