logrotate linux 系统日志备份压缩工具

本文涉及的产品
Redis 开源版,标准版 2GB
推荐场景:
搭建游戏排行榜
云数据库 Tair(兼容Redis),内存型 2GB
日志服务 SLS,月写入数据量 50GB 1个月
简介:

logrotate 是作为linux系统日志的管理工具存在。它可以轮换、压缩、邮件系统日志文件。

默认的 logrotate 被加入 cron 的 /etc/cron.daily 中作为每日任务执行。
/etc/logrotate.conf 为其默认配置文件指定每个日志文件的默认规则。
/etc/logrotate.d/* 为 /etc/logrotate.conf 默认包含的目录,其中文件也会被 logrotate 读取。指明每个日志文件的特定规则。
/var/lib/logrotate.status中默认记录logrotate上次轮询日志文件的时间

日志文件的管理:
1、logrotate 配置
2、使用 include 选项读取其他配置文件及覆盖缺省配置
3、include 的几个实例

一、logrotate 配置

logrotate 程序是一个日志文件管理工具。用来把旧的日志文件删除,并创建新的日志文件,我们把它叫做”转储”。我们可以根据日志文件的大小,也可以根据其天数来转储,这个过程一般通过cron程序来执行。

logrotate 程序还可以用于压缩日志文件,以及发送日志到指定的E-mail。

logrotate 的配置文件是 /etc/logrotate.conf , 下面是主要配置参数:

compress : 通过gzip压缩转储以后的日志
nocompress : 不需要压缩时,用这个参数
copytruncate : 用于还在打开中的日志文件,把当前日志备份并截断
nocopytruncate : 备份日志文件但是不截断
create mode owner group : 转储文件,使用指定的文件模式创建新的日志文件
nocreate : 不建立新的日志文件
delaycompress : 和 compress 一起使用时,转储的日志文件到下一次转储时才压缩
nodelaycompress : 覆盖delaycompress 选项,转储同时压缩
errors address : 转储时的错误信息发送到指定的Email地址
ifempty : 即使是空文件也转储,这个是 logrotate 的缺省选项
noifempty : 如果是空文件的话,不转储
mail address : 把转储的日志文件发送到指定的E-mail地址
nomail : 转储时不发送日志文件
olddir directory : 转储后的日志文件放入指定的目录,必须和当前日志文件在同一个文件系统
noolddir : 转储后的日志文件和当前日志文件放在同一个目录下
prerotate/endscript : 在转储以前需要执行的命令可以放入这个对,这两个关键字必须单独成行
postrotate/endscript : 在转储以后需要执行的命令可以放入这个对,这两个关键字必须单独成行
daily : 指定转储周期为每天
weekly : 指定转储周期为每周
monthly : 指定转储周期为每月
rotate count : 指定日志文件删除之前的转储的次数,0值没有备份,15指保留15个备份
size size : 当日志文件到达指定的大小时才转储,Size可以指定bytes或者MB

二、使用include 选项读取其他配置文件

include 选项允许系统管理员把分散的几个文件的转储信息,集中到一个重要的配置文件。当 logrotate 从 logrotate.conf 读到 include 选项时,会从指定文件读入配置信息,就好像他们已经在 /etc/logrotate.conf 中一样

include 选项十分重要,一些应用把日志转储参数存放在 /etc/logrotate.d/ 下面

典型的应用有: cups dracut numad psacct sssd syslog yum

三、include 的几个实例

1、tomcat 日志备份处理

cat /etc/logrotate.d/tomcat

/usr/local/tomcats/*/logs/catalina.out
{
        rotate 14      # 指定日志文件删除之前的转储次数,14表示保留14次备份
        daily          # 指定转储周期为每天
        dateext        # 使用日期为转储文件的后缀
        copytruncate   # 用于还在打开中的日志文件,把当前日志备份并截断
        compress       # 通过gzip压缩转储以后的日志
        ifempty        # 即使是空文件也转储,这个是logrotate的缺省选项
        missingok      # 如果日志不存在则忽略该警告信息


        postrotate     # postrotate/endscript,在转储以后需要执行的命令可以放入这个对,这两个关键字必须单独成行
        find /usr/local/tomcats/*/logs \( -name "*.txt" -o -name "*.log" \) -mtime +0 -exec rm -rf {} \;
        endscript
}

下面是 tomcat 压缩后的日志:
这里写图片描述


2、redis 日志备份压缩

cat /etc/logrotate.d/redis

{
        rotate 14
        daily
        dateext
        copytruncate
        compress
        ifempty
        missingok
        postrotate
        find /var/log/redis \( -name "*.txt" -o -name "*.log" \) -mtime +0 -exec rm -rf {} \;
        endscript
}

下面是 redis 压缩后的日志:
这里写图片描述


3、vsftpd 日志备份压缩

那 vsftpd log 文件则不会写入那么频繁,所以使用 /etc/logrotate.conf 配置文件中的参数,每周压缩一次

cat /etc/logrotate.d/vsftpd

/var/log/vsftpd.log {
    # ftpd doesn't handle SIGHUP properly
    nocompress
    missingok
}

/var/log/xferlog {
    # ftpd doesn't handle SIGHUP properly
    nocompress
    missingok
}

由于 vsftpd 配置为nocompress ,并没有压缩,并且间隔也没有配置,所以继承 /etc/logrotate.conf 配置的全局属性,备份间隔为一周。所以日志为下面类型:
这里写图片描述


如果需要自行手动执行,则可以在终端输入下列命令
/usr/sbin/logrotate /etc/logrotate.conf 命令执行

logrotate 每天都是在凌晨3点多执行,如果需要每天0点0分自动执行,压缩昨天日志,则是如下操作:
centos 配置在/etc/cron.daily/logrotate,注释掉它

crontab -e
0 0 * * * /usr/sbin/logrotate -f /etc/logrotate.conf >/dev/null 2>&1
相关实践学习
基于Redis实现在线游戏积分排行榜
本场景将介绍如何基于Redis数据库实现在线游戏中的游戏玩家积分排行榜功能。
云数据库 Redis 版使用教程
云数据库Redis版是兼容Redis协议标准的、提供持久化的内存数据库服务,基于高可靠双机热备架构及可无缝扩展的集群架构,满足高读写性能场景及容量需弹性变配的业务需求。 产品详情:https://www.aliyun.com/product/kvstore     ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库 ECS 实例和一台目标数据库 RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
相关文章
|
9天前
|
监控 Linux 开发者
如何在 Linux 中优雅的使用 head 命令,用来看日志简直溜的不行
`head` 命令是 Linux 系统中一个非常实用的工具,用于快速查看文件的开头部分内容。本文介绍了 `head` 命令的基本用法、高级用法、实际应用案例及注意事项,帮助用户高效处理文件和日志,提升工作效率。
22 7
|
6天前
|
Windows Python
如何反向读取Windows系统日志EVTX文件?
以下是如何反向读取Windows系统日志EVTX文件
16 2
|
8天前
|
关系型数据库 MySQL Linux
Linux环境下MySQL数据库自动定时备份实践
数据库备份是确保数据安全的重要措施。在Linux环境下,实现MySQL数据库的自动定时备份可以通过多种方式完成。本文将介绍如何使用`cron`定时任务和`mysqldump`工具来实现MySQL数据库的每日自动备份。
27 3
|
8天前
|
监控 关系型数据库 MySQL
Linux环境下MySQL数据库自动定时备份策略
在Linux环境下,MySQL数据库的自动定时备份是确保数据安全和可靠性的重要措施。通过设置定时任务,我们可以每天自动执行数据库备份,从而减少人为错误和提高数据恢复的效率。本文将详细介绍如何在Linux下实现MySQL数据库的自动定时备份。
22 3
|
13天前
|
存储 Linux Docker
centos系统清理docker日志文件
通过以上方法,可以有效清理和管理CentOS系统中的Docker日志文件,防止日志文件占用过多磁盘空间。选择合适的方法取决于具体的应用场景和需求,可以结合手动清理、logrotate和调整日志驱动等多种方式,确保系统的高效运行。
13 2
|
24天前
|
XML JSON 监控
告别简陋:Java日志系统的最佳实践
【10月更文挑战第19天】 在Java开发中,`System.out.println()` 是最基本的输出方法,但它在实际项目中往往被认为是不专业和不足够的。本文将探讨为什么在现代Java应用中应该避免使用 `System.out.println()`,并介绍几种更先进的日志解决方案。
47 1
|
1月前
|
监控 网络协议 安全
Linux系统日志管理
Linux系统日志管理
42 3
|
1月前
|
监控 应用服务中间件 网络安全
#637481#基于django和neo4j的日志分析系统
#637481#基于django和neo4j的日志分析系统
34 4
|
6月前
|
存储 监控 Ubuntu
Linux系统之GoAccess实时Web日志分析工具的基本使用
【5月更文挑战第22天】Linux系统之GoAccess实时Web日志分析工具的基本使用
202 1
|
6月前
|
存储 监控 数据可视化
linux日志分析工具与命令
在Linux中,日志分析常用命令行工具如`tail`(实时追踪日志)、`head`(显示日志开头)、`grep`(搜索关键词)、`awk`(复杂文本处理)、`sed`(文本替换)、`less`(分页查看)和`cat`(输出内容)。此外,还有日志分析工具如Logwatch(自动分析邮件摘要)、rsyslog/syslog-ng(日志收集)、Graylog(集中式管理)、ELK Stack(日志收集、解析、存储和可视化)和Splunk(企业级日志管理)。这些工具帮助管理员监控系统、排查问题、进行安全审计并获取业务洞察。
204 1