logrotate linux 系统日志备份压缩工具

本文涉及的产品
Redis 开源版,标准版 2GB
推荐场景:
搭建游戏排行榜
云数据库 Tair(兼容Redis),内存型 2GB
日志服务 SLS,月写入数据量 50GB 1个月
简介:

logrotate 是作为linux系统日志的管理工具存在。它可以轮换、压缩、邮件系统日志文件。

默认的 logrotate 被加入 cron 的 /etc/cron.daily 中作为每日任务执行。
/etc/logrotate.conf 为其默认配置文件指定每个日志文件的默认规则。
/etc/logrotate.d/* 为 /etc/logrotate.conf 默认包含的目录,其中文件也会被 logrotate 读取。指明每个日志文件的特定规则。
/var/lib/logrotate.status中默认记录logrotate上次轮询日志文件的时间

日志文件的管理:
1、logrotate 配置
2、使用 include 选项读取其他配置文件及覆盖缺省配置
3、include 的几个实例

一、logrotate 配置

logrotate 程序是一个日志文件管理工具。用来把旧的日志文件删除,并创建新的日志文件,我们把它叫做”转储”。我们可以根据日志文件的大小,也可以根据其天数来转储,这个过程一般通过cron程序来执行。

logrotate 程序还可以用于压缩日志文件,以及发送日志到指定的E-mail。

logrotate 的配置文件是 /etc/logrotate.conf , 下面是主要配置参数:

compress : 通过gzip压缩转储以后的日志
nocompress : 不需要压缩时,用这个参数
copytruncate : 用于还在打开中的日志文件,把当前日志备份并截断
nocopytruncate : 备份日志文件但是不截断
create mode owner group : 转储文件,使用指定的文件模式创建新的日志文件
nocreate : 不建立新的日志文件
delaycompress : 和 compress 一起使用时,转储的日志文件到下一次转储时才压缩
nodelaycompress : 覆盖delaycompress 选项,转储同时压缩
errors address : 转储时的错误信息发送到指定的Email地址
ifempty : 即使是空文件也转储,这个是 logrotate 的缺省选项
noifempty : 如果是空文件的话,不转储
mail address : 把转储的日志文件发送到指定的E-mail地址
nomail : 转储时不发送日志文件
olddir directory : 转储后的日志文件放入指定的目录,必须和当前日志文件在同一个文件系统
noolddir : 转储后的日志文件和当前日志文件放在同一个目录下
prerotate/endscript : 在转储以前需要执行的命令可以放入这个对,这两个关键字必须单独成行
postrotate/endscript : 在转储以后需要执行的命令可以放入这个对,这两个关键字必须单独成行
daily : 指定转储周期为每天
weekly : 指定转储周期为每周
monthly : 指定转储周期为每月
rotate count : 指定日志文件删除之前的转储的次数,0值没有备份,15指保留15个备份
size size : 当日志文件到达指定的大小时才转储,Size可以指定bytes或者MB

二、使用include 选项读取其他配置文件

include 选项允许系统管理员把分散的几个文件的转储信息,集中到一个重要的配置文件。当 logrotate 从 logrotate.conf 读到 include 选项时,会从指定文件读入配置信息,就好像他们已经在 /etc/logrotate.conf 中一样

include 选项十分重要,一些应用把日志转储参数存放在 /etc/logrotate.d/ 下面

典型的应用有: cups dracut numad psacct sssd syslog yum

三、include 的几个实例

1、tomcat 日志备份处理

cat /etc/logrotate.d/tomcat

/usr/local/tomcats/*/logs/catalina.out
{
        rotate 14      # 指定日志文件删除之前的转储次数,14表示保留14次备份
        daily          # 指定转储周期为每天
        dateext        # 使用日期为转储文件的后缀
        copytruncate   # 用于还在打开中的日志文件,把当前日志备份并截断
        compress       # 通过gzip压缩转储以后的日志
        ifempty        # 即使是空文件也转储,这个是logrotate的缺省选项
        missingok      # 如果日志不存在则忽略该警告信息


        postrotate     # postrotate/endscript,在转储以后需要执行的命令可以放入这个对,这两个关键字必须单独成行
        find /usr/local/tomcats/*/logs \( -name "*.txt" -o -name "*.log" \) -mtime +0 -exec rm -rf {} \;
        endscript
}

下面是 tomcat 压缩后的日志:
这里写图片描述


2、redis 日志备份压缩

cat /etc/logrotate.d/redis

{
        rotate 14
        daily
        dateext
        copytruncate
        compress
        ifempty
        missingok
        postrotate
        find /var/log/redis \( -name "*.txt" -o -name "*.log" \) -mtime +0 -exec rm -rf {} \;
        endscript
}

下面是 redis 压缩后的日志:
这里写图片描述


3、vsftpd 日志备份压缩

那 vsftpd log 文件则不会写入那么频繁,所以使用 /etc/logrotate.conf 配置文件中的参数,每周压缩一次

cat /etc/logrotate.d/vsftpd

/var/log/vsftpd.log {
    # ftpd doesn't handle SIGHUP properly
    nocompress
    missingok
}

/var/log/xferlog {
    # ftpd doesn't handle SIGHUP properly
    nocompress
    missingok
}

由于 vsftpd 配置为nocompress ,并没有压缩,并且间隔也没有配置,所以继承 /etc/logrotate.conf 配置的全局属性,备份间隔为一周。所以日志为下面类型:
这里写图片描述


如果需要自行手动执行,则可以在终端输入下列命令
/usr/sbin/logrotate /etc/logrotate.conf 命令执行

logrotate 每天都是在凌晨3点多执行,如果需要每天0点0分自动执行,压缩昨天日志,则是如下操作:
centos 配置在/etc/cron.daily/logrotate,注释掉它

crontab -e
0 0 * * * /usr/sbin/logrotate -f /etc/logrotate.conf >/dev/null 2>&1
相关实践学习
基于Redis实现在线游戏积分排行榜
本场景将介绍如何基于Redis数据库实现在线游戏中的游戏玩家积分排行榜功能。
云数据库 Redis 版使用教程
云数据库Redis版是兼容Redis协议标准的、提供持久化的内存数据库服务,基于高可靠双机热备架构及可无缝扩展的集群架构,满足高读写性能场景及容量需弹性变配的业务需求。 产品详情:https://www.aliyun.com/product/kvstore     ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库 ECS 实例和一台目标数据库 RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
相关文章
|
2月前
|
Linux
在 Linux 系统中,“cd”命令用于切换当前工作目录
在 Linux 系统中,“cd”命令用于切换当前工作目录。本文详细介绍了“cd”命令的基本用法和常见技巧,包括使用“.”、“..”、“~”、绝对路径和相对路径,以及快速切换到上一次工作目录等。此外,还探讨了高级技巧,如使用通配符、结合其他命令、在脚本中使用,以及实际应用案例,帮助读者提高工作效率。
101 3
|
2月前
|
监控 安全 Linux
在 Linux 系统中,网络管理是重要任务。本文介绍了常用的网络命令及其适用场景
在 Linux 系统中,网络管理是重要任务。本文介绍了常用的网络命令及其适用场景,包括 ping(测试连通性)、traceroute(跟踪路由路径)、netstat(显示网络连接信息)、nmap(网络扫描)、ifconfig 和 ip(网络接口配置)。掌握这些命令有助于高效诊断和解决网络问题,保障网络稳定运行。
84 2
|
16天前
|
存储 缓存 监控
Linux缓存管理:如何安全地清理系统缓存
在Linux系统中,内存管理至关重要。本文详细介绍了如何安全地清理系统缓存,特别是通过使用`/proc/sys/vm/drop_caches`接口。内容包括清理缓存的原因、步骤、注意事项和最佳实践,帮助你在必要时优化系统性能。
145 78
|
19天前
|
Linux Shell 网络安全
Kali Linux系统Metasploit框架利用 HTA 文件进行渗透测试实验
本指南介绍如何利用 HTA 文件和 Metasploit 框架进行渗透测试。通过创建反向 shell、生成 HTA 文件、设置 HTTP 服务器和发送文件,最终实现对目标系统的控制。适用于教育目的,需合法授权。
53 9
Kali Linux系统Metasploit框架利用 HTA 文件进行渗透测试实验
|
6天前
|
存储 运维 监控
Linux--深入理与解linux文件系统与日志文件分析
深入理解 Linux 文件系统和日志文件分析,对于系统管理员和运维工程师来说至关重要。文件系统管理涉及到文件的组织、存储和检索,而日志文件则记录了系统和应用的运行状态,是排查故障和维护系统的重要依据。通过掌握文件系统和日志文件的管理和分析技能,可以有效提升系统的稳定性和安全性。
23 7
|
2月前
|
缓存 Java Linux
如何解决 Linux 系统中内存使用量耗尽的问题?
如何解决 Linux 系统中内存使用量耗尽的问题?
146 48
|
15天前
|
存储 监控 Linux
嵌入式Linux系统编程 — 5.3 times、clock函数获取进程时间
在嵌入式Linux系统编程中,`times`和 `clock`函数是获取进程时间的两个重要工具。`times`函数提供了更详细的进程和子进程时间信息,而 `clock`函数则提供了更简单的处理器时间获取方法。根据具体需求选择合适的函数,可以更有效地进行性能分析和资源管理。通过本文的介绍,希望能帮助您更好地理解和使用这两个函数,提高嵌入式系统编程的效率和效果。
75 13
|
9天前
|
监控 安全 Linux
启用Linux防火墙日志记录和分析功能
为iptables启用日志记录对于监控进出流量至关重要
|
2月前
|
Ubuntu Linux 网络安全
linux系统ubuntu中在命令行中打开图形界面的文件夹
在Ubuntu系统中,通过命令行打开图形界面的文件夹是一个高效且实用的操作。无论是使用Nautilus、Dolphin还是Thunar,都可以根据具体桌面环境选择合适的文件管理器。通过上述命令和方法,可以简化日常工作,提高效率。同时,解决权限问题和图形界面问题也能确保操作的顺利进行。掌握这些技巧,可以使Linux操作更加便捷和灵活。
47 3
|
16天前
|
Ubuntu Linux C++
Win10系统上直接使用linux子系统教程(仅需五步!超简单,快速上手)
本文介绍了如何在Windows 10上安装并使用Linux子系统。首先,通过应用商店安装Windows Terminal和Linux系统(如Ubuntu)。接着,在控制面板中启用“适用于Linux的Windows子系统”并重启电脑。最后,在Windows Terminal中选择安装的Linux系统即可开始使用。文中还提供了注意事项和进一步配置的链接。
39 0