logrotate linux 系统日志备份压缩工具

本文涉及的产品
Redis 开源版,标准版 2GB
推荐场景:
搭建游戏排行榜
日志服务 SLS,月写入数据量 50GB 1个月
简介:

logrotate 是作为linux系统日志的管理工具存在。它可以轮换、压缩、邮件系统日志文件。

默认的 logrotate 被加入 cron 的 /etc/cron.daily 中作为每日任务执行。
/etc/logrotate.conf 为其默认配置文件指定每个日志文件的默认规则。
/etc/logrotate.d/* 为 /etc/logrotate.conf 默认包含的目录,其中文件也会被 logrotate 读取。指明每个日志文件的特定规则。
/var/lib/logrotate.status中默认记录logrotate上次轮询日志文件的时间

日志文件的管理:
1、logrotate 配置
2、使用 include 选项读取其他配置文件及覆盖缺省配置
3、include 的几个实例

一、logrotate 配置

logrotate 程序是一个日志文件管理工具。用来把旧的日志文件删除,并创建新的日志文件,我们把它叫做”转储”。我们可以根据日志文件的大小,也可以根据其天数来转储,这个过程一般通过cron程序来执行。

logrotate 程序还可以用于压缩日志文件,以及发送日志到指定的E-mail。

logrotate 的配置文件是 /etc/logrotate.conf , 下面是主要配置参数:

compress : 通过gzip压缩转储以后的日志
nocompress : 不需要压缩时,用这个参数
copytruncate : 用于还在打开中的日志文件,把当前日志备份并截断
nocopytruncate : 备份日志文件但是不截断
create mode owner group : 转储文件,使用指定的文件模式创建新的日志文件
nocreate : 不建立新的日志文件
delaycompress : 和 compress 一起使用时,转储的日志文件到下一次转储时才压缩
nodelaycompress : 覆盖delaycompress 选项,转储同时压缩
errors address : 转储时的错误信息发送到指定的Email地址
ifempty : 即使是空文件也转储,这个是 logrotate 的缺省选项
noifempty : 如果是空文件的话,不转储
mail address : 把转储的日志文件发送到指定的E-mail地址
nomail : 转储时不发送日志文件
olddir directory : 转储后的日志文件放入指定的目录,必须和当前日志文件在同一个文件系统
noolddir : 转储后的日志文件和当前日志文件放在同一个目录下
prerotate/endscript : 在转储以前需要执行的命令可以放入这个对,这两个关键字必须单独成行
postrotate/endscript : 在转储以后需要执行的命令可以放入这个对,这两个关键字必须单独成行
daily : 指定转储周期为每天
weekly : 指定转储周期为每周
monthly : 指定转储周期为每月
rotate count : 指定日志文件删除之前的转储的次数,0值没有备份,15指保留15个备份
size size : 当日志文件到达指定的大小时才转储,Size可以指定bytes或者MB

二、使用include 选项读取其他配置文件

include 选项允许系统管理员把分散的几个文件的转储信息,集中到一个重要的配置文件。当 logrotate 从 logrotate.conf 读到 include 选项时,会从指定文件读入配置信息,就好像他们已经在 /etc/logrotate.conf 中一样

include 选项十分重要,一些应用把日志转储参数存放在 /etc/logrotate.d/ 下面

典型的应用有: cups dracut numad psacct sssd syslog yum

三、include 的几个实例

1、tomcat 日志备份处理

cat /etc/logrotate.d/tomcat

/usr/local/tomcats/*/logs/catalina.out
{
        rotate 14      # 指定日志文件删除之前的转储次数,14表示保留14次备份
        daily          # 指定转储周期为每天
        dateext        # 使用日期为转储文件的后缀
        copytruncate   # 用于还在打开中的日志文件,把当前日志备份并截断
        compress       # 通过gzip压缩转储以后的日志
        ifempty        # 即使是空文件也转储,这个是logrotate的缺省选项
        missingok      # 如果日志不存在则忽略该警告信息


        postrotate     # postrotate/endscript,在转储以后需要执行的命令可以放入这个对,这两个关键字必须单独成行
        find /usr/local/tomcats/*/logs \( -name "*.txt" -o -name "*.log" \) -mtime +0 -exec rm -rf {} \;
        endscript
}

下面是 tomcat 压缩后的日志:
这里写图片描述


2、redis 日志备份压缩

cat /etc/logrotate.d/redis

{
        rotate 14
        daily
        dateext
        copytruncate
        compress
        ifempty
        missingok
        postrotate
        find /var/log/redis \( -name "*.txt" -o -name "*.log" \) -mtime +0 -exec rm -rf {} \;
        endscript
}

下面是 redis 压缩后的日志:
这里写图片描述


3、vsftpd 日志备份压缩

那 vsftpd log 文件则不会写入那么频繁,所以使用 /etc/logrotate.conf 配置文件中的参数,每周压缩一次

cat /etc/logrotate.d/vsftpd

/var/log/vsftpd.log {
    # ftpd doesn't handle SIGHUP properly
    nocompress
    missingok
}

/var/log/xferlog {
    # ftpd doesn't handle SIGHUP properly
    nocompress
    missingok
}

由于 vsftpd 配置为nocompress ,并没有压缩,并且间隔也没有配置,所以继承 /etc/logrotate.conf 配置的全局属性,备份间隔为一周。所以日志为下面类型:
这里写图片描述


如果需要自行手动执行,则可以在终端输入下列命令
/usr/sbin/logrotate /etc/logrotate.conf 命令执行

logrotate 每天都是在凌晨3点多执行,如果需要每天0点0分自动执行,压缩昨天日志,则是如下操作:
centos 配置在/etc/cron.daily/logrotate,注释掉它

crontab -e
0 0 * * * /usr/sbin/logrotate -f /etc/logrotate.conf >/dev/null 2>&1
相关文章
|
3月前
|
Ubuntu Linux Anolis
Linux系统禁用swap
本文介绍了在新版本Linux系统(如Ubuntu 20.04+、CentOS Stream、openEuler等)中禁用swap的两种方法。传统通过注释/etc/fstab中swap行的方式已失效,现需使用systemd管理swap.target服务或在/etc/fstab中添加noauto参数实现禁用。方法1通过屏蔽swap.target适用于新版系统,方法2通过修改fstab挂载选项更通用,兼容所有系统。
230 3
Linux系统禁用swap
|
3月前
|
Linux
Linux系统修改网卡名为eth0、eth1
在Linux系统中,可通过修改GRUB配置和创建Udev规则或使用systemd链接文件,将网卡名改为`eth0`、`eth1`等传统命名方式,适用于多种发行版并支持多网卡配置。
344 3
|
3月前
|
Prometheus 监控 Cloud Native
基于docker搭建监控系统&日志收集
Prometheus 是一款由 SoundCloud 开发的开源监控报警系统及时序数据库(TSDB),支持多维数据模型和灵活查询语言,适用于大规模集群监控。它通过 HTTP 拉取数据,支持服务发现、多种图表展示(如 Grafana),并可结合 Loki 实现日志聚合。本文介绍其架构、部署及与 Docker 集成的监控方案。
360 122
基于docker搭建监控系统&日志收集
WGLOG日志管理系统是怎么收集日志的
WGLOG通过部署Agent客户端采集日志,Agent持续收集指定日志文件并上报Server,Server负责展示与分析。Agent与Server需保持相同版本。官网下载地址:www.wgstart.com
|
4月前
|
Ubuntu Linux
计算机基础知识:linux系统怎么安装?
在虚拟机软件中创建一个新的虚拟机,并选择相应操作系统类型和硬盘空间大小等参数。将下载的 ISO 镜像文件加载到虚拟机中。启动虚拟机,进入安装界面,并按照步骤进行安装。安装完成后,可以在虚拟机中使用 Linux 系统。
|
Ubuntu Linux 网络安全
Linux系统初始化脚本
一款支持Rocky、CentOS、Ubuntu、Debian、openEuler等主流Linux发行版的系统初始化Shell脚本,涵盖网络配置、主机名设置、镜像源更换、安全加固等多项功能,适配单/双网卡环境,支持UEFI引导,提供多版本下载与持续更新。
305 0
Linux系统初始化脚本
|
3月前
|
Ubuntu
在Ubuntu系统上设置syslog日志轮替与大小限制
请注意,在修改任何系统级别配置之前,请务必备份相应得原始档案并理解每项变更可能带来得影响。
298 2
|
4月前
|
运维 Linux 开发者
Linux系统中使用Python的ping3库进行网络连通性测试
以上步骤展示了如何利用 Python 的 `ping3` 库来检测网络连通性,并且提供了基本错误处理方法以确保程序能够优雅地处理各种意外情形。通过简洁明快、易读易懂、实操性强等特点使得该方法非常适合开发者或系统管理员快速集成至自动化工具链之内进行日常运维任务之需求满足。
240 18
|
3月前
|
安全 Linux Shell
Linux系统提权方式全面总结:从基础到高级攻防技术
本文全面总结Linux系统提权技术,涵盖权限体系、配置错误、漏洞利用、密码攻击等方法,帮助安全研究人员掌握攻防技术,提升系统防护能力。
286 1
|
3月前
|
监控 安全 Linux
Linux系统提权之计划任务(Cron Jobs)提权
在Linux系统中,计划任务(Cron Jobs)常用于定时执行脚本或命令。若配置不当,攻击者可利用其提权至root权限。常见漏洞包括可写的Cron脚本、目录、通配符注入及PATH变量劫持。攻击者通过修改脚本、创建恶意任务或注入命令实现提权。系统管理员应遵循最小权限原则、使用绝对路径、避免通配符、设置安全PATH并定期审计,以防范此类攻击。
1014 1