Linux日志自动清理方案

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
实时数仓Hologres,5000CU*H 100GB 3个月
简介: Linux日志自动清理方案

Linux日志自动清理方案

平时主要处理两种情况:

  • 只生成一个日志文件,需要每天切割,定期删除太旧的。采用 logrotate 定期切割的方案。
  • 每天生成一个日志文件,定期删除太旧的。采用 crontab 定期删除的方案。

logrotate 定期切割

logrotate 是 Linux 自带的一个日志切割工具,不需要安装,只需要添加配置文件。

  1. 用 root 权限在 /etc/logrotate.d/ 目录下创建一个配置文件 /etc/logrotate.d/myproject ,文件名任意自定,内容如下例:

    # 指定待切割的日志文件的绝对路径(如果有多个路径,则用空格分隔)
    /home/zhonghong/*.log {
         
        # 切换到指定的用户、用户组来执行切割任务
        su zhonghong zhonghong
    
        # 每天轮询一次,切割生成一个归档日志
        daily
        # 最多保留 7 个归档日志
        rotate 7
        missingok
        notifempty
    
        dateext
        dateformat -%Y-%m-%d
        extension .log
    
        copytruncate
    }
    

    配置文件中的注释必须独占一行。

  2. 执行 logrotate /etc/logrotate.d/myproject -f 尝试切割一次,看效果如何。

crontab 定期删除

  1. 执行crontab -e,加入一条定时任务:

    0 12 * * *     find /home/zhonghong/myproject/logs      ! -mtime -7 | xargs rm -f
    

    这会每天中午12点删除指定目录下,超过 7 天未修改的文件。

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
目录
相关文章
|
5天前
|
消息中间件 存储 监控
微服务日志监控的挑战及应对方案
【10月更文挑战第23天】微服务化带来模块独立与快速扩展,但也使得日志监控复杂。日志作用包括业务记录、异常追踪和性能定位。
|
18天前
|
监控 网络协议 安全
Linux系统日志管理
Linux系统日志管理
34 3
|
26天前
|
存储 消息中间件 大数据
大数据-70 Kafka 高级特性 物理存储 日志存储 日志清理: 日志删除与日志压缩
大数据-70 Kafka 高级特性 物理存储 日志存储 日志清理: 日志删除与日志压缩
34 1
|
28天前
|
SQL 存储 关系型数据库
Mysql主从同步 清理二进制日志的技巧
Mysql主从同步 清理二进制日志的技巧
22 1
|
30天前
|
关系型数据库 MySQL 数据库
DZ社区 mysql日志清理 Discuz! X3.5数据库可以做定期常规清理的表
很多站长在网站日常维护中忽略了比较重要的一个环节,就是对于数据库的清理工作,造成数据库使用量增加必须多的原因一般有2个:后台站点功能开启了家园,此功能现在很少有论坛会用到,但是灌水机会灌入大量垃圾信息致使站长长时间未能发觉;再有就是程序默认的一些通知类表单会存放大量的、对于网站日常运行并无意义的通知信息。
52 2
|
2月前
|
Kubernetes API Docker
跟着iLogtail学习容器运行时与K8s下日志采集方案
iLogtail 作为开源可观测数据采集器,对 Kubernetes 环境下日志采集有着非常好的支持,本文跟随 iLogtail 的脚步,了解容器运行时与 K8s 下日志数据采集原理。
|
30天前
|
监控 Linux 测试技术
Linux系统命令与网络,磁盘和日志监控总结
Linux系统命令与网络,磁盘和日志监控总结
51 0
|
30天前
|
监控 Linux 测试技术
Linux系统命令与网络,磁盘和日志监控三
Linux系统命令与网络,磁盘和日志监控三
36 0
|
3月前
|
缓存 NoSQL Linux
【Azure Redis 缓存】Windows和Linux系统本地安装Redis, 加载dump.rdb中数据以及通过AOF日志文件追加数据
【Azure Redis 缓存】Windows和Linux系统本地安装Redis, 加载dump.rdb中数据以及通过AOF日志文件追加数据
117 1
【Azure Redis 缓存】Windows和Linux系统本地安装Redis, 加载dump.rdb中数据以及通过AOF日志文件追加数据
|
3月前
|
Ubuntu Linux 测试技术
在Linux中,已知 apache 服务的访问日志按天记录在服务器本地目录/app/logs 下,由于磁盘空间紧张现在要求只能保留最近7天的访问日志,请问如何解决?
在Linux中,已知 apache 服务的访问日志按天记录在服务器本地目录/app/logs 下,由于磁盘空间紧张现在要求只能保留最近7天的访问日志,请问如何解决?

相关产品

  • 日志服务