Linux日志自动清理方案

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
实时数仓Hologres,5000CU*H 100GB 3个月
简介: Linux日志自动清理方案

Linux日志自动清理方案

平时主要处理两种情况:

  • 只生成一个日志文件,需要每天切割,定期删除太旧的。采用 logrotate 定期切割的方案。
  • 每天生成一个日志文件,定期删除太旧的。采用 crontab 定期删除的方案。

logrotate 定期切割

logrotate 是 Linux 自带的一个日志切割工具,不需要安装,只需要添加配置文件。

  1. 用 root 权限在 /etc/logrotate.d/ 目录下创建一个配置文件 /etc/logrotate.d/myproject ,文件名任意自定,内容如下例:

    # 指定待切割的日志文件的绝对路径(如果有多个路径,则用空格分隔)
    /home/zhonghong/*.log {
         
        # 切换到指定的用户、用户组来执行切割任务
        su zhonghong zhonghong
    
        # 每天轮询一次,切割生成一个归档日志
        daily
        # 最多保留 7 个归档日志
        rotate 7
        missingok
        notifempty
    
        dateext
        dateformat -%Y-%m-%d
        extension .log
    
        copytruncate
    }
    

    配置文件中的注释必须独占一行。

  2. 执行 logrotate /etc/logrotate.d/myproject -f 尝试切割一次,看效果如何。

crontab 定期删除

  1. 执行crontab -e,加入一条定时任务:

    0 12 * * *     find /home/zhonghong/myproject/logs      ! -mtime -7 | xargs rm -f
    

    这会每天中午12点删除指定目录下,超过 7 天未修改的文件。

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
目录
相关文章
|
5天前
|
存储 缓存 监控
Linux缓存管理:如何安全地清理系统缓存
在Linux系统中,内存管理至关重要。本文详细介绍了如何安全地清理系统缓存,特别是通过使用`/proc/sys/vm/drop_caches`接口。内容包括清理缓存的原因、步骤、注意事项和最佳实践,帮助你在必要时优化系统性能。
117 78
|
1月前
|
监控 Linux 开发者
如何在 Linux 中优雅的使用 head 命令,用来看日志简直溜的不行
`head` 命令是 Linux 系统中一个非常实用的工具,用于快速查看文件的开头部分内容。本文介绍了 `head` 命令的基本用法、高级用法、实际应用案例及注意事项,帮助用户高效处理文件和日志,提升工作效率。
33 7
|
1月前
|
存储 Linux Docker
centos系统清理docker日志文件
通过以上方法,可以有效清理和管理CentOS系统中的Docker日志文件,防止日志文件占用过多磁盘空间。选择合适的方法取决于具体的应用场景和需求,可以结合手动清理、logrotate和调整日志驱动等多种方式,确保系统的高效运行。
57 2
|
1月前
|
消息中间件 存储 监控
微服务日志监控的挑战及应对方案
【10月更文挑战第23天】微服务化带来模块独立与快速扩展,但也使得日志监控复杂。日志作用包括业务记录、异常追踪和性能定位。
|
2月前
|
监控 网络协议 安全
Linux系统日志管理
Linux系统日志管理
60 3
|
2月前
|
存储 消息中间件 大数据
大数据-70 Kafka 高级特性 物理存储 日志存储 日志清理: 日志删除与日志压缩
大数据-70 Kafka 高级特性 物理存储 日志存储 日志清理: 日志删除与日志压缩
51 1
|
2月前
|
SQL 存储 关系型数据库
Mysql主从同步 清理二进制日志的技巧
Mysql主从同步 清理二进制日志的技巧
34 1
|
3月前
|
Kubernetes API Docker
跟着iLogtail学习容器运行时与K8s下日志采集方案
iLogtail 作为开源可观测数据采集器,对 Kubernetes 环境下日志采集有着非常好的支持,本文跟随 iLogtail 的脚步,了解容器运行时与 K8s 下日志数据采集原理。
|
4月前
|
缓存 NoSQL Linux
【Azure Redis 缓存】Windows和Linux系统本地安装Redis, 加载dump.rdb中数据以及通过AOF日志文件追加数据
【Azure Redis 缓存】Windows和Linux系统本地安装Redis, 加载dump.rdb中数据以及通过AOF日志文件追加数据
143 1
【Azure Redis 缓存】Windows和Linux系统本地安装Redis, 加载dump.rdb中数据以及通过AOF日志文件追加数据
|
2月前
|
监控 Linux 测试技术
Linux系统命令与网络,磁盘和日志监控总结
Linux系统命令与网络,磁盘和日志监控总结
68 0

相关产品

  • 日志服务