Linux下日志文件过大解决方案

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介: Linux下日志文件过大解决方案

最近恰逢极客时间1周年,良许联合极客时间送出阅码10个及礼券100个,活动力度大,中奖概率高,详情请查看下文:


最新技术专栏免费赠送


很多Linux服务器里的应用程序都是无间断的输出日志,这对于服务器的硬盘是一个很大的考验。良许之前也分享过一篇文章,介绍如何让应用程序在后台执行:


linux后台执行命令:&与nohup的用法


通过以上方法,应用程序的日志会一直输出到日志文件myout.txt里,这个文件也会不断的增大,一直蚕食服务器硬盘。


但是,我们都知道,日志对于我们而言是非常重要的,一量应用程序出现bug,或者服务器宕机,我们必须通过日志文件来进行debug或进一步分析。所以,日志文件不能简单的一删了之。


这时,我们想到,如果能将日志文件切分该多好,这样我们可以留下重要的日志,而删掉不必要的日志。下面良许就来详细介绍这种方法。


我们可以每天都进行切分日志的操作,那要这样的话,为了避免混淆,我们切分出来的日志都应该带上日期。当然日期我们可以通过以下语句获取:


current_date=`date -d "-1 day" "+%Y%m%d"`


date -d "-1 day"表示获取前一天的日期,就是说我们今天操作的话是切割昨天的日志。+%Y%m%d是具体的日期格式,也就是年月日格式,比如:20181005。


接下来,我们再切割日志。


split  -b 65535000 -d -a 4  myout.txt  ./log/log_${current_date}_


其中,65535000是60M,也就是日志文件按60M大小进行切割,可自定义大小。-d -a 4表示文件后缀是4位。我们将文件切割后要按次序进行编号,比如0000,0001,0002……这个4就代表编号的位数。


再之后的./log/log_${current_date}_就是切割后日志文件的前缀,里面就带入了当前日期。所以,最终的输出格式类似于:log_20181005_0001。


日志文件切割完之后,就可以将日志文件删除了,否则就失去切割文件的意义了。删除的方法可以用以下方式:


cat /dev/null > nohup.out


将以上这些命令写在一个脚本里,每天运行它,就可以将日志文件切割成若干分,便于我们排查。完整的代码如下:


#!/bin/bash
current_date=`date -d "-1 day" "+%Y%m%d"`
split -b 65535000 -d -a 4 /home/alvin/myout.txt   /home/alvin/log/log_${current_date}_
cat /dev/null > nohup.out




良许最近新建了个群,群里只讨论LeetCode刷题,不讨论其它内容。群里邀请了高手,和大家一起刷题,一起提高。详细信息见下文:


LeetCode刷题再召集


良许的目的就是为大家营造一个纯粹的刷题氛围,一起刷题,一起提高。同时,可以看到别人的解题方法及思路,对于自己的编程能力的提高有很大帮助。再者,遇到问题会有人解答,大家互相帮助,互相提高。而且,很多人一起刷的话,容易坚持下来。


之前良许免费带领大家刷题,但发现不少人免费的不加珍惜,因此这个微信群设置小额门槛。有付出才有回报,有投资才有收获。为自己投资,才是最好的投资,同时也是对自己的一个鞭策。


最近恰逢极客时间1周年,良许将在LeetCode群里抽奖送出5个阅码,每个阅码都可以兑换一门高质量专栏课程,赶紧加入我们吧!


目前已有40+朋友加入其中,欢迎加入我们!


本公众号全部博文已整理成一个目录,请在公众号里回复「m」获取!


推荐阅读:

7本实体技术书籍免费送!

如何Centos7系统中安装JDK、Tomcat、Mysql

Linux里隐藏的计算器,你知道它的奥秘吗?

央行降准,真的对你的生活没影响吗?

LeetCode刷题再召集


5T技术资源大放送!包括但不限于:C/C++,Linux,Python,Java,PHP,人工智能,单片机,树莓派,等等。在公众号内回复「1024」,即可免费获取!!


相关实践学习
通过日志服务实现云资源OSS的安全审计
本实验介绍如何通过日志服务实现云资源OSS的安全审计。
目录
相关文章
|
4月前
|
Linux 开发工具
7种比较Linux中文本文件的最佳工具
7种比较Linux中文本文件的最佳工具
7种比较Linux中文本文件的最佳工具
|
25天前
|
安全 Linux iOS开发
Tenable Nessus 10.9.3 (macOS, Linux, Windows) - 漏洞评估解决方案
Tenable Nessus 10.9.3 (macOS, Linux, Windows) - 漏洞评估解决方案
150 0
Tenable Nessus 10.9.3 (macOS, Linux, Windows) - 漏洞评估解决方案
|
Linux 数据库 iOS开发
CrossOver 25.1.0 for macOS & Linux - 领先的 Wine 解决方案
CrossOver 25.1.0 for macOS & Linux - 领先的 Wine 解决方案
116 0
|
2月前
|
存储 数据管理 Linux
区分Linux中.tar文件与.tar.gz文件的不同。
总之,".tar"文件提供了一种方便的文件整理方式,其归档但不压缩的特点适用于快速打包和解压,而".tar.gz"文件通过额外的压缩步骤,尽管处理时间更长,但可以减小文件尺寸,更适合于需要节约存储空间或进行文件传输的场景。用户在选择时应根据具体需求,考虑两种格式各自的优劣。
325 13
|
1月前
|
人工智能 机器人 Linux
开源的基于RTOnBoot多核异构框架打造的低成本高性能Linux主控加Ethercat主站解决方案,同步周期可稳定达到125微秒
开源的基于RTOnBoot多核异构框架打造的低成本高性能Linux主控加Ethercat主站解决方案,同步周期可稳定达到125微秒
|
2月前
|
监控 Linux 应用服务中间件
linux查看日志文件tail -f用法
在 Linux 中,查看和监控日志文件是系统管理员和开发者常用的操作之一。tail 命令就是用来查看文件内容的,它默认显示文件的最后部分。tail -f 是 tail 命令的一个非常有用的选项,用于实时查看和跟踪日志文件的更新,尤其是在监控运行中的服务时非常有用。
396 0
|
3月前
|
安全 Linux
Linux赋予文件000权限的恢复技巧
以上这些步骤就像是打开一扇锁住的门,步骤看似简单,但是背后却有着严格的逻辑和规则。切记,在任何时候,变更文件权限都要考虑安全性,不要无谓地放宽权限,那样可能
120 16
|
3月前
|
存储 Linux 数据处理
深入剖析Linux中一切即文件的哲学和重定向的机制
在计算机的奇妙世界中,Linux的这套哲学和机制减少了不同类型资源的处理方式,简化了抽象的概念,并蕴藏着强大的灵活性。就像变戏法一样,轻轻松松地在文件、程序与设备之间转换数据流,标准输入、输出、错误流就在指尖舞动,程序的交互和数据处理因此变得既高效又富有乐趣。
52 4
|
4月前
|
Linux
【Linux】 Linux文件I/O常见操作技巧
以上就是Linux文件I/O操作的一些技巧,接纳它们,让它们成为你在Linux世界中的得力伙伴,工作会变得轻松许多。不过记住,技巧的运用也需要根据实际情况灵活掌握,毕竟,最适合的才是最好的。
120 28
|
4月前
|
Ubuntu Linux
"unzip"命令解析:Linux下如何处理压缩文件。
总的来说,`unzip`命令是Linux系统下一款实用而方便的ZIP格式文件处理工具。本文通过简明扼要的方式,详细介绍了在各类Linux发行版上安装 `unzip`的方法,以及如何使用 `unzip`命令进行解压、查看和测试ZIP文件。希望本文章能为用户带来实际帮助,提高日常操作的效率。
557 12