Linux下自动分割Nginx日志文件(一)-----自定义脚本和定时任务

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介:

  Nginx 是一个轻量级的 Web 服务器,体积小、性能高、速度快等诸多优点。但不足的是也存在缺点,比如其产生的访问日志文件一直就是一个,不会自动地进行切割,如果访问量很大的话,将 导致日志文件容量非常大,不便于管理。当然了,我们也不希望看到这么庞大的一个访问日志文件,那需要手动对这个文件进行切割。偶然发现如果不做切割的话,日志文件会越来越大,达到几十G,而且还影响日志的查询效率,现需要将其进行日志分割。

    在 Linux 平台上进行切割的原理:使用 date 命令以获得昨天的日期、使用 kill 命令向 Nginx 进程发送重新打开日志文件的信号,以及 crontab 设置执行任务周期。

 

1,vi /usr/local/nginx/sbin/cut_log.sh

  脚本为:

1
2
3
4
5
6
7
#!/bin/bash
#date : 2015-11-17
LOGS_PATH= /data/nginx/log
YESTERDAY=$( date  -- date  "yesterday"   + "%Y-%m-%d" )
#PID_PATH="/usr/local/nginx/logs/nginx.pid"
mv  ${LOGS_PATH} /nginx .access.log  ${LOGS_PATH} /access_nginx_ ${YESTERDAY}.log
kill  -USR1 $( cat  /usr/local/nginx/logs/nginx .pid)


代码分析:


## Nginx 日志文件所在的目录,根据个人的情况进行修改
LOGS_PATH=/data/nginx/logs
## 获取昨天的日期
YESTERDAY=$(date --date "yesterday"  +"%Y-%m-%d")
## 移动文件并命名为新的日志文件
mv ${LOGS_PATH}/nginx.access.log  ${LOGS_PATH}/access_nginx_${YESTERDAY}.log
## 向Nginx主进程发送USR1信号,USR1信号是重新打开日志文件
kill -USR1 $(cat /usr/local/nginx/nginx.pid)


##########最简单的备用常用的脚本

1
2
3
4
vim cut_nginx.sh
cd  /data/nginx/logs/access .log  &&\
mv  access.log access_$( date  +%F -d -1day).log
/usr/local/nginx/sbin/nginx  -s reload

crontab -e 

0 0 * * * /bin/bash /usr/local/nginx/sbin/cut-log.sh

1
2
3
4
5
6
7
8
9
10
11
12
####生产:
#! /bin/bash
#Power by guojinbao
date =` date  +%Y-%m-%d-%H-%M-%S`
logfile= "/guojinbao/nginx/logs/access.log"
logdir= /guojinbao/nginx/logs
pid=` cat  /usr/local/nginx/logs/nginx .pid`
if  [ ! -d $logdir ];  then
     mkdir  -p $logdir
fi
/bin/mv  $logfile $logdir /access_ ${ date }.log
kill  -HUP $pid



2,chmod +x /usr/local/nginx/sbin/cut_log.sh

wKioL1ZKwtmDFBnBAAA5bBOiUf8227.png


3,新增定时任务:

[root@zabbix sbin]# crontab -e

0 0 * * * /bin/bash /usr/local/nginx/sbin/cut-log.sh

~                                                      

定时任务是定时到每天的0点0分执行。


4,每天上班的时候就可以查看分割后的日志文件在定制的目录下下。

[root@zabbix log]# ll

total 182456

-rw-r--r--  1 nobody root     37134 Nov 17 11:27 access_nginx.log_2015-11-16.log

-rw-r--r--  1 nobody root    963804 Nov 17 14:05 nginx.access.log



以上就完成了对日志文件的切割。



本文转自 lqbyz 51CTO博客,原文链接:http://blog.51cto.com/liqingbiao/1713451

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
相关文章
|
1月前
|
Linux 数据安全/隐私保护 Windows
命令方式:window向linux传文件
【10月更文挑战第6天】本文介绍了如何在Linux系统中通过命令`ip a`获取IP地址,并在Windows系统下使用CMD命令行工具和SCP命令实现文件传输。示例展示了如何将D盘中的`mm.jar`文件上传至IP地址为192.168.163.122的Linux系统的/up/目录下,最后在Linux系统中确认文件传输结果。
238 65
|
27天前
|
运维 安全 Linux
Linux中传输文件文件夹的10个scp命令
【10月更文挑战第18天】本文详细介绍了10种利用scp命令在Linux系统中进行文件传输的方法,涵盖基础文件传输、使用密钥认证、复制整个目录、从远程主机复制文件、同时传输多个文件和目录、保持文件权限、跨多台远程主机传输、指定端口及显示传输进度等场景,旨在帮助用户在不同情况下高效安全地完成文件传输任务。
177 5
|
27天前
|
Linux Shell 数据库
Linux文件查找新姿势:总有一种你没见过
【10月更文挑战第18天】文件查找是Linux用户提升工作效率的重要技能。本文介绍了几种实用的文件查找方法,包括基础的`find`命令、快速的`locate`和`mlocate`、高效的`fd`工具、以及结合`grep`和`rg`进行内容搜索。此外,还提供了编写Shell脚本和使用图形界面工具的建议,帮助你更灵活地管理文件。
62 3
|
1月前
|
Linux Shell
Linux系统文件默认权限
Linux系统文件默认权限
|
9天前
|
Linux 开发工具 Perl
在Linux中,有一个文件,如何删除包含“www“字样的字符?
在Linux中,如果你想删除一个文件中包含特定字样(如“www”)的所有字符或行,你可以使用多种文本处理工具来实现。以下是一些常见的方法:
34 5
|
9天前
|
安全 Linux 数据安全/隐私保护
在 Linux 系统中,查找文件所有者是系统管理和安全审计的重要技能。
在 Linux 系统中,查找文件所有者是系统管理和安全审计的重要技能。本文介绍了使用 `ls -l` 和 `stat` 命令查找文件所有者的基本方法,以及通过文件路径、通配符和结合其他命令的高级技巧。还提供了实际案例分析和注意事项,帮助读者更好地掌握这一操作。
26 6
|
9天前
|
Linux
在 Linux 系统中,`find` 命令是一个强大的文件查找工具
在 Linux 系统中,`find` 命令是一个强大的文件查找工具。本文详细介绍了 `find` 命令的基本语法、常用选项和具体应用示例,帮助用户快速掌握如何根据文件名、类型、大小、修改时间等条件查找文件,并展示了如何结合逻辑运算符、正则表达式和排除特定目录等高级用法。
36 6
|
10天前
|
监控 Linux Perl
Linux 命令小技巧:显示文件指定行的内容
在 Linux 系统中,处理文本文件是一项常见任务。本文介绍了如何使用 head、tail、sed 和 awk 等命令快速显示文件中的指定行内容,帮助你高效处理文本文件。通过实际应用场景和案例分析,展示了这些命令在代码审查、日志分析和文本处理中的具体用途。同时,还提供了注意事项和技巧,帮助你更好地掌握这些命令。
26 4
|
16天前
|
网络协议 Linux
linux系统重要文件目录
本文介绍了Linux系统中的重要目录及其历史背景,包括根目录、/usr、/etc、/var/log和/proc等目录的结构和功能。其中,/etc目录下包含了许多关键配置文件,如网卡配置、DNS解析、主机名设置等。文章还详细解释了各目录和文件的作用,帮助读者更好地理解和管理Linux系统。
39 2
|
15天前
|
缓存 监控 Linux