shell+定时任务+nginx信号管理实现日志按日期切割存储

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介: shell+定时任务+nginx信号管理实现日志按日期切割存储

正文


我们每天凌晨00:00:01把昨天的日志重命名,放在特定的目录下,再USR1信息号控制nginx重新生成新的日志文件

在目录/usr/local/nginx/logs/下新建shell脚本runlog.sh

注:以下代码中的文件位置均可自行更改

# 定义sh解释器
#!/bin/bush
# 定义要分割的日志的存储位置
LOGPATH=/usr/local/nginx/logs/access.log
# 定义分割后的日志的存储位置,$(date -d yesterday +%Y%m):名为年份+月份的目录
BASEPATH=/usr/local/nginx/logs/$(date -d yesterday +%Y%m)
# 递归创建以BASEPATH为名的目录
mkdir -p $BASHPATH
# 将字符串……赋值给bak
bak=$BASEPATH/$(date -d yesterday +%d)_access_log
# 将$LOGPATH更名为$bak
mv $LOGPATH $bak
# 创建$LOGPATH文件
touch $LOGPATH
# 控制Nginx重新生成日志文件
kill -USR1 `/usr/local/nginx/logs/nginx.pid`

然后使用crontab命令编辑定时任务

crontab -e• 1

在打开的编辑窗口输入

01 00 * * * sh /usr/local/nginx/logs/runlog.sh

crontab文件的含义:

# 用户所建立的crontab文件中,每一行都代表一项任务,每行的每个字段代表一项设置,它的格式共分为六个字段,前五段是时间设定段,第六段是要执行的命令段,格式如下:
# minute hour day month week command
# 分 时 日 月 周 命令
# 每项设置的解释
minute 表示分钟,可以是从0到59之间的任何整数。
hour 表示小时,可以是从0到23之间的任何整数。
day 表示日期,可以是从1到31之间的任何整数。
month 表示月份,可以是从1到12之间的任何整数。
week 表示星期几,可以是从0到7之间的任何整数,这里的0或7代表星期日。
command 要执行的命令,可以是系统命令,也可以是自己编写的脚本文件。它的

这时,即设置好了Nginx的定时日志切割存储,每天的凌晨00:00:01把昨天的日志切割存储起来。

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
相关文章
|
20天前
|
监控 应用服务中间件 定位技术
要统计Nginx的客户端IP,可以通过分析Nginx的访问日志文件来实现
要统计Nginx的客户端IP,可以通过分析Nginx的访问日志文件来实现
|
2月前
|
存储 消息中间件 大数据
大数据-69 Kafka 高级特性 物理存储 实机查看分析 日志存储一篇详解
大数据-69 Kafka 高级特性 物理存储 实机查看分析 日志存储一篇详解
49 4
|
2月前
|
存储 消息中间件 大数据
大数据-70 Kafka 高级特性 物理存储 日志存储 日志清理: 日志删除与日志压缩
大数据-70 Kafka 高级特性 物理存储 日志存储 日志清理: 日志删除与日志压缩
51 1
|
2月前
|
存储 消息中间件 大数据
大数据-68 Kafka 高级特性 物理存储 日志存储概述
大数据-68 Kafka 高级特性 物理存储 日志存储概述
33 1
|
2月前
|
存储 监控 固态存储
如何监控和优化 WAL 日志文件的存储空间使用?
如何监控和优化 WAL 日志文件的存储空间使用?
|
3月前
|
存储 SQL 专有云
支持配置审计日志的存储数据库
审计日志作为企业监管平台的重要依据,同时也是“等保三级”认证的必要考察项之一。Dataphin V4.3版本支持设置平台日志的存储数据源,帮助用户快速获取审计日志,同时介绍了不同部署模式的Dataphin如何查看审计日志的方法。
135 5
|
3月前
|
存储 监控 数据可视化
SLS 虽然不是直接使用 OSS 作为底层存储,但它凭借自身独特的存储架构和功能,为用户提供了一种专业、高效的日志服务解决方案。
【9月更文挑战第2天】SLS 虽然不是直接使用 OSS 作为底层存储,但它凭借自身独特的存储架构和功能,为用户提供了一种专业、高效的日志服务解决方案。
181 9
|
4月前
|
应用服务中间件 nginx
nginx error日志 client intended to send too large body: 1434541 bytes 如何处理?
【8月更文挑战第27天】nginx error日志 client intended to send too large body: 1434541 bytes 如何处理?
374 6
|
3月前
|
存储 分布式计算 资源调度
通过日志聚合将作业日志存储在HDFS中
如何通过配置Hadoop的日志聚合功能,将作业日志存储在HDFS中以实现长期保留,并详细说明了相关配置参数和访问日志的方法。
40 0
通过日志聚合将作业日志存储在HDFS中
|
4月前
|
存储 安全 Linux
在Linux中,日志文件通常存储在哪些目录?
在Linux中,日志文件通常存储在哪些目录?