nginx日志模块及日志定时切割

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介: 一:作用   Ngx_http_log_module:定义日志格式,并且以指定的格式保存。 二:示例配置 log_format compression '$remote_addr - $remote_user [$time_local] ' ...

一:作用

  Ngx_http_log_module:定义日志格式,并且以指定的格式保存。

二:示例配置

log_format compression '$remote_addr - $remote_user [$time_local] '
                       '"$request" $status $bytes_sent '
                       '"$http_referer" "$http_user_agent" "$gzip_ratio"';

access_log /spool/logs/nginx-access.log compression buffer=32k;

三:access_log

   句法: access_log path [format [buffer=size] [gzip[=level]] [flush=time] [if=condition]];

       access_log off;
  默认: access_log logs / access.log合并;
  语境: http,server,location,if in location,limit_except

  1:[buffer=size]

  设置缓冲日志写入的路径,格式和配置。

  2:gzip[=level]

  如果使用该gzip参数,则在写入文件之前,缓冲的数据将被压缩。压缩级别可以设置在1(最快,较少压缩)和9(最慢,最佳压缩)之间。默认情况下,缓冲区大小等于64K字节,压缩级别设置为1.由于数据是以原子块压缩的,因此日志文件可以随时解压或由“ zcat” 读取

  3:[flush=time] 

  保存在缓存区中的最长时间。

四:log_format

  指定日志格式

log_format compression '$remote_addr - $remote_user [$time_local] '
                       '"$request" $status $bytes_sent '
                       '"$http_referer" "$http_user_agent" "$gzip_ratio"';

 

  1:remote_addr, $http_x_forwarded_for 记录客户端IP地址

  2:remote_user 记录客户端用户名称
  3:request 记录请求的URL和HTTP协议
  4:status 记录请求状态
  5:body_bytes_sent 发送给客户端的字节数,不包括响应头的大小; 该变量与Apache模块mod_log_config里的“%B”参数兼容。
  6:bytes_sent 发送给客户端的总字节数。
  7:connection 连接的序列号。
  8:connection_requests 当前通过一个连接获得的请求数量。
  9:msec 日志写入时间。单位为秒,精度是毫秒。
  10:pipe 如果请求是通过HTTP流水线(pipelined)发送,pipe值为“p”,否则为“.”。
  11:http_referer 记录从哪个页面链接访问过来的
  12:http_user_agent 记录客户端浏览器相关信息
  13:request_length 请求的长度(包括请求行,请求头和请求正文)。
  14:request_time 请求处理时间,单位为秒,精度毫秒; 从读入客户端的第一个字节开始,直到把最后一个字符发送给客户端后进行日志写入为止。
  15:time_iso8601 ISO8601标准格式下的本地时间。
  16:time_local 通用日志格式下的本地时间。

 

 

五:open_log_file_cache

  句法: open_log_file_cache max=N [inactive=time] [min_uses=N] [valid=time];
     open_log_file_cache off;
  默认:
     open_log_file_cache off;
  语境: http,server,location

  作用:定义一个缓存,用于存储名称中包含变量的常用日志的文件描述符。该指令具有以下参数:

  max:设置缓存中描述符的最大数量; 如果缓存变满,则最近最少使用(LRU)描述符关闭
  inactive:设置在此时间之后如果没有访问时缓存的描述符被关闭的时间; 默认情况下为10秒
  min_uses:inactive参数定义的时间内设置文件使用的最小数量,以使描述符在缓存中保持打开状态; 默认情况下,1
  valid:设置应检查文件是否仍然存在同名的时间; 默认情况下为60秒
  off:禁用缓存

  用法示例:

open_log_file_cache max = 1000 inactive = 20s valid = 1m min_uses = 2

六:日志切割

1. 定义日志轮滚策略

# vim nginx-log-rotate

复制代码
/data/weblogs/*.log {
    nocompress
    daily
    copytruncate
    create
    notifempty
    rotate 7
    olddir /data/weblogs/old_log
    missingok
    dateext
    postrotate
        /bin/kill -HUP `cat /var/run/nginx.pid 2> /dev/null` 2> /dev/null || true
    endscript
}
复制代码

[warning]/data/weblogs/*.log使用通配符时,/data/weblogs/目录下的所有匹配到的日志文件都将切割。如果要切割特定日志文件,就指定到该文件。[/warning]

2. 设置计划任务

59 23 * * * root ( /usr/sbin/logrotate -f /PATH/TO/nginx-log-rotate)

这样每天23点59分钟执行日志切割。

 

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
目录
相关文章
|
2月前
|
Prometheus Cloud Native Go
Golang语言之Prometheus的日志模块使用案例
这篇文章是关于如何在Golang语言项目中使用Prometheus的日志模块的案例,包括源代码编写、编译和测试步骤。
55 3
Golang语言之Prometheus的日志模块使用案例
|
1月前
|
应用服务中间件 nginx C++
nginx的cgi模块
nginx的cgi模块
32 0
|
2月前
|
Shell Python
salt自定义模块内使用日志例子
salt自定义模块内使用日志例子
logging 日志 模块
logging 日志 模块
|
3月前
|
应用服务中间件 nginx
nginx error日志 client intended to send too large body: 1434541 bytes 如何处理?
【8月更文挑战第27天】nginx error日志 client intended to send too large body: 1434541 bytes 如何处理?
285 6
|
3月前
|
缓存 应用服务中间件 nginx
安装nginx-http-flv-module模块
本文介绍如何为Nginx安装`nginx-http-flv-module`模块。此模块基于`nginx-rtmp-module`二次开发,不仅具备原模块的所有功能,还支持HTTP-FLV播放、GOP缓存、虚拟主机等功能。安装步骤包括:确认Nginx版本、下载相应版本的Nginx与模块源码、重新编译Nginx并加入新模块、验证模块安装成功。特别注意,此模块已包含`nginx-rtmp-module`功能,无需重复编译安装。
171 1
|
3月前
|
Go 开发者
【应用服务 App Service】App Service发生错误请求时,如何查看IIS Freb日志,从中得知错误所发生的模块,请求中所携带的Header信息
【应用服务 App Service】App Service发生错误请求时,如何查看IIS Freb日志,从中得知错误所发生的模块,请求中所携带的Header信息
|
3月前
|
负载均衡 应用服务中间件 Linux
在Linux中,常用的 Nginx 模块有哪些,常来做什么?
在Linux中,常用的 Nginx 模块有哪些,常来做什么?
|
3月前
|
应用服务中间件 Linux nginx
在Linux中,如何统计ip访问情况?分析 nginx 访问日志?如何找出访问页面数量在前十位的ip?
在Linux中,如何统计ip访问情况?分析 nginx 访问日志?如何找出访问页面数量在前十位的ip?
|
3月前
|
数据挖掘 语音技术
3D-Speaker说话人任务的开源项目问题之语义说话人信息模块在说话人日志系统中的问题如何解决
3D-Speaker说话人任务的开源项目问题之语义说话人信息模块在说话人日志系统中的问题如何解决