线上服务器nginx日志无切割引起的祸-阿里云开发者社区

线上服务器nginx日志无切割引起的祸

2017-11-27 948

简介：

+关注继续查看

状况：lnmp环境下nginx反向代理服务器，部分网站无法访问，重启服务器后ok

拿到权限后安装zabbix监控，负载Ok ,

IO报警：

Disk I/O is overloaded on xss152

使用命令工具查看io状况，top下78%wa........................

[root@xx16 /]#  iostat -x 1 10 

avg-cpu:  %user   %nice %system %iowait  %steal   %idle

           0.27    0.00    0.59   21.81    0.00   77.33
 

Device:         rrqm/s   wrqm/s     r/s     w/s   rsec/s   wsec/s avgrq-sz avgqu-sz   await  svctm  %util
sda               9.58   152.95  128.06   63.60  1136.57  1732.58    14.97    12.19   63.58   4.44  85.00
dm-0              0.00     0.00  137.10  216.57  1130.05  1732.58     8.09    25.40   71.82   2.40  84.99
dm-1              0.00     0.00    0.08    0.00     0.65     0.00     7.67     0.00    2.45   2.23   0.02
dm-2              0.00     0.00    0.06    0.00     0.51     0.00     8.00     0.00    2.65   2.39   0.02

%util长期达到99%................

查看服务器本身状况，在nginx日志目录下发现，日志无切割，常年积累下来已经达到可怕的大小

-rw-r--r--  1 nobody root  4959870331 5月  18 11:38 access.log.1

[root@xx16 logs]# du -sh
37G

so,先写nginx日志切割，其后强制执行一次.

[root@xx16 logrotate.d]# vim /etc/logrotate.d/nginx

/usr/local/nginx/logs/*log{

    daily

    rotate 7

    compress

    notifempty

    nocompress

    postrotate

    /bin/kill -USR1 `cat /usr/local/nginx/logs/nginx.pid` 2> /dev/null || true
endscript
}

强制执行一次，然后查看Io情况.

logrotate -f /etc/logrotate.d/nginx

root@xx16 logrotate.d]#  iostat -x 1 10 
 

avg-cpu:  %user   %nice %system %iowait  %steal   %idle

           0.27    0.00    0.58   20.70    0.00   78.45

avg-cpu:  %user   %nice %system %iowait  %steal   %idle

           0.25    0.00    0.75    0.00    0.00   99.00
 

Device:         rrqm/s   wrqm/s     r/s     w/s   rsec/s   wsec/s avgrq-sz avgqu-sz   await  svctm  %util
sda               0.00     3.00    0.00    2.00     0.00    40.00    20.00     0.02    9.00   5.00   1.00
dm-0              0.00     0.00    0.00    5.00     0.00    40.00     8.00     0.05    9.60   2.00   1.00
dm-1              0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
dm-2              0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
dm-3              0.00     0.00    0.00    5.00     0.00    40.00     8.00     0.05    9.60   2.00   1.00

TOP下

[root@xx16 logrotate.d]# top
 
top - 11:57:35 up  2:20,  3 users,  load average: 0.00, 0.00, 0.26
Tasks: 142 total,   1 running, 141 sleeping,   0 stopped,   0 zombie

Cpu(s):  0.1%us,  0.3%sy,  0.0%ni, 99.3%id,  0.3%wa,  0.0%hi,  0.1%si,  0.0%st

Mem:   3917212k total,  3762456k used,   154756k free,  2144812k buffers

Swap:  8388600k total,        0k used,  8388600k free,   774492k cached