分析nginx日志的时候，比较头疼的是有许多蜘蛛爬虫的痕迹。
鉴于多数蜘蛛爬虫都是叫xx-bot或者xx-spider，下面的方法可以给爬虫单独写日志：
|
1
2
3
4
5
|
location / {
if
($http_user_agent ~*
"bot|spider"
) {
access_log /
var
/log/nginx/spider.access.log;
}
}
|
或者干脆不写日志
|
1
2
3
4
5
|
location / {
if
($http_user_agent ~*
"bot|spider"
) {
access_log off;
}
}
|
本文转自 紫色葡萄 51CTO博客，原文链接：http://blog.51cto.com/purplegrape/1377365，如需转载请自行联系原作者
