Nginx实用指南V1 (连载之五:日志处理awstats分析)

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介:

1、 基本语法
定义方法

 
  1. log_format wwwlogs '$remote_addr - $remote_user [$time_local] "$request" ' 
  2. '$status $body_bytes_sent "$http_referer" ' 
  3. '"$http_user_agent" $http_x_forwarded_for'
  4. access_log /data1/logs/wwwlogs.log wwwlogs; 

log_format
语法:log_format name format [format ...] 
默认值:log_format combined "..." 
使用字段:http server 
描述记录日志的格式,格式中可以使用大多数变量,也包括一些在写入日志文件过程中定义的变量:
•$body_bytes_sent,减去应答头后传送给客户端的字节数,这个变量兼容apache模块mod_log_config的%B参数(在0.3.10前这个变量为$apache_bytes_sent)。
•$bytes_sent,传送给客户端的字节数。
•$connection,连接数。
•$msec,正在写入日志条目的当前时间(精确到百万分之一秒)
•$pipe,如果请求为管道的。
•$request_length,请求主体的长度。
•$request_time,从一个请求发出到而使nginx工作的时间,单位为毫秒(0.5.19版本后可以使用秒为单位)。
•$status,应答的状态(代码)。
•$time_local,写入普通日志格式的当地时间(服务器时间)。

2、 切割脚本

 
  1. #!/bin/bash 
  2. # This script run at 00:00 
  3. # The Nginx logs path 
  4. logs_path="/usr/local/webserver/nginx/logs/" 
  5. mkdir -p ${logs_path}$(date -d "yesterday" +"%Y")/$(date -d "yesterday" +"%m")/ 
  6. mv ${logs_path}access.log ${logs_path}$(date -d "yesterday" +"%Y")/$(date -d "yesterday" +"%m")/access_$(date -d "yesterday" +"%Y%m%d").log 
  7. kill -USR1 `cat /usr/local/webserver/nginx/nginx.pid` 

Crontab 00 00 * * * /bin/bash /usr/local/nginx/sbin/cut_nginx_log.sh
3、 Awstats
A、 安装配置awstats
安装之前,必须确认你的服务器上 Perl 的环境已经就绪。
查看当前环境 Perl 版本的命令是 perl –version

我们还需要对 Nginx 的日志格式做个小修改,不然 awstats 将无法进行统计。

log_format new_log #格式代称 (注意,如果有多个虚拟主机,代称不能一样)
'$remote_addr - $remote_user [$time_local] $request '
'"$status" $body_bytes_sent "$http_referer" '
'"$http_user_agent" "$http_x_forwarded_for"';
access_log logs/access.log new_log; #日志生成路径


下载最新版本的 awstats 包,下载地址请见文章最后的参考资料。把下载后的 tar 包解压到任意目录中,例: /usr/local/awstats 。然后执行 tools 目录中的 awstats_configure.pl 配置向导,创建一个新的统计。
-----> Check for web server install
Enter full config file path of your Web server.
Example: /etc/httpd/httpd.conf
Example: /usr/local/apache2/conf/httpd.conf
Example: c:\Program files\apache group\apache\conf\httpd.conf
Config file path ('none' to skip web server setup):
#> none #因为我们这里用的是 Nginx,所以写 none,跳过。
回车
Your web server config file(s) could not be found.
You will need to setup your web server manually to declare AWStats
script as a CGI, if you want to build reports dynamically.
See AWStats setup documentation (file docs/index.html)
-----> Update model config file '/usr/local/awstats/wwwroot/cgi-bin/awstats.model.conf'
File awstats.model.conf updated.
-----> Need to create a new config file ?
Do you want me to build a new AWStats config/profile
file (required if first install) [y/N] ?
#> y #y 创建一个新的统计配置
回车
-----> Define config file name to create
What is the name of your web site or profile analysis ?
Example: www.mysite.com
Example: demo
Your web site, virtual server or profile name:
#> www.moabc.net #统计网站的域名 例:
www.moabc.net
回车
-----> Define config file path
In which directory do you plan to store your config file(s) ?
Default: /etc/awstats
Directory path to store config file(s) (Enter for default):
#> 
使用默认直接回车,接下来便会出现以下的提示

----> Add update process inside a scheduler
Sorry, configure.pl does not support automatic add to cron yet.
You can do it manually by adding the following command to your cron:
/usr/local/awstats/wwwroot/cgi-bin/awstats.pl -update -config=www.moabc.net 
#回头把该命令填入crontab 按指定时间执行
Or if you have several config files and prefer having only one command:
/usr/local/awstats/tools/awstats_updateall.pl now
Press ENTER to continue... 回车继续

A SIMPLE config file has been created: /etc/awstats/awstats.www.moabc.net.conf 
#新配置文件所在的路径
You should have a look inside to check and change manually main parameters.
You can then manually update your statistics for 'www.moabc.net' with command:
> perl awstats.pl -update -config=www.moabc.net
You can also build static report pages for 'www.moabc.net' with command:
> perl awstats.pl -output=pagetype -config=www.moabc.net
Press ENTER to finish...

回车完成向导,接下来修改 www.moabc.net 的统计配置
#vi /etc/awstats/awstats.www.moabc.net.conf
找到统计的日志文件的路径
LogFile="/var/log/httpd/mylog.log"
改为
LogFile="/opt/nginx/logs/access_%YYYY-0%MM-0%DD-0.log

对应上边 Nginx 日志切割程序的所生成的目录存放结构,要注意 Awstats 的年月日格式的跟 Nginx 的写法有所不同。我们现在执行 
统计的顺序是:
Nginx 产生日志 –> 日志切割 –> Nginx 继续产生日志 –> 另存切割日志 –> 交由Awstats统计 –> 生成结果

在本文中 Awstats 所统计的日志,是已切下来的那部分。也能调转顺序,先统计完了再切。不过这比较容易造成统计的遗漏。配置修 
改完成后,保存退出。然后我们可以开始试一下手动执行。

1. 先执行日志切割脚本 logcron.sh 把 Nginx 的日志切下来。
2. 然后执行 Awstats 日志更新程序开始统计分析。

# /opt/nginx/sbin/logcron.sh
# /usr/local/awstats/wwwroot/cgi-bin/awstats.pl -update -config=www.moabc.net

Create/Update database for config "/etc/awstats/awstats.www.moabc.net.conf"
by AWStats version 6.7 (build 1.892)
From data in log file "/opt/nginx/logs/access_20080804.log"...
Phase 1 : First bypass old records, searching new record...
Direct access after last parsed record (after line 450421)
Jumped lines in file: 450421
Found 450421 already parsed records.
Parsed lines in file: 120
Found 0 dropped records,
Found 0 corrupted records,
Found 0 old records,
Found 120 new qualified records.


看到以上显示,证明日志切割和 Awstats 都已经运行无误了。统计分析完成后,结果还在 Awstats 的数据库中。在 Apache 上,可 
以直接打开 Perl 程序的网页查看统计。但本文开始时已经提到,Nginx 对 Perl 支持并不好,所以我们要换个方法,利用 awstats 的工具将统计的结果生成静态文件,具体的步骤如下:

* 首先在 webroot 目录下创建一个文件夹。例:/data/webroot/awstats
* 然后让 Awstats 把静态页面生成到该目录中

# mkdir /data/webroot/awstats

# /usr/local/awstats/tools/awstats_buildstaticpages.pl -update \ 
-config=www.moabc.net -lang=cn -dir=/data/admin_web/awstats \
-awstatsprog=/usr/local/awstats/wwwroot/cgi-bin/awstats.pl

上述命令的具体意思如下:

* /usr/local/awstats/tools/awstats_buildstaticpages.pl Awstats 静态页面生成工具
* -update -config=www.moabc.net 更新配置项
* -lang=cn 语言为中文
* -dir=/data/admin_web/awstats 统计结果输出目录
* -awstatsprog=/usr/local/awstats/wwwroot/cgi-bin/awstats.pl Awstats 日志更新程序路径。
B、 配置密码及nginx
配置密码保护
#/usr/local/apache2/bin/htpasswd -c admin.pass admin #用户名为admin
New password: 输入密码
Re-type new password: 重复输入
Adding password for user admin 创建成功

接下来,只需目录配置上去即可。例子如下:

 
  1. location ~ ^/awstats/ { # html 静态页面目录 
  2. root /data/webroot/awstats; 
  3. index index.html; 
  4. access_log off
  5. error_log off
  6. charset gb2312; #最好把默认编码改成 gb2312避免浏览器因自动编码出现乱码的情况 
  7. auth_basic "admin"; #用户名 
  8. /opt/ngx/conf/admin.pass; #密码包路径 
  9.  
  10. location ~ ^/icon/ { # 图标目录 
  11. root /usr/local/awstats/wwwroot; 
  12. index index.html; 
  13. access_log off
  14. error_log off
  15. charset gb2312; 

用浏览器查看到统计的详细结果 http://youhostname/awstats/awstats.www.moabc.net.html
至此,使用 awstats 已能完全支持 Nginx 的日志统计。

C、 Awstats自动运行 
为了让整个日志的统计过程自动完成,我们需要设置 crontab 计划任务,让 Nginx 日志切割以及 Awstats 自动运行,定时生成结果页面。
#vi /etc/crontab
11 59 * * * /opt/nginx/sbin/logcron.sh #半夜11:59 进行日志切割
00 1 * * * /usr/local/awstats/tools/awstats_buildstaticpages.pl \
-update -config=www.moabc.net -lang=cn -dir=/data/admin_web/awstats \
-awstatsprog=/usr/local/awstats/wwwroot/cgi-bin/awstats.pl 
#凌晨00:01 Awstats进行日志分析
:wq保存退出
#crontab /etc/crontab 指定cron所执行的配置档路径

4、 过滤日志
 

 
  1. location ~ .*\.(js|jpg|JPG|jpeg|JPEG|css|bmp|gif|GIF)$ 
  2. access_log off

 


本文转自守住每一天51CTO博客,原文链接:http://blog.51cto.com/liuyu/295154,如需转载请自行联系原作者


相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
相关文章
|
1天前
|
SQL 分布式计算 Hadoop
Hadoop-19 Flume Agent批量采集数据到HDFS集群 监听Hive的日志 操作则把记录写入到HDFS 方便后续分析
Hadoop-19 Flume Agent批量采集数据到HDFS集群 监听Hive的日志 操作则把记录写入到HDFS 方便后续分析
10 2
|
24天前
|
缓存 监控 算法
分析慢日志文件来优化 PHP 脚本的性能
分析慢日志文件来优化 PHP 脚本的性能
|
17天前
08-06-06>pe_xscan 精简log分析代码 速度提升一倍
08-06-06>pe_xscan 精简log分析代码 速度提升一倍
|
2月前
|
应用服务中间件 nginx
nginx error日志 client intended to send too large body: 1434541 bytes 如何处理?
【8月更文挑战第27天】nginx error日志 client intended to send too large body: 1434541 bytes 如何处理?
75 6
|
2月前
|
存储 分布式计算 大数据
【Flume的大数据之旅】探索Flume如何成为大数据分析的得力助手,从日志收集到实时处理一网打尽!
【8月更文挑战第24天】Apache Flume是一款高效可靠的数据收集系统,专为Hadoop环境设计。它能在数据产生端与分析/存储端间搭建桥梁,适用于日志收集、数据集成、实时处理及数据备份等多种场景。通过监控不同来源的日志文件并将数据标准化后传输至Hadoop等平台,Flume支持了性能监控、数据分析等多种需求。此外,它还能与Apache Storm或Flink等实时处理框架集成,实现数据的即时分析。下面展示了一个简单的Flume配置示例,说明如何将日志数据导入HDFS进行存储。总之,Flume凭借其灵活性和强大的集成能力,在大数据处理流程中占据了重要地位。
52 3
|
2月前
|
应用服务中间件 Linux nginx
在Linux中,如何统计ip访问情况?分析 nginx 访问日志?如何找出访问页面数量在前十位的ip?
在Linux中,如何统计ip访问情况?分析 nginx 访问日志?如何找出访问页面数量在前十位的ip?
|
2月前
|
存储 消息中间件 监控
Java日志详解:日志级别,优先级、配置文件、常见日志管理系统ELK、日志收集分析
Java日志详解:日志级别,优先级、配置文件、常见日志管理系统、日志收集分析。日志级别从小到大的关系(优先级从低到高): ALL < TRACE < DEBUG < INFO < WARN < ERROR < FATAL < OFF 低级别的会输出高级别的信息,高级别的不会输出低级别的信息
|
2月前
|
算法 关系型数据库 程序员
第一周算法设计与分析:A : log2(N)
这篇文章介绍了解决算法问题"输入一个数N,输出log2N(向下取整)"的三种编程思路,包括使用对数函数和幂函数的转换方法,以及避免浮点数精度问题的整数逼近方法。
|
2月前
|
存储 数据可视化 Linux
在Linux中,如何使用ELK进行日志管理和分析?
在Linux中,如何使用ELK进行日志管理和分析?
|
2月前
|
Kubernetes Ubuntu Windows
【Azure K8S | AKS】分享从AKS集群的Node中查看日志的方法(/var/log)
【Azure K8S | AKS】分享从AKS集群的Node中查看日志的方法(/var/log)
100 3

热门文章

最新文章