AI 助理
备案控制台
开发者社区 开发与运维 文章 正文

利用awstats分析nginx日志

2016-05-12 3482
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
日志服务 SLS，月写入数据量 50GB 1个月
简介：

今天打算分析下nginx日志，要分析nginx日志，我们可以通过shell脚本和第三方软件awstats进行分析，在此我们选择的是通过第三方软件awstats进行分析。

要使用awstats分析nginx日志，我们要安装awstats，而在安装awstats之前，我们需要先来介绍下awstats是什么？

一、awstats是什么

awstats是一个免费非常简洁而且强大有个性的基于Perl语言的WEB日志分析工具。

它可以统计网站的如下信息：

1）：访问量、访问次数、页面浏览量、点击数、数据流量等。

2）：精确到每月、每日、每小时的数据。

3）：访问者国家以及IP。

4）：Robots/Spiders的统计。

5）：访客持续时间。

6）：对不同files type的统计信息。

7）：Pages-URL的统计。

8）：访客操作系统浏览器等信息。

9）：其它信息（搜索关键字等等）

二、准备工作

在介绍完awstats是什么之后，我们再来介绍下安装awstats之前的准备工作。

2.1 安装GeoIP

GeoIP主要用于定位访问者所属的国家以及城市的数据库，可以使用如下命令进行安装：

yum -y install GeoIP GeoIP-devel perl-Geo-IP

clip_image001

查看GeoIP安装的相关组件，如下：

rpm -ql GeoIP-GeoLite-data

rpm -ql GeoIP-GeoLite-data-extra

clip_image002

如果是ubuntu系统，我们可以使用如下命令进行安装：

sudo apt-get -y install geoip-bin geoip-database-contrib php5-geoip python-geoip python-geoip-dbg libgeoip1 libgeoip-dev

在上述截图的安装的文件中，我们只需要关注GeoIP.dat和GeoLiteCity.dat这两个文件即可，其中GeoIP.dat用于定位访问者所属的国家，而GeoLiteCity.dat用于定位访问者所属的城市。

2.2 安装httpd-tools

一般站长都不愿随便让其他人知道自己网站的真实流量，所以要把awstats统计结果页面进行密码保护。

因为nginx使用的是跟apache一样的密码加密格式，所以这里需要用到apache自带的工具htpasswd，而htpasswd包含在httpd-tools组件中的，所以我们要安装httpd-tools。

安装httpd-tools，使用如下命令：

yum -y install httpd-tools

clip_image003

安装httpd-tools时，会自动安装httpd，所以我们需要把httpd禁用。如下：

/etc/init.d/httpd stop

chkconfig httpd off

生成密码文件，使用如下命令：

htpasswd -c -m /usr/local/htpasswd.pass ilanni

clip_image004

三、安装awstats

准备工作做完后，我们现在来安装awstats。

3.1 下载awstats

awstst官网是http://www.awstats.org/，下载最新版本de awstats。如下：

wget http://www.awstats.org/files/awstats-7.5.tar.gz

clip_image005

clip_image006

3.2 安装awstats

awstats下载完毕后，我们现在来安装awstats。解压安装包，并进行相关操作，如下：

tar -C /usr/local/ -xf awstats-7.5.tar.gz

mv /usr/local/awstats-7.5/ /usr/local/awstats

chown root:root -R /usr/local/awstats/

mkdir -p /var/www/awstats/

cd /usr/local/awstats/tools/

chmod +x /usr/local/awstats/tools/*.pl

chmod +x /usr/local/awstats/wwwroot/cgi-bin/*.pl

clip_image007

开始安装awstats，如下：

./awstats_configure.pl

clip_image008

因为在此我们使用的是nginx，所以以上截图填写none。

clip_image009

创建一个新的统计配置文件。

clip_image010

在这输入自己的网站域名，也可以进行自定义。

clip_image011

使用默认配置，生成配置文件。

clip_image012

安装程序执行结束后，会在/etc/awstats/目录下生成相应的配置文件。如下：

ll /etc/awstats/awstats.www.ilanni.com.conf

clip_image013

3.3 编辑配置文件

awstats安装完毕后，我们现在来修改其配置文件awstats.www.ilanni.com.conf。在该配置文件中，我们主要修改的是awstats分析nginx日志的路径，以及日志格式，当然还有其它的一些插件。如下：

vim /etc/awstats/awstats.www.ilanni.com.conf

LogFile=”/var/log/nginx/ilanni.com_%YYYY-24%MM-24%DD-24.log”

#配置显示国家和地区

LoadPlugin=”geoip GEOIP_STANDARD /usr/share/GeoIP/GeoIP.dat”

LoadPlugin=”geoip_city_maxmind GEOIP_STANDARD /usr/share/GeoIP/GeoLiteCity.dat”

#解决搜索关键字的乱码

LoadPlugin=”decodeutfkeys”

注意：LogFile路径中日志文件中的日期格式“%YYYY-24%MM-24%DD-24”，是指24小时之前的年月日，也就是昨天的日期。-24表示一天前的，-0表示当前。

clip_image014

3.4 安装纯真IP数据库插件

如果要详细显示国内访客的具体来源信息，我们可以使用纯真IP数据库插件。

纯真IP地址数据库下载地址：http://update.cz88.net/soft/setup.zip

在windows机器上下载安装后，安装目录下的qqwry.dat文件即是最新版IP地址数据库。

下载awstats纯真IP数据库解析插件，下载地址如下：

http://down.51cto.com/data/1888530

注意，附件qqhostinfo.pm、qqwry.pl里的文件路径已经修改好。

下载完毕后，把qqhostinfo.pm、qqwry.pl、qqwry.dat这三个文件，放到awstats的wwwroot/cgi-bin/plugins目录下，并且给予qqhostinfo.pm文件可执行权限。如下：

clip_image015

最后修改awstats的配置文件awstats.www.ilanni.com.conf添加LoadPlugin=”qqhostinfo”选项，如下：

clip_image016

到此awstats安装和配置已经全部完成。

四、配置nginx日志格式

awstats安装完毕后，我们要配置nginx日志的格式，因为awstats是按照指定的格式对nginx日志文件进行分析的，所以我们要进行对应的配置。

nginx日志的配置方法如下：

vim /etc/nginx/nginx.conf

log_format  site  ‘$remote_addr – $remote_user [$time_local] “$request” ‘

             ‘$status $body_bytes_sent “$http_referer” ‘

             ‘”$http_user_agent” $http_x_forwarded_for’;

clip_image017

五、awstats与nginx进行web集成

Nginx日志格式配置完毕后，我们现在要把awstats与nginx进行集成。

为什么awstats与nginx进行集成？因为awstats的访问是通过web方式进行的。这个集成也分为两种情况 ，一个是awstats单独以nginx虚拟主机的形式存在，一种是awstats与现有nginx虚拟主机进行集成。下面分别把这两种方式的nginx配置贴出来，如下：

awstats单独作为nginx的一个虚拟主机，配置文件：

server {

listen 80;

server_name www.ilanni.com;

root /var/www/awstats/;

index index.html;

#或者

#index  awstats.test.haiyn.com.html;

location ~ ^/cgi-bin/.*.(cgi|pl|py|rb) {

gzip off;

include         fastcgi_params;

fastcgi_pass  unix:/tmp/php-cgi.sock;

#       fastcgi_pass    127.0.0.1:9000;   #注意配置fastcgi_pass为你的php-fpm server.

fastcgi_index   cgi-bin.php;

fastcgi_param   SCRIPT_FILENAME /usr/local/awstats/wwwroot/cgi-bin/fcgi.php;  #注意文件路径

fastcgi_param   SCRIPT_NAME        /cgi-bin/fcgi.php;

fastcgi_param   X_SCRIPT_FILENAME /usr/local/awstats/wwwroot$fastcgi_script_name;  #注意文件路径

fastcgi_param   X_SCRIPT_NAME $fastcgi_script_name;

fastcgi_param   REMOTE_USER        $remote_user;

}

# Static awstats files: HTML files stored in DOCUMENT_ROOT/awstats/

location /classes/ {

alias /usr/local/awstats/wwwroot/classes/;

}

location /css/ {

alias /usr/local/awstats/wwwroot/css/;

}

location /js/ {

alias /usr/local/awstats/wwwroot/js/;

}

location /icon/ {

alias /usr/local/awstats/wwwroot/icon/;

}

}

clip_image018

awstats与现有nginx虚拟主机进行集成。

注意：一定要把awstats相关的配置存放到最前面，这是因为nginx的匹配规则是从上到下进行匹配的。

server {

listen 80;

server_name www.ilanni.com ilanni.com;

charset utf-8;

access_log /var/log/nginx/ilanni.com.log main;

location ~ ^/icon/ { #图标目录

root /usr/local/awstats/wwwroot;

index index.html;

access_log off;

charset gb2312;

}

location ~ ^/cgi-bin/.*.(cgi|pl|py|rb) {

root /usr/local/awstats/wwwroot;

gzip off;

include fastcgi_params;

fastcgi_pass 127.0.0.1:9000;

fastcgi_param X_SCRIPT_NAME $fastcgi_script_name;

fastcgi_param SCRIPT_FILENAME $document_root/cgi-bin/fcgi.php;

fastcgi_param X_SCRIPT_FILENAME $document_root$fastcgi_script_name;

#fastcgi_param REMOTE_USER $remote_user;

auth_basic “Restricted”;

auth_basic_user_file /usr/local/awstats/htpasswd.pass;

}

location / {

root /www/ilanni.com;

index index.php index.html index.htm;

}

location ~ \.php$ {

root /www/ilanni.com/;

fastcgi_pass 127.0.0.1:9000;

fastcgi_index index.php;

fastcgi_param SCRIPT_FILENAME $document_root$fastcgi_script_name;

include fastcgi_params;

}

}

clip_image019

六、生成awstats数据库

现在开始使用awstats分析日志，使用如下命令：

/usr/local/awstats/wwwroot/cgi-bin/awstats.pl -update -config=www.ilanni.com

clip_image020

生成静态文件，使用如下命令：

/usr/local/awstats/tools/awstats_buildstaticpages.pl -update -config=www.ilanni.com -lang=cn -dir=/var/www/awstats -awstatsprog=/usr/local/awstats/wwwroot/cgi-bin/awstats.pl

clip_image021

为了看到每一天更新的数据，我们可以通过crontab在每天凌晨00:01定时更新静态页面。如下：

vim /etc/crontab

1 0 * * * /usr/local/awstats/tools/awstats_buildstaticpages.pl -update -config=www.ilanni.com -lang=cn -dir=/var/www/awstats -awstatsprog=/usr/local/awstats/wwwroot/cgi-bin/awstats.pl

clip_image022

七、访问awstats

awstats数据库生成完毕后，我们现在来通过web页面访问下。在此我使用的是第二种方式awstats与nginx进行集成。

如下：

http://www.ilanni.com/cgi-bin/awstats.pl

clip_image023

上输入的是我们在第二章准备工作中htpasswd生成的用户名和密码。

clip_image024

上图就是awstats对nginx日志文件分析后，所得到的相关信息。

clip_image025

上图是我们安装的GeoIP和纯真IP数据库显示的用户访问的国家、城市以及来源地址。

clip_image026

上图是awstats根据nginx日志文件分析出来用户是搜索哪些关键词过来的。

文章标签：
日志服务
应用服务中间件
nginx
数据库
Perl
开发工具
关键词：
日志服务分析
Nginx日志
分析Nginx日志
分析Nginx
日志服务nginx
相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
烂泥行天下
目录
相关文章
warmhearted
|
14天前
|
存储 SQL 监控
Elasticsearch 在日志分析中的应用聚合分析
【10月更文挑战第23天】
warmhearted
37 8
warmhearted
|
14天前
|
运维 监控 安全
Elasticsearch 在日志分析中的应用实时分析
【10月更文挑战第23天】
warmhearted
38 6
sunrr
|
17天前
|
监控 关系型数据库 MySQL
分析慢查询日志
【10月更文挑战第29天】分析慢查询日志
sunrr
35 3
sunrr
|
17天前
|
监控 关系型数据库 数据库
怎样分析慢查询日志？
【10月更文挑战第29天】怎样分析慢查询日志？
sunrr
32 2
绿水长流*z
|
1月前
|
存储 缓存 关系型数据库
MySQL事务日志-Redo Log工作原理分析
事务的隔离性和原子性分别通过锁和事务日志实现，而持久性则依赖于事务日志中的`Redo Log`。在MySQL中，`Redo Log`确保已提交事务的数据能持久保存，即使系统崩溃也能通过重做日志恢复数据。其工作原理是记录数据在内存中的更改，待事务提交时写入磁盘。此外，`Redo Log`采用简单的物理日志格式和高效的顺序IO，确保快速提交。通过不同的落盘策略，可在性能和安全性之间做出权衡。
绿水长流*z
1637 14
武子康
|
1月前
|
存储 消息中间件 大数据
大数据-69 Kafka 高级特性 物理存储 实机查看分析 日志存储一篇详解
大数据-69 Kafka 高级特性 物理存储 实机查看分析 日志存储一篇详解
武子康
35 4
武子康
|
1月前
|
SQL 分布式计算 Hadoop
Hadoop-19 Flume Agent批量采集数据到HDFS集群 监听Hive的日志 操作则把记录写入到HDFS 方便后续分析
Hadoop-19 Flume Agent批量采集数据到HDFS集群 监听Hive的日志 操作则把记录写入到HDFS 方便后续分析
武子康
45 2
蓝染-惣右介
|
15天前
|
XML 安全 Java
【日志框架整合】Slf4j、Log4j、Log4j2、Logback配置模板
本文介绍了Java日志框架的基本概念和使用方法，重点讨论了SLF4J、Log4j、Logback和Log4j2之间的关系及其性能对比。SLF4J作为一个日志抽象层，允许开发者使用统一的日志接口，而Log4j、Logback和Log4j2则是具体的日志实现框架。Log4j2在性能上优于Logback，推荐在新项目中使用。文章还详细说明了如何在Spring Boot项目中配置Log4j2和Logback，以及如何使用Lombok简化日志记录。最后，提供了一些日志配置的最佳实践，包括滚动日志、统一日志格式和提高日志性能的方法。
蓝染-惣右介
128 30
【日志框架整合】Slf4j、Log4j、Log4j2、Logback配置模板
最好zzz
|
1月前
|
XML JSON Java
Logback 与 log4j2 性能对比：谁才是日志框架的性能王者？
【10月更文挑战第5天】在Java开发中，日志框架是不可或缺的工具，它们帮助我们记录系统运行时的信息、警告和错误，对于开发人员来说至关重要。在众多日志框架中，Logback和log4j2以其卓越的性能和丰富的功能脱颖而出，成为开发者们的首选。本文将深入探讨Logback与log4j2在性能方面的对比，通过详细的分析和实例，帮助大家理解两者之间的性能差异，以便在实际项目中做出更明智的选择。
最好zzz
232 3
摩诃般若
|
1月前
|
Python
log日志学习
【10月更文挑战第9天】 python处理log打印模块log的使用和介绍
摩诃般若
34 0

热门文章

最新文章

  • 1
    rman RMAN-06059: expected archived log not found
  • 2
    MapReduce对交易日志进行排序的Demo(MR的二次排序)
  • 3
    SQLServer数据库日志清理 清除sqlserver2005日志 - sk
  • 4
    Enterprise Library 2.0 Hands On Lab 翻译（4）：日志应用程序块（一）
  • 5
    最详细的Log4j使用教程
  • 6
    python 合并当天tomcat异常日志
  • 7
    innodb重做日志缓冲
  • 8
    ORA-16038: log 3 sequence# 103 cannot be archived
  • 9
    MySQL的innodb_flush_log_at_trx_commit配置值的设定
  • 10
    【编程练习】收集的一些c++代码片，算法排序，读文件，写日志，快速求积分等等
  • 1
    中间件Nginx性能瓶颈
    220
  • 2
    Linux学习之Ubuntu 20中OpenResty的nginx目录里内容和配置文件
    92
  • 3
    cmd 杀掉 nginx后台进程 命令杀掉nginx后台 nginx 常用命令
    434
  • 4
    深入理解 Nginx 与 Kong 的配置与实践
    132
  • 5
    Nginx——一个域名下部署多个Vue项目
    297
  • 6
    学习aop以及nginx
    34
  • 7
    Nginx性能调优5招35式不可不知的策略实战
    144
  • 8
    Nginx如何反向代理后端服务？
    86
  • 9
    nginx和apache的区别
    97
  • 10
    Nginx反向代理优化
    106

    • 相关课程

    更多
  • 日志服务SLS实现云产品可观测
  • 日志服务 SLS 可观测数据分析平台介绍
  • 大数据知识图谱系列—基于ELK+Flink日志全观测最佳实践
  • Nginx企业级Web服务实战
  • Linux Web服务器Nginx搭建与配置
  • 场景实践-基于阿里云Quick BI 对MOOC网站日志分析

    • 相关电子书

    更多
  • PostgresChina2018_赖思超_PostgreSQL10_hash索引的WAL日志修改版final
  • Kubernetes下日志实时采集、存储与计算实践
  • 日志数据采集与分析对接

    • 相关实验场景

    更多
  • 通过日志服务实现云资源OSS的安全审计
  • 如何将OSS数据导入至SLS中进行分析
  • 日志服务之使用Nginx模式采集日志
  • 日志服务之数据清洗与入湖
  • 揭秘如何通过日志服务实现个人敏感信息保护
    • 下一篇
    阿里云OSS设置跨域访问