利用awstats分析nginx日志

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介:

今天打算分析下nginx日志,要分析nginx日志,我们可以通过shell脚本和第三方软件awstats进行分析,在此我们选择的是通过第三方软件awstats进行分析。

要使用awstats分析nginx日志,我们要安装awstats,而在安装awstats之前,我们需要先来介绍下awstats是什么?

一、awstats是什么

awstats是一个免费非常简洁而且强大有个性的基于Perl语言的WEB日志分析工具。

它可以统计网站的如下信息:

1):访问量、访问次数、页面浏览量、点击数、数据流量等。

2):精确到每月、每日、每小时的数据。

3):访问者国家以及IP。

4):Robots/Spiders的统计。

5):访客持续时间。

6):对不同files type的统计信息。

7):Pages-URL的统计。

8):访客操作系统浏览器等信息。

9):其它信息(搜索关键字等等)

二、准备工作

在介绍完awstats是什么之后,我们再来介绍下安装awstats之前的准备工作。

2.1 安装GeoIP

GeoIP主要用于定位访问者所属的国家以及城市的数据库,可以使用如下命令进行安装:

yum -y install GeoIP GeoIP-devel perl-Geo-IP

clip_image001

查看GeoIP安装的相关组件,如下:

rpm -ql GeoIP-GeoLite-data

rpm -ql GeoIP-GeoLite-data-extra

clip_image002

如果是ubuntu系统,我们可以使用如下命令进行安装:

sudo apt-get -y install geoip-bin geoip-database-contrib php5-geoip python-geoip python-geoip-dbg libgeoip1 libgeoip-dev

在上述截图的安装的文件中,我们只需要关注GeoIP.dat和GeoLiteCity.dat这两个文件即可,其中GeoIP.dat用于定位访问者所属的国家,而GeoLiteCity.dat用于定位访问者所属的城市。

2.2 安装httpd-tools

一般站长都不愿随便让其他人知道自己网站的真实流量,所以要把awstats统计结果页面进行密码保护。

因为nginx使用的是跟apache一样的密码加密格式,所以这里需要用到apache自带的工具htpasswd,而htpasswd包含在httpd-tools组件中的,所以我们要安装httpd-tools。

安装httpd-tools,使用如下命令:

yum -y install httpd-tools

clip_image003

安装httpd-tools时,会自动安装httpd,所以我们需要把httpd禁用。如下:

/etc/init.d/httpd stop

chkconfig httpd off

生成密码文件,使用如下命令:

htpasswd -c -m /usr/local/htpasswd.pass ilanni

clip_image004

三、安装awstats

准备工作做完后,我们现在来安装awstats。

3.1 下载awstats

awstst官网是http://www.awstats.org/,下载最新版本de awstats。如下:

wget http://www.awstats.org/files/awstats-7.5.tar.gz

clip_image005

clip_image006

3.2 安装awstats

awstats下载完毕后,我们现在来安装awstats。解压安装包,并进行相关操作,如下:

tar -C /usr/local/ -xf awstats-7.5.tar.gz

mv /usr/local/awstats-7.5/ /usr/local/awstats

chown root:root -R /usr/local/awstats/

mkdir -p /var/www/awstats/

cd /usr/local/awstats/tools/

chmod +x /usr/local/awstats/tools/*.pl

chmod +x /usr/local/awstats/wwwroot/cgi-bin/*.pl

clip_image007

开始安装awstats,如下:

./awstats_configure.pl

clip_image008

因为在此我们使用的是nginx,所以以上截图填写none。

clip_image009

创建一个新的统计配置文件。

clip_image010

在这输入自己的网站域名,也可以进行自定义。

clip_image011

使用默认配置,生成配置文件。

clip_image012

安装程序执行结束后,会在/etc/awstats/目录下生成相应的配置文件。如下:

ll /etc/awstats/awstats.www.ilanni.com.conf

clip_image013

3.3 编辑配置文件

awstats安装完毕后,我们现在来修改其配置文件awstats.www.ilanni.com.conf。在该配置文件中,我们主要修改的是awstats分析nginx日志的路径,以及日志格式,当然还有其它的一些插件。如下:

vim /etc/awstats/awstats.www.ilanni.com.conf

LogFile=”/var/log/nginx/ilanni.com_%YYYY-24%MM-24%DD-24.log”

#配置显示国家和地区

LoadPlugin=”geoip GEOIP_STANDARD /usr/share/GeoIP/GeoIP.dat”

LoadPlugin=”geoip_city_maxmind GEOIP_STANDARD /usr/share/GeoIP/GeoLiteCity.dat”

#解决搜索关键字的乱码

LoadPlugin=”decodeutfkeys”

注意:LogFile路径中日志文件中的日期格式“%YYYY-24%MM-24%DD-24”,是指24小时之前的年月日,也就是昨天的日期。-24表示一天前的,-0表示当前。

clip_image014

3.4 安装纯真IP数据库插件

如果要详细显示国内访客的具体来源信息,我们可以使用纯真IP数据库插件。

纯真IP地址数据库下载地址:http://update.cz88.net/soft/setup.zip

在windows机器上下载安装后,安装目录下的qqwry.dat文件即是最新版IP地址数据库。

下载awstats纯真IP数据库解析插件,下载地址如下:

http://down.51cto.com/data/1888530

注意,附件qqhostinfo.pm、qqwry.pl里的文件路径已经修改好。

下载完毕后,把qqhostinfo.pm、qqwry.pl、qqwry.dat这三个文件,放到awstats的wwwroot/cgi-bin/plugins目录下,并且给予qqhostinfo.pm文件可执行权限。如下:

clip_image015

最后修改awstats的配置文件awstats.www.ilanni.com.conf添加LoadPlugin=”qqhostinfo”选项,如下:

clip_image016

到此awstats安装和配置已经全部完成。

四、配置nginx日志格式

awstats安装完毕后,我们要配置nginx日志的格式,因为awstats是按照指定的格式对nginx日志文件进行分析的,所以我们要进行对应的配置。

nginx日志的配置方法如下:

vim /etc/nginx/nginx.conf

log_format  site  ‘$remote_addr – $remote_user [$time_local] “$request” ‘

             ‘$status $body_bytes_sent “$http_referer” ‘

             ‘”$http_user_agent” $http_x_forwarded_for’;

clip_image017

五、awstats与nginx进行web集成

Nginx日志格式配置完毕后,我们现在要把awstats与nginx进行集成。

为什么awstats与nginx进行集成?因为awstats的访问是通过web方式进行的。这个集成也分为两种情况 ,一个是awstats单独以nginx虚拟主机的形式存在,一种是awstats与现有nginx虚拟主机进行集成。下面分别把这两种方式的nginx配置贴出来,如下:

awstats单独作为nginx的一个虚拟主机,配置文件:

server {

listen 80;

server_name www.ilanni.com;

root /var/www/awstats/;

index index.html;

#或者

#index  awstats.test.haiyn.com.html;

location ~ ^/cgi-bin/.*.(cgi|pl|py|rb) {

gzip off;

include         fastcgi_params;

fastcgi_pass  unix:/tmp/php-cgi.sock;

#       fastcgi_pass    127.0.0.1:9000;   #注意配置fastcgi_pass为你的php-fpm server.

fastcgi_index   cgi-bin.php;

fastcgi_param   SCRIPT_FILENAME /usr/local/awstats/wwwroot/cgi-bin/fcgi.php;  #注意文件路径

fastcgi_param   SCRIPT_NAME        /cgi-bin/fcgi.php;

fastcgi_param   X_SCRIPT_FILENAME /usr/local/awstats/wwwroot$fastcgi_script_name;  #注意文件路径

fastcgi_param   X_SCRIPT_NAME $fastcgi_script_name;

fastcgi_param   REMOTE_USER        $remote_user;

}

# Static awstats files: HTML files stored in DOCUMENT_ROOT/awstats/

location /classes/ {

alias /usr/local/awstats/wwwroot/classes/;

}

location /css/ {

alias /usr/local/awstats/wwwroot/css/;

}

location /js/ {

alias /usr/local/awstats/wwwroot/js/;

}

location /icon/ {

alias /usr/local/awstats/wwwroot/icon/;

}

}

clip_image018

awstats与现有nginx虚拟主机进行集成

注意:一定要把awstats相关的配置存放到最前面,这是因为nginx的匹配规则是从上到下进行匹配的。

server {

listen 80;

server_name www.ilanni.com ilanni.com;

charset utf-8;

access_log /var/log/nginx/ilanni.com.log main;

location ~ ^/icon/ { #图标目录

root /usr/local/awstats/wwwroot;

index index.html;

access_log off;

charset gb2312;

}

location ~ ^/cgi-bin/.*.(cgi|pl|py|rb) {

root /usr/local/awstats/wwwroot;

gzip off;

include fastcgi_params;

fastcgi_pass 127.0.0.1:9000;

fastcgi_param X_SCRIPT_NAME $fastcgi_script_name;

fastcgi_param SCRIPT_FILENAME $document_root/cgi-bin/fcgi.php;

fastcgi_param X_SCRIPT_FILENAME $document_root$fastcgi_script_name;

#fastcgi_param REMOTE_USER $remote_user;

auth_basic “Restricted”;

auth_basic_user_file /usr/local/awstats/htpasswd.pass;

}

location / {

root /www/ilanni.com;

index index.php index.html index.htm;

}

location ~ \.php$ {

root /www/ilanni.com/;

fastcgi_pass 127.0.0.1:9000;

fastcgi_index index.php;

fastcgi_param SCRIPT_FILENAME $document_root$fastcgi_script_name;

include fastcgi_params;

}

}

clip_image019

六、生成awstats数据库

现在开始使用awstats分析日志,使用如下命令:

/usr/local/awstats/wwwroot/cgi-bin/awstats.pl -update -config=www.ilanni.com

clip_image020

生成静态文件,使用如下命令:

/usr/local/awstats/tools/awstats_buildstaticpages.pl -update -config=www.ilanni.com -lang=cn -dir=/var/www/awstats -awstatsprog=/usr/local/awstats/wwwroot/cgi-bin/awstats.pl

clip_image021

为了看到每一天更新的数据,我们可以通过crontab在每天凌晨00:01定时更新静态页面。如下:

vim /etc/crontab

1 0 * * * /usr/local/awstats/tools/awstats_buildstaticpages.pl -update -config=www.ilanni.com -lang=cn -dir=/var/www/awstats -awstatsprog=/usr/local/awstats/wwwroot/cgi-bin/awstats.pl

clip_image022

七、访问awstats

awstats数据库生成完毕后,我们现在来通过web页面访问下。在此我使用的是第二种方式awstats与nginx进行集成。

如下:

http://www.ilanni.com/cgi-bin/awstats.pl

clip_image023

上输入的是我们在第二章准备工作中htpasswd生成的用户名和密码。

clip_image024

上图就是awstats对nginx日志文件分析后,所得到的相关信息。

clip_image025

上图是我们安装的GeoIP和纯真IP数据库显示的用户访问的国家、城市以及来源地址。

clip_image026

上图是awstats根据nginx日志文件分析出来用户是搜索哪些关键词过来的。

相关实践学习
【涂鸦即艺术】基于云应用开发平台CAP部署AI实时生图绘板
【涂鸦即艺术】基于云应用开发平台CAP部署AI实时生图绘板
相关文章
|
5天前
|
监控 安全 搜索推荐
使用EventLog Analyzer进行日志取证分析
EventLog Analyzer助力企业通过集中采集、归档与分析系统日志及syslog,快速构建“数字犯罪现场”,精准追溯安全事件根源。其强大搜索功能可秒级定位入侵时间、人员与路径,生成合规与取证报表,确保日志安全防篡改,大幅提升调查效率,为执法提供有力证据支持。
|
5月前
|
存储 运维 监控
SelectDB 实现日志高效存储与实时分析,完成任务可领取积分、餐具套装/水杯/帆布包!
SelectDB 实现日志高效存储与实时分析,完成任务可领取积分、餐具套装/水杯/帆布包!
|
5月前
|
SQL 监控 数据挖掘
SLS 重磅升级:超大规模数据实现完全精确分析
SLS 全新推出的「SQL 完全精确」模式,通过“限”与“换”的策略切换,在快速分析与精确计算之间实现平衡,满足用户对于超大数据规模分析结果精确的刚性需求。标志着其在超大规模日志数据分析领域再次迈出了重要的一步。
481 117
|
2月前
|
监控 安全 NoSQL
【DevOps】Logstash详解:高效日志管理与分析工具
Logstash是ELK Stack核心组件之一,具备强大的日志收集、处理与转发能力。它支持多种数据来源,提供灵活的过滤、转换机制,并可通过插件扩展功能,广泛应用于系统日志分析、性能优化及安全合规等领域,是现代日志管理的关键工具。
387 0
|
6月前
|
数据可视化 关系型数据库 MySQL
ELK实现nginx、mysql、http的日志可视化实验
通过本文的步骤,你可以成功配置ELK(Elasticsearch, Logstash, Kibana)来实现nginx、mysql和http日志的可视化。通过Kibana,你可以直观地查看和分析日志数据,从而更好地监控和管理系统。希望这些步骤能帮助你在实际项目中有效地利用ELK来处理日志数据。
490 90
|
4月前
|
自然语言处理 监控 安全
阿里云发布可观测MCP!支持自然语言查询和分析多模态日志
阿里云可观测官方发布了Observable MCP Server,提供了一系列访问阿里云可观测各产品的工具能力,包含阿里云日志服务SLS、阿里云应用实时监控服务ARMS等,支持用户通过自然语言形式查询
515 0
阿里云发布可观测MCP!支持自然语言查询和分析多模态日志
|
3月前
|
人工智能 运维 监控
Aipy实战:分析apache2日志中的网站攻击痕迹
Apache2日志系统灵活且信息全面,但安全分析、实时分析和合规性审计存在较高技术门槛。为降低难度,可借助AI工具如aipy高效分析日志,快速发现攻击痕迹并提供反制措施。通过结合AI与学习技术知识,新手运维人员能更轻松掌握复杂日志分析任务,提升工作效率与技能水平。
|
6月前
|
存储 消息中间件 缓存
MiniMax GenAI 可观测性分析 :基于阿里云 SelectDB 构建 PB 级别日志系统
基于阿里云SelectDB,MiniMax构建了覆盖国内及海外业务的日志可观测中台,总体数据规模超过数PB,日均新增日志写入量达数百TB。系统在P95分位查询场景下的响应时间小于3秒,峰值时刻实现了超过10GB/s的读写吞吐。通过存算分离、高压缩比算法和单副本热缓存等技术手段,MiniMax在优化性能的同时显著降低了建设成本,计算资源用量降低40%,热数据存储用量降低50%,为未来业务的高速发展和技术演进奠定了坚实基础。
263 1
MiniMax GenAI 可观测性分析 :基于阿里云 SelectDB 构建 PB 级别日志系统
|
6月前
|
SQL 存储 自然语言处理
让跨 project 联查更轻松,SLS StoreView 查询和分析实践
让跨 project 联查更轻松,SLS StoreView 查询和分析实践
125 1
|
7月前
|
SQL 分布式计算 Serverless
基于阿里云 EMR Serverless Spark 版快速搭建OSS日志分析应用
基于阿里云 EMR Serverless Spark 版快速搭建OSS日志分析应用
154 0