Log日志分析--awstats

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介:
1:获得awstats工具
   1):可以从 http://awstats.sourceforge.net/网站下载。##awstats的官网
   2):在服务器上直接下载的方法
   [root@nagios ~]# wget http://sourceforge.net/projects/awstats/files/AWStats/7.0/awstats-7.0.tar.gz/download
#########################################################################
2:awstats的安装
[root@nagios ~]# tar zxvf awstats-7.0.tar.gz

[root@nagios ~]# mv awstats-7.0/ /usr/local/awstats

[root@nagios ~]# cd /usr/local/awstats/tools/

运行配置脚本生成awstats的配置文件
[root@nagios tools]# perl awstats_configure.pl 
----- AWStats awstats_configure 1.0 (build 1.9) (c) Laurent Destailleur -----
This tool will help you to configure AWStats to analyze statistics for
one web server. You can try to use it to let it do all that is possible
in AWStats setup, however following the step by step manual setup
documentation (docs/index.html) is often a better idea. Above all if:
- You are not an administrator user,
- You want to analyze downloaded log files without web server,
- You want to analyze mail or ftp log files instead of web log files,
- You need to analyze load balanced servers log files,
- You want to 'understand' all possible ways to use AWStats...
Read the AWStats documentation (docs/index.html).

-----> Running OS detected: Linux, BSD or Unix

-----> Check for web server install
  Found Web server Apache config file '/usr/local/apache2/conf/httpd.conf'

-----> Check and complete web server config file '/usr/local/apache2/conf/httpd.conf'
Warning: You Apache config file contains directives to write 'common' log files
This means that some features can't work (os, browsers and keywords detection).
Do you want me to setup Apache to write 'combined' log files [y/N] ? y
  Add 'Alias /awstatsclasses "/usr/local/awstats/wwwroot/classes/"'
  Add 'Alias /awstatscss "/usr/local/awstats/wwwroot/css/"'
  Add 'Alias /awstatsicons "/usr/local/awstats/wwwroot/icon/"'
  Add 'ScriptAlias /awstats/ "/usr/local/awstats/wwwroot/cgi-bin/"'
  Add '<Directory>' directive
  AWStats directives added to Apache config file.

-----> Update model config file '/usr/local/awstats/wwwroot/cgi-bin/awstats.model.conf'
  File awstats.model.conf updated.

-----> Need to create a new config file ?
Do you want me to build a new AWStats config/profile
file (required if first install) [y/N] ? y

-----> Define config file name to create
What is the name of your web site or profile analysis ?
Example: www.mysite.com
Example: demo
Your web site, virtual server or profile name:
> www.51auto.com

-----> Define config file path
In which directory do you plan to store your config file(s) ?
Default: /etc/awstats
Directory path to store config file(s) (Enter for default):


-----> Create config file '/etc/awstats/awstats.www.51auto.com.conf'
 Config file /etc/awstats/awstats.www.51auto.com.conf created.

-----> Restart Web server with '/sbin/service httpd restart'
Stopping httpd: [  OK  ]
Starting httpd: [  OK  ]

-----> Add update process inside a scheduler
Sorry, configure.pl does not support automatic add to cron yet.
You can do it manually by adding the following command to your cron:
/usr/local/awstats/wwwroot/cgi-bin/awstats.pl -update -config=www.51auto.com
Or if you have several config files and prefer having only one command:
/usr/local/awstats/tools/awstats_updateall.pl now
Press ENTER to continue... 


A SIMPLE config file has been created: /etc/awstats/awstats.www.51auto.com.conf
You should have a look inside to check and change manually main parameters.
You can then manually update your statistics for 'www.51auto.com' with command:
> perl awstats.pl -update -config=www.51auto.com
You can also read your statistics for 'www.51auto.com' with URL:
> http://localhost/awstats/awstats.pl?config=www.51auto.com

Press ENTER to finish...
################################################################
3:配置/etc/awstats/awstats.www.51auto.com.conf
  1):设置web server 的日志文件的位置 LogFile,必选根据实际分析的日志位置来设置。LogFile="/tmp/333.log" 这个就是你想分析的日志位置,可能在此服务器上分析其它服务器的日志呢。
  2):设置LogType 位分析的服务器日志类型;w表示web日志
  3):设置日志格式LogFormat;1表示采用 NCSA apache combined/ELF/XLF log format 
    4):设置所需要分析的网站域名 SiteDomain
    5):设置awstats的数据库存放的目录 DirData=“/usr/local/awstats/data”
文件中基本信息已配置好了,只要更改LogFile和DirData就Ok了。

[root@nagios ~]# mkdir /usr/local/awstats/data
[root@nagios ~]# chmod -R 755 /usr/local/awstats/data/
[root@nagios ~]# chmod 755 /usr/local/awstats/wwwroot/cgi-bin/*.pl
1 :一定要进行相关文件(夹)的授权,否则访问页面权限会不够。
2   注: rpm 安装包里面的 *.pl 都具有执行权限, tar 包里面的 *.pl 却没有。
4:修改httpd.conf文件
[root@nagios tools]# less httpd_conf 
#
# Content of this file, with correct values, can be automatically added to
# your Apache server by using the AWStats configure.pl tool.
#


# If using Windows and Perl ActiveStat, this is to enable Perl script as CGI.
#ScriptInterpreterSource registry


#
# Directives to add to your Apache conf file to allow use of AWStats as a CGI.
# Note that path "/usr/local/awstats/" must reflect your AWStats install path.
#
Alias /awstatsclasses "/usr/local/awstats/wwwroot/classes/"
Alias /awstatscss "/usr/local/awstats/wwwroot/css/"
Alias /awstatsicons "/usr/local/awstats/wwwroot/icon/"
ScriptAlias /awstats/ "/usr/local/awstats/wwwroot/cgi-bin/"


#
# This is to permit URL access to scripts/files in AWStats directory.
#
<Directory "/usr/local/awstats/wwwroot">
    Options None
    AllowOverride None
    Order allow,deny
    Allow from all
</Directory>
###将此文件的内容加入到/usr/local/apache2/conf/httpd.conf文件中
###如果在配置生成awstats.www.51auto.com.conf文件时,选择apache默认配置文件就是/usr/local/apache2/conf/httpd.conf,那么就不用加软件自身就加进去了。

5:生成数据

[root@nagios tools]# /usr/local/awstats/wwwroot/cgi-bin/awstats.pl -update -config=www.51auto.com
##因为程序是通过分析日志来进行流量统计的,如果你的日志很大的话会很耗系统资源的。
6:在浏览器中输入:http://172.31.2.250:8980/awstats/awstats.pl?config=www.51auto.com
就可以很清晰的看到你想要的结果。




#################################################
###################################################
利用awstats来分析maillog
邮件日志分析:
[root@analyse ~]# cd /usr/local/awstats/tools/
[root@analyse tools]# perl maillogconvert.pl standard maillog >>/tmp/maillogexplain.log
# awk '{print $3}' /tmp/mailstreamline.log |grep  -E "51auto.com|51auto.cn|carking001.
Com |sort|uniq  c
#awk '{if($1 >= 100) print $1 "  " $2}' /tmp/2car.log
 

列出目前在  Mail Queue  中的邮件

mailq

刪除所有在  Queue  中的邮件

postsuper -d ALL




OK Done!!!!










本文转自 kuchuli 51CTO博客,原文链接:http://blog.51cto.com/lgdvsehome/860660,如需转载请自行联系原作者
相关实践学习
通过日志服务实现云资源OSS的安全审计
本实验介绍如何通过日志服务实现云资源OSS的安全审计。
目录
相关文章
|
5月前
|
监控 安全 BI
防火墙事件日志及日志分析
在网络安全防护体系中,防火墙作为抵御外部威胁的第一道防线,其重要性不言而喻。而对防火墙日志进行分析,更是深入了解网络流量、发现潜在安全风险的关键手段。
345 1
|
4月前
|
SQL 监控 关系型数据库
MySQL日志分析:binlog、redolog、undolog三大日志的深度探讨。
数据库管理其实和写小说一样,需要规划,需要修订,也需要有能力回滚。理解这些日志的作用与优化,就像把握写作工具的使用与运用,为我们的数据库保驾护航。
195 23
|
9月前
|
监控 安全 Apache
什么是Apache日志?为什么Apache日志分析很重要?
Apache是全球广泛使用的Web服务器软件,支持超过30%的活跃网站。它通过接收和处理HTTP请求,与后端服务器通信,返回响应并记录日志,确保网页请求的快速准确处理。Apache日志分为访问日志和错误日志,对提升用户体验、保障安全及优化性能至关重要。EventLog Analyzer等工具可有效管理和分析这些日志,增强Web服务的安全性和可靠性。
244 9
|
7月前
|
存储 SQL 关系型数据库
MySQL日志详解——日志分类、二进制日志bin log、回滚日志undo log、重做日志redo log
MySQL日志详解——日志分类、二进制日志bin log、回滚日志undo log、重做日志redo log、原理、写入过程;binlog与redolog区别、update语句的执行流程、两阶段提交、主从复制、三种日志的使用场景;查询日志、慢查询日志、错误日志等其他几类日志
587 35
MySQL日志详解——日志分类、二进制日志bin log、回滚日志undo log、重做日志redo log
|
6月前
|
监控 Java 应用服务中间件
Tomcat log日志解析
理解和解析Tomcat日志文件对于诊断和解决Web应用中的问题至关重要。通过分析 `catalina.out`、`localhost.log`、`localhost_access_log.*.txt`、`manager.log`和 `host-manager.log`等日志文件,可以快速定位和解决问题,确保Tomcat服务器的稳定运行。掌握这些日志解析技巧,可以显著提高运维和开发效率。
465 13
|
6月前
|
缓存 Java 编译器
|
6月前
|
监控 Shell Linux
Android调试终极指南:ADB安装+多设备连接+ANR日志抓取全流程解析,覆盖环境变量配置/多设备调试/ANR日志分析全流程,附Win/Mac/Linux三平台解决方案
ADB(Android Debug Bridge)是安卓开发中的重要工具,用于连接电脑与安卓设备,实现文件传输、应用管理、日志抓取等功能。本文介绍了 ADB 的基本概念、安装配置及常用命令。包括:1) 基本命令如 `adb version` 和 `adb devices`;2) 权限操作如 `adb root` 和 `adb shell`;3) APK 操作如安装、卸载应用;4) 文件传输如 `adb push` 和 `adb pull`;5) 日志记录如 `adb logcat`;6) 系统信息获取如屏幕截图和录屏。通过这些功能,用户可高效调试和管理安卓设备。
|
7月前
|
存储 缓存 关系型数据库
图解MySQL【日志】——Redo Log
Redo Log(重做日志)是数据库中用于记录数据页修改的物理日志,确保事务的持久性和一致性。其主要作用包括崩溃恢复、提高性能和保证事务一致性。Redo Log 通过先写日志的方式,在内存中缓存修改操作,并在适当时候刷入磁盘,减少随机写入带来的性能损耗。WAL(Write-Ahead Logging)技术的核心思想是先将修改操作记录到日志文件中,再择机写入磁盘,从而实现高效且安全的数据持久化。Redo Log 的持久化过程涉及 Redo Log Buffer 和不同刷盘时机的控制参数(如 `innodb_flush_log_at_trx_commit`),以平衡性能与数据安全性。
255 5
图解MySQL【日志】——Redo Log
|
8月前
|
SQL 关系型数据库 MySQL
MySQL事务日志-Undo Log工作原理分析
事务的持久性是交由Redo Log来保证,原子性则是交由Undo Log来保证。如果事务中的SQL执行到一半出现错误,需要把前面已经执行过的SQL撤销以达到原子性的目的,这个过程也叫做"回滚",所以Undo Log也叫回滚日志。
323 7
MySQL事务日志-Undo Log工作原理分析
|
6月前
|
SQL 存储 关系型数据库
简单聊聊MySQL的三大日志(Redo Log、Binlog和Undo Log)各有什么区别
在MySQL数据库管理中,理解Redo Log(重做日志)、Binlog(二进制日志)和Undo Log(回滚日志)至关重要。Redo Log确保数据持久性和崩溃恢复;Binlog用于主从复制和数据恢复,记录逻辑操作;Undo Log支持事务的原子性和隔离性,实现回滚与MVCC。三者协同工作,保障事务ACID特性。文章还详细解析了日志写入流程及可能的异常情况,帮助深入理解数据库日志机制。
617 0