AWStats: Apache/IIS的日志分析工具

简介:

awstats是一款WEB日志的分析工具,同时也可以分析FTP等应用的日志,它在Sourceforge上发展很快的一个基于Perl的WEB日志分析工具。相对于另外一个非常优秀的开放源代码的日志分析工具Webalizer,AWStats的优势在于:界面友好:可以根据浏览器直接调用相应语言界面(有简体中文版)基于Perl:并且很好的解决了跨平台问题,系统本身可以运行在GNU/Linux上或Windows上(安装了ActivePerl后);分析的日志直接支持Apache格式 (combined)和IIS格式(需要修改)。Webalizer虽然也有Windows平台版,但目前已经缺乏维护; AWStats完全可以实现用一套系统完成对自身站点不同WEB服务器:GNU/Linux/Apache和Windows/IIS服务器的统一统计。 效率比较高:AWStats输出统计项目比Webalizer丰富了很多,速度仍可以达到Webalizer的1/3左右,对于一个日访问量百万级的站点,这个速度都是足够的;配置/定制方便:系统提供了足够灵活但缺省也很合理的配置规则,需要修改的缺省配置不超过3,4项就可以开始运行,而且修改和扩展的插件还是比较多的; AWStats的设计者是面向精确的"Human visits"设计的,因此很多搜索引擎的机器人访问都被过滤掉了,因此有可能比其他日志统计工具统计的数字要低,来自公司内部的访问也可以通过IP过滤设置过滤掉。 提供了很多扩展的参数统计功能:使用ExtraXXXX系列配置生成针对具体应用的参数分析会对产品分析非常有用。 下面介绍我的具体安装过程:我操作系统环境: REDHAT LINUX AS3+httpd-2.0.46+php-4.3.2+perl-5.8.0 首先从http://sourceforge.net/projects/awstats/ 下载安装包,我下了最新的稳定版本awstats 6.4(现在已经有6.5了,但是还是测试版本,所以不用)。 tar zxvf awstats-6.4 cd awstats-6.4 mv wwwroot/cgi-bin /var/www/cgi-bin/awstats(网站的CGI目录) #wwwroot/cgi-bin下都是一些主配置文件和主程序awstats.pl mv wwwroot/icon /var/www/icons #把图标拷贝到网站的图标目录下然后设置APACHE的日志格式,这里需要用到cronolog工具(到http://www.cronolog.org/下载),下载过来解压缩后只要进行./configure和make就可以完成安装了安装好cronalog后将httpd.conf中的CustomLog改成如下 CustomLog "|/usr/local/sbin/cronolog /path/to/apache/logs/access_log.%Y%m%d" combined 这个格式的日志名如logs/access_log.20050614 接着需要把/var/www/cgi-bin/awstats下的awstats.model.conf重命名 cd /var/www/cgi-bin/awstats mv awstats.model.conf awstats.yourname.conf 修改配置文件 vi awstats.yourname.conf 修改以下几个参数 LogFile="/your website path/logs/access_log.%YYYY-24%MM-24%DD-24" SiteDomain="www.yourname.com" 站点的名称,缺省是空的,如果为空,AWStats将拒绝运行;配置的最简单修改就是这样了,就可以运行了,如果还需要做其他一些功能设置只要修改一些相关项就可以了,具体就查看配置文件里的注释部分,讲得很清楚的。然后就是做日志分析了 ./awstats.pl -update -config=yourname -lang=cn 比如:./awstats.pl -update -config=yourname 会自动调用awstats.yourname.conf这个配置文件这个时候在浏览器里输入http://localhost/cgi-bin/awstats/awstats.pl?config=yourname就能看到日志分析后出来的WEB页面了。设置awstats每天自动运行一次,更新日志分析数据 crontab -e: 每天8点10分运行 #update awstats 10 8 * * * (cd /var/www/cgi-bin/awstats/; ./awstats.pl -update -config=yourname) awstats还可以对多站点日志统计 AWStats自带了一个批处理工具:tools/awstats_updateall.pl,可以批量地遍历一个目录下所有地配置文件并运行统计。因此剩下的工作就主要是日志的同步问题了。针对多个站点,很多配置选项是重复的,如果每个配置文件都修改维护起来会很麻烦,AWStats从5.4版本开始提供了配置文件包含的功能,所以我们可以配置一个通用配置,比如:common.conf 然后其他站点的配置设置为:可以通过后面的选项覆盖和缺省不一致的配置。 awstats.bbs.yourname.conf Include "yourname.common.conf" LogFile "/path/to/bbs_log" SiteName "bbs.yourname.com" awstats.www.yourname.conf Include "yourname.common.conf" LogFile "/path/to/www_log" SiteName "www.yourname.com" HostAliases="yourname.com" 这样,一个WEB的日志分析就搞定了,配置文件里还有许多参数选项我都还没做仔细了解,等了解了再说吧,呵呵



本文转自 firehare 51CTO博客,原文链接:http://blog.51cto.com/firehare/588213,如需转载请自行联系原作者

相关实践学习
通过日志服务实现云资源OSS的安全审计
本实验介绍如何通过日志服务实现云资源OSS的安全审计。
相关文章
|
存储 消息中间件 Java
Apache Flink 实践问题之原生TM UI日志问题如何解决
Apache Flink 实践问题之原生TM UI日志问题如何解决
171 1
|
存储 监控 安全
实时记录和查看Apache 日志
Apache 是一个开源、跨平台的 Web 服务器,保护其平台需监控活动和事件。Apache 日志分为访问日志和错误日志,分别记录用户请求和服务器错误信息。EventLog Analyzer 是一款强大的日志查看工具,提供集中收集、分析、实时警报和安全监控功能,帮助管理员识别趋势、检测威胁并确保合规性。通过直观的仪表板和自动化响应,它简化了大规模日志管理,增强了 Apache 服务器的安全性和性能。
322 5
|
监控 安全 Apache
什么是Apache日志?为什么Apache日志分析很重要?
Apache是全球广泛使用的Web服务器软件,支持超过30%的活跃网站。它通过接收和处理HTTP请求,与后端服务器通信,返回响应并记录日志,确保网页请求的快速准确处理。Apache日志分为访问日志和错误日志,对提升用户体验、保障安全及优化性能至关重要。EventLog Analyzer等工具可有效管理和分析这些日志,增强Web服务的安全性和可靠性。
448 9
|
8月前
|
人工智能 运维 监控
Aipy实战:分析apache2日志中的网站攻击痕迹
Apache2日志系统灵活且信息全面,但安全分析、实时分析和合规性审计存在较高技术门槛。为降低难度,可借助AI工具如aipy高效分析日志,快速发现攻击痕迹并提供反制措施。通过结合AI与学习技术知识,新手运维人员能更轻松掌握复杂日志分析任务,提升工作效率与技能水平。
|
10月前
|
监控 安全 BI
优化 Apache 日志记录的 5 个最佳实践
Apache 日志记录对于维护系统运行状况和网络安全至关重要,其核心包括访问日志与错误日志的管理。通过制定合理的日志策略,如选择合适的日志格式、利用条件日志减少冗余、优化日志级别、使用取证模块提升安全性及实施日志轮换,可有效提高日志可用性并降低系统负担。此外,借助 Eventlog Analyzer 等专业工具,能够实现日志的高效收集、可视化分析与威胁检测,从而精准定位安全隐患、评估服务器性能,并满足合规需求,为强化网络安全提供有力支持。
272 0
优化 Apache 日志记录的 5 个最佳实践
|
存储 运维 监控
金融场景 PB 级大规模日志平台:中信银行信用卡中心从 Elasticsearch 到 Apache Doris 的先进实践
中信银行信用卡中心每日新增日志数据 140 亿条(80TB),全量归档日志量超 40PB,早期基于 Elasticsearch 构建的日志云平台,面临存储成本高、实时写入性能差、文本检索慢以及日志分析能力不足等问题。因此使用 Apache Doris 替换 Elasticsearch,实现资源投入降低 50%、查询速度提升 2~4 倍,同时显著提高了运维效率。
806 3
金融场景 PB 级大规模日志平台:中信银行信用卡中心从 Elasticsearch 到 Apache Doris 的先进实践
|
存储 监控 安全
实时记录和查看Apache 日志
Apache 是一个开源、跨平台的Web服务器,保护其安全依赖于监控活动和分析访问日志。日志分为访问日志和错误日志,前者记录用户请求及响应情况,后者记录服务器错误信息。EventLog Analyzer等工具可集中收集、分析日志,提供直观的仪表板和实时警报,帮助识别趋势、异常和威胁,确保服务器稳定性和安全性,并支持合规管理。
344 5
|
存储 消息中间件 人工智能
AI大模型独角兽 MiniMax 基于阿里云数据库 SelectDB 版内核 Apache Doris 升级日志系统,PB 数据秒级查询响应
早期 MiniMax 基于 Grafana Loki 构建了日志系统,在资源消耗、写入性能及系统稳定性上都面临巨大的挑战。为此 MiniMax 开始寻找全新的日志系统方案,并基于阿里云数据库 SelectDB 版内核 Apache Doris 升级了日志系统,新系统已接入 MiniMax 内部所有业务线日志数据,数据规模为 PB 级, 整体可用性达到 99.9% 以上,10 亿级日志数据的检索速度可实现秒级响应。
962 14
AI大模型独角兽 MiniMax 基于阿里云数据库 SelectDB 版内核 Apache Doris 升级日志系统,PB 数据秒级查询响应
|
Ubuntu Linux 测试技术
在Linux中,已知 apache 服务的访问日志按天记录在服务器本地目录/app/logs 下,由于磁盘空间紧张现在要求只能保留最近7天的访问日志,请问如何解决?
在Linux中,已知 apache 服务的访问日志按天记录在服务器本地目录/app/logs 下,由于磁盘空间紧张现在要求只能保留最近7天的访问日志,请问如何解决?
|
消息中间件 Java Kafka
【Azure 事件中心】开启 Apache Flink 制造者 Producer 示例代码中的日志输出 (连接 Azure Event Hub Kafka 终结点)
【Azure 事件中心】开启 Apache Flink 制造者 Producer 示例代码中的日志输出 (连接 Azure Event Hub Kafka 终结点)
194 0

推荐镜像

更多