apache、nignx等日志分析工具

yum install goaccess

如果提示找不到包的话，需要先安装epel源。

wget http://dl.fedoraproject.org/pub/epel/6/x86_64/epel-release-6-8.noarch.rpm

 rpm -Uvh epel-release-6*.rpm

或者直接rpm -Uvh http://mirrors.sohu.com/fedora-epel/6/x86_64/epel-release-6-8.noarch.rpm

再使用yum install goaccess安装。

安装GoAccess

如果你是centos，使用yum：

如果你的yum找不到goaccess，就先安装epel

GoAccess有两种使用方法，一种是直接在控制台显示和操作。

当你要立马分析出今天早上10点到12点的IP访问情况的时候，直接在控制台敲命令是最快的。

另外一种就是生成html文件或者数据文件。

如果你希望每天管理的服务器集群能给你发送一个昨天访问日志的情况，这个就是不二选择了。

控制台使用GoAccess

goaccess的参数:

-f : 需要解析的日志文件

-a --agent-list : 在host模块是不是能点击IP出现这个IP的user-agentlist，就是出现如图的功能。

-c --conf-dialog: 是否显示log和format配置对话窗口。

就是下面的这个窗口

这个窗口有很多可以研究的。

首先，goaccess支持的日志格式有哪些？

Common Log Format （CLF）

通用日志格式，例子：

127.0.0.1 - frank [10/Oct/2000:13:55:36 -0700] "GET /apache_pb.gif HTTP/1.0" 200 2326

主机 用户身份 作者 [日期] "请求方法 请求路径 请求协议" 状态码 字节数
NCSA Commbined Log Format

这个是Common Log Format的扩展，例子：

125.125.125.125 - dsmith [10/Oct/1999:21:15:05 +0500] "GET /index.html HTTP/1.0" 200 1043 "http://www.ibm.com/" "Mozilla/4.05 [en] (WinNT; I)" "USERID=CustomerA;IMPID=01234"

主机 用户身份 作者 [日期] "请求方法 请求路径 请求协议" 状态码 字节数 referrer 客户端代理 cookie
W3C

IIS 4.0和5.0是使用这种格式的，例子如下：

复制代码
#Software: Microsoft Internet Information Server 4.0

#Version: 1.0

#Date: 1998-11-19 22:48:39

#Fields: date time c-ip cs-username s-ip cs-method cs-uri-stem cs-uri-query sc-status sc-bytes cs-bytes time-taken cs-version cs(User-Agent) cs(Cookie) cs(Referrer)

1998-11-19 22:48:39 206.175.82.5 - 208.201.133.173 GET /global/images/navlineboards.gif - 200 540 324 157 HTTP/1.0 Mozilla/4.0+(compatible;+MSIE+4.01;+Windows+95) USERID=CustomerA;+IMPID=01234 http://yourturn.rollingstone.com/webx?98@@webx1.html
复制代码
CloudFront

AWS上的日志格式

自定义格式

关于自定义格式所设置的参数说明在这里

-d --with-output-resolver 在HTML输出或者json输出中开启IP 解析

如果开启了-d，goaccess就会使用GEOIP来进行IP解析。

-e --exclude-ip=

Host模块中不需要被统计的IP，比如可以将爬虫的IP过滤掉

-h --help 帮助文档

-H --http-protocol 显示的时候是否带上HTTP协议信息

-m --with-mouse 控制面板开启支持鼠标点击，带上了m之后，双击鼠标就相当于回车的操作

-M --http-method 是否带上HTTP方法信息

-H和-M带上之后效果为：

-o --output-format=csv|json 输出为csv或者json形式

-p --conf-file=

指定配置文件，如果你有配置文件，配置文件中又恰巧设置了log-format和date，那么你就不会被强制进入到format对话框了。如果你没有设置的话，默认使用~/.goacessrc。

-q --no-query-string

忽略请求的参数部分

-r --no-term-resolver

在Host模块中是否进行IP的解析。加上-r是禁止IP解析。

--no-color

输出无颜色标示

--real-os

展示真实的操作系统。在Operation System模块中，是否展示更详细的操作系统信息。

如图：

下面说说的是控制台的键盘操作：

F1是打开帮助文档

F5是刷新当前窗口

q是退出当前窗口，直到退出程序

o是进入选择条目

0-9 是选择模块

tab和shift+tab是在前后模块之前切换

j和k是在模块内部条目切换

s是模块内部条目排序方式

ps:模块切换在右上角有当前模块的标示

使用GoAccess生成文件

说起GoAccess最让你爽的就是能生成html了，然后每天就可以看个统计报表。

使用方法：

显示在terminal的交互报表

# goaccess -f /data/wwwlogs/access_nginx.log

生成html报表：

# goaccess -f access.log -a > report.html

生成json报表：

# goaccess -f access.log -a -d -o json > report.json

生成csv报表：

# goaccess -f access.log --no-csv-summary -o csv > report.csv