性能工具之linux常见日志统计分析命令-阿里云开发者社区

一、引言

在上文中，我们已经详细介绍 linux 三剑客的基本使用，接下来我们看看具体在性能测试领域的运用，本文主要介绍的是在 Tomcat 和 Nginx access日志的统计分析。

二、Tomcat 统计请求响应时间

server.xml 使用配置方式，%D-请求时间，%F-响应时间

<Valve className="org.apache.catalina.valves.AccessLogValve" directory="logs"
prefix="localhost_access_log." suffix=".txt"
pattern="%h %l %u [%{yyyy-MM-dd HH:mm:ss}t] %{X-Real_IP}i &quot;%r&quot; %s %b %D %F" />

字段说明如下：

%h - 发起请求的客户端 IP 地址。这里记录的 IP 地址并不一定是真实用户客户机的 IP 地址，它可能是私网客户端的公网映射地址或代理服务器地址。
%l - 客户机的 RFC 1413 标识 ( 参考 ) ，只有实现了 RFC 1413 规范的客户端，才能提供此信息。
%u - 远程客户端用户名称，用于记录浏览者进行身份验证时提供的名字，如登录百度的用户名 zuozewei，如果没有登录就是空白。
%t - 收到请求的时间（访问的时间与时区，比如18/Jul/2018:17:00:01 +0800，时间信息最后的 "+0800" 表示服务器所处时区位于 UTC 之后的8小时）
%{X-Real_IP}i - 客户端的真实ip
%r - 来自客户端的请求行（请求的 URI 和 HTTP 协议，这是整个 PV 日志记录中最有用的信息，记录服务器收到一个什么样的请求）
%>s - 服务器返回客户端的状态码，比如成功是 200。
%b - 发送给客户端的文件主体内容的大小，不包括响应头的大小（可以将日志每条记录中的这个值累加起来以粗略估计服务器吞吐量）
%{Referer}i - 记录从哪个页面链接访问过来的（请求头Referer的内容）
%D - 处理请求的时间，以毫秒为单位
%F - 客户端浏览器信息提交响应的时间，以毫秒为单位

日志样例：

47.203.89.212 - - [19/Apr/2017:03:06:53 +0000] "GET / HTTP/1.1" 200 10599 50 49

三、Nginx 统计请求和后台服务响应时间

使用默认 combined 的经典格式上扩展 response_time&upstream_response_time

nginx.conf 使用配置方式：

log_format main '$remote_addr - $remote_user [$time_local] "$request" $status $body_bytes_sent $request_time  $upstream_response_time "$http_referer" "$http_user_agent" "$http_x_forwarded_for"';

字段说明如下：

$remote_addr - 发起请求的客户端 IP 地址。这里记录的 IP 地址并不一定是真实用户客户机的 IP 地址，它可能是私网客户端的公网映射地址或代理服务器地址。
$remote_user - 远程客户端用户名称，用于记录浏览者进行身份验证时提供的名字，如登录百度的用户名 zuozewei，如果没有登录就是空白。
[$time_local] - 收到请求的时间（访问的时间与时区，比如18/Jul/2018:17:00:01 +0800，时间信息最后的 "+0800" 表示服务器所处时区位于 UTC 之后的8小时）
“$request” - 来自客户端的请求行（请求的 URI 和 HTTP 协议，这是整个 PV 日志记录中最有用的信息，记录服务器收到一个什么样的请求）
$status - 服务器返回客户端的状态码，比如成功是 200。
$body_bytes_sent - 发送给客户端的文件主体内容的大小，不包括响应头的大小（可以将日志每条记录中的这个值累加起来以粗略估计服务器吞吐量）
$request_time - 整个请求的总时间，以秒为单位（包括接收客户端请求数据的时间、后端程序响应的时间、发送响应数据给客户端的时间(不包含写日志的时间)）
$upstream_response_time - 请求过程中，upstream 的响应时间,以秒为单位（向后端建立连接开始到接受完数据然后关闭连接为止的时间）
“$http_referer” - 记录从哪个页面链接访问过来的（请求头 Referer 的内容）
“$http_user_agent” - 客户端浏览器信息（请求头User-Agent的内容）
"$ http_x_forwarded_for"- 客户端的真实ip，通常web服务器放在反向代理的后面，这样就不能获取到客户的IP地址了，通过 $remote_add拿到的IP地址是反向代理服务器的iP地址。反向代理服务器在转发请求的 http 头信息中，可以增加 x_forwarded_for** 信息，用以记录原有客户端的IP地址和原来客户端的请求的服务器地址。

日志示例：

218.56.42.148 - - [19/Apr/2017:01:58:04 +0000] "GET / HTTP/1.1" 200 0 0.023 - "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.133 Safari/537.36" "-"

四、AWK 简介

1、基本概念

为了能理解 AWK 程序，我们下面概述其基本知识。

AWK 程序可以由一行或多行文本构成，其中核心部分是包含一个模式和动作的组合。
pattern {
     action }
模式( pattern ) 用于匹配输入中的每行文本。对于匹配上的每行文本，awk 都执行对应的动作( action )。模式和动作之间使用花括号隔开。awk 顺序扫描每一行文本，并使用记录分隔符（一般是换行符）将读到的每一行作为记录，使用域分隔符( 一般是空格符或制表符 ) 将一行文本分割为多个域，每个域分别可以使用 $1, $2, … $n 表示。$1 表示第一个域，$2 表示第二个域，$n 表示第 n 个域。 $0 表示整个记录。模式或动作都可以不指定，缺省模式的情况下，将匹配所有行。缺省动作的情况下，将执行动作 {print}，即打印整个记录。

此处使用Nginx access.log 举例，Tomcat 日志自己举一反三。
使用 awk 分解出Nginx access日志中的信息

218.56.42.148 - - [19/Apr/2017:01:58:04 +0000] "GET / HTTP/1.1" 200 0 0.023 - "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.133 Safari/537.36" "-"

$0 就是整个记录行
$1 就是访问 IP ”218.56.42.148”
$4 就是请求时间的前半部分 “[19/Apr/2017:01:58:04”
$5 就是请求时间的后半部分 “+0000]”

以此类推……
当我们使用默认的域分割符时，我们可以从日志中解析出下面不同类型的信息：

awk '{print $1}' access.log       # IP 地址  ($remote_addr) 
awk '{print $3}' access.log       # 用户名称  $remote_user) 
awk '{print $4,$5}' access.log    # 日期和时间  ([$time_local]) 
awk '{print $7}' access _log      # URI ($request) 
awk '{print $9}' access _log      # 状态码 ($status) 
awk '{print $10}' access _log     # 响应大小 ($body_bytes_sent)
awk '{print $11}' access _log     # 请求时间 ($request_time)
awk '{print $12}' access _log     # upstream响应时间 ($upstream_response_time)

我们不难发现，仅使用默认的域分隔符，不方便解析出请求行、引用页和浏览器类型等其他信息，因为这些信息之中包含不确定个数的空格。
因此，我们需要把域分隔符修改为 “ ，就能够轻松读出这些信息。

awk -F\" '{print $2}' access.log        # 请求行 ($request) 
awk -F\" '{print $4}' access.log        # 引用页 ($http_referer)
awk -F\" '{print $6}' access.log        # 浏览器 ($http_user_agent)
awk -F\" '{print $8}' access.log        # 真实ip ($http_x_forwarded_for)

注意：这里为了避免 Linux Shell 误解 “ 为字符串开始，我们使用了反斜杠，转义了 “ 。
现在，我们已经掌握了 awk 的基本知识，以及它是怎样解析日志的。

2、使用场景举例

此处使用Nginx access.log 举例，Tomcat 日志自己举一反三。

2.1、浏览器类型统计

如果我们想知道那些类型的浏览器访问过网站，并按出现的次数倒序排列，我可以使用下面的命令：

awk -F\" '{print $6}' access.log | sort | uniq -c | sort -fr

此命令行首先解析出浏览器域，然后使用管道将输出作为第一个 sort 命令的输入。第一个 sort 命令主要是为了方便 uniq 命令统计出不同浏览器出现的次数。最后一个 sort 命令将把之前的统计结果倒序排列并输出。

2.2、发现系统存在的问题

我们可以使用下面的命令行，统计服务器返回的状态码，发现系统可能存在的问题。

awk '{print $9}' access.log | sort | uniq -c | sort

正常情况下，状态码 200 或 30x 应该是出现次数最多的。40x 一般表示客户端访问问题。50x 一般表示服务器端问题。
下面是一些常见的状态码：

200 - 请求已成功，请求所希望的响应头或数据体将随此响应返回。
206 - 服务器已经成功处理了部分 GET 请求
301 - 被请求的资源已永久移动到新位置
302 - 请求的资源现在临时从不同的 URI 响应请求
400 - 错误的请求。当前请求无法被服务器理解
401 - 请求未授权，当前请求需要用户验证。
403 - 禁止访问。服务器已经理解请求，但是拒绝执行它。
404 - 文件不存在，资源在服务器上未被发现。
500 - 服务器遇到了一个未曾预料的状况，导致了它无法完成对请求的处理。
503 - 由于临时的服务器维护或者过载，服务器当前无法处理请求。

HTTP 协议状态码定义可以参阅：
https://www.w3.org/Protocols/rfc2616/rfc2616.html

2.3、状态码相关统计

查找并显示所有状态码为 404 的请求

awk '($9 ~ /404/)' access.log

统计所有状态码为 404 的请求

awk '($9 ~ /404/)' access.log | awk '{print $9,$7}' | sort

现在我们假设某个请求 ( 例如 : URI: /path/to/notfound ) 产生了大量的 404 错误，我们可以通过下面的命令找到这个请求是来自于哪一个引用页，和来自于什么浏览器。

awk -F\" '($2 ~ "^GET /path/to/notfound "){
   print $4,$6}' access.log

2.4、追查谁在盗链网站图片

有时候会发现其他网站出于某种原因，在他们的网站上使用保存在自己网站上的图片。如果您想知道究竟是谁未经授权使用自己网站上的图片，我们可以使用下面的命令：

awk -F\" '($2 ~ /\.(jpg|gif|png)/ && $4 !~ /^http:\/\/www\.example\.com/)\ 
{print $4}' access.log \ | sort | uniq -c | sort

注意：使用前，将 www.example.com 修改为自己网站的域名。

使用 ” 分解每一行；
请求行中必须包括 “.jpg” 、”.gif” 或 ”.png”；
引用页不是以您的网站域名字符串开始（在此例中，即 www.example.com ）；
显示出所有引用页，并统计出现的次数。
2.5、IP相关统计
统计共有多少个不同的 IP 访问：
```
awk '{print $1}' access.log |sort|uniq|wc – l
```
统计每一个 IP 访问了多少个页面：
```
awk '{++S[$1]} END {for (a in S) print a,S[a]}' log_file
```
将每个 IP 访问的页面数进行从小到大排序：

awk '{++S[$1]} END {for (a in S) print S[a],a}' log_file | sort -n

统计 2018 年 8 月 31 日 14 时内有多少 IP 访问 :

awk '{print $4,$1}' access.log | grep 31/Aug/2018:14 | awk '{print $2}'| sort | uniq | wc -l

统计访问最多的前十个 IP 地址

awk '{print $1}' access.log |sort|uniq -c|sort -nr |head -10

查看某一个 IP访问了哪些页面：

grep ^202.106.19.100 access.log | awk '{print $1,$7}'

统计某个 IP 的详细访问情况,按访问频率排序

grep '202.106.19.100' access.log |awk '{print $7}'|sort |uniq -c |sort -rn |head -n 100

2.6、响应页面大小相关统计

列出传输大小最大的几个文件

cat access.log |awk '{print $10 " " $1 " " $4 " " $7}'|sort -nr|head -100

列出输出大于 204800 byte ( 200kb) 的页面以及对应页面发生次数

cat access.log |awk '($10 > 200000){print $7}'|sort -n|uniq -c|sort -nr|head -100

列出访问最频的页面(TOP100)

awk '{print $7}' access.log | sort |uniq -c | sort -rn | head -n 100

列出访问最频的页面([排除php页面】(TOP100)

grep -v ".php"  access.log | awk '{print $7}' | sort |uniq -c | sort -rn | head -n 100

列出页面访问次数超过100次的页面

cat access.log | cut -d ' ' -f 7 | sort |uniq -c | awk '{if ($1 > 100) print $0}' | less

列出最近1000条记录，访问量最高的页面

tail -1000 access.log |awk '{print $7}'|sort|uniq -c|sort -nr|less

2.7、PV 相关统计

统计每分钟的请求数,top100的时间点(精确到分钟)

awk '{print $4}' access.log |cut -c 14-18|sort|uniq -c|sort -nr|head -n 100

统计每小时的请求数,top100的时间点(精确到小时)

awk '{print $4}' access.log |cut -c 14-15|sort|uniq -c|sort -nr|head -n 100

统计每秒的请求数,top100的时间点(精确到秒)

awk '{print $4}' access.log |cut -c 14-21|sort|uniq -c|sort -nr|head -n 100

统计当天的 pv

grep "10/May/2018" access.log | wc -l

说明：

awk ‘{ print $1}’：取数据的低1域（第1列）
sort：对IP部分进行排序。
uniq -c：打印每一重复行出现的次数。（并去掉重复行）
sort -nr -k1：按照重复行出现的次序倒序排列,-k1以第一列为标准排序。
head -n 10：取排在前10位的IP
2.8、页面响应时间相关统计
可以使用下面的命令统计出所有响应时间超过 3 秒的日志记录。
```
awk '($NF > 1){print $11}' access.log
cat access.log|awk '($NF > 3){print $7}'
```
注意：NF 是当前记录中域的个数。$NF 即最后一个域。

列出php页面请求时间超过3秒的页面，并统计其出现的次数，显示前100条

cat access.log|awk '($NF > 1 &&  $7~/\.php/){print $7}'|sort -n|uniq -c|sort -nr|head -100

列出相应时间超过 5 秒的请求，显示前20条

awk '($NF > 1){print $11}' access.log | awk -F\" '{print $2}' |sort -n| uniq -c|sort -nr|head -20

2.9、蜘蛛抓取统计

统计蜘蛛抓取次数

grep 'Baiduspider' access.log |wc -l

统计蜘蛛抓取404的次数

grep 'Baiduspider' access.log |grep '404' | wc -l

五、小结

通过本文的介绍，我相信同学们一定会发现 linux三剑客强大之处。在命令行中，它还能够接受，和执行外部的 AWK 程序文件，可以对文本信息进行非常复杂的处理，可以说“只有想不到的，没有它做不到的”。

性能工具之linux常见日志统计分析命令

一、引言

二、Tomcat 统计请求响应时间

三、Nginx 统计请求和后台服务响应时间

四、AWK 简介

1、基本概念

2、使用场景举例

2.1、浏览器类型统计

2.2、发现系统存在的问题

2.3、状态码相关统计

2.4、追查谁在盗链网站图片

2.5、IP相关统计

2.6、响应页面大小相关统计

2.7、PV 相关统计

2.8、页面响应时间相关统计

2.9、蜘蛛抓取统计

五、小结

弹性计算

热门文章

最新文章

相关课程

相关电子书

相关实验场景

推荐镜像