tomcat 访问日志源码分析与应用

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介:

    tomcat 日志可以分为两类:

1、访问日志,记录访问的时间、来源、资料等相关信息(ServletRequest 可以获取的信息,都可以记录);

2、运行日志,记录tomcat 运行、异常、错误信息。

    tomcat 的日志记录常会被 log4j 或 slf4j 取代,不过这里不讨论另外日志组件,很纯粹地说一下tomcat 原生的访问日志。关于运行日志的分析,有机会再另写一篇。对于访问日志,tomcat 定义了以下接口:

public interface AccessLog {

    // 记录访问日志
    public void log(Request request, Response response, long time);

    // ip
    public static final String REMOTE_ADDR_ATTRIBUTE =
        "org.apache.catalina.AccessLog.RemoteAddr";
    // 主机名
    public static final String REMOTE_HOST_ATTRIBUTE =
        "org.apache.catalina.AccessLog.RemoteHost";
    // 访问协议
    public static final String PROTOCOL_ATTRIBUTE =
        "org.apache.catalina.AccessLog.Protocol";
    // 端口号
    public static final String SERVER_PORT_ATTRIBUTE =
        "org.apache.catalina.AccessLog.ServerPort";

    // 设置是否记录ip,主机名,协议,端口号
    public void setRequestAttributesEnabled(boolean requestAttributesEnabled);
    public boolean getRequestAttributesEnabled();
}


    一个默认的实现是 AccessLogValue(在 server.xml 配置的)。先看一下,如何配置和使用 AccessLogValue,在 $tomcat_home%/conf/server.xml 里,有一下代码:

<Valve className="org.apache.catalina.valves.AccessLogValve" directory="logs"
               prefix="localhost_access_log." suffix=".txt"
               pattern="%h %l %u %t &quot;%r&quot; %s %b" />


    参数的含义如下:

className:访问日志的实现类(implements AccessLog)

directory: 日志的位置

prefix:日志名称的前缀

suffix:日志名称的后缀

pattern:日志模式的参数,(模式参数的设置可以参考附录)

更多参数的设置可以查看 AccessLogValue 的参数。

    对于 pattern ,tomcat 提供了两种便捷的 pattern 简写:common:%h %l %u %t "%r" %s %b;combined - %h %l %u %t "%r" %s %b "%{Referer}i" "%{User-Agent}i"

    因为上述配置的方式,所以我们常看到日志记录文件如下(在 $tomcat_home$/logs/),下面日期的产生,是代码产生的:

image

    对于其他基础的字段设置的配置与源码编写,理解起来应该不大(类似平常地解释 xml 文件),下面重点讲一下的是,如果根据 patten 来写日志(建议先阅读以下附录):

    pattern 写法有两种 %XXX 或 %{XXX}XX,使用代码分析分析 pattern,再根据 pattern 获取对应的信息,将信息写到一个 StringBuilder 即可。对 pattern 的分析如下:对于各种配置的参数a,A等,都应该属于一种 XXXElenment,另外对于空格或其他字符,增加一个 StringElement,那在分析 pattern 时,每遇到一个特殊的字符,就创建一个指定的 element,反之,创建一个 StringElement,对pattern 的分析如下:

List<AccessLogElement> list = new ArrayList<AccessLogElement>();
boolean replace = false;
StringBuilder buf = new StringBuilder();
for (int i = 0; i < pattern.length(); i++) {
char ch = pattern.charAt(i);
if (replace) {
/*
* 用来处理 '{',如果在之后没有遇上 '}',将这个 '{'忽略,不处理。
* 处理一下三种情况:
* %{xxx}i 头字段信息
* %{xxx}c cookie 信息
* %{xxx}r ServletRequest 的某个 attribute
* %{xxx}s HttpSession 的某个 attribut
*/
if ('{' == ch) {
StringBuilder name = new StringBuilder();
int j = i + 1;
for (; j < pattern.length() && '}' != pattern.charAt(j); j++) {
name.append(pattern.charAt(j));
}
if (j + 1 < pattern.length()) {
// j+1,跳过字符 '}x'
j++;
list.add(createAccessLogElement(name.toString(),
pattern.charAt(j)));
i = j; // 跳过 %{xxx}x
} else {
// 单个字符,如 a,直接创建对应的 Element
list.add(createAccessLogElement(ch));
}
} else {
list.add(createAccessLogElement(ch));
}
replace = false;
} else if (ch == '%') {
replace = true;
list.add(new StringElement(buf.toString()));
buf = new StringBuilder();
} else {
buf.append(ch);
}
}
if (buf.length() > 0) {
list.add(new StringElement(buf.toString()));
}

    通过上面的分析,我们就可以根据 pattern 得到需要的信息(存储在 list 里),对于各种 element 的创建如:

·  /*
* 根据 pattern,创建以下六种类型的信息之一:
* %{xxx}i 获取header 的某个 attribute
* %{xxx}c 获取cookie 的某个 attribute
* %{xxx}o 获取response 的某个 attribute
* %{xxx}r 获取request 的某个 attribute
* %{xxx}s 获取session 的某个 attribute
* %{xxx}t 获取dateAndTime 的某个 attribute
*/
protected AccessLogElement createAccessLogElement(String attribute, char pattern) {
switch (pattern) {
case 'i':
return new HeaderElement(attribute);
case 'c':
return new CookieElement(attribute);
case 'o':
return new ResponseHeaderElement(attribute);
case 'r':
return new RequestAttributeElement(attribute);
case 's':
return new SessionAttributeElement(attribute);
case 't':
return new DateAndTimeElement(attribute);
default:
return new StringElement("???");
}
}
    常规 element 的创建:
protected AccessLogElement createAccessLogElement(char pattern) {
switch (pattern) {
case 'a':
return new RemoteAddrElement();
case 'A':
return new LocalAddrElement();
case 'b':
return new ByteSentElement(true);
case 'B':
return new ByteSentElement(false);
case 'D':
return new ElapsedTimeElement(true);
case 'F':
return new FirstByteTimeElement();
case 'h':
return new HostElement();
case 'H':
return new ProtocolElement();
case 'l':
return new LogicalUserNameElement();
case 'm':
return new MethodElement();
case 'p':
return new LocalPortElement();
case 'q':
return new QueryElement();
case 'r':
return new RequestElement();
case 's':
return new HttpStatusCodeElement();
case 'S':
return new SessionIdElement();
case 't':
return new DateAndTimeElement();
case 'T':
return new ElapsedTimeElement(false);
case 'u':
return new UserElement();
case 'U':
return new RequestURIElement();
case 'v':
return new LocalServerNameElement();
case 'I':
return new ThreadNameElement();
default:
return new StringElement("???" + pattern + "???");
}
}

    对于各种 element,这里只给出其中几个,其他的类似:
//accessElement 接口
protected interface AccessLogElement {
public void addElement(StringBuilder buf, Date date, Request request,
Response response, long time);
}
//sessionElement %{xxx}s
protected static class SessionAttributeElement implements AccessLogElement {
private final String header;

public SessionAttributeElement(String header) {
this.header = header;
}

@Override
public void addElement(StringBuilder buf, Date date, Request request,
Response response, long time) {
Object value = null;
if (null != request) {
HttpSession sess = request.getSession(false);
if (null != sess) {
value = sess.getAttribute(header);
}
} else {
value = "??";
}
if (value != null) {
if (value instanceof String) {
buf.append((String) value);
} else {
buf.append(value.toString());
}
} else {
buf.append('-');
}
}
}

// queryElement %q
protected static class QueryElement implements AccessLogElement {
@Override
public void addElement(StringBuilder buf, Date date, Request request,
Response response, long time) {
String query = null;
if (request != null) {
query = request.getQueryString();
}
if (query != null) {
buf.append('?');
buf.append(query);
}
}
}

    知道访问日志的基本实现之后,下面来看一下如何去应用,让访问日志可以给实际项目带来效益,在这里就要求我们重新来看一下 pattern 到底可以为我们记录那些信息了,如何利用这些信息,获取一些对项目有用的信息:这里大概列举一些基本有用的信息:远程 ip%a,远程主机名%h,请求的协议%s,请求uri %U,查询参数 %q,响应的状态码,请求时间%t,响应时间%D,请求的用户%u,根据需要,我们还可以借助 request,session,response 获取一些额外的信息,如 user-Agent 等。拿到这些信息后,可以干些什么呢??
1、访问者所使用的媒体,哪一个浏览器,pc 还是 移动
2、独立 ip 请求数(更具ip分析人群的地域分布)
3、页面的访问量(那个页面最后欢迎,响应时间如何)
4、404 的请求 uri
5、导致 500 的uri
6、指定的用户的访问行为
7、访问的流量统计等
    既然是需要统计数据,那这些数据肯定不能存在txt里,最合适的地方莫过于数据库。一下是一个基本的参考,根据实际情况,重构和定制自己的需求(定制自己的 MyJdbcAccessLogValue):
    tomcat 7 提供了一个 JdbcAccessLogValue,用于将数据存储到数据库里,JdbcAccessLogValue,可以存储的信息有:

remoteHostField = "remoteHost"; 
userField = "userName"; 
timestampField = "timestamp"; 
virtualHostField = "virtualHost"; 
methodField = "method"; 
queryField = "query"; 
statusField = "status"; 
bytesField = "bytes"; 
refererField = "referer"; 
userAgentField = "userAgent";

   使用 JdbcAccessLogValue,需要做一下配置,在$tomcat_home%/conf/server.xml 添加如下配置:

<Valve className="org.apache.catalina.valves.JDBCAccessLogValve"
driverName="your_jdbc_driver"
connectionURL="your_jdbc_url"
pattern="common" resolveHosts="false"
/>

  同样的,需要在数据库创建一个访问表,官方给的例子如下(可以根据需要自己定制):
CREATE TABLE access (
id INT UNSIGNED AUTO_INCREMENT NOT NULL,
remoteHost CHAR(15) NOT NULL,
userName CHAR(15),
timestamp TIMESTAMP NOT NULL,
virtualHost VARCHAR(64) NOT NULL,
method VARCHAR(8) NOT NULL,
query VARCHAR(255) NOT NULL,
status SMALLINT UNSIGNED NOT NULL,
bytes INT UNSIGNED NOT NULL,
referer VARCHAR(128),
userAgent VARCHAR(128),
PRIMARY KEY (id),
INDEX (timestamp),
INDEX (remoteHost),
INDEX (virtualHost),
INDEX (query),
INDEX (userAgent)
);

  对于访问日志,因为数据量比较大,可以分表存放,对于信息统计,可是设置一个定时器,定时在某个时刻统计当日/当周的访问结果。得到数据里,下面就是网页呈现的问题,借助一下插件,如jfreechart或其他图表插件,下面是我搜出来的一个应用,大家可以大概感受一下效果,具体做法可以参考本文。

http://www.blogjava.net/xmatthew/archive/2008/04/14/192450.html

张贴一张其博客的图片:

image

附录:

pattern 模式详细的参数设置:

%a - 远端IP地址 
%A - 本地IP地址 
%b - 发送的字节数,不包括HTTP头,如果为0,使用"-" 
%B - 发送的字节数,不包括HTTP头 
%h - 远端主机名(如果resolveHost=false,远端的IP地址) 
%H - 请求协议 
%l - 从identd返回的远端逻辑用户名(总是返回 '-') 
%m - 请求的方法(GET,POST,等) 
%p - 收到请求的本地端口号 
%q - 查询字符串(如果存在,以 '?'开始) 
%r - 请求的第一行,包含了请求的方法和URI 
%s - 响应的状态码 
%S - 用户的session ID 
%t - 日志和时间,使用通常的Log格式
%u - 认证以后的远端用户(如果存在的话,否则为'-') 
%U - 请求的URI路径 
%v - 本地服务器的名称 
%D - 处理请求的时间,以毫秒为单位 
%T - 处理请求的时间,以秒为单位 

%{xxx}i  获取header 的某个 attribute 
%{xxx}c  获取cookie 的某个 attribute 
%{xxx}o  获取response 的某个 attribute 
%{xxx}r  获取request 的某个 attribute 
%{xxx}s  获取session 的某个 attribute 
%{xxx}t  获取dateAndTime 的某个 attribute

 


本文转自peiquan 51CTO博客,原文链接:http://blog.51cto.com/peiquan/1580189



相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
相关文章
|
3天前
|
监控 Java 应用服务中间件
Spring Boot整合Tomcat底层源码分析
【11月更文挑战第20天】Spring Boot是一个用于快速构建基于Spring框架的应用程序的开源框架。它通过自动配置和起步依赖等特性,大大简化了Spring应用的开发和部署过程。本文将深入探讨Spring Boot的背景历史、业务场景、功能点以及底层原理,并通过Java代码手写模拟Spring Boot的启动过程,特别是其与Tomcat的整合。
19 1
|
2月前
|
机器学习/深度学习 存储 监控
Elasticsearch 在日志分析中的应用
【9月更文第2天】随着数字化转型的推进,日志数据的重要性日益凸显。日志不仅记录了系统的运行状态,还提供了宝贵的洞察,帮助企业改进产品质量、优化用户体验以及加强安全防护。Elasticsearch 作为一个分布式搜索和分析引擎,因其出色的性能和灵活性,成为了日志分析领域的首选工具之一。本文将探讨如何使用 Elasticsearch 作为日志分析平台的核心组件,并详细介绍 ELK(Elasticsearch, Logstash, Kibana)栈的搭建和配置流程。
266 4
|
3月前
|
Java API 开发者
你的应用是不是只有service_stdout.log?
本文记录了logback-spring.xml文件不生效问题的整体排查思路。
|
9天前
|
开发框架 前端开发 .NET
Abp源码分析之Serilog日志
本文介绍了如何在ASP.NET Core MVC项目和ABP框架中配置和使用Serilog日志库。通过修改`Program.cs`文件,配置日志级别、输出目标,并在控制器和页面模型中记录日志。具体步骤包括新建MVC项目、配置日志、修改控制器和首页代码。最终,日志将被记录到控制台和`Logs/logs.txt`文件中。
24 1
Abp源码分析之Serilog日志
|
11天前
|
存储 SQL 监控
|
11天前
|
自然语言处理 监控 数据可视化
|
2月前
|
监控 网络协议 应用服务中间件
【Tomcat源码分析】从零开始理解 HTTP 请求处理 (第一篇)
本文详细解析了Tomcat架构中复杂的`Connector`组件。作为客户端与服务器间沟通的桥梁,`Connector`负责接收请求、封装为`Request`和`Response`对象,并传递给`Container`处理。文章通过四个关键问题逐步剖析了`Connector`的工作原理,并深入探讨了其构造方法、`init()`与`start()`方法。通过分析`ProtocolHandler`、`Endpoint`等核心组件,揭示了`Connector`初始化及启动的全过程。本文适合希望深入了解Tomcat内部机制的读者。欢迎关注并点赞,持续更新中。如有问题,可搜索【码上遇见你】交流。
【Tomcat源码分析】从零开始理解 HTTP 请求处理 (第一篇)
|
2月前
|
人工智能 前端开发 Java
【Tomcat源码分析】启动过程深度解析 (二)
本文深入探讨了Tomcat启动Web应用的过程,重点解析了其加载ServletContextListener及Servlet的机制。文章从Bootstrap反射调用Catalina的start方法开始,逐步介绍了StandardServer、StandardService、StandardEngine、StandardHost、StandardContext和StandardWrapper的启动流程。每个组件通过Lifecycle接口协调启动,子容器逐层启动,直至整个服务器完全启动。此外,还详细分析了Pipeline及其Valve组件的作用,展示了Tomcat内部组件间的协作机制。
【Tomcat源码分析】启动过程深度解析 (二)
|
1月前
|
应用服务中间件 数据库
Tomcat 的数据库连接池设置与应用
Tomcat 的数据库连接池设置与应用
38 3