Tomcat的访问日志-localhost_access_log和记录Post请求参数

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介: Tomcat的访问日志-localhost_access_log和记录Post请求参数


  1. tomcat的日志分类

http://blog.csdn.net/fly910905/article/details/78463909


  1. tomcat产生的访问日志数据  【localhost_access_log.Y-M-D.txt】

它记录的访问的时间,IP,访问的资料等相关信息 


  1. 首先是配置tomcat访问日志数据,配置的方式如下Valve参数说明:


className        官方文档上说了:This MUST be set to org.apache.catalina.valves.AccessLogValve to use the default access log valve。
directory 日志文件存放的目录。通常设置为tomcat下已有的那个logs文件。
prefix 日志文件的名称前缀。
suffix 日志文件的名称后缀。
pattern 最主要的参数。
pattern。它的参数比较多。可以设置成common,combined两种格式。

common的值:%h %l %u %t %r %s %b

combined的值:%h %l %u %t %r %s %b %{Referer}i %{User-Agent}i   

resolveHosts 如果是true,tomcat会将这个服务器IP地址通过DNS转换为主机名;如果是false,就直接写服务器IP地址。默认false。
rotatable  默认为true,tomcat生成的文件名为prefix(前缀)+.+时间(一般是按天算)+.+suffix(后缀),如:localhost_access_log.2007-09-22.txt。设置为false的话,tomcat会忽略时间,不会生成新文件,文件名就是:localhost_access_log.txt。长此以往,这个日志文件会超级大
condition 这个参数不太实用,可设置任何值,比如设置成condition="tkq",那么只有当ServletRequest.getAttribute("tkq")为空的时候,该条日志才会被记录下来。

fileDateFormat                                                                                 
顾名思义,就是时间格式嘛。但这个时间格式是针对日志文件名起作用的。咱们生成的日志文件全名:localhost_access_log.2016-09-22.txt,这里面的2016-09-22就是这么来的。如果想让tomcat每小时生成一个日志文件,也很简单,将这个值设置为:fileDateFormat="yyyy-MM-dd.HH",当然也可以按分钟生成什么的,自己改改吧^_^
  1. 打开${catalina}/conf/server.xml文件
  2. 注:${catalina}是tomcat的安装目录
 <Valve className="org.apache.catalina.valves.AccessLogValve" directory="logs"
               prefix="localhost_access_log" suffix=".txt"
               pattern="%h %l %u %t &quot;%r&quot; %s %b" />


  1. tomcat访问日志关闭:


 只需要将${catalina}/conf/server.xml里面的下列申明注释掉再重启tomcat就好 

  1.  具体的日志产生样式说明如下(从官方文档中摘录)
* %a - Remote IP address // 这是记录访问者的IP,在日志里是127.0.0.1
* %A - Local IP address // 这是记录本地服务器的IP,在日志里是192.168.254.108
* %b - Bytes sent, excluding HTTP headers, or '-' if zero // 发送信息的字节数,不包括http头,如果字节数为0的话,显示为-
* %B - Bytes sent, excluding HTTP headers // 发送信息的字节数,不包括http头。
* %h - Remote host name (or IP address if resolveHosts is false) //服务器的名称。如果resolveHosts为false的话,这里就是IP地址了,例如我的日志里是10.217.14.16
* %H - Request protocol //访问者的协议,这里是HTTP/1.0
* %l - Remote logical username from identd (always returns '-') // 官方解释:Remote logical username from identd (可能这样翻译:记录浏览者进行身份验证时提供的名字)(always returns '-')
* %m - Request method (GET, POST, etc.) // 访问的方式,是GET还是POST
* %p - Local port on which this request was received // 本地接收访问的端口
* %q - Query string (prepended with a '?' if it exists) // 比如你访问的是aaa.jsp?bbb=ccc,那么这里就显示?bbb=ccc,就是querystring的意思
* %r - First line of the request (method and request URI) // First line of the request (method and request URI) 请求的方法和URL
* %s - HTTP status code of the response // http的响应状态码
* %S - User session ID // 用户的session ID,这个session ID大家可以另外查一下详细的解释,反正每次都会生成不同的session ID
* %t - Date and time, in Common Log Format // 请求时间
* %u - Remote user that was authenticated (if any), else '-' // 得到了验证的访问者,否则就是"-"
* %U - Requested URL path // 访问的URL地址,我这里是/rightmainima/leftbott4.swf
* %v - Local server name // 服务器名称,可能就是你url里面写的那个吧,我这里是localhost
* %D - Time taken to process the request, in millis // 请求消耗的时间,以毫秒记
* %T - Time taken to process the request, in seconds //请求消耗的时间,以秒记
There is also support to write information from the cookie, incoming header, the Session or something else in the ServletRequest.
It is modeled after the apache syntax:
* %{xxx}i for incoming headers
* %{xxx}c for a specific cookie
* %{xxx}r xxx is an attribute in the ServletRequest
* %{xxx}s xxx is an attribute in the HttpSession


  1. 示例【格式为 %h %l %u %t "%r" %s %b


140.205.201.39 - - [31/Aug/2017:17:06:52 +0800] "GET /clusters.jsf HTTP/1.1" 404 -
60.191.38.77 - - [31/Aug/2017:17:11:35 +0800] "GET / HTTP/1.1" 404 -
61.232.253.54 - - [31/Aug/2017:19:04:53 +0800] "GET / HTTP/1.1" 404 -
100.116.151.190 - - [31/Aug/2017:20:45:17 +0800] "GET /CloudPayment/bill/querySelfPayList.do HTTP/1.0" 200 60
100.116.41.2 - - [31/Aug/2017:20:45:34 +0800] "GET /CloudPayment/user/pay.do HTTP/1.0" 200 1422
100.116.151.145 - - [31/Aug/2017:20:46:22 +0800] "GET /CloudPayment/user/pay.do HTTP/1.0" 200 1422
100.116.41.41 - - [31/Aug/2017:20:46:42 +0800] "GET /CloudPayment/user/pay.do HTTP/1.0" 200 1422
100.116.151.181 - - [31/Aug/2017:20:47:21 +0800] "GET /CloudPayment/user/pay.do HTTP/1.0" 200 1422
100.116.151.181 - - [31/Aug/2017:20:47:22 +0800] "GET /CloudPayment/user/pay.do HTTP/1.0" 200 1422

记录Post请求参数


另外%r参数能打印出请求的urlget参数。如果url指定访问方式是post,post的参数是打印不出来的。当需要打印post参数,该怎么办?


server.xml配置


tomcat访问日志格式配置,在config/server.xmlHost标签下加上

<Valve className="org.apache.catalina.valves.AccessLogValve" directory="logs"

prefix="localhost_access_log." suffix=".txt"

pattern="%h %l %u %t &quot;%r&quot; [%{postdata}r] %s %{Referer}i %{User-Agent}i %T %b" />


postdata过滤器


package com.xiaoxiliu
import java.io.IOException;
import java.util.Enumeration;
import javax.servlet.Filter;
import javax.servlet.FilterChain;
import javax.servlet.FilterConfig;
import javax.servlet.ServletException;
import javax.servlet.ServletRequest;
import javax.servlet.ServletResponse;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
public final class PostDataDumperFilter implements Filter {
  Logger logger = LoggerFactory.getLogger(getClass());
  private FilterConfig filterConfig = null;
  public void destroy() {
    this.filterConfig = null;
  }
  public void doFilter(ServletRequest request, ServletResponse response, FilterChain chain)
      throws IOException, ServletException {
    if (filterConfig == null)
      return;
    Enumeration<String> names = request.getParameterNames();
    StringBuilder output = new StringBuilder();
    while (names.hasMoreElements()) {
      String name = (String) names.nextElement();
      output.append(name).append("=");
      String values[] = request.getParameterValues(name);
      for (int i = 0; i < values.length; i++) {
        if (i > 0) {
          output.append("' ");
        }
        output.append(values[i]);
      }
      if (names.hasMoreElements())
        output.append("&");
    }
    request.setAttribute("postdata", output);
    logger.debug("postdata: " + output);
    chain.doFilter(request, response);
  }
  public void init(FilterConfig filterConfig) throws ServletException {
    this.filterConfig = filterConfig;
  }
}


在web.xml中添加配置该filter


<filter>
<filter-name>post-data-dumper-filter</filter-name>
<filter-class>com.xiaoxiliu.PostDataDumperFilter</filter-class>
</filter>
<filter-mapping>
<filter-name>post-data-dumper-filter</filter-name>
<url-pattern>/*</url-pattern>
</filter-mapping>

 

查询访问最耗时的接口


这就要用到万能的awk了 我们的日志倒数第二列显示的访问时间。

cat logs/localhost_access_log.2016-10-25.txt | awk '{print $(NF-1)" "$0}' | sort -n -r| awk '{$1="";print $0}'  按照倒数第二列由大到小显示接口以及访问时间。

这样我们就能找出那些借口耗时较大,然后对其进行优化,提高用户体验。

 

参考来源:http://blog.csdn.net/qq_30121245/article/details/52861935

参考来源:http://tomcat.apache.org/tomcat-5.5-doc/config/valve.html

 


相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
目录
打赏
0
0
0
0
3335
分享
相关文章
多项目分接口:在同一Tomcat下使用不同的端口号访问不同的项目。
总而言之,要在同一Tomcat服务器下使用不同端口访问不同项目,关键是通过对server.xml文件的配置创建多个 `<Service>`实例和相应的虚拟主机。这种方法既实现了项目隔离,也有助于优化资源利用率。通过遵循本文的详细说明,很容易地就能满足需求实现多项目分接口。
100 38
【日志框架整合】Slf4j、Log4j、Log4j2、Logback配置模板
本文介绍了Java日志框架的基本概念和使用方法,重点讨论了SLF4J、Log4j、Logback和Log4j2之间的关系及其性能对比。SLF4J作为一个日志抽象层,允许开发者使用统一的日志接口,而Log4j、Logback和Log4j2则是具体的日志实现框架。Log4j2在性能上优于Logback,推荐在新项目中使用。文章还详细说明了如何在Spring Boot项目中配置Log4j2和Logback,以及如何使用Lombok简化日志记录。最后,提供了一些日志配置的最佳实践,包括滚动日志、统一日志格式和提高日志性能的方法。
2374 31
【日志框架整合】Slf4j、Log4j、Log4j2、Logback配置模板
Tomcat运行日志字符错乱/项目启动时控制台日志乱码问题
总结: 通过以上几种方法,概括如下:指定编码格式、设置JVM的文件编码、修改控制台输出编码、修正JSP页面编码和设置过滤器。遵循这些步骤,你可以依次排查和解决Tomcat运行日志字符错乱及项目启动时控制台日志乱码问题。希望这些建议能对你的问题提供有效的解决方案。
291 16
MySQL日志详解——日志分类、二进制日志bin log、回滚日志undo log、重做日志redo log
MySQL日志详解——日志分类、二进制日志bin log、回滚日志undo log、重做日志redo log、原理、写入过程;binlog与redolog区别、update语句的执行流程、两阶段提交、主从复制、三种日志的使用场景;查询日志、慢查询日志、错误日志等其他几类日志
397 35
MySQL日志详解——日志分类、二进制日志bin log、回滚日志undo log、重做日志redo log
Tomcat log日志解析
理解和解析Tomcat日志文件对于诊断和解决Web应用中的问题至关重要。通过分析 `catalina.out`、`localhost.log`、`localhost_access_log.*.txt`、`manager.log`和 `host-manager.log`等日志文件,可以快速定位和解决问题,确保Tomcat服务器的稳定运行。掌握这些日志解析技巧,可以显著提高运维和开发效率。
227 13
|
9月前
|
Logback 与 log4j2 性能对比:谁才是日志框架的性能王者?
【10月更文挑战第5天】在Java开发中,日志框架是不可或缺的工具,它们帮助我们记录系统运行时的信息、警告和错误,对于开发人员来说至关重要。在众多日志框架中,Logback和log4j2以其卓越的性能和丰富的功能脱颖而出,成为开发者们的首选。本文将深入探讨Logback与log4j2在性能方面的对比,通过详细的分析和实例,帮助大家理解两者之间的性能差异,以便在实际项目中做出更明智的选择。
807 3
图解MySQL【日志】——Redo Log
Redo Log(重做日志)是数据库中用于记录数据页修改的物理日志,确保事务的持久性和一致性。其主要作用包括崩溃恢复、提高性能和保证事务一致性。Redo Log 通过先写日志的方式,在内存中缓存修改操作,并在适当时候刷入磁盘,减少随机写入带来的性能损耗。WAL(Write-Ahead Logging)技术的核心思想是先将修改操作记录到日志文件中,再择机写入磁盘,从而实现高效且安全的数据持久化。Redo Log 的持久化过程涉及 Redo Log Buffer 和不同刷盘时机的控制参数(如 `innodb_flush_log_at_trx_commit`),以平衡性能与数据安全性。
160 5
图解MySQL【日志】——Redo Log
简单聊聊MySQL的三大日志(Redo Log、Binlog和Undo Log)各有什么区别
在MySQL数据库管理中,理解Redo Log(重做日志)、Binlog(二进制日志)和Undo Log(回滚日志)至关重要。Redo Log确保数据持久性和崩溃恢复;Binlog用于主从复制和数据恢复,记录逻辑操作;Undo Log支持事务的原子性和隔离性,实现回滚与MVCC。三者协同工作,保障事务ACID特性。文章还详细解析了日志写入流程及可能的异常情况,帮助深入理解数据库日志机制。
343 0
MySQL事务日志-Undo Log工作原理分析
事务的持久性是交由Redo Log来保证,原子性则是交由Undo Log来保证。如果事务中的SQL执行到一半出现错误,需要把前面已经执行过的SQL撤销以达到原子性的目的,这个过程也叫做"回滚",所以Undo Log也叫回滚日志。
220 7
MySQL事务日志-Undo Log工作原理分析
图解MySQL【日志】——Undo Log
Undo Log(回滚日志)是 MySQL 中用于实现事务原子性和一致性的关键机制。在默认的自动提交模式下,MySQL 隐式开启事务,每条增删改语句都会记录到 Undo Log 中。其主要作用包括:
165 0
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等

登录插画

登录以查看您的控制台资源

管理云资源
状态一览
快捷访问