ElK分析tomcat的Catalina.out日志

本文涉及的产品
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
日志服务 SLS,月写入数据量 50GB 1个月
简介:

场景:生产环境可集中式分析特定日志,便于管理,以及快速解决程序问题等。

常见:nginx、apache的访问日志,错误日志 catalina.out日志等。可以把错误日志提取出并解决。

安装方式:

1)编译安装 常用组合 ELK+Reids+插件

1.1)优点:方便管理

1.2)缺点:需要手动安装配置,相对yum繁琐

2)yum安装  

2.1)优点:安装配置方便

2.2)缺点:相对编译不太好管理(依赖关系等因素)



My eg:

注意事项:elk安装比较简单,但是要注意最低配置。这里我个人用的是编译安装,并且自己写的脚本。yum安装脚本可直接用。

1
2
3
4
5
6
7
8
9
10
11
[root@elk config] # /etc/init.d/node-elasticsearch status
  node(elasticsearch) is running... 
[root@elk config] # /etc/init.d/elasticsearch status
  elasticsearch  is already running... 
[root@elk config] # java -version
java version  "1.8.0_112"
Java(TM) SE Runtime Environment (build 1.8.0_112-b15)
Java HotSpot(TM) 64-Bit Server VM (build 25.112-b15, mixed mode)
[root@elk config] # /etc/init.d/kibana status
  kibana is running... 
[root@elk config] #

wKiom1h15uaC1QsEAABh48bhY_E144.png-wh_50

注意地方:

1
2
3
4
5
6
7
8
9
10
11
12
elasticsearch.yml:
[root@elk config] # cat elasticsearch.yml|grep -v"$^"|grep -v "#"
cluster.name: elk
node.name: node1
network.host: 0.0.0.0
http.port: 9200
http.cors.enabled:  true
http.cors.allow-origin:  "*"
[root@elk config] #
#elasticsearch配置允许跨域访问,这样head插件可以访问es。
#http.cors.enabled: true
#http.cors.allow-origin: "*"
1
2
3
4
5
kibana.yml :
[root@elk config] # cat kibana.yml |grep elasticsearch.url
#elasticsearch.url: “http://localhost:9200”
elasticsearch.url: “http: //192 .168.1.225:9200”
#url访问


logstash获取日志样板:(重点)

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
[root@elk config] #
[root@elk config] # cat catalinalog.conf 
input {
   file  {
     path =>  "/usr/local/tomcat-7.x/logs/catalina.out"   #tomcat的Catalina.out日志路径
     start_position =>  "beginning"
   }
}
filter {
   if  [path] =~  "access"  {
     mutate { replace => {  "type"  =>  "tomcat catalina.out"  } }
     grok {
       match => {  "message"  =>  "%{COMBINEDAPACHELOG}"  }
     }
   }
   date  {
     match => [  "timestamp"  "dd/MMM/yyyy:HH:mm:ss Z"  ]
   }
}
output {
   elasticsearch {
     hosts => [ "192.168.1.225:9200" ]    #elasticsearch地址
   }
   stdout { codec => rubydebug }
}
[root@elk config] #

启动:logstash -f catalinalog.conf (测试)

wKioL1h17JKxiz_CAAEBN7AelG4305.png-wh_50

kibana访问:

wKioL1h18THzN7gcAAF3i2SGpMs513.png-wh_50

摘取tomcat最后启动成功状态日志:

1
2
3
January 11th 2017, 15:39:52.990path: /usr/local/tomcat-7 .x /logs/catalina .out @timestamp:January 11th 2017, 15:39:52.990 @version:1 host:0.0.0.0 message:信息: Destroying ProtocolHandler [ "ajp-bio-8009" ] tags: _id:AVmMeAegJ7ojQvedm4_L _type:logs _index:logstash-2017.01.11 _score: -
January 11th 2017, 15:39:52.989path: /usr/local/tomcat-7 .x /logs/catalina .out @timestamp:January 11th 2017, 15:39:52.989 @version:1 host:0.0.0.0 message:信息: Stopping ProtocolHandler [ "ajp-bio-8009" ] tags: _id:AVmMeAegJ7ojQvedm4_H _type:logs _index:logstash-2017.01.11 _score: -
January 11th 2017, 15:39:52.989path: /usr/local/tomcat-7 .x /logs/catalina .out @timestamp:January 11th 2017, 15:39:52.989 @version:1 host:0.0.0.0 message:信息: Stopping ProtocolHandler [ "http-bio-80" ] tags: _id:AVmMeAegJ7ojQvedm4_F _type:logs _index:logstash-2017.01.11 _score: -


转载至:http://renzhiyuan.blog.51cto.com/10433137/1891134?b2

本文转自  亮公子  51CTO博客,原文链接:http://blog.51cto.com/iyull/1892522


相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
相关文章
|
17天前
|
机器学习/深度学习 人工智能 运维
智能日志分析:用AI点亮运维的未来
智能日志分析:用AI点亮运维的未来
128 15
|
1月前
|
SQL 关系型数据库 MySQL
MySQL事务日志-Undo Log工作原理分析
事务的持久性是交由Redo Log来保证,原子性则是交由Undo Log来保证。如果事务中的SQL执行到一半出现错误,需要把前面已经执行过的SQL撤销以达到原子性的目的,这个过程也叫做"回滚",所以Undo Log也叫回滚日志。
MySQL事务日志-Undo Log工作原理分析
|
2月前
|
存储 运维 监控
Linux--深入理与解linux文件系统与日志文件分析
深入理解 Linux 文件系统和日志文件分析,对于系统管理员和运维工程师来说至关重要。文件系统管理涉及到文件的组织、存储和检索,而日志文件则记录了系统和应用的运行状态,是排查故障和维护系统的重要依据。通过掌握文件系统和日志文件的管理和分析技能,可以有效提升系统的稳定性和安全性。
56 7
|
2月前
|
监控 安全 Linux
启用Linux防火墙日志记录和分析功能
为iptables启用日志记录对于监控进出流量至关重要
|
2月前
|
监控 应用服务中间件 定位技术
要统计Nginx的客户端IP,可以通过分析Nginx的访问日志文件来实现
要统计Nginx的客户端IP,可以通过分析Nginx的访问日志文件来实现
198 3
|
3月前
|
存储 SQL 监控
|
3月前
|
运维 监控 安全
|
3月前
|
存储 监控 安全
|
3月前
|
监控 关系型数据库 MySQL
分析慢查询日志
【10月更文挑战第29天】分析慢查询日志
81 3
|
3月前
|
监控 关系型数据库 数据库
怎样分析慢查询日志?
【10月更文挑战第29天】怎样分析慢查询日志?
101 2