Log4j2整合ELK搭建实时日志平台

本文涉及的产品
检索分析服务 Elasticsearch 版,2核4GB开发者规格 1个月
日志服务 SLS,月写入数据量 50GB 1个月
简介: Log4j2整合ELK搭建实时日志平台

image.png

Log4j2为我们提供SocketAppender,使得我们可以通过TCP或UDP发送日志,ELK是Logstash+ElasticSearch+Kibana,其中,Logstash负责收集日志,ElasticSearch负责存储日志,而Kibana提供界面查看日志信息,本文主要讲述Logstash与Log4j2进行连接,关于搭建ELK平台可以参考这篇博客ELK部署笔记(docker-compose部署)


一、springboot的默认日志框架logback换成log4j2


1.剔除logback(dependencies里的第一个dependency的exclusion)和引入log4j2的pom依赖

   

        <!--这个starter-web肩负着剔除logback的重任,一定要放在第一个位置-->
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-web</artifactId>
            <!--去掉springboot自带的logback日志框架,因为项目要用log4j2框架-->
            <exclusions>
                <exclusion>
                    <groupId>org.springframework.boot</groupId>
                    <artifactId>spring-boot-starter-logging</artifactId>
                </exclusion>
            </exclusions>
        </dependency>
        <!--添加log4j2相关jar包-->
        <dependency>
            <groupId>org.apache.logging.log4j</groupId>
            <artifactId>log4j-api</artifactId>
            <version>2.7</version>
        </dependency>
        <dependency>
            <groupId>org.apache.logging.log4j</groupId>
            <artifactId>log4j-core</artifactId>
            <version>2.7</version>
        </dependency>

2.配置log4j2.xml和引入到项目


<?xml version="1.0" encoding="UTF-8"?>
<Configuration>
    <Properties>
        <Property name="LOG_PATTERN">{"logger": "%logger", "level": "%level", "msg": "%message"}%n</Property>
    </Properties>
    <Appenders>
        <Console name="Console" target="SYSTEM_OUT" follow="true">
            <PatternLayout pattern="${LOG_PATTERN}"/>
        </Console>
        <Socket name="logstash" host="logstash服务器IP地址" port="自定义端口" protocol="TCP">    
            <PatternLayout pattern="${LOG_PATTERN}"/>
        </Socket>
    </Appenders>
    <Loggers>
        <Root level="INFO">
            <AppenderRef ref="Console"/>
            <AppenderRef ref="logstash-tcp" />
        </Root>
    </Loggers>
</Configuration>


3.在application.yml里引入配置

#指定log4j2的路径
    logging:
      config:
        classpath:
          log4j2.xml

4.在代码中使用


//引入
import org.apache.logging.log4j.LogManager;
import org.apache.logging.log4j.Logger;
public class MyClass{
    private static final Logger logger = LogManager.getLogger(CarController.class);
    public void myMethod(){
        logger.error("error occurs here!");
    }
}

二、Logstash与Log4j2进行连接测试


首先进行安装Logstash(本文以6.3.2版本为例)

tar -zxvf logstash-6.3.2.tar.gz


随后进入Logstash根目录,并创建conf文件目录

cd logstash-6.3.2

mkdir conf


添加Logstash配置文件

vim ./conf/logstash.conf


配置内容如下:

input {
    tcp {
        port => 与Log4j2中对应的端口
        codec => json
    }
}
output {
    elasticsearch {
        hosts => "elasticsearch的ip和端口号"
            index => "es-message-%{+YYYY.MM.dd}"
    }
    stdout { codec => rubydebug }
}

./bin/logstash -f ./conf/logstash.conf


使用netstat -tlunp查看9600端口是否启动成功:

1665321627432.jpg

打开web页面,并添加索引,可以看到已经可以监测到实时的日志

1665321646156.jpg

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
相关文章
|
消息中间件 监控 数据可视化
一口气完成ELK 日志平台的搭建,我感觉我又行了!
最近在玩 ELK 日志平台,它是 Elastic 公司推出的一整套日志收集、分析和展示的解决方案。
|
1月前
|
存储 消息中间件 网络协议
日志平台-ELK实操系列(一)
日志平台-ELK实操系列(一)
|
5月前
|
存储 监控 安全
ELK7.x日志系统搭建 1. elk基础搭建
ELK7.x日志系统搭建 1. elk基础搭建
158 0
|
存储 消息中间件 数据可视化
ELK-EFK-v7.12.0 日志平台部署
ELK-EFK-v7.12.0 日志平台部署
326 0
ELK-EFK-v7.12.0 日志平台部署
|
JSON 应用服务中间件 开发工具
elk日志系统搭建
开源分布式搜索引擎,它的特点有:分布式,零配置,自动发现,索引自动分片, 索引副本机制,restful 风格接口,多数据源,自动搜索负载等
183 0
|
监控 Java 索引
ELK 日志服务的搭建过程
主要介绍 elasticsearch、kibna、logstash 和 filebeat 在 centos7.9 上的部署。
131 1
|
存储 SQL 运维
日志服务 SLS 和开源 ELK 全面对比
本文阐述了阿里云日志服务 SLS 和开源 ELK 在性能、成本、功能等维度的对比分析。 如需了解从ES平滑迁移到SLS 攻略,请参考文章链接https://developer.aliyun.com/article/1412611
32955 1
|
存储 索引
EFK实战二 - 日志集成
EFK实战二 - 日志集成
287 0
|
消息中间件 数据可视化 JavaScript
日志可视化方案:ELK+filebeat
日志可视化方案:ELK+filebeat
|
数据采集 监控 Linux
​数据采集神器Telegraf对接开源日志服务器GrayLog
​数据采集神器Telegraf对接开源日志服务器GrayLog
730 0
​数据采集神器Telegraf对接开源日志服务器GrayLog