Log4j2整合ELK搭建实时日志平台

简介: Log4j2整合ELK搭建实时日志平台

image.png

Log4j2为我们提供SocketAppender,使得我们可以通过TCP或UDP发送日志,ELK是Logstash+ElasticSearch+Kibana,其中,Logstash负责收集日志,ElasticSearch负责存储日志,而Kibana提供界面查看日志信息,本文主要讲述Logstash与Log4j2进行连接,关于搭建ELK平台可以参考这篇博客ELK部署笔记(docker-compose部署)


一、springboot的默认日志框架logback换成log4j2


1.剔除logback(dependencies里的第一个dependency的exclusion)和引入log4j2的pom依赖

   

        <!--这个starter-web肩负着剔除logback的重任,一定要放在第一个位置-->
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-web</artifactId>
            <!--去掉springboot自带的logback日志框架,因为项目要用log4j2框架-->
            <exclusions>
                <exclusion>
                    <groupId>org.springframework.boot</groupId>
                    <artifactId>spring-boot-starter-logging</artifactId>
                </exclusion>
            </exclusions>
        </dependency>
        <!--添加log4j2相关jar包-->
        <dependency>
            <groupId>org.apache.logging.log4j</groupId>
            <artifactId>log4j-api</artifactId>
            <version>2.7</version>
        </dependency>
        <dependency>
            <groupId>org.apache.logging.log4j</groupId>
            <artifactId>log4j-core</artifactId>
            <version>2.7</version>
        </dependency>

2.配置log4j2.xml和引入到项目


<?xml version="1.0" encoding="UTF-8"?>
<Configuration>
    <Properties>
        <Property name="LOG_PATTERN">{"logger": "%logger", "level": "%level", "msg": "%message"}%n</Property>
    </Properties>
    <Appenders>
        <Console name="Console" target="SYSTEM_OUT" follow="true">
            <PatternLayout pattern="${LOG_PATTERN}"/>
        </Console>
        <Socket name="logstash" host="logstash服务器IP地址" port="自定义端口" protocol="TCP">    
            <PatternLayout pattern="${LOG_PATTERN}"/>
        </Socket>
    </Appenders>
    <Loggers>
        <Root level="INFO">
            <AppenderRef ref="Console"/>
            <AppenderRef ref="logstash-tcp" />
        </Root>
    </Loggers>
</Configuration>


3.在application.yml里引入配置

#指定log4j2的路径
    logging:
      config:
        classpath:
          log4j2.xml

4.在代码中使用


//引入
import org.apache.logging.log4j.LogManager;
import org.apache.logging.log4j.Logger;
public class MyClass{
    private static final Logger logger = LogManager.getLogger(CarController.class);
    public void myMethod(){
        logger.error("error occurs here!");
    }
}

二、Logstash与Log4j2进行连接测试


首先进行安装Logstash(本文以6.3.2版本为例)

tar -zxvf logstash-6.3.2.tar.gz


随后进入Logstash根目录,并创建conf文件目录

cd logstash-6.3.2

mkdir conf


添加Logstash配置文件

vim ./conf/logstash.conf


配置内容如下:

input {
    tcp {
        port => 与Log4j2中对应的端口
        codec => json
    }
}
output {
    elasticsearch {
        hosts => "elasticsearch的ip和端口号"
            index => "es-message-%{+YYYY.MM.dd}"
    }
    stdout { codec => rubydebug }
}

./bin/logstash -f ./conf/logstash.conf


使用netstat -tlunp查看9600端口是否启动成功:

1665321627432.jpg

打开web页面,并添加索引,可以看到已经可以监测到实时的日志

1665321646156.jpg

相关实践学习
通过日志服务实现云资源OSS的安全审计
本实验介绍如何通过日志服务实现云资源OSS的安全审计。
相关文章
|
JSON Java 数据格式
微服务框架(十三)Spring Boot Logstash日志采集
  本文为Spring Boot中Log4j2对接Logstash,进行日志采集。Logstah只支持log4j,使用log4j2时需要通过TCP插件调用 此系列文章将会描述Java框架Spring Boot、服务治理框架Dubbo、应用容器引擎Docker,及使用Spring Boot集成Dubbo、Mybatis等开源框架,其中穿插着Spring Boot中日志切面等技术的实现,然后通过gitlab-CI以持续集成为Docker镜像。
|
Java 应用服务中间件
程序启动时报: Invalid byte tag in constant pool: 19
程序启动时报: Invalid byte tag in constant pool: 19
744 0
|
6月前
|
负载均衡 算法 安全
基于Reactor模式的高性能网络库之线程池组件设计篇
EventLoopThreadPool 是 Reactor 模式中实现“一个主线程 + 多个工作线程”的关键组件,用于高效管理多个 EventLoop 并在多核 CPU 上分担高并发 I/O 压力。通过封装 Thread 类和 EventLoopThread,实现线程创建、管理和事件循环的调度,形成线程池结构。每个 EventLoopThread 管理一个子线程与对应的 EventLoop(subloop),主线程(base loop)通过负载均衡算法将任务派发至各 subloop,从而提升系统性能与并发处理能力。
334 3
|
Java Spring
深入理解Spring Boot中的Profile配置
深入理解Spring Boot中的Profile配置
|
JavaScript 前端开发 开发者
太爽了!这10个 Vite 插件,帮我在开发中节省了大量时间!!
太爽了!这10个 Vite 插件,帮我在开发中节省了大量时间!!
|
存储 监控 算法
XXL-JOB内部机制大揭秘:让任务调度飞起来
【8月更文挑战第14天】在大数据时代,高效的任务调度系统是支撑业务稳定运行与快速迭代的基石。XXL-JOB,作为一款轻量级、分布式任务调度平台,凭借其灵活的配置、强大的扩展性和高可用特性,在众多任务调度框架中脱颖而出。今天,我们就来深入揭秘XXL-JOB的内部机制,看看它是如何让任务调度“飞起来”的。
1020 0
|
消息中间件 Java Kafka
使用Java编写Kafka生产者和消费者示例
使用Java编写Kafka生产者和消费者示例
899 0
|
Java
线程池中线程抛了异常,该如何处理?
【8月更文挑战第27天】在Java多线程编程中,线程池(ThreadPool)是一种常用的并发处理工具,它能够有效地管理线程的生命周期,提高资源利用率,并简化并发编程的复杂性。然而,当线程池中的线程在执行任务时抛出异常,如果不妥善处理,这些异常可能会导致程序出现未预料的行为,甚至崩溃。因此,了解并掌握线程池异常处理机制至关重要。
1107 0
|
应用服务中间件
Tomcat请求特殊字符参数问题:Invalid character found in the request target. The valid characters are defined in
Tomcat请求特殊字符参数问题:Invalid character found in the request target. The valid characters are defined in
1485 0
Tomcat请求特殊字符参数问题:Invalid character found in the request target. The valid characters are defined in