利用 Log4j2 异步保存日志到 MongoDB 中

本文涉及的产品
云数据库 MongoDB,独享型 2核8GB
推荐场景:
构建全方位客户视图
日志服务 SLS,月写入数据量 50GB 1个月
简介: 利用 Log4j2 异步保存日志到 MongoDB 中

需求


将 Log4j2 日志文件写到 MongoDB 中,并且希望能按自定义字段进行保存。

添加依赖


由于此工程没有使用 Spring / SpringBoot 框架,主要演示怎么配置 Log4j2 配置将日志保存到 MongoDB,如果使用了 SpringBoot 框架,请按 spring-boot-starter-xxxx 的方式配置。

注意版本问题,如果使用 log4j2 2.11.0 以上的版本配置有区别,可以参考 github 上 log4j2 对应 tag 的项目结构

<properties>
    <log4j2.version>2.9.0</log4j2.version>
    <log4j2-nosql.version>2.9.0</log4j2-nosql.version>
    <log4j2-mongodb3.version>2.11.1</log4j2-mongodb3.version>
    <mongodb-driver.version>3.8.2</mongodb-driver.version>
</properties>
<dependency>
    <groupId>org.mongodb</groupId>
    <artifactId>mongo-java-driver</artifactId>
    <version>${mongodb-driver.version}</version>
</dependency>
<dependency>
    <groupId>org.apache.logging.log4j</groupId>
    <artifactId>log4j-nosql</artifactId>
    <version>${log4j2.version}</version>
</dependency>

Log4j2 配置中增加


<appenders>
    ...
    <NoSql name="mongoAppender" bufferSize="10">
        <MongoDb databaseName="phone-schedule" collectionName="asr_log" server="10.0.0.xx" port="xxx" username="xxxx" password="xxxx"/>
    </NoSql>
       <!-- 异步保存数据 -->   
    <Async name="mongoAppenderAsync">
        <AppenderRef ref="mongoAppender" />
    </Async>
    ...
</appenders>
<loggers>
    ...
    <logger name="mongolog" level="info" additivity="false">
        <AppenderRef ref = "mongoAppenderAsync" />
        <!--<AppenderRef ref="Console" />--> <!-- 生产环境要注释掉 -->
    </logger>
    ...
<loggers>

单元测试


@Log4j2(topic = "mongolog")
public class LogTest {
    @Test
    public void testLog() {
        log.info("xxxx");
        log.error("error message");
    }
}

结果:

结论:

从上图中,发现日志已经保存到 MongoDB 中且结构一致(自动创建 Field),同时,无论什么级别的日志都是将消息保存到 message 字段中,如果想保存结构化的信息怎么办?

通过 MDC 增加自定义字段


@Log4j2(topic = "mongolog")
public class LogTest {
    @Test
    public void testLog() {
        MDC.put("sessionId", UUID.randomUUID());
        MDC.put("ask", "Hello");
        MDC.put("asr", "Jack");
        MDC.put("phone", "15011227340");
        MDC.put("audioPath", "/data/file");
        log.info("xxxx");
        MDC.clear();
//        log.error("error message");
    }
}

结果:

结论:

从上图中,可以发现在 contextMap 中已经有5个 Fields 了,然后就方便提供 Restful API 在 Web UI 中 渲染了。

遇到的问题


在本地测试通过之后,打包发布测试环境 错误日志如下:

1. ERROR StatusLogger appenders contains an invalid element or attribute "NoSql"
2. ERROR StatusLogger No appender named mongoAppender was configured
3. Exception in thread "main" java.lang.ExceptionInInitializerError
4. Caused by: org.apache.logging.log4j.core.config.ConfigurationException: No appenders are available for AsyncAppender mongoAppenderAsync
5.         at org.apache.logging.log4j.core.appender.AsyncAppender.start(AsyncAppender.java:120)
6.         at org.apache.logging.log4j.core.config.AbstractConfiguration.start(AbstractConfiguration.java:265)
7.         at org.apache.logging.log4j.core.LoggerContext.setConfiguration(LoggerContext.java:545)
8.         at org.apache.logging.log4j.core.LoggerContext.reconfigure(LoggerContext.java:617)
9.         at org.apache.logging.log4j.core.LoggerContext.reconfigure(LoggerContext.java:634)
10.         at org.apache.logging.log4j.core.LoggerContext.start(LoggerContext.java:229)
11.         at org.apache.logging.log4j.core.impl.Log4jContextFactory.getContext(Log4jContextFactory.java:242)
12.         at org.apache.logging.log4j.core.impl.Log4jContextFactory.getContext(Log4jContextFactory.java:45)
13.         at org.apache.logging.log4j.LogManager.getContext(LogManager.java:174)
14.         at org.apache.logging.log4j.LogManager.getLogger(LogManager.java:618)
解决方案
LOG4J2-691 https://issues.apache.org/jira/browse/LOG4J2-691

默认的 assembly 配置,这样打出一个 jar 包里没有依赖的 lib 目录,可以通过自定义 assembly 文件,指定把什么内容打到包里。

<plugin>
    <artifactId>maven-assembly-plugin</artifactId>
    <configuration>
        <appendAssemblyId>false</appendAssemblyId>
        <descriptorRefs>
            <descriptorRef>jar-with-dependencies</descriptorRef>
        </descriptorRefs>
        <archive>
            <manifest>
                <mainClass>com.gemantic.phone.PhoneServer</mainClass>
            </manifest>
        </archive>
    </configuration>
    <executions>
        <execution>
            <id>make-assembly</id>
            <phase>package</phase>
            <goals>
                <goal>assembly</goal>
            </goals>
        </execution>
    </executions>
</plugin>
相关实践学习
MongoDB数据库入门
MongoDB数据库入门实验。
快速掌握 MongoDB 数据库
本课程主要讲解MongoDB数据库的基本知识,包括MongoDB数据库的安装、配置、服务的启动、数据的CRUD操作函数使用、MongoDB索引的使用(唯一索引、地理索引、过期索引、全文索引等)、MapReduce操作实现、用户管理、Java对MongoDB的操作支持(基于2.x驱动与3.x驱动的完全讲解)。 通过学习此课程,读者将具备MongoDB数据库的开发能力,并且能够使用MongoDB进行项目开发。 &nbsp; 相关的阿里云产品:云数据库 MongoDB版 云数据库MongoDB版支持ReplicaSet和Sharding两种部署架构,具备安全审计,时间点备份等多项企业能力。在互联网、物联网、游戏、金融等领域被广泛采用。 云数据库MongoDB版(ApsaraDB for MongoDB)完全兼容MongoDB协议,基于飞天分布式系统和高可靠存储引擎,提供多节点高可用架构、弹性扩容、容灾、备份回滚、性能优化等解决方案。 产品详情: https://www.aliyun.com/product/mongodb
目录
打赏
0
0
0
0
10
分享
相关文章
【日志框架整合】Slf4j、Log4j、Log4j2、Logback配置模板
本文介绍了Java日志框架的基本概念和使用方法,重点讨论了SLF4J、Log4j、Logback和Log4j2之间的关系及其性能对比。SLF4J作为一个日志抽象层,允许开发者使用统一的日志接口,而Log4j、Logback和Log4j2则是具体的日志实现框架。Log4j2在性能上优于Logback,推荐在新项目中使用。文章还详细说明了如何在Spring Boot项目中配置Log4j2和Logback,以及如何使用Lombok简化日志记录。最后,提供了一些日志配置的最佳实践,包括滚动日志、统一日志格式和提高日志性能的方法。
2477 31
【日志框架整合】Slf4j、Log4j、Log4j2、Logback配置模板
阿里面试:Redis 为啥那么快?怎么实现的100W并发?说出了6大架构,面试官跪地: 纯内存 + 尖端结构 + 无锁架构 + EDA架构 + 异步日志 + 集群架构
阿里面试:Redis 为啥那么快?怎么实现的100W并发?说出了6大架构,面试官跪地: 纯内存 + 尖端结构 + 无锁架构 + EDA架构 + 异步日志 + 集群架构
阿里面试:Redis 为啥那么快?怎么实现的100W并发?说出了6大架构,面试官跪地: 纯内存 + 尖端结构 +  无锁架构 +  EDA架构  + 异步日志 + 集群架构
MySQL日志详解——日志分类、二进制日志bin log、回滚日志undo log、重做日志redo log
MySQL日志详解——日志分类、二进制日志bin log、回滚日志undo log、重做日志redo log、原理、写入过程;binlog与redolog区别、update语句的执行流程、两阶段提交、主从复制、三种日志的使用场景;查询日志、慢查询日志、错误日志等其他几类日志
431 35
MySQL日志详解——日志分类、二进制日志bin log、回滚日志undo log、重做日志redo log
|
9月前
|
Logback 与 log4j2 性能对比:谁才是日志框架的性能王者?
【10月更文挑战第5天】在Java开发中,日志框架是不可或缺的工具,它们帮助我们记录系统运行时的信息、警告和错误,对于开发人员来说至关重要。在众多日志框架中,Logback和log4j2以其卓越的性能和丰富的功能脱颖而出,成为开发者们的首选。本文将深入探讨Logback与log4j2在性能方面的对比,通过详细的分析和实例,帮助大家理解两者之间的性能差异,以便在实际项目中做出更明智的选择。
858 3
Tomcat log日志解析
理解和解析Tomcat日志文件对于诊断和解决Web应用中的问题至关重要。通过分析 `catalina.out`、`localhost.log`、`localhost_access_log.*.txt`、`manager.log`和 `host-manager.log`等日志文件,可以快速定位和解决问题,确保Tomcat服务器的稳定运行。掌握这些日志解析技巧,可以显著提高运维和开发效率。
265 13
图解MySQL【日志】——Redo Log
Redo Log(重做日志)是数据库中用于记录数据页修改的物理日志,确保事务的持久性和一致性。其主要作用包括崩溃恢复、提高性能和保证事务一致性。Redo Log 通过先写日志的方式,在内存中缓存修改操作,并在适当时候刷入磁盘,减少随机写入带来的性能损耗。WAL(Write-Ahead Logging)技术的核心思想是先将修改操作记录到日志文件中,再择机写入磁盘,从而实现高效且安全的数据持久化。Redo Log 的持久化过程涉及 Redo Log Buffer 和不同刷盘时机的控制参数(如 `innodb_flush_log_at_trx_commit`),以平衡性能与数据安全性。
183 5
图解MySQL【日志】——Redo Log
简单聊聊MySQL的三大日志(Redo Log、Binlog和Undo Log)各有什么区别
在MySQL数据库管理中,理解Redo Log(重做日志)、Binlog(二进制日志)和Undo Log(回滚日志)至关重要。Redo Log确保数据持久性和崩溃恢复;Binlog用于主从复制和数据恢复,记录逻辑操作;Undo Log支持事务的原子性和隔离性,实现回滚与MVCC。三者协同工作,保障事务ACID特性。文章还详细解析了日志写入流程及可能的异常情况,帮助深入理解数据库日志机制。
396 0
MySQL事务日志-Undo Log工作原理分析
事务的持久性是交由Redo Log来保证,原子性则是交由Undo Log来保证。如果事务中的SQL执行到一半出现错误,需要把前面已经执行过的SQL撤销以达到原子性的目的,这个过程也叫做"回滚",所以Undo Log也叫回滚日志。
241 7
MySQL事务日志-Undo Log工作原理分析
图解MySQL【日志】——Undo Log
Undo Log(回滚日志)是 MySQL 中用于实现事务原子性和一致性的关键机制。在默认的自动提交模式下,MySQL 隐式开启事务,每条增删改语句都会记录到 Undo Log 中。其主要作用包括:
189 0
|
9月前
|
log日志学习
【10月更文挑战第9天】 python处理log打印模块log的使用和介绍
243 0

推荐镜像

更多
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等