一文搞懂Java日志级别,重复记录、丢日志问题(上)

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介: 一文搞懂Java日志级别,重复记录、丢日志问题

1 SLF4J

日志行业的现状

  • 框架繁
    不同类库可能使用不同日志框架,兼容难,无法接入统一日志,让运维很头疼!
  • 配置复杂
    由于配置文件一般是 xml 文件,内容繁杂!很多人喜欢从其他项目或网上闭眼copy!
  • 随意度高
    因为不会直接导致代码 bug,测试人员也难发现问题,开发就没仔细考虑日志内容获取的性能开销,随意选用日志级别!
  • Logback、Log4j、Log4j2、commons-logging及java.util.logging等,都是Java体系的日志框架。

不同的类库,还可能选择使用不同的日志框架,导致日志统一管理困难。


SLF4J(Simple Logging Facade For Java)就为解决该问题而生

image.png

提供统一的日志门面API

图中紫色部分,实现中立的日志记录API


桥接功能

蓝色部分,把各种日志框架API桥接到SLF4J API。这样即使你的程序使用了各种日志API记录日志,最终都可桥接到SLF4J门面API


适配功能

红色部分,绑定SLF4J API和实际的日志框架(灰色部分)

SLF4J只是日志标准,还是需要实际日志框架。日志框架本身未实现SLF4J API,所以需要有个前置转换。

Logback本身就按SLF4J API标准实现,所以无需绑定模块做转换。


虽然可用log4j-over-slf4j实现Log4j桥接到SLF4J,也可使用slf4j-log4j12实现SLF4J适配到Log4j,也把它们画到了一列,但是它不能同时使用它们,否则就会产生死循环。jcl和jul同理。


虽然图中有4个灰色的日志实现框架,但业务开发使用最多的还是Logback和Log4j,都是同一人开发的。Logback可认为是Log4j改进版,更推荐使用,已是社会主流。


Spring Boot的日志框架也是Logback。那为什么我们没有手动引入Logback包,就可直接使用Logback?


spring-boot-starter模块依赖spring-boot-starter-logging模块,而

spring-boot-starter-logging自动引入logback-classic(包含SLF4J和Logback日志框架)和SLF4J的一些适配器。

2 异步日志就肯定能提高性能?

如何避免日志记录成为系统性能瓶颈呢?

这关系到磁盘(比如机械磁盘)IO性能较差、日志量又很大的情况下,如何记录日志。

2.1 案例

定义如下的日志配置,一共有两个Appender:

  • FILE是一个FileAppender,用于记录所有的日志
  • CONSOLE是一个ConsoleAppender,用于记录带有time标记的日志
  • image.png
  • 把大量日志输出到文件中,日志文件会非常大,若性能测试结果也混在其中,就很难找到那条日志了。

所以,这里使用EvaluatorFilter对日志按照标记进行过滤,并将过滤出的日志单独输出到控制台。该案例中给输出测试结果的那条日志上做了time标记。


配合使用标记和EvaluatorFilter,可实现日志的按标签过滤。

测试代码:实现记录指定次数的大日志,每条日志包含1MB字节的模拟数据,最后记录一条以time为标记的方法执行耗时日志:

image.png

执行程序后发现,记录1000次日志和10000次日志的调用耗时,分别是5.1s和39s

image.png

对只记录文件日志的代码,这耗时过长了。

2.2 源码解析

FileAppender继承自OutputStreamAppender

image.png

在追加日志时,是直接把日志写入OutputStream中,属同步记录日志

image.png

所以日志大量写入才会旷日持久。如何才能实现大量日志写入时,不会过多影响业务逻辑执行耗时而影响吞吐量呢?

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
目录
相关文章
|
2天前
|
XML 安全 Java
【日志框架整合】Slf4j、Log4j、Log4j2、Logback配置模板
本文介绍了Java日志框架的基本概念和使用方法,重点讨论了SLF4J、Log4j、Logback和Log4j2之间的关系及其性能对比。SLF4J作为一个日志抽象层,允许开发者使用统一的日志接口,而Log4j、Logback和Log4j2则是具体的日志实现框架。Log4j2在性能上优于Logback,推荐在新项目中使用。文章还详细说明了如何在Spring Boot项目中配置Log4j2和Logback,以及如何使用Lombok简化日志记录。最后,提供了一些日志配置的最佳实践,包括滚动日志、统一日志格式和提高日志性能的方法。
66 30
【日志框架整合】Slf4j、Log4j、Log4j2、Logback配置模板
|
29天前
|
XML JSON Java
Logback 与 log4j2 性能对比:谁才是日志框架的性能王者?
【10月更文挑战第5天】在Java开发中,日志框架是不可或缺的工具,它们帮助我们记录系统运行时的信息、警告和错误,对于开发人员来说至关重要。在众多日志框架中,Logback和log4j2以其卓越的性能和丰富的功能脱颖而出,成为开发者们的首选。本文将深入探讨Logback与log4j2在性能方面的对比,通过详细的分析和实例,帮助大家理解两者之间的性能差异,以便在实际项目中做出更明智的选择。
176 3
|
13天前
|
人工智能 Oracle Java
解决 Java 打印日志吞异常堆栈的问题
前几天有同学找我查一个空指针问题,Java 打印日志时,异常堆栈信息被吞了,导致定位不到出问题的地方。
28 2
|
2月前
|
Java
日志框架log4j打印异常堆栈信息携带traceId,方便接口异常排查
日常项目运行日志,异常栈打印是不带traceId,导致排查问题查找异常栈很麻烦。
|
3月前
|
Java 应用服务中间件 HSF
Java应用结构规范问题之配置Logback以仅记录错误级别的日志到一个滚动文件中的问题如何解决
Java应用结构规范问题之配置Logback以仅记录错误级别的日志到一个滚动文件中的问题如何解决
|
3月前
|
Java 应用服务中间件 HSF
Java应用结构规范问题之配置Logback以在控制台输出日志的问题如何解决
Java应用结构规范问题之配置Logback以在控制台输出日志的问题如何解决
|
3月前
|
Java 应用服务中间件 HSF
Java应用结构规范问题之AllLoggers接口获取异常日志的Logger实例的问题如何解决
Java应用结构规范问题之AllLoggers接口获取异常日志的Logger实例的问题如何解决
|
3月前
|
存储 消息中间件 监控
Java日志详解:日志级别,优先级、配置文件、常见日志管理系统ELK、日志收集分析
Java日志详解:日志级别,优先级、配置文件、常见日志管理系统、日志收集分析。日志级别从小到大的关系(优先级从低到高): ALL < TRACE < DEBUG < INFO < WARN < ERROR < FATAL < OFF 低级别的会输出高级别的信息,高级别的不会输出低级别的信息
|
XML 消息中间件 JSON
最牛逼的 Java 日志框架,性能无敌,横扫所有对手.....
最牛逼的 Java 日志框架,性能无敌,横扫所有对手.....
243 0
最牛逼的 Java 日志框架,性能无敌,横扫所有对手.....
|
XML 消息中间件 JSON
最牛逼的 Java 日志框架,性能无敌,横扫所有对手。。
Logback 算是JAVA 里一个老牌的日志框架,从06年开始第一个版本,迭代至今也十几年了。不过logback最近一个稳定版本还停留在 2017 年,好几年都没有更新;logback的兄弟 slf4j 最近一个稳定版也是2017年,有点凉凉的意思。 而且 logback的异步性能实在拉跨,功能简陋,配置又繁琐,远不及Apache 的新一代日志框架 - Log4j2 目前来看,Log4j2 就是王者,其他日志框架都不是对手
219 0
最牛逼的 Java 日志框架,性能无敌,横扫所有对手。。