深入源码之Commons Logging

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介:

自从七月份去走川藏后,已经好几个月没有更新博客了。其实八月底从拉萨回来后一直在Spring的代码,也想写几篇关于Spring源码的解读,可惜Spring实在是太复杂了,花了我一个多月的时间,框架大体流程是有头绪了,但是具体实现和各个模块的具体细节还都不是很清楚,迟迟不敢动笔。其实原本我不想回到Logging这一块,我知道光看完Log4J的代码还不够,也感觉Log在系统中其实占据了蛮重要的位置(虽然很多人都没有意识到),不过一般Log框架使用简单,遇到问题也比较少,即使看完源码对实际工作也帮助不大。可惜我前段时间答应要在公司讲一个关于Logging相关的Session了,木有办法,只能重拾Logging的内容。也趁这个机会把JavaLogging相关框架做一个全面的了解,包括Commons LoggingSLF4JJDK LoggingLogBack。首先从Commons LoggingSLF4J的比较开始。

先来随便扯点吧,貌似所有这些流行的Logging框架都和Log4J多少有点关系(不太确定Commons Logging有多大关系,不过至少也都是Apache下的项目吧)。JDK Logging据说当初是想用Log4J的,但是当时两家好像谈判谈崩了,然后JDK自己实现了一个,貌似结构和Log4J差不多,只是实现的比较烂,基本上也只能在做测试的时候用,而SLF4JLogBack都是出自Log4J的创始人Ceki Gülcü之手。这家伙也算是闲的蛋疼,光整Logging这些框架貌似就花了不少时间吧。

言归正传,在Logging系统中,目前框架都是基于相同的设计,即从一个LogFactory中取得一个命名的LogLogger)实例,然后使用这个LogLogger)实例打印debuginfowarnerror等不同级别的日志。作为两个门面日志系统,Commons LoggingSLF4J也同样采用这样的设计。所谓门面日志系统,是指它们本身并不实现具体的日志打印逻辑,它们只是作为一个代理系统,接收应用程序的日志打印请求,然后根据当前环境和配置,选取一个具体的日志实现系统,将真正的打印逻辑交给具体的日志实现系统,从而实现应用程序日志系统的“可插拔”,即可以通过配置或更换jar包来方便的更换底层日志实现系统,而不需要改变任何代码。个人感觉SLF4J的实现更加灵活,并且它还提供了MakerMDC的接口。这个将在接下的小节中具体介绍。

Commons Logging的设计比较简单,它定义了一个Log接口,所有它支持的日志系统都有相应的Log实现类,如Log4JLoggerJdk14LoggerJdk13LumberjackLoggerSimpleLogNoOpLogAvalonLoggerLogKitLogger等类,在LogFactory中定义了一定的规则,从而根据当前的环境和配置取得特定的Log子类实例。

Commons Logging中默认实现的LogFactoryLogFactoryImpl类)查找具体Log实现类的逻辑如下:

1.    查找在commons-logging.properties文件中是否定存在以org.apache.commons.logging.Logorg.apache.commons.logging.log(旧版本,不建议使用)key定义的Log实现类,如果是,则使用该类。

2.    否则,查找在系统属性中(-D方式启动参数)是否存在以org.apache.commons.logging.Logorg.apache.commons.logging.log(旧版本,不建议使用)key定义的Log实现类,如果是,则使用该类。

3.    否则,如果在classpath中存在Log4Jjar包,则使用Log4JLogger类。

4.    否则,如果当前使用的JDK版本或等于1.4,则使用Jdk14Logger类。

5.    否则,如果存在Lumberjack版本的Logging系统,则使用Jdk13LumberjackLogger类。

6.    否则,如果可以正常初始化Commons Logging自身实现的SimpleLog实例,则使用该类

7.    最后,以上步骤都失败,则抛出LogConfigurationException

其实,Commons Logging还支持用户自定义的LogFactory实现类。对LogFactory类的查找逻辑为:

1.    查看系统属性中是否存在以org.apache.commons.logging.LogFactorykeyLogFactory实现类,若有,则使用该类实例化一个LogFactory实例。

2.    否则,尝试使用service provider的方式查找LogFactory实现类,即查看classpathjar包中是否存在META-INF/services/org.apache.commons.logging.LogFactory文件,如果存在,则使用该文件内定义的LogFactory类实例化一个LogFactory实例。

3.    否则,查找commons-logging.properties文件是否存在,并且其中存在以org.apache.commons.logging.LogFactorykeyLogFactory实现类,若有,则使用该类实例化一个LogFactory实例。

4.    否则,使用默认的LogFactoryImpl实现类实例化一个LogFactory实例。

Commons Logging的类设计图如下:


在使用Commons Logging时,经常在服务器部署中会遇到ClassLoader的问题,这也是经常被很多人所诟病的地方,特别是在和Log4J一起使用的时候。常见的如,由于Common Logging使用非常广泛,因而很多Web容器(WebSphere)在内也会使用它作为日志处理系统而将其jar包引入到容器本身中,此时LogFactory是使用Web容器本身的ClassLoader装载的,即使Log4J中使用了ContextClassLoader来查找配置文件,此时的Thread依然在容器中,因而它使用的ClassLoader还是容器本身的ClassLoader实例,此时需要把Log4J的配置文件放到共享目录下,该配置文件才能被正常识别(以我的理解,容器在启动的时候,它根本无法获得Web应用程序中的jar包,所以也需要将Log4Jjar包放到共享目录中才可以,不过我木有用过WebSphere,也没法测试,所以只能猜测~)。在WebSphere还可以通过设置类的加载顺序为PARENT_LAST的方法来解决。而在Jboss中则只能将自己的配置加到其conf下的Log4J配置文件中,因为Jboss默认导入Log4J包。具体可以参考我转载的一篇文章,Log4j/common log和各种服务器集成的问题(木有经验,只能用别人的文章了。。。还很可惜的木有机会测试。。。):http://www.blogjava.net/DLevin/archive/2012/11/02/390639.html,另外还找到一篇更加详细的描述Commons Logging中存在的ClassLoader问题的文章:http://articles.qos.ch/classloader.html

 

Commons Logging的具体实现:

在使用Commons Logging时,一般是通过LogFactory获取Log实例,然后调用Log接口中相应的方法。因而Commons Logging的实现可以分成以下几个步骤:

1.    LogFactory类初始化

a.    缓存加载LogFactoryClassLoaderthisClassLoader字段),出于性能考虑。因为getClassLoader()方法可能会使用AccessController(虽然目前并没有使用),因而缓存起来以提升性能。

b.    初始化诊断流。读取系统属性org.apache.commons.logging.diagnostics.dest,若该属性的值为STDOUTSTDERR、文件名。则初始化诊断流字段(diagnosticStream),并初始化诊断消息的前缀(diagnosticPrefix),其格式为:”[LogFactory from <ClassLoaderName@HashCode>] “, 该前缀用于处理在同一个应用程序中可能会有多个ClassLoader加载LogFactory实例的问题。

c.    如果配置了诊断流,则打印当前环境信息:java.ext.dirjava.class.pathClassLoader以及ClassLoader层级关系信息。

d.    初始化factories实例(Hashtable),用于缓存LogFactorycontext-classloader –-> LogFactory instance)。如果系统属性org.apache.commons.logging.LogFactory.HashtableImpl存在,则使用该属性定义的Class作为factories Hashtable的实现类,否则,使用Common Logging实现的WeakHashtable。若初始化没有成功,则使用Hashtable类本身。使用WeakHashtable是为了处理在webapp中,当webapp被卸载是引起的内存泄露问题,即当webapp被卸载时,其ClassLoader的引用还存在,该ClassLoader不会被回收而引起内存泄露。因而当不支持WeakHashtable时,需要卸载webapp时,调用LogFactory.relase()方法。

e.    最后,如果需要打印诊断信息,则打印“BOOTSTRAP COMPLETED”信息

2.    查找LogFactory类实现,并实例化。

当调用LogFactory.getLog()方法时,它首先会创建LogFactory实例(getFactory()),然后创建相应的Log实例。getFactory()方法不支持线程同步,因而多个线程可能会创建多个相同的LogFactory实例,由于创建多个LogFactory实例对系统并没有影响,因而可以不用实现同步机制。

a.    获取context-classloader实例。

b.    factories Hashtable(缓存)中获取LogFactory实例。

c.    读取commons-logging.properties配置文件(如果存在的话,如果存在多个,则可以定义priority属性值,取所有commons-logging.properties文件中priority数值最大的文件),如果设置use_tccl属性为false,则在类的加载过程中使用初始化cachethisClassLoader字段,而不用context ClassLoader

d.    查找系统属性中是否存在org.apache.commons.logging.LogFactory值,若有,则使用该值作为LogFactory的实现类,并实例化该LogFactory实例。

e.    使用service provider方法查找LogFactory的实现类,并实例化。对应Service ID是:META-INF/services/org.apache.commons.logging.LogFactory

f.     查找commons-logging.properties文件中是否定义了LogFactory的实现类:org.apache.commons.logging.LogFactory,是则用该类实例化一个出LogFactory

g.    否则,使用默认的LogFactory实现:LogFactoryImpl类。

h.    缓存新创建的LogFactory实例,并将commons-logging.properties配置文件中所有的键值对加到LogFactory的属性集合中。

3.    通过LogFactory实例查找Log实例(LogFactoryImpl实现)

使用LogFactory实例调用getInstance()方法取得Log实例。

a.    如果缓存(instances字段,Hashtable)存在,则使用缓存中的值。

b.    查找用户自定义的Log实例,即从先从commons-logging.properties配置文件中配置的org.apache.commons.logging.Logorg.apache.commons.logging.log,旧版本)类,若不存在,查找系统属性中配置的org.apache.commons.logging.Logorg.apache.commons.logging.log,旧版本)类。如果找到,实例化Log实例

c.    遍历classesToDiscover数组,尝试创建该数组中定义的Log实例,并缓存Log类的Constructor实例,在下次创建Log实例是就不需要重新计算。在创建Log实例时,如果use_tccl属性设为false,则使用当前ClassLoader(加载当前LogFactory类的ClassLoader),否则尽量使用Context ClassLoader,一般来说Context ClassLoader和当前ClassLoader相同或者是当前ClassLoader的下层ClassLoader,然而在很多自定义ClassLoader系统中并没有设置正确的Context ClassLoader导致当前ClassLoader成了Context ClassLoader的下层,LogFactoryImpl默认处理这种情况,即使用当前ClassLoader。用户可以通过设置org.apache.commons.logging.Log.allowFlawedContext配置作为这个特性的开关。

d.    如果Log类定义setLogFactory()方法,则调用该方法,将当前LogFactory实例传入。

e.    将新创建的Log实例存入缓存中。

4.    调用Log实例中相应的方法

Log接口比较简单,并且Log4JJDK相应的实现类也都直接代理给各自框架,因而实现比较简单,不在详述。关于SimpleLog,可以类似的参考http://www.blogjava.net/DLevin/archive/2012/06/12/380647.html 不过还是有必要对Jdk14Logger的实现吐槽一下,每次调用log方法时都会创建新的Throwable实例,然后去计算ClassNameMethod,这会引起严重的性能问题,因为创建一个Throwable实例,意味着需要停止当前的运行,dump出一个调用栈快照。它为什么不像Jdk13LumberjackLogger的实现一样,把这两个字段缓存起来呢??


相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
相关文章
|
2月前
|
Java 编译器 Linux
使用Commons Logging22
使用Commons Logging22
24 3
|
Java Apache Maven
java.lang.NoClassDefFoundError: org/apache/commons/logging/LogFactory解决方法
java.lang.NoClassDefFoundError: org/apache/commons/logging/LogFactory解决方法
1347 0
java.lang.NoClassDefFoundError: org/apache/commons/logging/LogFactory解决方法
|
Java Maven
Class org.apache.commons.logging.impl.Jdk14Logger does not implement Log 解决方法
org.apache.commons.logging.LogConfigurationException: Class org.apache.commons.logging.impl.Jdk14Logger does not implement Log at org.apache.commons.logging.impl.LogFactoryImpl.getLogConstructor(LogFactoryImpl.java:400) at org.apache.commons.logging.impl.LogFactoryImpl.newInstance(LogFactoryImpl.jav
241 0
|
Java Apache
java.lang.NoClassDefFoundError:org/apache/commons/logging/LogFactory
java.lang.NoClassDefFoundError:org/apache/commons/logging/LogFactory
106 0
Java:日志输出JDK Logging、commons-logging、log4j、SLF4J、Logback
Java:日志输出JDK Logging、commons-logging、log4j、SLF4J、Logback
157 0
|
监控 Java Apache
Java日志框架-commons-logging
> commons-logging是Apache commons类库中的一员。commons-logging自带了日志实现类,但是功能比较简单,更多的是将其作为门面,底层实现依赖其它框架。commons-logging能够选择使用Log4j还是JDK Logging,但是它并不依赖Log4j或JDK Logging的API。commons-logging会自动检测项目classpath中包含的支持
1961 0
|
监控 Java Apache
java日志commons-logging/log4j/slf4j/logBack需要知道的几件事
如果对于commons-loging、log4j、slf4j、LogBack等都已经非常清楚了,可以忽略本文。几次解决日志冲突问题时对这几个概念的简单总结,希望对这块基础没有理解透的同学能有所帮助,当然如果对这块有更深刻理解的同学,也贡献出自己的知识和见解。
1636 0