在之前的两篇文章中,我们介绍了配置 Logging 的流程。(是谁偷偷动了我的 logger、三句话,让 logger 言听计从)然而除此之外,Logging 还有一些高级用法,如果不了解的话,可能会产生意想不到的 Bug。今天的文章,我们就来详细解析一下这些高级用法。
loglevel 的继承
我们在第一篇文章中介绍了 Handler 的继承规则。然而除 Handler 外,loglevel 也会受到继承关系影响,导致其不符合第二篇文章中提到的:“只要 message 的 loglevel 大于等于 logger 和 handler 的 loglevel,日志就能被正常输出” 的原则,我们不妨来看以下例子:
import logging logging.root.setLevel(logging.WARNING) logger = logging.getLogger('name') logger.addHandler(logging.StreamHandler()) logger.setLevel(logging.NOTSET) logger.info('Good job!')
此处的 logger 的日志等级为最低的 NOTSET,按理说是能够输出日志的。然而结果却大相径庭,并没有日志输出。但是如果我们把日志等级调整到 DEBUG。
# 续之前的代码 logger.setLevel(logging.DEBUG) logger.info('Good job!') # Good job!
此时日志竟然正常输出了。事实上,logging.Logger 是根据 logging.Logger.getEffectiveLevel 返回的结果,来决定是否输出一条日志。
def getEffectiveLevel(self): """ Get the effective level for this logger. Loop through this logger and its parents in the logger hierarchy, looking for a non-zero logging level. Return the first one found. """ logger = self while logger: if logger.level: return logger.level logger = logger.parent return NOTSET
那么上一篇文章中 loglevel 的流程图就发生了变化。
既然 logger 有 effective loglevel 的概念,那 handler 有没有呢?答案是没有。由于 handler 没有继承逻辑,因此只要被 logger 过滤后的 message 的 loglevel 大于 handler 的 loglevel,日志就能被输出:
import logging logging.root.setLevel(logging.WARNING) logger = logging.getLogger('name') # Handler 的日志等级为 NOTSET handler = logging.StreamHandler() handler.setLevel(logging.NOTSET) logger.addHandler(handler) logger.setLevel(logging.DEBUG) logger.info('Good job!') # Good job!
NFO 等级的日志大于 DEBUG 和 NOTSET,日志等级能够被正常输出。
Handler 和 Logger 的基类 - Filterer
走进 Logging 的源码,我们不难发现 Logger 和 Handler 均继承自 Filterer,而其中 filter 方法为 Handler 和 Logger 提供了过滤日志的功能:
# method of Filterer def filter(self, record): """ Determine if a record is loggable by consulting all the filters. The default is to allow the record to be logged; any filter can veto this and the record is then dropped. Returns a zero value if a record is to be dropped, else non-zero. .. versionchanged:: 3.2 Allow filters to be just callables. """ rv = True for f in self.filters: if hasattr(f, 'filter'): result = f.filter(record) # 如果 filter 是类,需要实现 filter 方法 else: result = f(record) # filter 也可以是函数 if not result: rv = False break return rv
我们可以通过给 logger 或 handler 配置 filter 来过滤日志。filter 可以是函数,也可以是实现了 filter 方法的类,filter 通过判断 record 的内容返回 True 或者 False,来决定日志是否应该被输出。
尽管 Filter 的使用频次相对较少,但是我们可以借助它很轻松地实现一些功能:
· 屏蔽某个 module,或者某个 function 的所有日志
· 只输出某个日志等级的日志
· 屏蔽某些包含字段的日志
import logging from logging import Filter # 屏蔽某个函数的日志 class ClassModuleFilter(Filter): def __init__(self, func_name): super().__init__() self.func_name = func_name def filter(self, record): return not record.funcName == self.func_name # 只输出 debug 等级的日志 def function_loglevel_filter(record): return record.levelname == 'DEBUG' # 不输出包含 Bad 字段的日志 def function_message_filter(record): return 'Bad' not in record.msg # 测试函数,要求 function_a 内不会输出日志 def function_a(): logger = logging.getLogger('name') logger.info("ModuleA message will not be logged") logging.root.setLevel(logging.WARNING) logger = logging.getLogger('name') handler = logging.StreamHandler() handler.setLevel(logging.NOTSET) logger.addHandler(handler) logger.setLevel(logging.DEBUG) # 配置 filter,不输出 function_a 内产生的日志 filter1 = ClassModuleFilter('function_a') logger.addFilter(filter1) function_a() # 没有日志输出 # 配置 filter 只输出 debug 等级的日志 logger.addFilter(function_loglevel_filter) logger.info("Only debug message will be logger") # 无日志输出 logger.debug("Only debug message will be logger") # Only debug message will be logger logger.addFilter(function_message_filter) logger.debug('Bad message will not be output') # 带 Bad 字段,日志被过滤 logger.debug('Good message will be output') # Good message will be output
上例中,我们通过给 logger 配置不同类型的 filter 实现了日志的过滤。handler 的过滤功能和 logger 类似,只不过 handler 的 filter 只作用自身,而 logger 的 filter 作用于所有 handler。
logging.root.setLevel(logging.WARNING) logger = logging.getLogger('name') # 配置 filter 的 handler handler = logging.StreamHandler() handler.addFilter(function_message_filter) logger.addHandler(handler) # 未配置 filter 的 handler logger.addHandler(logging.StreamHandler()) logger.setLevel(logging.DEBUG) logger.info('Bad guy') # Bad guy 2 个 handler 输出一条信息,未增加过滤器的 Handler 输出了日志 logger.addFilter(function_message_filter) logger.info('Bad guy') # 无日志输出,logger 的 filter 过滤了所有日志
此外, handler 的过滤功能是可以被继承的,而 logger 的则不行:
import logging def function_message_filter(record): return 'Bad' not in record.msg logging.root.setLevel(logging.WARNING) logger = logging.getLogger('name') # 配置 filter 的 handler handler = logging.StreamHandler() handler.addFilter(function_message_filter) logger.addHandler(handler) # 未配置 filter 的 handler logger.addHandler(logging.StreamHandler()) logger.setLevel(logging.DEBUG) child = logger.getChild('child') child.info('Bad guy') # Bad guy Handler 的过滤功能被继承,只会输出一条日志。 logger.addFilter(function_message_filter) child.info('Bad guy') # Bad guy logger 的过滤功能不会被继承,仍然只会输出一条日志,不会过滤全部
至此,相信大家对 logging 模块有了更深刻的理解。在缕清 Logger、Handler、Filter 和 Formatter 之间的关系后,能够写出更加好看、符合需求的 logger。至于 Logging 模块的 LogRecorder、Manager 类,感兴趣的同学可以前往官方文档一探究竟。
文章来源:【OpenMMLab】
2022-04-21 18:1