import logging ori_logger = logging.getLogger('custom_logger') ori_logger.setLevel(logging.INFO) ori_logger.addHandler(logging.StreamHandler()) ori_logger.info('learn log') # learn log
终端日志
mmcv_logger = get_logger('mmcv_logger', log_file='a.log') mmcv_logger.info('learn log') # 2022-03-24 10:38:35,998 - mmcv_logger - INFO - learn log
日志文件
2022-03-24 10:37:25,832 - mmcv_logger - INFO - learn log
mmcv 的 get_logger 到底是是如何配置出如此便利的 logger 的呢?只需要配置 logger 三宝:日志等级(loglevel)、格式控制器(formatter) 和 日志处理器(handler),让 logger 对你言听计从。
logging 之日志等级✦
logging 模块的日志等级如下:
CRITICAL = 50 FATAL = CRITICAL ERROR = 40 WARNING = 30 WARN = WARNING INFO = 20 DEBUG = 10 NOTSET = 0
Logging.Logger(本文中的 logger 为其实例)和 logging.Handler 的 level 属性,就表示对应实例的日志等级。当我们调用 logger.info(msg) 和 logger.warning(msg) 时,输出的消息也有日志等级。只有当消息的日志等级大于等于 logger.level 时,日志才有可能被输出。以我们上一期《是谁偷偷动了我的 logger》中提到的 logging.root 为例:
import logging logger = logging.root print(logger.level) # 30, warning。root 日志等级为 WARNING (30) logger.info("info msg") # 日志等级为 INFO (20),小于 WARNING,无消息 logger.warning("warn msg") # 日志等级为 WARNING (30),输出消息 warn msg logger.error("erro msg") # 日志等级为 ERROR (40),输出消息 erro msg logger.setLevel(logging.ERROR) # 设置日志等级为 ERROR (40) print(logger.level) # 40, ERROR logger.warning("warn msg") # 无消息 logger.error("erro msg") # erro msg
logging.root 的日志等级为 WARNING,因此无法输出 INFO 级别的消息。当我们把日志等级调整成 ERROR 后,则会无法输出 WARNING 级别的消息。但是奇怪的是,第一期中我们提到,logging.root 默认情况下是一个胚胎,本身不具备输出日志的能力,为什么这里仍然能够输出 warning 和 error 级别的日志呢?这里先留一个疑问,在 Handler 一节会给出答案。
logging 之 Handler✦
在解答上一节提出的问题之前,让我们回顾一下第一期的内容,既然 logging 模块是通过 Handler 来输出日志的,本节就先介绍 logging 模块的两大 Handler:streamHandler 和 fileHandler。
StreamHandler
向终端输出信息
配置了 StreamHandler 的 logger,可以和 print 一样向终端输出日志信息,示例如下:
logger = logging.root # 创建 streamHandler stream_handler = logging.StreamHandler() # 设置日志等级 logger.setLevel(logging.INFO) logger.info("learn logging") # 没有配置 Handler,终端不会输出日志 # 为 root logger配置 Handler logger.addHandler(stream_handler) logger.info("learn logging") # 配置 Handler,输出日志
向文件输出日志信息
实例化 StreamHandler 时,如果 stream 配置成写入的目标文件,就能将日志存储到文件中。
f = open('output.txt', 'w') logger = logging.root logger.setLevel(logging.INFO) stream_handler = logging.StreamHandler(stream=f) logger.addHandler(stream_handler) logger.warning("learn logging") # 此时 learn logging 会被写入到 output.txt 中 f.close()
FileHandler
FileHandler 继承自 StreamHandler,可以指定写入文件的编码格式,相比于 StreamHandler 更加灵活,易于使用:
logger = logging.root logger.setLevel(logging.INFO) # 设置输出文件和编码方式 file_handler = logging.FileHandler('output.txt', encoding='utf-8') logger.addHandler(file_handler) logger.info("WARNING") # 此时 learn logging 会被写入到 output.txt 中
Handler 的日志等级
Handler 也有自己的日志等级。一条消息想经过 Handler 输出,需要同时满足消息的日志等级大于 logger 的日志等级和 handler 的日志等级。
logger = logging.root logger.setLevel(logging.DEBUG) # logger 的日志等级为 DEBUG handler = logging.StreamHandler() handler.setLevel(logging.INFO) # handler 的日志等级为 INFO logger.addHandler(handler) logger.debug('learn logging') # 不满足 handler,无法被输出 logger.info('learn logging') # 同时满足 logger 含 handler,正常输出
logging 的暗箱操作
没有 handler 也能输出日志?
首先讲结论,logger 在没有 handler 的情况下,其本身是不具备输出消息能力的,streamHandler 的第一个例子已经说明了这个问题。但是为什么 logger.warning(msg) 和 logger.error(msg) 能够在不配置 handler 的情况下,输出日志呢?这其实是 logging 模块的保护机制,对于 warning 和 error 级别的消息,如果消息的日志等级大于 logger 的日志等级,且 logger 没有配置任何的 handler,则会调用 logging 模块内置的 streamHandler 来输出信息。
为了证明这个逻辑,我们给 logger 配置一个 fileHandler,此时 logger.warning(msg) 就不会在终端输出日志了。
logger = logging.root logger.warning("learn logging") # 输出日志到终端 file_handler = logging.FileHandler('output.txt', encoding='utf-8') logger.addHandler(file_handler) logger.warning("learn logging") # 不会输出日志到终端
坑爹的 logging.xxx
当你开心地调用 logging.info,logging.warning 时,你以为只是输出了一条日志,实际上可能给 logging.root 偷偷配置了 streamHandler。
logging.info('learn logging') print(logging.root.handlers) # [<StreamHandler <stderr> (NOTSET)>]
你可能会想,就多了个 streamHandler 嘛,这有啥。还记得被多重日志支配的恐怖么 。为什么使用 pytorch 1.10 突然出现了多重日志?追根溯源,是因为 pytorch 1.10 的 DistributedDataParallel 模块在 forward 过程中调用了 logging.info ,进而 logging.root 多出了一个 streamHandler(该过程发生在 mmcv.get_logger 之后,handler 的日志等级没有被设置成 ERROR),最终导致多重日志的发生。
logging 之 Formatter✦
如果说配置 Handler 相当于教 logger 说话,那么为 handler 配置 formatter 就相当于教 logger “优雅” 地说话。
给日志加上“主语”
我们可以通过配置 formatter,让 logger 输出的日志自带 logger 名。
logger = logging.root handler = logging.StreamHandler() handler.setFormatter(Formatter('%(name)s - %(message)s')) logger.addHandler(handler) logger.setLevel(logging.INFO) logger.info('learn logging') # root - learn logging
这样输出的日志就会自带 “root” 日志名。
给日志加上时间
小学语文老师肯定教过,时间地点人物是七要素的前三甲,时间更是位居榜首,因此我们可以通过配置 formatter,让日志携带时间信息。
logger = logging.root handler = logging.StreamHandler() handler.setFormatter(Formatter('%(asctime)s - %(name)s - %(message)s')) logger.addHandler(handler) logger.setLevel(logging.INFO) logger.info('learn logging') # 2022-03-22 01:36:42,900 - root - learn logging
给日志加上等级
日志等级可以凸显日志的重要性,例如我们会特别注意携带 ERROR 字段的日志。因此我们可以通过 formatter 让日志携带等级信息。
logger = logging.root handler = logging.StreamHandler() handler.setFormatter(Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s')) logger.addHandler(handler) logger.setLevel(logging.INFO) logger.info('learn logging') # 2022-03-22 01:46:26,667 - root - INFO - learn logging
欸,有那味儿了,是不是和 OpenMMLab 系列的日志如出一辙?实际上 mmcv 配置 logger 的过程也是类似的,并且还有着更加全面的 handler 配置逻辑:mmcv/logging.py at master · open-mmlab/mmcv (github.com),大家可以参考借鉴哈。
小结✦
理解 loglevel、handler 和 formatter 的概念后,我们自己也可以动手写一个简易版的配置 logger 函数。
def custom_get_logger(name, out_file, log_level): # 设置日志名 logger = logging.getLogger(name) # 设置日志登记 logger.setLevel(log_level) # 设置格式 formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s' ' - %(message)s') # 配置输出日志到终端的 Handler stream_handler = logging.StreamHandler() stream_handler.setFormatter(formatter) # 配置保存日志到文件的 Handler file_handler = logging.FileHandler(out_file) file_handler.setFormatter(formatter) # 添加 Handler logger.addHandler(file_handler) logger.addHandler(stream_handler) return logger custom_logger = custom_get_logger('custom_logger', 'a.log', 'INFO') custom_logger.info('learn log') # 2022-03-24 11:18:52,120 - custom_logger - INFO - learn log
通过 custom_get_logger 接口获取的 logger,日志格式好看,也能存储到本地备份,基本和 mmcv 对齐。不过这样配置的 logger 还存在一些隐患,例如上期提到的多重日志。要想解决这些问题,我们不妨再回过头去看 mmcv.get_logger 的代码,相信经过这一期的学习,很多逻辑就变得容易理解。
至此 logging 模块的基本功能就介绍得差不多了,但是 logging 还存在一些隐式的暗箱操作,如果想彻底搞懂 logging 模块,敬请期待下一期的内容~
文章来源:【OpenMMLab】
2022-03-25 18:00