Python打印日志方法 2

简介: Python打印日志方法

logger 和 handler 的关系,网上一个形象的描述是:logger 可以看作是一个记录日志的人,对于记录的每个日志,他需要有一套规则,比如记录的格式(formatter),等 级 (level) 等 等 , 这 个 规 矩 就 是 handler, 通 过 添 加 规 则

logger.addHandler(handler)就可以记录日志了。


日志的打印方式


使用 logging 模块时,首先需要得到一个 Logger 类的实例,称为记录器(logger)。每个记录器都有一个名字,并且 logging 模块是通过名字来管理这些记录器的,两个记录器之间可以通过命名空间的层次结构来确定关系。可以使用getLogger 函数获取记录器,常用的是命名为模块名或文件名。我们在日志的记录过程中大部分会有这些基本的思路,不同模块的日志记录在不同的文件中;要定期清理,不要一直无限打印;日志的记录最好按天记录,这样能够方便查看。下面我们就从这几点简单聊下日志的打印方式。

1.按文件位置打印

FileHandler(filename,mode='a',encoding=None,delay=0)

指明的 filename 文件会被打开,并用作日志流。后面三个参数为可选参数,如果 encoding 不为 None,会用指定的编码来打开文件,如果 delay 为真,第一次调用 emit()的时候才打开文件。默认情况下,文会一直增长。

2.按文件大小打印

RotatingFileHandler(filename,mode='a',maxBytes=0,backupCount=0,encoding=None,delay=0)

这个 Handler 较上面 FileHandler 的优点是,它可以管理文件大小,使用maxBytes backupCount 来让文件在预定义的尺寸发生翻转。当文件大于设定的 maxBytes,文件会被关闭,新的文件被打开用来输出。如果 maxBytes 为 0 时,翻转永远不会发生。如果 backupCount 不为 0,系统将保存老的日志文件,在文件名后加上.1,.2 这样的扩展名。例如如果 backupCount=3,基本的日志文件名为 my.log,将会的得到 my.log.1,my.log.2,my.log.3 扩展文件。新的日志会始终写在 my.log 文件中的,当文件被填满后,文件会被关闭并重命名为 my.log.1,当 my.log 文件再次被写满的话,那么已存在的 my.log.1 文件会被重命名为my.log.2,然后 my.log 文件会再次命名为 my.log.1,以此类推,最新的日志会一直被写入到 my.log 文件中。由于 RotatingFileHandler 类位于 logging.handlers 模块中,所以我们需要在日志配置文件 log_conf.py 中 import loggin.handlers。如下图,在配置文件中创建一个 RotatingFileHandler。

3.按时间分割打印

TimedRotatingFileHandler(filename,when='h',interval=1,backupCount=0,encoding=None,delay=False,utc=False)

指明的文件被打开,并用作日志流。在循环时它会设置文件后缀。循环发生基于 when 和 interval 的乘积。使用 when 来指明 interval 的类型。参数可取值范围如下,无大小写之分

可能遇到的问题

1.日志的重复打印

执行上面脚本发现之前的日志会被重复打印,如下

因为我们在第二次调用 log 的时候,getLogger()会获取上一次已获取的logger,因为这个 logger 在第一次调用日志接口的时候已经添加了 handler,第二次调用的时候会再次添加了一个 handler,所以同一个 logger 里有两个同样的handler,依此类推,调用几次就会有几个 handler。解决这个问题有几种方法,我们可以在每次调用 log 的时候,创建不同的handler;也可以在 log 方法里判断当前的 logger 是否已经有 handler,有则不会再添加 handler,这两种方法都有点绕,按照之前我们的例子,比较简单的方法是在每次打印完一条日志后,我们都移除 handler,保证调用 log 的时候,当前只有一个 handler。

多进程环境下的问题

logging 是线程安全的,也就是说,在一个进程内的多个线程同时往同一个文件写日志是安全的,但是多个进程同往一个文件写日志是不安全的,经常会发现日志的缺失,同时也有可能报错。

上面为一个多进程中使用 TimedRotatingFileHandler,程序报的异常,是因为 doRollover()对文件缺失的异常没有处理。比如我们是按天切割文件的,配置的日志文件名为my.log,日志准备从3月9号切换到3月10号的时候,那么 self.bassFilename 就是 my.log,dfn 就是my.log.2017-03-09。

执行的流程为:

1.判断准备切入的文件是否存在,如果存在,则删除

2.然后将 my.log 文件重命名为 my.log.2017-03-09

3.再将 3.10 号的日志打印到 my.log 中。

多进程如果共用一个日志文件的话,那么每个进程都会执行上面的操作,这样第二个进程就在进行第一步判断时就会把有效的文件 my.log.2017-03-09 删除,成有效日志缺失。

如果需要保证多进程的日志正确的输出到同一个日志文件中,则可以:

  • 将日志发送到同一个进程,由这个进程负责输出
  • 对日志输出进行加锁,每个进程输出日志前需要先获得锁。

网上也可以查到很多的解决办法,这里就不详细介绍了。

相关实践学习
【涂鸦即艺术】基于云应用开发平台CAP部署AI实时生图绘板
【涂鸦即艺术】基于云应用开发平台CAP部署AI实时生图绘板
相关文章
|
12月前
|
测试技术 开发者 Python
Python单元测试入门:3个核心断言方法,帮你快速定位代码bug
本文介绍Python单元测试基础,详解`unittest`框架中的三大核心断言方法:`assertEqual`验证值相等,`assertTrue`和`assertFalse`判断条件真假。通过实例演示其用法,帮助开发者自动化检测代码逻辑,提升测试效率与可靠性。
681 1
|
机器学习/深度学习 数据采集 数据挖掘
基于 GARCH -LSTM 模型的混合方法进行时间序列预测研究(Python代码实现)
基于 GARCH -LSTM 模型的混合方法进行时间序列预测研究(Python代码实现)
432 2
|
11月前
|
监控 安全 程序员
Python日志模块配置:从print到logging的优雅升级指南
从 `print` 到 `logging` 是 Python 开发的必经之路。`print` 调试简单却难维护,日志混乱、无法分级、缺乏上下文;而 `logging` 支持级别控制、多输出、结构化记录,助力项目可维护性升级。本文详解痛点、优势、迁移方案与最佳实践,助你构建专业日志系统,让程序“有记忆”。
950 0
|
调度 Python
微电网两阶段鲁棒优化经济调度方法(Python代码实现)
微电网两阶段鲁棒优化经济调度方法(Python代码实现)
304 0
|
传感器 大数据 API
Python数字限制在指定范围内:方法与实践
在Python编程中,限制数字范围是常见需求,如游戏属性控制、金融计算和数据过滤等场景。本文介绍了五种主流方法:基础条件判断、数学运算、装饰器模式、类封装及NumPy数组处理,分别适用于不同复杂度和性能要求的场景。每种方法均有示例代码和适用情况说明,帮助开发者根据实际需求选择最优方案。
568 0
Python字符串center()方法详解 - 实现字符串居中对齐的完整指南
Python的`center()`方法用于将字符串居中,并通过指定宽度和填充字符美化输出格式,常用于文本对齐、标题及表格设计。
|
12月前
|
人工智能 数据安全/隐私保护 异构计算
桌面版exe安装和Python命令行安装2种方法详细讲解图片去水印AI源码私有化部署Lama-Cleaner安装使用方法-优雅草卓伊凡
桌面版exe安装和Python命令行安装2种方法详细讲解图片去水印AI源码私有化部署Lama-Cleaner安装使用方法-优雅草卓伊凡
1732 8
桌面版exe安装和Python命令行安装2种方法详细讲解图片去水印AI源码私有化部署Lama-Cleaner安装使用方法-优雅草卓伊凡
|
12月前
|
存储 缓存 监控
用 C++ 红黑树给公司电脑监控软件的日志快速排序的方法
本文介绍基于C++红黑树算法实现公司监控电脑软件的日志高效管理,利用其自平衡特性提升日志排序、检索与动态更新效率,并结合实际场景提出优化方向,增强系统性能与稳定性。
268 4
|
机器学习/深度学习 数据采集 算法
【CNN-BiLSTM-attention】基于高斯混合模型聚类的风电场短期功率预测方法(Python&matlab代码实现)
【CNN-BiLSTM-attention】基于高斯混合模型聚类的风电场短期功率预测方法(Python&matlab代码实现)
573 4
|
12月前
|
算法 调度 决策智能
【两阶段鲁棒优化】利用列-约束生成方法求解两阶段鲁棒优化问题(Python代码实现)
【两阶段鲁棒优化】利用列-约束生成方法求解两阶段鲁棒优化问题(Python代码实现)
344 0

推荐镜像

更多