Python打印日志方法 2

简介: Python打印日志方法

logger 和 handler 的关系,网上一个形象的描述是:logger 可以看作是一个记录日志的人,对于记录的每个日志,他需要有一套规则,比如记录的格式(formatter),等 级 (level) 等 等 , 这 个 规 矩 就 是 handler, 通 过 添 加 规 则

logger.addHandler(handler)就可以记录日志了。


日志的打印方式


使用 logging 模块时,首先需要得到一个 Logger 类的实例,称为记录器(logger)。每个记录器都有一个名字,并且 logging 模块是通过名字来管理这些记录器的,两个记录器之间可以通过命名空间的层次结构来确定关系。可以使用getLogger 函数获取记录器,常用的是命名为模块名或文件名。我们在日志的记录过程中大部分会有这些基本的思路,不同模块的日志记录在不同的文件中;要定期清理,不要一直无限打印;日志的记录最好按天记录,这样能够方便查看。下面我们就从这几点简单聊下日志的打印方式。

1.按文件位置打印

FileHandler(filename,mode='a',encoding=None,delay=0)

指明的 filename 文件会被打开,并用作日志流。后面三个参数为可选参数,如果 encoding 不为 None,会用指定的编码来打开文件,如果 delay 为真,第一次调用 emit()的时候才打开文件。默认情况下,文会一直增长。

2.按文件大小打印

RotatingFileHandler(filename,mode='a',maxBytes=0,backupCount=0,encoding=None,delay=0)

这个 Handler 较上面 FileHandler 的优点是,它可以管理文件大小,使用maxBytes backupCount 来让文件在预定义的尺寸发生翻转。当文件大于设定的 maxBytes,文件会被关闭,新的文件被打开用来输出。如果 maxBytes 为 0 时,翻转永远不会发生。如果 backupCount 不为 0,系统将保存老的日志文件,在文件名后加上.1,.2 这样的扩展名。例如如果 backupCount=3,基本的日志文件名为 my.log,将会的得到 my.log.1,my.log.2,my.log.3 扩展文件。新的日志会始终写在 my.log 文件中的,当文件被填满后,文件会被关闭并重命名为 my.log.1,当 my.log 文件再次被写满的话,那么已存在的 my.log.1 文件会被重命名为my.log.2,然后 my.log 文件会再次命名为 my.log.1,以此类推,最新的日志会一直被写入到 my.log 文件中。由于 RotatingFileHandler 类位于 logging.handlers 模块中,所以我们需要在日志配置文件 log_conf.py 中 import loggin.handlers。如下图,在配置文件中创建一个 RotatingFileHandler。

3.按时间分割打印

TimedRotatingFileHandler(filename,when='h',interval=1,backupCount=0,encoding=None,delay=False,utc=False)

指明的文件被打开,并用作日志流。在循环时它会设置文件后缀。循环发生基于 when 和 interval 的乘积。使用 when 来指明 interval 的类型。参数可取值范围如下,无大小写之分

可能遇到的问题

1.日志的重复打印

执行上面脚本发现之前的日志会被重复打印,如下

因为我们在第二次调用 log 的时候,getLogger()会获取上一次已获取的logger,因为这个 logger 在第一次调用日志接口的时候已经添加了 handler,第二次调用的时候会再次添加了一个 handler,所以同一个 logger 里有两个同样的handler,依此类推,调用几次就会有几个 handler。解决这个问题有几种方法,我们可以在每次调用 log 的时候,创建不同的handler;也可以在 log 方法里判断当前的 logger 是否已经有 handler,有则不会再添加 handler,这两种方法都有点绕,按照之前我们的例子,比较简单的方法是在每次打印完一条日志后,我们都移除 handler,保证调用 log 的时候,当前只有一个 handler。

多进程环境下的问题

logging 是线程安全的,也就是说,在一个进程内的多个线程同时往同一个文件写日志是安全的,但是多个进程同往一个文件写日志是不安全的,经常会发现日志的缺失,同时也有可能报错。

上面为一个多进程中使用 TimedRotatingFileHandler,程序报的异常,是因为 doRollover()对文件缺失的异常没有处理。比如我们是按天切割文件的,配置的日志文件名为my.log,日志准备从3月9号切换到3月10号的时候,那么 self.bassFilename 就是 my.log,dfn 就是my.log.2017-03-09。

执行的流程为:

1.判断准备切入的文件是否存在,如果存在,则删除

2.然后将 my.log 文件重命名为 my.log.2017-03-09

3.再将 3.10 号的日志打印到 my.log 中。

多进程如果共用一个日志文件的话,那么每个进程都会执行上面的操作,这样第二个进程就在进行第一步判断时就会把有效的文件 my.log.2017-03-09 删除,成有效日志缺失。

如果需要保证多进程的日志正确的输出到同一个日志文件中,则可以:

  • 将日志发送到同一个进程,由这个进程负责输出
  • 对日志输出进行加锁,每个进程输出日志前需要先获得锁。

网上也可以查到很多的解决办法,这里就不详细介绍了。

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
相关文章
|
12天前
|
缓存 Java Python
python-静态方法staticmethod、类方法classmethod、属性方法property_python staticmethod类内使用(1)
python-静态方法staticmethod、类方法classmethod、属性方法property_python staticmethod类内使用(1)
|
1天前
|
存储 数据处理 数据格式
Python提取文本文件(.txt)数据的方法
该文介绍了如何使用Python遍历含有多個`.txt`文本文件的文件夹,找出文件名包含`Point`的文件,并从中提取特定波长数据。目标是收集所有相关文件中指定波长对应的后5列数据,同时保留文件名。代码示例展示了如何使用`os`和`pandas`库实现这一功能,最终将所有数据整合到一个DataFrame对象中。
|
2天前
|
Python
Python OS 文件/目录方法
Python OS 文件/目录方法
|
2天前
|
开发者 Python
Python File(文件) 方法
Python File(文件) 方法
|
5天前
|
存储 安全 Python
Python 遍历字典的这6种方法,你都掌握了吗
Python提供了多种遍历字典的方法,可以根据实际需要选择合适的方法。无论是需要单独访问键或值,还是同时需要键和值,Python的字典都提供了简单而有效的方式来处理这些需求。
|
11天前
|
安全 Python
Python 多进程日志输出到同一个文件并实现日志回滚
Python 多进程想要实现将日志输出到同一个文件中,使用同一个日志句柄,且日志需要按照日期,大小回滚。
|
12天前
|
数据采集 Python
2024年Python最新【Python基础教程】快速找到多个字典中的公共键(key)的方法,秋招面试问题
2024年Python最新【Python基础教程】快速找到多个字典中的公共键(key)的方法,秋招面试问题
2024年Python最新【Python基础教程】快速找到多个字典中的公共键(key)的方法,秋招面试问题
|
12天前
|
程序员 PHP Python
2024年Python最全Python基础教程:keys()、values()和 items()方法,百度面试题php
2024年Python最全Python基础教程:keys()、values()和 items()方法,百度面试题php
2024年Python最全Python基础教程:keys()、values()和 items()方法,百度面试题php
|
12天前
|
算法 开发工具 Python
python排序的几种方法(3)
python排序的几种方法(3)
|
12天前
|
算法 程序员 Python
python排序的几种方法(1)
python排序的几种方法(1)