Python logging模块使用配置文件记录日志

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介:

Python logging模块使用配置文件记录日志

良好的日志是应用程序调试、质量跟踪的重要线索,因此在应用开发过程中应当养成良好的日志记录习惯。在Python中内建了logging模块,可以使用该模块生成高质量的应用程序日志。

基本用法

默认情况下,logging将日志打印到屏幕,日志级别为WARNING;日志级别大小关系为:CRITICAL > ERROR > WARNING > INFO > DEBUG > NOTSET,当然也可以自己定义日志级别。

import logging

logging.debug('This is debug message')
logging.info('This is info message')
logging.warning('This is warning message')

推荐用法

在项目中推荐使用按照时间的滚动日志记录方式,并使用配置文件进行日志记录配置。这样有很多好处:不会让日志文件无限变大,很容易实现保留最近N天日志的功能,需要修改日志记录规则直接改配置文件就好。按照时间滚动的日志需要使用TimedRotationHandler,其定义如下所示:

所谓按时间滚动意思是系统会在时间满足一定条件时给旧的日志文件存档,并仅保留一定时间内的日志,最终存档的日志文件名称类似:xx.log.2016-06-01。

class logging.handlers.TimedRotatingFileHandler(filename, when='h', interval=1, backupCount=0, encoding=None, delay=False, utc=False)
  • 1
参数 名称 解释
filename 文件名 在时间滚动模式中,它实际上代表文件名的前缀
when 时间 按照哪种时间单位滚动(可选s-按秒,m-按分钟,h-按小时,d-按天,w0-w6-按指定的星期几,midnight-在午夜)
interval 间隔 比如when设置为s,interval设置为1意思是每1秒
backupCount 备份数量 保存几份日志,系统会自动删除超出此数目的日志文件
encoding 编码 默认是UTF-8编码
delay 延迟写入 如果设置为True那么只有调用了emit()后才会写入文件。
utc 标准时间 设置为False(默认)使用本地时间,否则使用标准时间

配置文件

下面简单介绍一下配置文件中的要素。

设置按时间滚动

可以在log.conf文件中用下面的样式设置按时间滚动的handler。使用class指定handler,使用level指定使用此handler处理的日志级别,使用formatter指定此handler的日志格式,使用args传递参数,参数应该按上述定义的顺序写。

[handler_timedrt]
class=handlers.TimedRotatingFileHandler
level=INFO
formatter=form02
args=('myapp.log', 's', 1 , 10 )

设置HTTP

题外话:可以设置向HTTP服务器发送数据,通常在一个分布式的环境中,我们会选择实现一个HTTP接口用来接收来自各个网络组件的日志。

[handler_http]
class=handlers.HTTPHandler
level=NOTSET
formatter=form02
args=('localhost:9022', '/log', 'GET')

使用示例

可以使用下面的代码从配置文件中载入日志配置并进行日志记录。

import logging
import logging.config

logging.config.fileConfig("logger.conf")
logger = logging.getLogger("example01")

logger.debug('This is debug message')
logger.info('This is info message')
logger.warning('This is warning message')

在工程中的实践

下面我们来看看如何在实际的工程中按照推荐的用法使用logging模块。在工程中,我推荐使用下面这种结构:

--lib
  |--class1.py
  |--class2.py
--config.py
--main.py
--logger.conf

工程中我们使用一个名字为config.py的Python模块用来保存全局的配置,由于logging在工程中每个源代码文件都可能用到,因此我们把logging模块在config.py中生成一个实例,这样其它模块只需要引用这个实例就可以了。

import logging
import logging.config
from pymongo import MongoClient

config = {    "key1":"value1"     }

logging.config.fileConfig("logger.conf")
logger = logging.getLogger("cse")

在其它模块中,我们使用这样的语句引用logger对象:

from config import logger

需要记录日志的时候,只需要使用logger.error,logger.debug类似的语句就好了。

完整的logger.conf

下面是一个完整的logger.conf文件示例,它默认为会将日志存储在当前目录的log目录下,会将ERROR及以上级别的日志通过POST请求发送到http://localhost:8087/api/v1.0/log。请根据需要自行修改。

#logger.conf

###############################################

[loggers]
keys=root,cse

[logger_root]
level=DEBUG
handlers=stream

[logger_cse]
handlers=stream,timedrt,http
qualname=cse
propagate=0

###############################################

[handlers]
keys=stream,timedrt,http

[handler_stream]
class=StreamHandler
level=NOTSET
formatter=form01
args=(sys.stderr,)

[handler_filert]
class=handlers.RotatingFileHandler
level=INFO
formatter=form02
args=('log/cse.log', 'a', 10*1024*1024, 5)

[handler_timedrt]
class=handlers.TimedRotatingFileHandler
level=DEBUG
formatter=form01
args=('log/cse.log', 'd', 1 , 10 )

[handler_http]
class=handlers.HTTPHandler
level=ERROR
formatter=form01
args=('localhost:8087', '/api/v1.0/log', 'POST')


###############################################

[formatters]
keys=form01,form02

[formatter_form01]
format=[%(asctime)s][%(filename)s][line:%(lineno)d][%(levelname)s] %(message)s
datefmt=%a, %d %b %Y %H:%M:%S

[formatter_form02]
format=%(name)-12s: %(levelname)-8s %(message)s
datefmt=

值得一提的是,logging模块是线程安全的。

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
相关文章
|
8天前
|
Java 程序员 开发者
Python的gc模块
Python的gc模块
|
11天前
|
数据采集 Web App开发 JavaScript
python-selenium模块详解!!!
Selenium 是一个强大的自动化测试工具,支持 Python 调用浏览器进行网页抓取。本文介绍了 Selenium 的安装、基本使用、元素定位、高级操作等内容。主要内容包括:发送请求、加载网页、元素定位、处理 Cookie、无头浏览器设置、页面等待、窗口和 iframe 切换等。通过示例代码帮助读者快速掌握 Selenium 的核心功能。
51 5
|
12天前
|
Python
SciPy 教程 之 SciPy 模块列表 13
SciPy教程之SciPy模块列表13:单位类型。常量模块包含多种单位,如公制、二进制(字节)、质量、角度、时间、长度、压强、体积、速度、温度、能量、功率和力学单位。示例代码展示了如何使用`constants`模块获取零摄氏度对应的开尔文值(273.15)和华氏度与摄氏度的转换系数(0.5556)。
15 1
|
10天前
|
Python
SciPy 教程 之 SciPy 模块列表 16
SciPy教程之SciPy模块列表16 - 单位类型。常量模块包含多种单位,如公制、质量、角度、时间、长度、压强、体积、速度、温度、能量、功率和力学单位。示例代码展示了力学单位的使用,如牛顿、磅力和千克力等。
13 0
|
11天前
|
JavaScript Python
SciPy 教程 之 SciPy 模块列表 15
SciPy 教程之 SciPy 模块列表 15 - 功率单位。常量模块包含多种单位,如公制、质量、时间等。功率单位中,1 瓦特定义为 1 焦耳/秒,表示每秒转换或耗散的能量速率。示例代码展示了如何使用 `constants` 模块获取马力值(745.6998715822701)。
13 0
|
11天前
|
JavaScript Python
SciPy 教程 之 SciPy 模块列表 15
SciPy教程之SciPy模块列表15:单位类型。常量模块包含多种单位,如公制、质量、角度、时间、长度、压强、体积、速度、温度、能量、功率和力学单位。功率单位以瓦特(W)表示,1W=1J/s。示例代码展示了如何使用`constants`模块获取马力(hp)的值,结果为745.6998715822701。
13 0
|
12天前
|
Python
SciPy 教程 之 SciPy 模块列表 13
SciPy 教程之 SciPy 模块列表 13 - 单位类型。常量模块包含多种单位:公制、二进制(字节)、质量、角度、时间、长度、压强、体积、速度、温度、能量、功率和力学单位。示例:`constants.zero_Celsius` 返回 273.15 开尔文,`constants.degree_Fahrenheit` 返回 0.5555555555555556。
12 0
|
4天前
|
XML 安全 Java
【日志框架整合】Slf4j、Log4j、Log4j2、Logback配置模板
本文介绍了Java日志框架的基本概念和使用方法,重点讨论了SLF4J、Log4j、Logback和Log4j2之间的关系及其性能对比。SLF4J作为一个日志抽象层,允许开发者使用统一的日志接口,而Log4j、Logback和Log4j2则是具体的日志实现框架。Log4j2在性能上优于Logback,推荐在新项目中使用。文章还详细说明了如何在Spring Boot项目中配置Log4j2和Logback,以及如何使用Lombok简化日志记录。最后,提供了一些日志配置的最佳实践,包括滚动日志、统一日志格式和提高日志性能的方法。
85 30
【日志框架整合】Slf4j、Log4j、Log4j2、Logback配置模板
|
30天前
|
XML JSON Java
Logback 与 log4j2 性能对比:谁才是日志框架的性能王者?
【10月更文挑战第5天】在Java开发中,日志框架是不可或缺的工具,它们帮助我们记录系统运行时的信息、警告和错误,对于开发人员来说至关重要。在众多日志框架中,Logback和log4j2以其卓越的性能和丰富的功能脱颖而出,成为开发者们的首选。本文将深入探讨Logback与log4j2在性能方面的对比,通过详细的分析和实例,帮助大家理解两者之间的性能差异,以便在实际项目中做出更明智的选择。
188 3
|
1月前
|
存储 缓存 关系型数据库
MySQL事务日志-Redo Log工作原理分析
事务的隔离性和原子性分别通过锁和事务日志实现,而持久性则依赖于事务日志中的`Redo Log`。在MySQL中,`Redo Log`确保已提交事务的数据能持久保存,即使系统崩溃也能通过重做日志恢复数据。其工作原理是记录数据在内存中的更改,待事务提交时写入磁盘。此外,`Redo Log`采用简单的物理日志格式和高效的顺序IO,确保快速提交。通过不同的落盘策略,可在性能和安全性之间做出权衡。
1611 14

热门文章

最新文章