python你必须熟悉的包:logging日志模块

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介: 在我们的python项目中,log日志是一个必不可缺的模块。我们需要将一些重要的运行数据保存下来,方便后期的问题排查。通常来说我们会将log保存至文件中,再进行后续的归档和查阅。python保存log用到最多的工具就是logging模块了,这里介绍下logging的使用吧。

前言

在我们的python项目中,log日志是一个必不可缺的模块。我们需要将一些重要的运行数据保存下来,方便后期的问题排查。通常来说我们会将log保存至文件中,再进行后续的归档和查阅。python保存log用到最多的工具就是logging模块了,这里介绍下logging的使用吧。

logging安装及简单使用

直接输入 pip install logging安装。 来个最简单的使用例子:

importlogginglogging.info("hello")
复制代码

配置项

配置logging的方式主要有3种:

  1. 使用ini文件配置
  2. 使用字典或JSON文件配置
  3. 直接通过源码配置

通常来说,因为源码配置的方式方便封装和自定义,因此我们多采用第3种方式来配置。

日志级别

日志的输出默认有以下几个级别:

级别 数值
CRITICAL 50
ERROR 40
WARNING 30
INFO 20
DEBUG 10
NOSET 0
在生产项目中,一般我们只保存INFO以上级别的输出。

关键概念

主要的处理器有:

  • Logger记录器:暴露了应用程序代码直接使用的接口
  • Handler处理器:将日志落地到哪里的设置
  • Filter过滤器:提供更细的粒度控制输出哪些日志
  • Formatter格式化器:日志输出格式的设置

Handler处理器

常用的Handler处理器有StreamHandler、FileHandler、NullHandler。 项目中多使用FileHandler,示例:

logger = logging.getLogger()
filename = "log.log"
fileHandler = logging.FileHandler(filename, mode='a')
复制代码

在实际开发中,有些日志生成速度很快,如果日志都写到一个文件中,后续日志查询效率会大大降低。因此我们需要对日志文件进行切割。

logging模块支持按照时间切割、按照文件切割。

按照时间切割TimedRotatingFileHandler示例
logger = logging.getLogger()
file_name = "log.log"
timeHandler = logging.handlers.TimedRotatingFileHandler(
   file_name,
   when='D',  # 按照什么维度切割, S:秒,M:分,H:小时,D:天,W:周
   interval=1, # 多少天切割一次
   backupCount=10  # 保留几天
)
# 设置log文件后缀
timeHandler.suffix = "%Y-%m-%d.log"
logger.addHandler(timefilehandler)
复制代码
按照文件切割RotatingFileHandler示例
logger = logging.getLogger()
file_name = "log.log"
fileHandler = logging.handlers.RotatingFileHandler(
   file_name,
   maxBytes=300*1024*1024, # 当文件达到多大时切割,这里设置300M
   backupCount=10  # 保留几个log文件
)
# 设置log文件后缀
logger.addHandler(fileHandler)
复制代码

Formatter格式化器

使用Formatter可设置日志的输出格式,用法 formatter = logging.Formatter(fmt=None, datefmt=None) format格式释义:

  • %(levelno)s: 打印日志级别的数值
  • %(levelname)s: 打印日志级别名称
  • %(pathname)s: 打印当前执行程序的路径
  • %(filename)s: 打印当前执行程序名称
  • %(funcName)s: 打印日志的当前函数
  • %(lineno)d: 打印日志的当前行号
  • %(asctime)s: 打印日志的时间
  • %(thread)d: 打印线程id
  • %(threadName)s: 打印线程名称
  • %(process)d: 打印进程ID
  • %(message)s: 打印日志信息

示例:

formatter = logging.Formatter(
    fmt='%(asctime)s | %(name)s | %(levelname)s | %(message)s', 
    datefmt='%Y-%m-%d %H:%M:%S'
)
复制代码

打印一个看看:

$ 2022-08-19 17:45:17 | test | INFO | 测试log
复制代码

配置示例

import logging
import logging.handlers
logger = logging.getLogger('test')
# 设置日志等级
logger.setLevel(logging.INFO)
# 创建文件处理器
log_file_path = "./log.log"
fileHandler = logging.handlers.RotatingFileHandler(
   log_file_path,
   maxBytes=300*1024*1024, 
   backupCount=10  
)
# 格式化输出设置
formatter = logging.Formatter('%(asctime)s|%(name)s | %(levelname)s | %(message)s')
fileHandler.setFormatter(formatter)
logger.addHandler(fileHandler)
# 测试
logger.info("info msg")
复制代码

小结

logging包是python使用最多的日志模块,我们在使用时,根据自身需要来自定义配置。我们在一些日志查询高频的情景下,可结合其他工具比如elasticsearch、kibana等来快速查询。

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
相关文章
|
1月前
|
C++ 开发者 Python
实现Python日志点击跳转到代码位置的方法
本文介绍了如何在Python日志中实现点击跳转到代码位置的功能,以提升调试效率。通过结合`logging`模块的`findCaller()`方法记录代码位置信息,并使用支持点击跳转的日志查看工具(如VS Code、PyCharm),开发者可以从日志直接点击链接定位到出错代码,加快问题排查。
39 2
|
16天前
|
Python
python3获取内存和cpu利用率记录日志文件psutil
python3获取内存和cpu利用率记录日志文件psutil
17 1
|
9天前
|
监控 Go
go语言并发实战——日志收集系统(十) 重构tailfile模块实现同时监控多个日志文件
go语言并发实战——日志收集系统(十) 重构tailfile模块实现同时监控多个日志文件
|
9天前
|
监控 C++
c++实战篇(二)——基于自旋锁实现的日志服务模块
c++实战篇(二)——基于自旋锁实现的日志服务模块
|
9天前
|
消息中间件 Kafka Go
go语言并发实战——日志收集系统(五) 基于go-ini包读取日志收集服务的配置文件
go语言并发实战——日志收集系统(五) 基于go-ini包读取日志收集服务的配置文件
|
9天前
|
存储 监控 算法
go语言并发实战——日志收集系统(四) 利用tail包实现对日志文件的实时监控
go语言并发实战——日志收集系统(四) 利用tail包实现对日志文件的实时监控
|
9天前
|
消息中间件 算法 Java
go语言并发实战——日志收集系统(三) 利用sarama包连接KafKa实现消息的生产与消费
go语言并发实战——日志收集系统(三) 利用sarama包连接KafKa实现消息的生产与消费
|
1月前
|
机器学习/深度学习 Shell Perl
logcat 只打印符合包名的log
logcat 只打印符合包名的log
18 1
|
1月前
|
安全 Python
Python 多进程日志输出到同一个文件并实现日志回滚
Python 多进程想要实现将日志输出到同一个文件中,使用同一个日志句柄,且日志需要按照日期,大小回滚。
|
1月前
|
监控 Python
Python中精通异常日志记录
Python中精通异常日志记录
18 0