Python Logging 限制文件大小

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介: Python Logging 限制文件大小

Python Logging 限制文件大小

Python 的 logging 模块是一个强大的工具,用于记录和管理日志信息。在实际应用中,尤其是在长时间运行的程序中,日志文件可能会无限增大,从而导致存储资源不足或难以管理。为此,我们可以使用 RotatingFileHandler 或 TimedRotatingFileHandler 来限制日志文件的大小,确保日志管理的高效性。

使用 RotatingFileHandler 限制文件大小

RotatingFileHandler 简介
RotatingFileHandler 允许我们创建一个日志处理器,在达到指定文件大小时自动轮换日志文件。这样可以避免单个日志文件过大,同时保留一定数量的历史日志文件。

实例代码

下面是一个使用 RotatingFileHandler 的示例代码,其中限制日志文件大小为 1MB,并保留最多 5 个备份文件:import logging

from logging.handlers import RotatingFileHandler

#创建一个 logger 对象
logger = logging.getLogger("MyLogger")
logger.setLevel(logging.DEBUG) # 设置日志级别为 DEBUG

#创建一个 RotatingFileHandler,限制文件大小为 1 MB, 保留 5 个备份
handler = RotatingFileHandler(
"my_log.log", maxBytes=1 1024 1024, backupCount=5
)
formatter = logging.Formatter('%(asctime)s - %(levelname)s - %(message)s')
handler.setFormatter(formatter)

#将 handler 添加到 logger
logger.addHandler(handler)

#测试日志输出
for i in range(10000):
logger.debug(f"This is log message number {i}")

代码解释
1. 导入模块:首先导入 logging 和 RotatingFileHandler。
2. 创建 Logger:创建一个名为 MyLogger 的 logger 对象,并设置日志级别为 DEBUG。
3. 配置 Handler:使用 RotatingFileHandler 创建一个日志处理器,设置最大文件大小为 1 MB(maxBytes=1 1024 1024),同时定义最多保留 5 个备份文件(backupCount=5)。
4. 设置格式:定义日志的输出格式,包括时间、级别和消息内容。
5. 添加 Handler:将处理器添加到 logger。
6. 生成日志:通过循环生成大量日志信息,测试日志文件的轮换功能。

日志文件轮换
当 my_log.log 文件的大小达到 1 MB 时,RotatingFileHandler 会自动将当前日志文件重命名为 my_log.log.1,继而创建一个新的 my_log.log 文件来继续记录日志。若还有更早的日志文件,后续的文件依次递增编号,直到达到备份数量限制(在本例中为 5 个)。

使用 TimedRotatingFileHandler 按时间限制文件大小
如果你希望按时间周期来管理日志文件,可以使用 TimedRotatingFileHandler。该处理器允许根据设定的时间间隔(例如每小时、每天等)自动轮换日志文件。

实例代码
以下是一个使用 TimedRotatingFileHandler 的示例,设置每小时轮换一次日志文件:

import logging
from logging.handlers import TimedRotatingFileHandler

> #创建一个 logger 对象
logger = logging.getLogger("MyTimedLogger")
logger.setLevel(logging.DEBUG) # 设置日志级别为 DEBUG

> #创建一个 TimedRotatingFileHandler,每小时轮换一次
handler = TimedRotatingFileHandler(
"timed_log.log", when="H", interval=1, backupCount=3
)
formatter = logging.Formatter('%(asctime)s - %(levelname)s - %(message)s')
handler.setFormatter(formatter)

> #将 handler 添加到 logger
logger.addHandler(handler)

> #测试日志输出
for i in range(100):
logger.debug(f"This is timed log message number {i}")

代码解释
1. 导入模块:同样导入 logging 和 TimedRotatingFileHandler。
2. 创建 Logger:创建一个名为 MyTimedLogger 的 logger 对象。
3. 配置 Handler:使用 TimedRotatingFileHandler 创建一个日志处理器,设置每小时(when="H")轮换一次,并保留 3 个备份文件(backupCount=3)。
4. 设置格式:与之前相同,定义日志输出格式。
5. 添加 Handler:将处理器添加到 logger。
6. 生成日志:生成一定数量的日志信息,以查看时间轮换效果。

总结
通过使用 Python 的 logging 模块及其 RotatingFileHandler 和 TimedRotatingFileHandler,我们可以有效管理日志文件的大小。这不仅有助于避免存储空间问题,还能保持日志的整洁和可读性。以上示例提供了基础的实现方式,可以根据需求进一步扩展和自定义日志功能。

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
相关文章
|
9天前
|
弹性计算 人工智能 架构师
阿里云携手Altair共拓云上工业仿真新机遇
2024年9月12日,「2024 Altair 技术大会杭州站」成功召开,阿里云弹性计算产品运营与生态负责人何川,与Altair中国技术总监赵阳在会上联合发布了最新的“云上CAE一体机”。
阿里云携手Altair共拓云上工业仿真新机遇
|
5天前
|
机器学习/深度学习 算法 大数据
【BetterBench博士】2024 “华为杯”第二十一届中国研究生数学建模竞赛 选题分析
2024“华为杯”数学建模竞赛,对ABCDEF每个题进行详细的分析,涵盖风电场功率优化、WLAN网络吞吐量、磁性元件损耗建模、地理环境问题、高速公路应急车道启用和X射线脉冲星建模等多领域问题,解析了问题类型、专业和技能的需要。
2491 14
【BetterBench博士】2024 “华为杯”第二十一届中国研究生数学建模竞赛 选题分析
|
5天前
|
机器学习/深度学习 算法 数据可视化
【BetterBench博士】2024年中国研究生数学建模竞赛 C题:数据驱动下磁性元件的磁芯损耗建模 问题分析、数学模型、python 代码
2024年中国研究生数学建模竞赛C题聚焦磁性元件磁芯损耗建模。题目背景介绍了电能变换技术的发展与应用,强调磁性元件在功率变换器中的重要性。磁芯损耗受多种因素影响,现有模型难以精确预测。题目要求通过数据分析建立高精度磁芯损耗模型。具体任务包括励磁波形分类、修正斯坦麦茨方程、分析影响因素、构建预测模型及优化设计条件。涉及数据预处理、特征提取、机器学习及优化算法等技术。适合电气、材料、计算机等多个专业学生参与。
1510 14
【BetterBench博士】2024年中国研究生数学建模竞赛 C题:数据驱动下磁性元件的磁芯损耗建模 问题分析、数学模型、python 代码
|
1月前
|
运维 Cloud Native Devops
一线实战:运维人少,我们从 0 到 1 实践 DevOps 和云原生
上海经证科技有限公司为有效推进软件项目管理和开发工作,选择了阿里云云效作为 DevOps 解决方案。通过云效,实现了从 0 开始,到现在近百个微服务、数百条流水线与应用交付的全面覆盖,有效支撑了敏捷开发流程。
19280 30
|
7天前
|
编解码 JSON 自然语言处理
通义千问重磅开源Qwen2.5,性能超越Llama
击败Meta,阿里Qwen2.5再登全球开源大模型王座
464 11
|
1月前
|
人工智能 自然语言处理 搜索推荐
阿里云Elasticsearch AI搜索实践
本文介绍了阿里云 Elasticsearch 在AI 搜索方面的技术实践与探索。
18829 20
|
1月前
|
Rust Apache 对象存储
Apache Paimon V0.9最新进展
Apache Paimon V0.9 版本即将发布,此版本带来了多项新特性并解决了关键挑战。Paimon自2022年从Flink社区诞生以来迅速成长,已成为Apache顶级项目,并广泛应用于阿里集团内外的多家企业。
17521 13
Apache Paimon V0.9最新进展
|
1月前
|
存储 人工智能 前端开发
AI 网关零代码解决 AI 幻觉问题
本文主要介绍了 AI Agent 的背景,概念,探讨了 AI Agent 网关插件的使用方法,效果以及实现原理。
18699 16
|
4天前
|
SQL 监控 druid
Druid连接池学习
Druid学习笔记,使用Druid进行密码加密。参考文档:https://github.com/alibaba/druid
204 82
|
7天前
|
人工智能 自动驾驶 机器人
吴泳铭:AI最大的想象力不在手机屏幕,而是改变物理世界
过去22个月,AI发展速度超过任何历史时期,但我们依然还处于AGI变革的早期。生成式AI最大的想象力,绝不是在手机屏幕上做一两个新的超级app,而是接管数字世界,改变物理世界。
422 46
吴泳铭:AI最大的想象力不在手机屏幕,而是改变物理世界