Python Logging 限制文件大小
Python 的 logging 模块是一个强大的工具，用于记录和管理日志信息。在实际应用中，尤其是在长时间运行的程序中，日志文件可能会无限增大，从而导致存储资源不足或难以管理。为此，我们可以使用 RotatingFileHandler 或 TimedRotatingFileHandler 来限制日志文件的大小，确保日志管理的高效性。
使用 RotatingFileHandler 限制文件大小
RotatingFileHandler 简介
RotatingFileHandler 允许我们创建一个日志处理器，在达到指定文件大小时自动轮换日志文件。这样可以避免单个日志文件过大，同时保留一定数量的历史日志文件。
实例代码
下面是一个使用 RotatingFileHandler 的示例代码，其中限制日志文件大小为 1MB，并保留最多 5 个备份文件：
import logging
from logging.handlers import RotatingFileHandler
# 创建一个 logger 对象
logger = logging.getLogger("MyLogger")
logger.setLevel(logging.DEBUG) # 设置日志级别为 DEBUG
# 创建一个 RotatingFileHandler，限制文件大小为 1 MB, 保留 5 个备份
handler = RotatingFileHandler(
"my_log.log", maxBytes=1 * 1024 * 1024, backupCount=5
)
formatter = logging.Formatter('%(asctime)s - %(levelname)s - %(message)s')
handler.setFormatter(formatter)
# 将 handler 添加到 logger
logger.addHandler(handler)
# 测试日志输出
for i in range(10000):
logger.debug(f"This is log message number {i}")
代码解释
- 导入模块：首先导入 logging 和 RotatingFileHandler。
- 创建 Logger：创建一个名为 MyLogger 的 logger 对象，并设置日志级别为 DEBUG。
- 配置 Handler：使用 RotatingFileHandler 创建一个日志处理器，设置最大文件大小为 1 MB（maxBytes=1 1024 1024），同时定义最多保留 5 个备份文件（backupCount=5）。
- 设置格式：定义日志的输出格式，包括时间、级别和消息内容。
- 添加 Handler：将处理器添加到 logger。
- 生成日志：通过循环生成大量日志信息，测试日志文件的轮换功能。
- 日志文件轮换
- 当 my_log.log 文件的大小达到 1 MB 时，RotatingFileHandler 会自动将当前日志文件重命名为 my_log.log.1，继而创建一个新的 my_log.log 文件来继续记录日志。若还有更早的日志文件，后续的文件依次递增编号，直到达到备份数量限制（在本例中为 5 个）。
使用 TimedRotatingFileHandler 按时间限制文件大小
如果你希望按时间周期来管理日志文件，可以使用 TimedRotatingFileHandler。该处理器允许根据设定的时间间隔（例如每小时、每天等）自动轮换日志文件。
实例代码
以下是一个使用 TimedRotatingFileHandler 的示例，设置每小时轮换一次日志文件：
import logging
from logging.handlers import TimedRotatingFileHandler
# 创建一个 logger 对象
logger = logging.getLogger("MyTimedLogger")
logger.setLevel(logging.DEBUG) # 设置日志级别为 DEBUG
# 创建一个 TimedRotatingFileHandler，每小时轮换一次
handler = TimedRotatingFileHandler(
"timed_log.log", when="H", interval=1, backupCount=3
)
formatter = logging.Formatter('%(asctime)s - %(levelname)s - %(message)s')
handler.setFormatter(formatter)
# 将 handler 添加到 logger
logger.addHandler(handler)
# 测试日志输出
for i in range(100):
logger.debug(f"This is timed log message number {i}")
代码解释
- 导入模块：同样导入 logging 和 TimedRotatingFileHandler。
- 创建 Logger：创建一个名为 MyTimedLogger 的 logger 对象。
- 配置 Handler：使用 TimedRotatingFileHandler 创建一个日志处理器，设置每小时（when="H"）轮换一次，并保留 3 个备份文件（backupCount=3）。
- 设置格式：与之前相同，定义日志输出格式。
- 添加 Handler：将处理器添加到 logger。
- 生成日志：生成一定数量的日志信息，以查看时间轮换效果。
总结
通过使用 Python 的 logging 模块及其 RotatingFileHandler 和 TimedRotatingFileHandler，我们可以有效管理日志文件的大小。这不仅有助于避免存储空间问题，还能保持日志的整洁和可读性。以上示例提供了基础的实现方式，可以根据需求进一步扩展和自定义日志功能。
