Python日志管理之Loguru

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介: Python日志管理之Loguru

1.安装

pip install loguru

2.快速使用

from loguru import logger


logger.add("my_log.log", rotation="10 MB")  # 自动分割日志文件

logger.info("这是一个信息级别的日志")

3.日志器配置方式

1.导入即用 from loguru import logger,有且只有1个日志器对象,简化配置复杂性
2.日志器配置方式只有1种 logger.add(...),直接配置日志输出位置、格式、过滤条件、级别、滚存行为
3.为不同的日志输出位置,多次执行 logger.add(...),支持标准输出/错误、本地文件、网络位置
from loguru import logger
# 导入即用,有且只有1个日志器对象,简化配置复杂性
logger.debug("That's it, beautiful and simple logging!")
# 只有1种配置方式,直接配置日志输出位置(sink)、格式(format)、过滤条件(filter)、级别(level)、滚存行为(rotation)
logger.add(sys.stderr, format="{time} {level} {message}", filter="my_module", level="INFO")
# 可选按文件大小、时间
logger.add("file_1.log", rotation="500 MB")    # Automatically rotate too big file
logger.add("file_2.log", rotation="12:00")     # New file is created each day at noon
logger.add("file_3.log", rotation="1 week")    # Once the file is too old, it's rotated
# 对滚存后的旧日志文件,可选进一步配置保留/清理方式、压缩方式
logger.add("file_X.log", retention="10 days")  # Cleanup after some time
logger.add("file_Y.log", compression="zip")    # Save some loved space

4.日志级别及自定义日志级别

TRACE:新增级别,用于开发和调试阶段跟踪执行流程和更详细的变量信息,相当有用
DEBUG
INFO
SUCCESS:新增,这个成功的语义更加明确,按需选择
WARNING
ERROR
CRITICAL
另外,还支持自定义级别
new_level = logger.level("SNAKY", no=38, color="<yellow>", icon="")
logger.log("SNAKY", "Here we go!")

5.自定义字段、过滤条件

1.自定义字段,就像日志器默认的时间、模块、函数、级别等字段,我们也可以自定义像来访IP、用户ID等字段,这些字段都统一保存在record['extra']的字典里
2.自定义字段,还可以结合过滤条件使用,其中1种应用就是实现以前logging不同日志器输出到不同文件的效果
# 静态绑定自定义字段
## 在配置格式时,加入自定义字段的占位字符串
logger.add("file.log", format="{extra[ip]} {extra[user]} {message}")
## 给日志器绑定自定义字段
context_logger = logger.bind(ip="192.168.0.1", user="someone")
## 使用绑定自定义字段的日志器
context_logger.info("Contextualize your logger easily")
## 修改绑定的自定义字段-方式1
context_logger.bind(user="someone_else").info("Inline binding of extra attribute")
## 修改绑定的自定义字段-方式2
context_logger.info("Use kwargs to add context during formatting: {user}", user="anybody")
## 如果上面写法太麻烦,可以采用with关键字+contextualize方法简写绑定方式:
with logger.contextualize(task=task_id):
    do_something()
    logger.info("End of task")
================================================
# 动态绑定自定义字段
## patch方法支持动态绑定自定义字段取值,比如当前时间
logger.add(sys.stderr, format="{extra[utc]} {message}")
logger = logger.patch(lambda record: record["extra"].update(utc=datetime.utcnow()))
================================================
# 自定义字段 -> 过滤条件
## 过滤含special自定义字段的日志到special.log中
logger.add("special.log", filter=lambda record: "special" in record["extra"])
## 这条日志没有绑定special字段,不会写入special.log
logger.debug("This message is not logged to the file")
## 这条日志绑定了special字段,会写入special.log
logger.bind(special=True).info("This message, though, is logged to the file!")

6.装饰器方式捕获并日志异常

from loguru import logger
@logger.catch
def my_function(x, y, z):
    # An error? It's caught anyway!
    return 1 / (x + y + z)

7.多协程、多线程、多进程安全

废话,logging本身就是线程安全的,loguru当然也是
废话,线程都安全了,协程能不安全吗
多进程安全,是我喜欢它的另外一个理由
线程池、进程池中使用时,注意如果使用了logger.add(...),为避免重复配置而导致的重复日志,请在前面加上logger.remove()清除配置,否则线程、进程是复用的,提交1次任务就重复配置1次,提交1次就重复配置1次,...
from loguru import logger
@logger.catch
def train_ps():
    logger.remove()
    logger.add('logs/train.log', rotation='2 weeks')
    ...

8.异步日志解决性能损耗

当磁盘IO很高、网络有延迟时,日志本身可能就会成为程序的性能损耗点

另外多线程、多进程写入相同日志文件时,锁的问题,也会导致程序的性能损耗

Loguru非常贴心地提供了enqueue参数,直接通过消息队列的方式,实现异步日志


logger.add("somefile.log", enqueue=True)

9.其他

1.日志输出到终端时,可配置颜色
logger.add(sys.stdout, colorize=True, format="<green>{time}</green> <level>{message}</level>")
2.日志异常时,支持记录详细到变量值的异常栈,注意可能会在日志中泄露敏感数据
logger.add("out.log", backtrace=True, diagnose=True)
def func(a, b):
    return a / b
def nested(c):
    try:
        func(5, c)
    except ZeroDivisionError:
        logger.exception("What?!")
nested(0)
---
2018-07-17 01:38:43.975 | ERROR    | __main__:nested:10 - What?!
Traceback (most recent call last):
  File "test.py", line 12, in <module>
    nested(0)
    └ <function nested at 0x7f5c755322f0>
> File "test.py", line 8, in nested
    func(5, c)
    │       └ 0
    └ <function func at 0x7f5c79fc2e18>
  File "test.py", line 4, in func
    return a / b
           │   └ 0
           └ 5
ZeroDivisionError: division by zero
3.支持序列化成JSON格式,再输出到日志位置
logger.add(custom_sink_function, serialize=True)

抄自于:https://www.toutiao.com/article/7353288382568841766

 

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
相关文章
|
16天前
|
数据采集 机器学习/深度学习 存储
使用 Python 清洗日志数据
使用 Python 清洗日志数据
20 2
|
1月前
|
消息中间件 Kafka API
python之kafka日志
python之kafka日志
22 3
|
1月前
|
Python
5-9|Python获取日志
5-9|Python获取日志
|
1月前
|
开发者 Python
基于Python的日志管理与最佳实践
日志是开发和调试过程中的重要工具,然而,如何高效地管理和利用日志常常被忽略。本文通过Python中的logging模块,探讨如何使用日志来进行调试、分析与问题排查,并提出了一些实际应用中的优化建议和最佳实践。
|
1月前
|
Python
Python如何将日志输入到文件里
Python如何将日志输入到文件里
|
1月前
|
Python
python之日志基础班
python之日志基础班
|
2月前
|
运维 监控 数据可视化
自动化运维:使用Python脚本进行日志分析
【8月更文挑战第31天】当系统出现问题时,我们通常会查看日志寻找线索。然而,手动阅读大量日志既费时又易出错。本文将介绍如何使用Python脚本自动分析日志,快速定位问题,提高运维效率。我们将从简单的日志读取开始,逐步深入到复杂的正则表达式匹配和错误统计,最后实现一个自动化的日志监控系统。无论你是新手还是老手,这篇文章都将为你提供有价值的参考。让我们一起探索如何用代码解放双手,让运维工作变得更加轻松吧!
|
Python
Python - loguru日志库,高效输出控制台日志和日志记录
Python - loguru日志库,高效输出控制台日志和日志记录
996 0
Python - loguru日志库,高效输出控制台日志和日志记录
|
9天前
|
存储 程序员 开发者
Python编程基础:从入门到实践
【10月更文挑战第8天】在本文中,我们将一起探索Python编程的奇妙世界。无论你是初学者还是有一定经验的开发者,这篇文章都将为你提供有价值的信息。我们将从Python的基本概念开始,然后逐步深入到更复杂的主题,如数据结构、函数和类。最后,我们将通过一些实际的代码示例来巩固我们的知识。让我们一起开始这段Python编程之旅吧!