python 线程安全的 单例 实现 日志分级

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介: python 线程安全的 单例 实现 日志分级

什么叫 单例 模式

多次初始化 只返回 同一个对象 叫做单例模式

为什么 要使用单例模式


  1. 代码 中 有些 对象 比如 日志对象 为了防止 多次初始化 可以使用单例模式
  2. 有些 模型 对象 体积庞大, 加载缓慢, 必须使用 单例模式

python 单例 线程安全的 实现方式

import threading
class SingletonType(type):
    _instance_lock = threading.Lock()
    def __call__(cls, *args, **kwargs):
        if not hasattr(cls, "_instance"):
            with SingletonType._instance_lock:
                if not hasattr(cls, "_instance"):
                    cls._instance = super(SingletonType,cls).__call__(*args, **kwargs)
        return cls._instance
class Foo(metaclass=SingletonType):
    def __init__(self,name):
        self.name = name
        print(name)
obj1 = Foo('name2')
obj2 = Foo('name1')
print(obj1,obj2)
# 测试结果 init 函数 只被执行了一次
# python3 singlon.py 
# name2
# <__main__.Foo object at 0x7f7cd9b04860> <__main__.Foo object at 0x7f7cd9b04860>

使用 单例 封装 日志对象

  1. 实现日志单例
  2. 实现日志 分级 输出文件
  3. 实现日志 按照 每周 分文件保存

Singleton.py 单例基类

#!/usr/bin/python
# -*- coding:utf-8 -*-
'''
@File    :   Singleton.py
@Time    :   2020/12/14 14:17:11
@Author  :   lmk
@Version :   1.0
'''
import threading
class SingletonType(type):
    _instance_lock = threading.Lock()
    def __call__(cls, *args, **kwargs):
        if not hasattr(cls, "_instance"):
            with SingletonType._instance_lock:
                if not hasattr(cls, "_instance"):
                    cls._instance = super(SingletonType,cls).__call__(*args, **kwargs)
        return cls._instance
if __name__ == '__main__':
    pass


singleton_log.py 每天 midnight 更换日志文件

#!/usr/bin/python
# -*- coding:utf-8 -*-
'''
@File    :   singleton_log.py
@Time    :   2020/12/14 14:26:05
@Author  :   lmk
@Version :   1.0
'''
from scripts.Singleton import SingletonType
from logging import Logger
import logging  # 引入logging模块
import logging.handlers
import os
import time
from gen_log.a_log_config import info_log_path,err_log_path
class singleLogger(metaclass=SingletonType):
    def __init__(self):
        # 第一步,创建一个logger
        self.logger = logging.getLogger()
        self.logger.setLevel(logging.INFO)  # Log等级总开关
        # 第二步,创建一个handler,用于写入日志文件
        # fh = logging.FileHandler(info_log_path,mode="w")
        info_fh = logging.handlers.TimedRotatingFileHandler(info_log_path,when="midnight")
        # fh.setLevel(logging.DEBUG)  # 输出到file的log等级的开关
        # 设置日志过滤器
        info_filter = logging.Filter()
        info_filter.filter = lambda record: record.levelno <= logging.WARNING # 设置过滤等级
        info_fh.setLevel(logging.INFO)
        info_fh.addFilter(info_filter)
        # fh = logging.FileHandler(info_log_path,mode="w")
        err_fh = logging.handlers.TimedRotatingFileHandler(err_log_path,when="midnight")
        # fh.setLevel(logging.DEBUG)  # 输出到file的log等级的开关
        err_filter = logging.Filter()
        err_filter.filter = lambda record: record.levelno > logging.WARNING
        err_fh.setLevel(logging.ERROR)
        err_fh.addFilter(err_filter)
        # 第三步,定义handler的输出格式
        formatter = logging.Formatter("%(asctime)s - %(filename)s[line:%(lineno)d] - %(levelname)s: \n%(message)s\n")
        info_fh.setFormatter(formatter)
        err_fh.setFormatter(formatter)
        # 第四步,将logger添加到handler里面
        self.logger.addHandler(info_fh)
        self.logger.addHandler(err_fh)
logger = singleLogger().logger

a_log_config.py 日志配置

#!/usr/bin/python
# -*- coding:utf-8 -*-
'''
@File    :   a_log_config.py
@Time    :   2020/12/14 13:28:02
@Author  :   lmk
@Version :   1.0
'''
import os 
import time
opdn = os.path.dirname
dirpath = opdn(opdn(__file__))
logs_dir_path = os.path.join(dirpath,"Logs")
# 消息日志路径
# info_log_name = time.strftime('info_%Y%m%d.log', time.localtime(time.time()))
info_log_name = time.strftime('info.log', time.localtime(time.time()))
info_log_path = os.path.join(logs_dir_path,info_log_name)
# 错误日志路径
# err_log_name = time.strftime('err_%Y%m%d.log', time.localtime(time.time()))
err_log_name = time.strftime('err.log', time.localtime(time.time()))
err_log_path = os.path.join(logs_dir_path,err_log_name)
if __name__ == '__main__':
    pass


最后可以项目 入口 将异常写入 日志

main.py

s = traceback.format_exc()

logger.error(s)


将异常调用栈 信息 取出并 记录到日志

# 开始 定时 处理授权文件
@my_decorator.while_do
def grant_auth():
    try:
        global count
        count+=1
        deal_temp_grant()
        raise(Exception("err {}".format(count)))
    except:
        s = traceback.format_exc()
        logger.error(s)


相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
相关文章
|
5天前
|
Python
python3多线程中使用线程睡眠
本文详细介绍了Python3多线程编程中使用线程睡眠的基本方法和应用场景。通过 `time.sleep()`函数,可以使线程暂停执行一段指定的时间,从而控制线程的执行节奏。通过实际示例演示了如何在多线程中使用线程睡眠来实现计数器和下载器功能。希望本文能帮助您更好地理解和应用Python多线程编程,提高程序的并发能力和执行效率。
34 20
|
18天前
|
并行计算 安全 Java
Python GIL(全局解释器锁)机制对多线程性能影响的深度分析
在Python开发中,GIL(全局解释器锁)一直备受关注。本文基于CPython解释器,探讨GIL的技术本质及其对程序性能的影响。GIL确保同一时刻只有一个线程执行代码,以保护内存管理的安全性,但也限制了多线程并行计算的效率。文章分析了GIL的必要性、局限性,并介绍了多进程、异步编程等替代方案。尽管Python 3.13计划移除GIL,但该特性至少要到2028年才会默认禁用,因此理解GIL仍至关重要。
97 16
Python GIL(全局解释器锁)机制对多线程性能影响的深度分析
|
3月前
|
监控 数据挖掘 数据安全/隐私保护
Python脚本:自动化下载视频的日志记录
Python脚本:自动化下载视频的日志记录
|
3月前
|
数据采集 存储 数据处理
Python中的多线程编程及其在数据处理中的应用
本文深入探讨了Python中多线程编程的概念、原理和实现方法,并详细介绍了其在数据处理领域的应用。通过对比单线程与多线程的性能差异,展示了多线程编程在提升程序运行效率方面的显著优势。文章还提供了实际案例,帮助读者更好地理解和掌握多线程编程技术。
|
3月前
|
监控 JavaScript 前端开发
python中的线程和进程(一文带你了解)
欢迎来到瑞雨溪的博客,这里是一位热爱JavaScript和Vue的大一学生分享技术心得的地方。如果你从我的文章中有所收获,欢迎关注我,我将持续更新更多优质内容,你的支持是我前进的动力!🎉🎉🎉
47 0
|
3月前
|
数据采集 Java Python
爬取小说资源的Python实践:从单线程到多线程的效率飞跃
本文介绍了一种使用Python从笔趣阁网站爬取小说内容的方法,并通过引入多线程技术大幅提高了下载效率。文章首先概述了环境准备,包括所需安装的库,然后详细描述了爬虫程序的设计与实现过程,包括发送HTTP请求、解析HTML文档、提取章节链接及多线程下载等步骤。最后,强调了性能优化的重要性,并提醒读者遵守相关法律法规。
119 0
|
3月前
|
并行计算 数据处理 调度
Python中的并发编程:探索多线程与多进程的奥秘####
本文深入探讨了Python中并发编程的两种主要方式——多线程与多进程,通过对比分析它们的工作原理、适用场景及性能差异,揭示了在不同应用需求下如何合理选择并发模型。文章首先简述了并发编程的基本概念,随后详细阐述了Python中多线程与多进程的实现机制,包括GIL(全局解释器锁)对多线程的影响以及多进程的独立内存空间特性。最后,通过实例演示了如何在Python项目中有效利用多线程和多进程提升程序性能。 ####
|
3月前
|
Java Unix 调度
python多线程!
本文介绍了线程的基本概念、多线程技术、线程的创建与管理、线程间的通信与同步机制,以及线程池和队列模块的使用。文章详细讲解了如何使用 `_thread` 和 `threading` 模块创建和管理线程,介绍了线程锁 `Lock` 的作用和使用方法,解决了多线程环境下的数据共享问题。此外,还介绍了 `Timer` 定时器和 `ThreadPoolExecutor` 线程池的使用,最后通过一个具体的案例展示了如何使用多线程爬取电影票房数据。文章还对比了进程和线程的优缺点,并讨论了计算密集型和IO密集型任务的适用场景。
150 4
|
4月前
|
安全 数据处理 开发者
Python中的多线程编程:从入门到精通
本文将深入探讨Python中的多线程编程,包括其基本原理、应用场景、实现方法以及常见问题和解决方案。通过本文的学习,读者将对Python多线程编程有一个全面的认识,能够在实际项目中灵活运用。
|
4月前
|
Python Windows
python知识点100篇系列(24)- 简单强大的日志记录器loguru
【10月更文挑战第11天】Loguru 是一个功能强大的日志记录库,支持日志滚动、压缩、定时删除、高亮和告警等功能。安装简单,使用方便,可通过 `pip install loguru` 快速安装。支持将日志输出到终端或文件,并提供丰富的配置选项,如按时间或大小滚动日志、压缩日志文件等。还支持与邮件通知模块结合,实现邮件告警功能。
python知识点100篇系列(24)- 简单强大的日志记录器loguru

推荐镜像

更多