python接口自动化(四十)- logger 日志 - 下(超详解)

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
简介: 日志是非常重要的,用于记录系统、软件操作事件的记录文件或文件集合,可分为事件日志和消息日志。具有处理历史数据、诊断问题的追踪以及理解系统、软件的活动等重要作用,在开发或者测试软系统过程中出现了问题,我们首先想到的就是她——logging。

简介



按照上一篇的计划,这一篇给小伙伴们讲解一下:


(1)多模块使用logging,

(2)通过文件配置logging模块,

(3)自己封装一个日志(logging)类。可能有的小伙伴在这里会有个疑问一个logging为什么分两篇的篇幅来介绍她呢???


那是因为日志是非常重要的,用于记录系统、软件操作事件的记录文件或文件集合,可分为事件日志和消息日志。具有处理历史数据、诊断问题的追踪以及理解系统、软件的活动等重要作用,在开发或者测试软系统过程中出现了问题,我们首先想到的就是她——logging。她可不像泰戈尔说的:“天空没有留下翅膀的痕迹,但我已经飞过”;这个90后的小姑娘,她可是一个爱炫耀,爱显摆的人已经达到了人过留名、雁过留声的境界。好了逗大家一乐,下面开始进入今天的正题。


多模块使用logging



1、父模块fatherModule.py:


1232840-20190524104150326-666690859.png


2、子模块sonModule.py:

1232840-20190524104347368-1905717054.png


3、运行结果,在控制和日志文件log.txt中输出:


1232840-20190524104511872-1375688510.png


首先在父模块定义了logger'fatherModule',并对它进行了配置,就可以在解释器进程里面的其他地方通过getLogger('fatherModule')得到的对象都是一样的,不需要重新配置,可以直接使用。定义的该logger的子logger,


都可以共享父logger的定义和配置,所谓的父子logger是通过命名来识别,任意以'fatherModule'开头的logger都是它的子logger,例如'fatherModule.son'。

  

实际开发一个application,首先可以通过logging配置文件编写好这个application所对应的配置,可以生成一个根logger,如'PythonAPP',然后在主函数中通过fileConfig加载logging配置,接着在application的其他地方、不同的模块中,可以使用根logger的子logger,


如'PythonAPP.Core','PythonAPP.Web'来进行log,而不需要反复的定义和配置各个模块的logger。


4、参考代码


fatherModule.py文件:

 # coding=utf-8
  # 1.先设置编码,utf-8可支持中英文,如上,一般放在第一行
  # 2.注释:包括记录创建时间,创建人,项目名称。
  '''
  Created on 2019-5-24
  @author: 北京-宏哥
  Project:学习和使用python的logging日志模块-多模块使用logging
  '''
 # 3.导入模块
 import logging
 import sonModule
 logger = logging.getLogger("fatherModule")
 logger.setLevel(level = logging.INFO)
 handler = logging.FileHandler("log.txt")
 handler.setLevel(logging.INFO)
 formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s')
 handler.setFormatter(formatter)
 console = logging.StreamHandler()
 console.setLevel(logging.INFO)
 console.setFormatter(formatter)
logger.addHandler(handler)
 logger.addHandler(console)
 logger.info("creating an instance of sonModule.sonModuleClass")
 a = sonModule.SonModuleClass()
 logger.info("calling sonModule.sonModuleClass.doSomething")
 a.doSomething()
 logger.info("done with  sonModule.sonModuleClass.doSomething")
 logger.info("calling sonModule.some_function")
 sonModule.som_function()
 logger.info("done with sonModule.some_function")


sonModule.py文件:


 # coding=utf-8
  # 1.先设置编码,utf-8可支持中英文,如上,一般放在第一行
  # 2.注释:包括记录创建时间,创建人,项目名称。
  '''
  Created on 2019-5-24
 @author: 北京-宏哥
  Project:学习和使用python的logging日志模块-多模块使用logging
  '''
 # 3.导入模块
 import logging
 module_logger = logging.getLogger("fatherModule.son")
 class SonModuleClass(object):
     def __init__(self):
         self.logger = logging.getLogger("fatherModule.son.module")
         self.logger.info("creating an instance in SonModuleClass")
     def doSomething(self):
         self.logger.info("do something in SonModule")
         a = []
         a.append(1)
         self.logger.debug("list a = " + str(a))
         self.logger.info("finish something in SonModuleClass")
 def som_function():
     module_logger.info("call function some_function")


文件配置logging模块



1、通过logging.config模块配置日志构造信息


logger.conf文件:
[loggers]
keys = root, example01, example02
[logger_root]
level = DEBUG
handlers = hand01, hand02
[logger_example01]
handlers = hand01, hand02
qualname = example01
propagate = 0
[logger_example02]
handlers = hand01, hand03
qualname = example02
propagate = 0
[handlers]
keys = hand01, hand02, hand03
[handler_hand01]
class = StreamHandler
level = INFO
formatter = form01
args=(sys.stdout, )
[handler_hand02]
class = FileHandler
level = DEBUG
formatter = form01
args = ('log/test_case_log.log', 'a')
[handler_hand03]
class = handlers.RotatingFileHandler
level = INFO
formatter = form01
args = ('log/test_case_log.log', 'a', 10*1024*1024,3)
[formatters]
keys = form01, form02
[formatter_form01]
format = %(asctime)s-%(filename)s-[line:%(lineno)d]-%(levelname)s-[LogInfoMessage]: %(message)s
datefmt = %a, %d %b %Y %H:%M:%S
[formatter_form02]
format = %(name)-12s: %(levelname)-8s-[日志信息]: %(message)s
datefmt = %a, %d %b %Y %H:%M:%S


一、实例:


1、实例代码


1232840-20190524125154533-1552402737.png


2、运行结果:


1232840-20190524125217003-505532949.png


3、参考代码:


# coding=utf-8
# 1.先设置编码,utf-8可支持中英文,如上,一般放在第一行
# 2.注释:包括记录创建时间,创建人,项目名称。
'''
Created on 2019-5-27
@author: 北京-宏哥
Project:学习和使用python的logging日志模块-多模块使用logging
'''
# 3.导入模块
import logging
import logging.config
logging.config.fileConfig("logger.conf")
logger = logging.getLogger("example01")
logger.debug('This is debug message')
logger.info('This is info message')
logger.warning('This is warning message')


二、实例


1、实例代码


1232840-20190524125420483-29316957.png


2、运行结果


1232840-20190524125443008-170420070.png


3、参考代码:


# coding=utf-8
# 1.先设置编码,utf-8可支持中英文,如上,一般放在第一行
# 2.注释:包括记录创建时间,创建人,项目名称。
'''
Created on 2019-5-24
@author: 北京-宏哥
Project:学习和使用python的logging日志模块-多模块使用logging
'''
# 3.导入模块
import logging
import logging.config
logging.config.fileConfig("logger.conf")
logger = logging.getLogger("example02")
logger.debug('This is debug message')
logger.info('This is info message')
logger.warning('This is warning message')


2、通过JSON文件配置


json配置文件:

{
    "version":1,
    "disable_existing_loggers":false,
    "formatters":{
        "simple":{
            "format":"%(asctime)s - %(name)s - %(levelname)s - %(message)s"
        }
    },
    "handlers":{
        "console":{
            "class":"logging.StreamHandler",
            "level":"DEBUG",
            "formatter":"simple",
            "stream":"ext://sys.stdout"
        },
        "info_file_handler":{
            "class":"logging.handlers.RotatingFileHandler",
            "level":"INFO",
            "formatter":"simple",
            "filename":"info.log",
            "maxBytes":"10485760",
            "backupCount":20,
            "encoding":"utf8"
        },
        "error_file_handler":{
            "class":"logging.handlers.RotatingFileHandler",
            "level":"ERROR",
            "formatter":"simple",
            "filename":"errors.log",
            "maxBytes":10485760,
            "backupCount":20,
            "encoding":"utf8"
        }
    },
    "loggers":{
        "my_module":{
            "level":"ERROR",
            "handlers":["info_file_handler"],
            "propagate":"no"
        }
    },
    "root":{
        "level":"INFO",
        "handlers":["console","info_file_handler","error_file_handler"]
    }
}


1、通过JSON加载配置文件,然后通过logging.dictConfig配置logging:

1232840-20190527090325936-961419652.png


2、运行结果:

1232840-20190527091122513-2051246113.png


3、参考代码:

 import json  
  import logging.config  
  import os  
  def setup_logging(default_path = "logging.json",default_level = logging.INFO,env_key = "LOG_CFG"):  
      path = default_path  
      value = os.getenv(env_key,None)  
      if value:  
         path = value  
     if os.path.exists(path):  
         with open(path,"r") as f:  
             config = json.load(f)  
             logging.config.dictConfig(config)  
     else:  
         logging.basicConfig(level = default_level)  
 def func():  
 logging.info("start func")  
     logging.info("exec func")  
     logging.info("end func")  
 if __name__ == "__main__":  
     setup_logging(default_path = "logging.json")  
     func()


3、通过YAML文件配置


1、首先要导入yaml模块,输入命令  python2: pip install yaml          python3:pip install pyyaml


1232840-20190524152951024-76925686.png


2、通过YAML文件进行配置,比JSON看起来更加简介明了:

logging.yaml文件:

version: 1
disable_existing_loggers: False
formatters:
        simple:
            format: "%(asctime)s - %(name)s - %(levelname)s - %(message)s"
handlers:
    console:
            class: logging.StreamHandler
            level: DEBUG
            formatter: simple
            stream: ext://sys.stdout
    info_file_handler:
            class: logging.handlers.RotatingFileHandler
            level: INFO
            formatter: simple
            filename: info.log
            maxBytes: 10485760
            backupCount: 20
            encoding: utf8
    error_file_handler:
            class: logging.handlers.RotatingFileHandler
            level: ERROR
            formatter: simple
            filename: errors.log
            maxBytes: 10485760
            backupCount: 20
            encoding: utf8
loggers:
    my_module:
            level: ERROR
            handlers: [info_file_handler]
            propagate: no
root:
    level: INFO
    handlers: [console,info_file_handler,error_file_handler]


3、通过YAML加载配置文件,然后通过logging.dictConfig配置logging:


1232840-20190524153857018-1380309551.png


4、运行结果:


1232840-20190524154010112-374565545.png


5、参考代码:


# coding=utf-8
# 1.先设置编码,utf-8可支持中英文,如上,一般放在第一行
# 2.注释:包括记录创建时间,创建人,项目名称。
'''
Created on 2019-5-24
@author: 北京-宏哥
Project:学习和使用python的logging日志模块-yaml文件配置logging
'''
# 3.导入模块
import yaml
import logging.config
import os
def setup_logging(default_path = "logging.yaml",default_level = logging.INFO,env_key = "LOG_CFG"):
    path = default_path
    value = os.getenv(env_key,None)
    if value:
        path = value
    if os.path.exists(path):
        with open(path,"r") as f:
            config = yaml.load(f)
            logging.config.dictConfig(config)
    else:
        logging.basicConfig(level = default_level)
def func():
    logging.info("start func")
    logging.info("exec func")
    logging.info("end func")
if __name__ == "__main__":
    setup_logging(default_path = "logging.yaml")
    func()


注意:配置文件中“disable_existing_loggers” 参数设置为 False;如果不设置为False,创建了 logger,然后你又在加载日志配置文件之前就导入了模块。logging.fileConfig 与 logging.dictConfig 默认情况下会使得已经存在的 logger 失效。那么,这些配置信息就不会应用到你的 Logger 上。“disable_existing_loggers” = False解决了这个问题


自己封装一个logging类



1、实例代码:


1232840-20190527104809398-14622080.png


2、运行结果:


1232840-20190527115636826-1726374909.png


3、参考代码:


 # coding=utf-8
  # 1.先设置编码,utf-8可支持中英文,如上,一般放在第一行
  # 2.注释:包括记录创建时间,创建人,项目名称。
  '''
  Created on 2019-5-27
  @author: 北京-宏哥
  Project:学习和使用python的logging日志模块-自己封装logging
  '''
 # 3.导入模块
 import logging
 class Log(object):
     def __init__(self, name=__name__, path='mylog.log', level='DEBUG'):
         self.__name = name
         self.__path = path
         self.__level = level
         self.__logger = logging.getLogger(self.__name)
         self.__logger.setLevel(self.__level)
     def __ini_handler(self):
         """初始化handler"""
         stream_handler = logging.StreamHandler()
         file_handler = logging.FileHandler(self.__path, encoding='utf-8')
         return stream_handler, file_handler
     def __set_handler(self, stream_handler, file_handler, level='DEBUG'):
         """设置handler级别并添加到logger收集器"""
         stream_handler.setLevel(level)
         file_handler.setLevel(level)
         self.__logger.addHandler(stream_handler)
         self.__logger.addHandler(file_handler)
     def __set_formatter(self, stream_handler, file_handler):
         """设置日志输出格式"""
         formatter = logging.Formatter('%(asctime)s-%(name)s-%(filename)s-[line:%(lineno)d]'
                                       '-%(levelname)s-[日志信息]: %(message)s',
                                       datefmt='%a, %d %b %Y %H:%M:%S')
         stream_handler.setFormatter(formatter)
         file_handler.setFormatter(formatter)
     def __close_handler(self, stream_handler, file_handler):
         """关闭handler"""
         stream_handler.close()
         file_handler.close()
     @property
     def Logger(self):
         """构造收集器,返回looger"""
         stream_handler, file_handler = self.__ini_handler()
         self.__set_handler(stream_handler, file_handler)
         self.__set_formatter(stream_handler, file_handler)
         self.__close_handler(stream_handler, file_handler)
         return self.__logger
 if __name__ == '__main__':
     log = Log(__name__, 'file.log')
     logger = log.Logger
     logger.debug('I am a debug message')
     logger.info('I am a info message')
     logger.warning('I am a warning message')
     logger.error('I am a error message')
     logger.critical('I am a critical message')


小结



1、在yaml文件配置logging的时候,会有个报警信息。有代码洁癖的人,可以处理一下


1232840-20190524154057268-926674480.png


2、是什么原因造成上面的告警呢???是因为:YAML 5.1版本后弃用了yaml.load(file)这个用法,因为觉得很不安全,5.1版本之后就修改了需要指定Loader,通过默认加载器(FullLoader)禁止执行任意函数,该load函数也变得更加安全。


3、解决办法:

  不用改很多代码 加一句就行了 在yaml.load(f, Loader=yaml.FullLoader) 加上 Loader=yaml.FullLoader 就行了。这里要注意的是L要大写的,否则会报错的。


4、加上以后,看一下运行结果:

1232840-20190527090711077-568061041.png


 最后给大家留个彩蛋:文章中有一处bug,会影响运行结果而报错,聪明的你,可以找到吗???嘿嘿!!!欢迎互动和留言

相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
相关文章
|
19天前
|
搜索推荐 Python
使用Python自动化生成物业通知单
本文介绍如何使用Python结合Pandas和python-docx库自动化生成物业通知单。通过读取Excel数据并填充至Word模板,实现高效准确的通知单批量制作。包括环境准备、代码解析及效果展示,适用于物业管理场景。
58 14
|
23天前
|
数据采集 数据可视化 数据挖掘
利用Python自动化处理Excel数据:从基础到进阶####
本文旨在为读者提供一个全面的指南,通过Python编程语言实现Excel数据的自动化处理。无论你是初学者还是有经验的开发者,本文都将帮助你掌握Pandas和openpyxl这两个强大的库,从而提升数据处理的效率和准确性。我们将从环境设置开始,逐步深入到数据读取、清洗、分析和可视化等各个环节,最终实现一个实际的自动化项目案例。 ####
|
24天前
|
数据采集 存储 XML
Python爬虫:深入探索1688关键词接口获取之道
在数字化经济中,数据尤其在电商领域的价值日益凸显。1688作为中国领先的B2B平台,其关键词接口对商家至关重要。本文介绍如何通过Python爬虫技术,合法合规地获取1688关键词接口,助力商家洞察市场趋势,优化营销策略。
|
9天前
|
JSON 数据可视化 测试技术
python+requests接口自动化框架的实现
通过以上步骤,我们构建了一个基本的Python+Requests接口自动化测试框架。这个框架具有良好的扩展性,可以根据实际需求进行功能扩展和优化。它不仅能提高测试效率,还能保证接口的稳定性和可靠性,为软件质量提供有力保障。
33 7
|
7天前
|
分布式计算 大数据 数据处理
技术评测:MaxCompute MaxFrame——阿里云自研分布式计算框架的Python编程接口
随着大数据和人工智能技术的发展,数据处理的需求日益增长。阿里云推出的MaxCompute MaxFrame(简称“MaxFrame”)是一个专为Python开发者设计的分布式计算框架,它不仅支持Python编程接口,还能直接利用MaxCompute的云原生大数据计算资源和服务。本文将通过一系列最佳实践测评,探讨MaxFrame在分布式Pandas处理以及大语言模型数据处理场景中的表现,并分析其在实际工作中的应用潜力。
34 2
|
14天前
|
数据采集 存储 API
利用Python爬虫获取1688关键词接口全攻略
本文介绍如何使用Python爬虫技术合法合规地获取1688关键词接口数据,包括环境准备、注册1688开发者账号、获取Access Token、构建请求URL、发送API请求、解析HTML及数据处理存储等步骤,强调遵守法律法规和合理使用爬虫技术的重要性。
|
24天前
|
Android开发 开发者 Python
通过标签清理微信好友:Python自动化脚本解析
微信已成为日常生活中的重要社交工具,但随着使用时间增长,好友列表可能变得臃肿。本文介绍了一个基于 Python 的自动化脚本,利用 `uiautomator2` 库,通过模拟用户操作实现根据标签批量清理微信好友的功能。脚本包括环境准备、类定义、方法实现等部分,详细解析了如何通过标签筛选并删除好友,适合需要批量管理微信好友的用户。
34 7
|
23天前
|
安全 API 文件存储
Yagmail邮件发送库:如何用Python实现自动化邮件营销?
本文详细介绍了如何使用Yagmail库实现自动化邮件营销。Yagmail是一个简洁强大的Python库,能简化邮件发送流程,支持文本、HTML邮件及附件发送,适用于数字营销场景。文章涵盖了Yagmail的基本使用、高级功能、案例分析及最佳实践,帮助读者轻松上手。
31 4
|
22天前
|
敏捷开发 测试技术 持续交付
自动化测试之美:从零开始搭建你的Python测试框架
在软件开发的马拉松赛道上,自动化测试是那个能让你保持节奏、避免跌宕起伏的神奇小助手。本文将带你走进自动化测试的世界,用Python这把钥匙,解锁高效、可靠的测试框架之门。你将学会如何步步为营,构建属于自己的测试庇护所,让代码质量成为晨跑时清新的空气,而不是雾霾中的忧虑。让我们一起摆脱手动测试的繁琐枷锁,拥抱自动化带来的自由吧!
|
1月前
|
XML 安全 Java
【日志框架整合】Slf4j、Log4j、Log4j2、Logback配置模板
本文介绍了Java日志框架的基本概念和使用方法,重点讨论了SLF4J、Log4j、Logback和Log4j2之间的关系及其性能对比。SLF4J作为一个日志抽象层,允许开发者使用统一的日志接口,而Log4j、Logback和Log4j2则是具体的日志实现框架。Log4j2在性能上优于Logback,推荐在新项目中使用。文章还详细说明了如何在Spring Boot项目中配置Log4j2和Logback,以及如何使用Lombok简化日志记录。最后,提供了一些日志配置的最佳实践,包括滚动日志、统一日志格式和提高日志性能的方法。
345 30
【日志框架整合】Slf4j、Log4j、Log4j2、Logback配置模板

热门文章

最新文章