AI 助理
备案控制台
开发者社区 开发与运维 文章 正文

Python日志采集（详细）（二）

2022-04-24 225
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
日志服务 SLS，月写入数据量 50GB 1个月
简介： logging 实战

logging 实战


1，测试场景


给登录今日头条app的操作添加日志采集。


2，简单配置代码示例


# -*- coding:utf-8 -*-
# @author: 给你一页白纸
import logging
from appium import webdriver
logging.basicConfig(filename='./testLog.log', level=logging.INFO, 
                    format='%(asctime)s %(filename)s[line:%(lineno)d] %(levelname)s %(message)s')
def android_driver():
    desired_caps = {
        "platformName": "Android",
        "platformVersion": "10",
        "deviceName": "PCT_AL10",
        "appPackage": "com.ss.android.article.news",
        "appActivity": ".activity.MainActivity",
        "unicodeKeyboard": True,
        "resetKeyboard": True,
        "noReset": True,
    }
    logging.info("启动今日头条APP...")
    driver = webdriver.Remote('http://127.0.0.1:4723/wd/hub', desired_caps)
    return driver
def login_opera(driver):
    '''登录今日头条操作'''
    logging.info("开始登陆今日头条APP...")
    try:
        driver.find_element_by_id("com.ss.android.article.news:id/cji").click() # 点击【我知道了】
        driver.find_element_by_id("android:id/button1").click() # 点击权限管理-确定按钮
        driver.find_element_by_xpath("//android.widget.TabWidget/android.widget.RelativeLayout[@index=3]").click() # 点击未登录
        driver.find_element_by_id("com.ss.android.article.news:id/a10").click() # 未登录页点击登录按钮
        driver.find_element_by_id("com.ss.android.article.news:id/bgh").click() # 登录页点击“。。。”
        driver.find_element_by_xpath("//android.widget.LinearLayout[@index=4]").click() # 选择密码登录
        driver.find_element_by_id("com.ss.android.article.news:id/bu").send_keys("18768124236")   # 输入账号
        driver.find_element_by_id("com.ss.android.article.news:id/c5").send_keys("xiaoqq3915172")   # 输入密码
        driver.find_element_by_id("com.ss.android.article.news:id/a2o").click() # 点击登录
    except Exception as e:
        logging.error("登录错误，原因为：{}".format(e))
    else:
        logging.info("登陆成功...")
driver = android_driver()
login_opera(driver)

登录成功则日志输出如下：

2020-09-30 18:20:05,119 logging_test.py[line:21] INFO 启动今日头条APP...
2020-09-30 18:20:10,119 logging_test.py[line:27] INFO 开始登陆今日头条APP...
2020-09-30 18:21:07,120 logging_test.py[line:41] INFO 登陆成功...


3，抛出问题


上面示例代码成功地获取了日志信息，但这种写法只能作用于当前模块。而一个自动化测试项目往往有多个模块，如果在每个需要获取日志的模块都使用这样的方式，显然是不方便维护的。那么我们需要怎么解决呢？


4，解决思路


使用日志流处理流程。提供以下两种思路：

思路1：使用python代码实现日志配置。先创建日志记录器，并设置好Handler与日志格式，如上面的logging_test.py模块构造logger，其他模块采集日志时直接调用。

思路2：将日志的格式、输出路径等参数抽离出来放置在专门的配置文件里，如logging.conf，使用专门的模块处理，使用时直接在模块调用即可。


5，思路1：使用python代码实现日志配置示例


目录结构

微信图片_20220424202105.png

test.py中需要采集日志时，从logging_test.py导入logger即可。也可以将logging_test.py里的代码进行进一步的封装，再调用，这里仅仅只是示例。

logging_test.py

# -*- coding:utf-8 -*-
# @author: 给你一页白纸
import logging
# 创建日志记录器
logger = logging.getLogger()
logger.setLevel(logging.DEBUG)
# 设置日志输出格式
format= logging.Formatter('%(asctime)s %(filename)s[line:%(lineno)d] %(levelname)s %(message)s')
# 创建一个Handler用于将日志写入文件
logFile = './log.txt'
fh = logging.FileHandler(logFile, mode='a', encoding='utf-8')
fh.setLevel(logging.INFO)
fh.setFormatter(format)
logger.addHandler(fh)
# 同样的，创建一个Handler用于控制台输出日志
ch = logging.StreamHandler()
ch.setLevel(logging.INFO)
ch.setFormatter(format)
logger.addHandler(ch)

test.py

# -*- coding:utf-8 -*-
# @author: 给你一页白纸
from appium import webdriver
from log.logging_test import logger
def android_driver():
    desired_caps = {
        "platformName": "Android",
        "platformVersion": "10",
        "deviceName": "PCT_AL10",
        "appPackage": "com.ss.android.article.news",
        "appActivity": ".activity.MainActivity",
        "unicodeKeyboard": True,
        "resetKeyboard": True,
        "noReset": True,
    }
    logger.info("启动今日头条APP...")
    driver = webdriver.Remote('http://127.0.0.1:4723/wd/hub', desired_caps)
    return driver
def login_opera(driver):
    '''登录今日头条操作'''
    logger.info("开始登陆今日头条APP...")
    try:
        driver.find_element_by_id("com.ss.android.article.news:id/cji").click() # 点击【我知道了】
        driver.find_element_by_id("android:id/button1").click() # 点击权限管理-确定按钮
        driver.find_element_by_xpath("//android.widget.TabWidget/android.widget.RelativeLayout[@index=3]").click() # 点击未登录
        driver.find_element_by_id("com.ss.android.article.news:id/a10").click() # 未登录页点击登录按钮
        driver.find_element_by_id("com.ss.android.article.news:id/bgh").click() # 登录页点击“。。。”
        driver.find_element_by_xpath("//android.widget.LinearLayout[@index=4]").click() # 选择密码登录
        driver.find_element_by_id("com.ss.android.article.news:id/bu").send_keys("18768124236")   # 输入账号
        driver.find_element_by_id("com.ss.android.article.news:id/c5").send_keys("xiaoqq3915172")   # 输入密码
        driver.find_element_by_id("com.ss.android.article.news:id/a2o").click() # 点击登录
    except Exception as e:
        logger.error("登录错误，原因为：{}".format(e))
    else:
        logger.info("登陆成功...")
driver = android_driver()
login_opera(driver)

运行test.py，结果如下：

2020-10-07 18:45:05,119 logging_test.py[line:21] INFO 启动今日头条APP...
2020-10-07 18:45:11,119 logging_test.py[line:27] INFO 开始登陆今日头条APP...
2020-10-07 18:45:20,120 logging_test.py[line:41] INFO 登陆成功...


6，思路2：日志格式配置示例


6.1，logger.conf文件

[loggers]   # loggers日志器对象列表，必须包含
keys=root, exampleLogger    # 一定要包含root这个值，当使用无参函数logging.getLogger()时，默认返回root这个logger，其他自定义logger可以通过logging.getLogger("exampleLogger")方式进行调用
[handlers] # handlers处理器对象列表，必须包含
keys=consoleHandler, fileHandler    # 定义声明handlers信息
[formatters] # formatters格式对象列表，必须包含
keys=form01,form02
[logger_root] # 对loggers中声明的logger进行逐个配置，且要一一对应,在所有的logger中，必须制定lebel和handlers这两个选项。对于非roothandler，还需要添加一些额外的option，如qualname、propagate等。handlers可以指定多个，中间用逗号隔开，比如handlers=fileHandler,consoleHandler，同时制定使用控制台和文件输出日志
level=DEBUG
handlers=consoleHandler, fileHandler
[logger_exampleLogger]  # 配置日志处理器exampleLogger：设置日志级别、日志输出指定的处理器配置文件，如consoleHandler,fileHandler
level=DEBUG
handlers=consoleHandler, fileHandler
qualname=exampleLogger  # qualname 表示它在logger层级中的名字，在应用代码中通过这个名字制定所使用的handler
propagate=0 # 可选项，其默认是为1，表示消息将会传递给高层次logger的handler
[handler_consoleHandler]    # 日志处理器consoleHandler的配置文件
class=StreamHandler   # 定控制台输出。将日志消息发送到输出到Stream，如std.out, std.err或任何file-like对象
level=DEBUG   # 日志级别
formatter=form01    # 输出格式
args=(sys.stdout,)
[handler_fileHandler]   # 日志处理器fileHandler的配置文件
class=FileHandler    # 将日志输出至磁盘文件
level=DEBUG # 日志级别
formatter=form02    # 输出格式
args=('./log.txt', 'a', 'UTF-8') # 参数如未设置绝对路径，则默认生成在执行文件log.py的工作目录。指定日志文件的打开模式，默认为’a’
[formatter_form01]  # 格式配置1
format=%(asctime)s %(filename)s[line:%(lineno)d] %(levelname)s %(message)s
[formatter_form02]  # 格式配置2
format=%(asctime)s %(filename)s[line:%(lineno)d] %(levelname)s %(message)s

注意：

  • 为了说明配置结构，这里的配置文件 logger.conf 里加了中文注释，实际使用时需要将注释去掉或改写成英文注释，否则会报编码错误。
  • 配置文件中包含三大主要模块：loggers，handlers，formatters。这三个主要模块包含的内容都是通过keys进行指定，然后通过logger_key、handler_key、formatter_key对里面的key进行具体的设置。
  • 配置handlers中的handler_consoleHandler的参数：指定日志输出到控制台、级别、输出格式、参数。
  • 配置handlers中的handler_fileHandlers的参数：指定将日志输出至磁盘文件、设置日志级别、输出格式、参数等。
  • 配置日志输出格式formatter_xxx，可配置多个，如：form01，form02。


6.2，读取配置文件，创建日志记录器logger

baseLog.py

# -*- coding:utf-8 -*-
# @author: 给你一页白纸
import logging.config
CON_LOG='./logger.conf' # 配置文件路径
logging.config.fileConfig(CON_LOG)  # '读取日志配置文件'
logger = logging.getLogger('exampleLogger') # 创建一个日志器logger


6.3，调用示例

目录结构如下

微信图片_20220424202112.png

test.py

# -*- coding:utf-8 -*-
# @author: 给你一页白纸
from appium import webdriver
from log.baseLog import logger
def android_driver():
    desired_caps = {
        "platformName": "Android",
        "platformVersion": "10",
        "deviceName": "PCT_AL10",
        "appPackage": "com.ss.android.article.news",
        "appActivity": ".activity.MainActivity",
        "unicodeKeyboard": True,
        "resetKeyboard": True,
        "noReset": True,
    }
    logger.info("启动今日头条APP...")
    driver = webdriver.Remote('http://127.0.0.1:4723/wd/hub', desired_caps)
    return driver
def login_opera(driver):
    '''登录今日头条操作'''
    logger.info("开始登陆今日头条APP...")
    try:
        driver.find_element_by_id("com.ss.android.article.news:id/cji").click() # 点击【我知道了】
        driver.find_element_by_id("android:id/button1").click() # 点击权限管理-确定按钮
        driver.find_element_by_xpath("//android.widget.TabWidget/android.widget.RelativeLayout[@index=3]").click() # 点击未登录
        driver.find_element_by_id("com.ss.android.article.news:id/a10").click() # 未登录页点击登录按钮
        driver.find_element_by_id("com.ss.android.article.news:id/bgh").click() # 登录页点击“。。。”
        driver.find_element_by_xpath("//android.widget.LinearLayout[@index=4]").click() # 选择密码登录
        driver.find_element_by_id("com.ss.android.article.news:id/bu").send_keys("18768124236")   # 输入账号
        driver.find_element_by_id("com.ss.android.article.news:id/c5").send_keys("xiaoqq3915172")   # 输入密码
        driver.find_element_by_id("com.ss.android.article.news:id/a2o").click() # 点击登录
    except Exception as e:
        logger.error("登录错误，原因为：{}".format(e))
    else:
        logger.info("登陆成功...")
driver = android_driver()
login_opera(driver)

控制台、log.txt输出结果如下：

2020-10-07 19:30:35,119 logging_test.py[line:21] INFO 启动今日头条APP...
2020-10-07 19:30:40,119 logging_test.py[line:27] INFO 开始登陆今日头条APP...
2020-10-07 19:31:12,120 logging_test.py[line:41] INFO 登陆成功...


7，总结


在实际使用python做自动化测试过程中两种解决思路都可以使用，且都挺方便。其中对于思路1，还可以将代码进行更进一步的封装。

文章标签：
日志服务
云数据库 ClickHouse
Python
测试技术
关键词：
日志服务采集
Python日志
Python采集
Python日志采集详细
相关实践学习
日志服务之使用Nginx模式采集日志
本文介绍如何通过日志服务控制台创建Nginx模式的Logtail配置快速采集Nginx日志并进行多维度分析。
给你一页白纸
目录
相关文章
阿里云开发者
|
6天前
|
Kubernetes API Docker
跟着iLogtail学习容器运行时与K8s下日志采集方案
iLogtail 作为开源可观测数据采集器，对 Kubernetes 环境下日志采集有着非常好的支持，本文跟随 iLogtail 的脚步，了解容器运行时与 K8s 下日志数据采集原理。
阿里云开发者
21 7
bzf4tpxf3rljg
|
7天前
|
消息中间件 Kafka API
python之kafka日志
python之kafka日志
bzf4tpxf3rljg
14 3
游客j4mujezz7vm7y
|
6天前
|
Python
5-9|Python获取日志
5-9|Python获取日志
游客j4mujezz7vm7y
15 1
叫个什么名字
|
23天前
|
开发者 Python
基于Python的日志管理与最佳实践
日志是开发和调试过程中的重要工具，然而，如何高效地管理和利用日志常常被忽略。本文通过Python中的logging模块，探讨如何使用日志来进行调试、分析与问题排查，并提出了一些实际应用中的优化建议和最佳实践。
叫个什么名字
42 9
游客j4mujezz7vm7y
|
6天前
|
Python
Python如何将日志输入到文件里
Python如何将日志输入到文件里
游客j4mujezz7vm7y
8 0
游客j4mujezz7vm7y
|
8天前
|
Python
python之日志基础班
python之日志基础班
游客j4mujezz7vm7y
19 0
1288912195458132
|
2月前
|
消息中间件 安全 Python
Python日志管理之Loguru
Python日志管理之Loguru
1288912195458132
40 6
愿天堂没有BUG（公众号同名）
|
2月前
|
数据采集 存储 机器学习/深度学习
豆瓣评分7.6！Python大牛教你如何采集网络数据
网络数据采集大有所为。在大数据深入人心的时代，网络数据采集作为网络、数据库与机器学习等领域的交汇点，已经成为满足个性化网络数据需求的最佳实践。你在浏览器上看到的内容，大部分都可以通过编写Python 程序来获取。如果你可以通过程序获取数据，那么就可以把数据存储到数据库里。如果你可以把数据存储到数据库里，自然也就可以将这些数据可视化。 今天给小伙伴们分享的这份手册采用简洁强大的Python语言，介绍了网络数据采集，并为采集新式网络中的各种数据类型提供了全面的指导。
愿天堂没有BUG（公众号同名）
46 5
冷冻工厂
|
2月前
|
存储 程序员 开发者
Python｜日志记录详解（1）
Python｜日志记录详解（1）
冷冻工厂
35 0
Python｜日志记录详解（1）
愿天堂没有BUG（公众号同名）
|
2月前
|
消息中间件 JSON 自然语言处理
Python多进程日志以及分布式日志的实现方式
python日志模块logging支持多线程，但是在多进程下写入日志文件容易出现下面的问题： PermissionError: [WinError 32] 另一个程序正在使用此文件，进程无法访问。 也就是日志文件被占用的情况，原因是多个进程的文件handler对日志文件进行操作产生的。
愿天堂没有BUG（公众号同名）
20 2

热门文章

最新文章

  • 1
    5分钟构建API接口服务 | python小知识
  • 2
    《利用Python进行数据分析·第2版》第8章 数据规整：聚合、合并和重塑
  • 3
    linux python eclipse 安装
  • 4
    Python安装setuptools遇到的MARKER_EXPR错误
  • 5
    Python跳动的爱心完整代码
  • 6
    Python+Appium自动化测试(4)-使用weditor进行元素定位
  • 7
    python爬虫-抓取内涵吧内涵段子
  • 8
    python中函数基本运用
  • 9
    笨办法学 Python · 续 练习 40：SQL 读取
  • 10
    python 正则表达式简单学习记录
  • 1
    [MySQL]事务原理之redo log,undo log
    172
  • 2
    在云效中，如果你看不到错误日志，可能是因为错误日志没有被正确地输出或者存储
    269
  • 3
    Windows环境下面启动jar包，输出的日志出现乱码的解决办法
    387
  • 4
    Flink CDC产品常见问题之sql运行中查看日志任务失败如何解决
    207
  • 5
    全新架构！日志服务 SLS 自研免登录方案发布
    87605
  • 6
    Python使用多线程解析超大日志文件
    150
  • 7
    Loguru：Python中强大的日志库
    313
  • 8
    Python如何在打印日志时隐藏明文密码？
    167
  • 9
    【二十九】springboot整合logback实现日志管理
    229
  • 10
    Hudi Log日志文件格式分析（一）
    170

    • 相关课程

    更多
  • Python Web开发基础
  • Python爬虫实战
  • Python常用数据科学库
  • Python网络爬虫实战
  • Python完全自学手册图文教程
  • Python基础快速入门实战教程

    • 相关电子书

    更多
  • From Python Scikit-Learn to Sc
  • Data Pre-Processing in Python:
  • 双剑合璧-Python和大数据计算平台的结合

    • 相关实验场景

    更多
  • 通过日志服务实现云资源OSS的安全审计
  • 如何将OSS数据导入至SLS中进行分析
  • 日志服务之使用Nginx模式采集日志
  • Python新手入门
  • Python入门
  • Python选择及循环结构

    • 推荐镜像

    更多
  • python-release
  • nodejs-release
  • golang
    • 下一篇
    无影云桌面