Python 关于运行时间、调用次数及内存使用的性能测试

本文涉及的产品
性能测试 PTS,5000VUM额度
简介: Python 关于运行时间、调用次数及内存使用的性能测试

Python是一种解释性的语言,执行速度相比C、C++等语言比较缓慢;我们需要在其它地方上下功夫来提高代码的执行速度。首先需要对代码进行分析,这个时候则需要用一些性能测试工具

30358c5d1a54471e81eabf7831114250.png



一、 Module time


time.time

最普通的手段就是时间之差,其它编程语言中也都会到过此方法:

>>> from time import time
>>> def fib(n):
  if n<3:return 1
  return fib(n-1)+fib(n-2)
>>> t = time(); fib(30); time()-t
832040
0.4218752384185791
>>> t = time(); fib(35); time()-t
9227465
4.656255722045898
>>> t = time(); fib(40); time()-t
102334155
51.281249046325684
>>> 


斐波那契数列未改进的递归是比较耗时的,就专门以它为例了。

除time()函数外,时间库里可用来计时的函数有很多,还成对的(_ns后缀的以纳秒为单位):

time.time()
time.time_ns()
time.monotonic()
time.monotonic_ns()
time.perf_counter()
time.perf_counter_ns()
time.process_time()
time.process_time_ns()
time.thread_time()
time.thread_time_ns()



区别一:


time 时间戳表示的是从1970年1月1日00:00:00开始按秒计算的偏移量

monotonic 表示的是从操作系统的启动时间开始按秒计算的偏移量

perf_counter 表示的是从程序的启动时间开始按秒计算的偏移量,如下面所举的例子中,它的返回值(613.323613)表示Python IDLE Shell窗口打开的时间。


如把perf_counter()放在源程序未尾结束处(比如放在语句_exit(0)前)就不用计算差值,返回的时间就是程序从启动到退出的时间。

>>> from time import time,monotonic,perf_counter
>>> time()
1633249386.5061808
>>> monotonic()
4594.25
>>> perf_counter()
613.323613
>>> 



区别二:

处理进程、线程时间的不受sleep影响

>>> from time import time,sleep,process_time,thread_time
>>> def fib(n):
  if n<3:return 1
  return fib(n-1)+fib(n-2)
>>> t = time(); fib(30); time()-t
832040
0.432178258895874
>>> t = thread_time(); fib(30); thread_time()-t
832040
0.421875
>>> t = time(); sleep(1); fib(30); sleep(1); time()-t
832040
2.463411569595337
>>> t = process_time(); sleep(1); fib(30); sleep(1); process_time()-t
832040
0.421875
>>> t = thread_time(); sleep(1); fib(30); sleep(1); thread_time()-t
832040
0.4375
>>> 



二、 Module timeit

比较适合测试小段代码:

>>> from timeit import timeit
>>> timeit(stmt='a=10;b=10;sum=a+b')
0.11455389999997578
>>> timeit(stmt='a=10;b=10;sum=a+b',number=10000)
0.0013638000000355532
>>> 


程序中的使用如下:

import timeit
def fib(n):
    if n<3:return 1
    return fib(n-1)+fib(n-2)
if __name__ == '__main__':
    tm = timeit.Timer('fib(40)', 'from __main__ import fib')
    print(tm.timeit(1))


注意: .timeit() 的参数number默认值为1000000,上例中tm.timeit()不用参数的话停不了


   这个模块还能在DOS命令窗口下执行:

D:\>python -m timeit -n 30 -s "import random" "[random.random() for i in range(100000)]"
    30 loops, best of 5: 23.1 msec per loop




三、 Module cProfile


这个模块除了给出调用时间,还报告函数调用次数:

>>> from cProfile import Profile
>>> f = lambda n:1 if n<3 else f(n-1)+f(n-2)
>>> cp = Profile()
>>> cp.enable(); n = f(30); cp.disable()
>>> cp.print_stats()
         1664081 function calls (3 primitive calls) in 1.007 seconds
   Ordered by: standard name
   ncalls  tottime  percall  cumtime  percall filename:lineno(function)
1664079/1    1.007    0.000    1.007    1.007 <pyshell#70>:1(<lambda>)
        1    0.000    0.000    0.000    0.000 rpc.py:614(displayhook)
        1    0.000    0.000    0.000    0.000 {method 'disable' of '_lsprof.Profiler' objects}
>>> 2*f(30)-1
1664079
>>> 



为什么f(30)的调用次数ncalls = 2*f(30)-1,因为我用傻办法验证过所以我知道。

这个模块还能在DOS命令窗口下执行:

D:\>python -m cProfile -s cumulative test1.py
         350 function calls (343 primitive calls) in 0.002 seconds
   Ordered by: cumulative time
   ncalls  tottime  percall  cumtime  percall filename:lineno(function)
      3/1    0.000    0.000    0.002    0.002 {built-in method builtins.exec}
        1    0.000    0.000    0.002    0.002 test1.py:1(<module>)
      2/1    0.000    0.000    0.002    0.002 <frozen importlib._bootstrap>:986(_find_and_load)
      2/1    0.000    0.000    0.002    0.002 <frozen importlib._bootstrap>:956(_find_and_load_unlocked)
      2/1    0.000    0.000    0.001    0.001 <frozen importlib._bootstrap>:650(_load_unlocked)
        2    0.000    0.000    0.001    0.000 <frozen importlib._bootstrap>:890(_find_spec)
        1    0.000    0.000    0.001    0.001 <frozen importlib._bootstrap_external>:777(exec_module)
        1    0.000    0.000    0.001    0.001 <frozen importlib._bootstrap_external>:1334(find_spec)
        1    0.000    0.000    0.001    0.001 <frozen importlib._bootstrap_external>:1302(_get_spec)
        4    0.000    0.000    0.001    0.000 <frozen importlib._bootstrap_external>:1431(find_spec)
        6    0.000    0.000    0.001    0.000 <frozen importlib._bootstrap_external>:80(_path_stat)
        6    0.001    0.000    0.001    0.000 {built-in method nt.stat}

...........省略很多行..........




四、 Module line_profiler


运行时间逐行分析报告,测试文件test1.py源码如下:

@profile
def fib(n):
    if n<3:return 1
    return fib(n-1)+fib(n-2)
if __name__ == '__main__':
    print(fib(30))


不用import导入,只在测试函数前加上装饰器 @profile ,测试在DOS窗口进行:

D:\>kernprof -l -v test1.py
832040
Wrote profile results to test1.py.lprof
Timer unit: 1e-06 s
Total time: 3.07291 s
File: test1.py
Function: fib at line 1
Line #      Hits         Time  Per Hit   % Time  Line Contents
==============================================================
     1                                           @profile
     2                                           def fib(n):
     3   1664079    1341610.0      0.8     43.7      if n<3:return 1
     4    832039    1731304.5      2.1     56.3      return fib(n-1)+fib(n-2)
D:\>



五、Module memory_profiler


内存使用逐行分析报告,使用方法基本同上还是测试test1.py,命令如下:

D:\>python -m memory_profiler test1.py
832040
Filename: test1.py
Line #    Mem usage    Increment  Occurences   Line Contents
============================================================
     1   29.203 MiB -139766.219 MiB     1664079   @profile
     2                                         def fib(n):
     3   29.203 MiB -139795.418 MiB     1664079       if n<3:return 1
     4   29.203 MiB -69899.141 MiB      832039       return fib(n-1)+fib(n-2)




六、Module guppy


查看对象占用的堆内存大小


此模块安装时碰到:

error: Microsoft Visual C++ 14.0 is required. Get it with "Build Tools for Visual Studio": https://visualstudio.microsoft.com/downloads/

需要VC++14,所以没装没能亲测,大致用法:



 from guppy import hpy
    import gc
    hp = hpy()
    ast = parse_file('filename')
    gc.collect()
    h = hp.heap()
    print(h)


以上涉及的所有模块,都可以在dos窗口下验证有无或者在线安装:

    D:\>pip show xxModule
    WARNING: Package(s) not found: xxModule
    D:\>pip install xxModule


最后,说一下模块这个英文单词 module,我之前一直读成 “妈逗”,大概受了单词 model 的影响。今天我查了字典,才知道module应该读作“妈舅” ^_^

你是怎么读的呢? 读对的请点赞!读错的请点收藏!!没想过怎么读的点一键三连!!!

相关实践学习
通过性能测试PTS对云服务器ECS进行规格选择与性能压测
本文为您介绍如何利用性能测试PTS对云服务器ECS进行规格选择与性能压测。
目录
相关文章
|
2月前
|
安全 测试技术 网络安全
如何在Python Web开发中进行安全测试?
如何在Python Web开发中进行安全测试?
|
2月前
|
安全 关系型数据库 测试技术
学习Python Web开发的安全测试需要具备哪些知识?
学习Python Web开发的安全测试需要具备哪些知识?
41 4
|
30天前
|
IDE 测试技术 开发工具
10个必备Python调试技巧:从pdb到单元测试的开发效率提升指南
在Python开发中,调试是提升效率的关键技能。本文总结了10个实用的调试方法,涵盖内置调试器pdb、breakpoint()函数、断言机制、logging模块、列表推导式优化、IPython调试、警告机制、IDE调试工具、inspect模块和单元测试框架的应用。通过这些技巧,开发者可以更高效地定位和解决问题,提高代码质量。
202 8
10个必备Python调试技巧:从pdb到单元测试的开发效率提升指南
|
2月前
|
Java 测试技术 持续交付
【入门思路】基于Python+Unittest+Appium+Excel+BeautifulReport的App/移动端UI自动化测试框架搭建思路
本文重点讲解如何搭建App自动化测试框架的思路,而非完整源码。主要内容包括实现目的、框架设计、环境依赖和框架的主要组成部分。适用于初学者,旨在帮助其快速掌握App自动化测试的基本技能。文中详细介绍了从需求分析到技术栈选择,再到具体模块的封装与实现,包括登录、截图、日志、测试报告和邮件服务等。同时提供了运行效果的展示,便于理解和实践。
149 4
【入门思路】基于Python+Unittest+Appium+Excel+BeautifulReport的App/移动端UI自动化测试框架搭建思路
|
1月前
|
缓存 监控 算法
Python内存管理:掌握对象的生命周期与垃圾回收机制####
本文深入探讨了Python中的内存管理机制,特别是对象的生命周期和垃圾回收过程。通过理解引用计数、标记-清除及分代收集等核心概念,帮助开发者优化程序性能,避免内存泄漏。 ####
56 3
|
1月前
|
敏捷开发 测试技术 持续交付
自动化测试之美:从零开始搭建你的Python测试框架
在软件开发的马拉松赛道上,自动化测试是那个能让你保持节奏、避免跌宕起伏的神奇小助手。本文将带你走进自动化测试的世界,用Python这把钥匙,解锁高效、可靠的测试框架之门。你将学会如何步步为营,构建属于自己的测试庇护所,让代码质量成为晨跑时清新的空气,而不是雾霾中的忧虑。让我们一起摆脱手动测试的繁琐枷锁,拥抱自动化带来的自由吧!
|
2月前
|
并行计算 算法 测试技术
C语言因高效灵活被广泛应用于软件开发。本文探讨了优化C语言程序性能的策略,涵盖算法优化、代码结构优化、内存管理优化、编译器优化、数据结构优化、并行计算优化及性能测试与分析七个方面
C语言因高效灵活被广泛应用于软件开发。本文探讨了优化C语言程序性能的策略,涵盖算法优化、代码结构优化、内存管理优化、编译器优化、数据结构优化、并行计算优化及性能测试与分析七个方面,旨在通过综合策略提升程序性能,满足实际需求。
83 1
|
2月前
|
算法 Java 程序员
Python内存管理机制深度剖析####
本文将深入浅出地探讨Python中的内存管理机制,特别是其核心组件——垃圾收集器(Garbage Collector, GC)的工作原理。不同于传统的摘要概述,我们将通过一个虚拟的故事线,跟随“内存块”小M的一生,从诞生、使用到最终被回收的过程,来揭示Python是如何处理对象生命周期,确保高效利用系统资源的。 ####
35 1
|
2月前
|
监控 安全 测试技术
如何在实际项目中应用Python Web开发的安全测试知识?
如何在实际项目中应用Python Web开发的安全测试知识?
44 4
|
2月前
|
安全 开发者 Python
Python的内存管理pymalloc
Python的内存管理pymalloc