Python装饰器实战:打造高效性能计时工具

简介: 在数据分析中,处理大规模数据时,分析代码性能至关重要。本文介绍如何使用Python装饰器实现性能计时工具,在不改变现有代码的基础上,方便快速地测试函数执行时间。该方法具有侵入性小、复用性强、灵活度高等优点,有助于快速发现性能瓶颈并优化代码。通过设置循环次数参数,可以更准确地评估函数的平均执行时间,提升开发效率。

在数据分析工作中,针对百万,千万级别的数据进行分析是常有的事情,

因此,分析代码性能的重要性不容忽视,能够有一个方便快速的测试函数性能的方法,

对于我们快速发现性能瓶颈,及时优化,提高项目的开发效率至关重要。

本文介绍如何通过Python装饰器来实现性能计时工具

帮助我们在不改变现有代码的基础上,随时测试函数的执行时间。

1. 概要

装饰器来实现这样计时的工具有以下一些好处:

首先,侵入性小,使用装饰器可以非常方便地为函数添加性能计时功能,则无需修改函数的内部代码。

这使得代码更加整洁,也更容易维护。

其次,复用性强,一旦创建了一个性能计时装饰器,就可以将其应用于多个函数,而无需为每个函数单独编写性能计时的代码。

这样不仅提高了代码的效率,也降低了出错的可能性。

最后,是灵活度高,装饰器允许你根据需要定制性能计时的行为,不仅可以打印到终端,也可以根据需求将性能测试结果写入文件或者数据库。

2. 实现计时机制

下面是我目前在用的一个计时装饰器,开发过程中经常用它来看看可能存在性能问题的函数的执行时间。

python

代码解读

复制代码

from functools import wraps
from time import perf_counter


def timeit(loop: int = 1):
    """
    函数执行失败时,重试

    :param loop: 循环执行次数
    :return:
    """

    # 校验参数,参数值不正确时使用默认参数
    if loop < 1:
        loop = 1

    def decorator(func):
        @wraps(func)
        def wrapper(*args, **kwargs):
            sum_time: float = 0.0
            for i in range(loop):
                start_time: float = perf_counter()
                ret = func(*args, **kwargs)
                end_time: float = perf_counter()
                sum_time += end_time - start_time

            print(
                f"函数({func.__name__})共执行{loop}次,平均执行时间 {(sum_time/loop):.3f} 秒"
            )
            return ret

        return wrapper

    return decorator

这个装饰器只有一个参数(loop),这个参数可以设置需要反复执行几次待测试的函数(func)。

比如loop设置100,这个装饰器会计算函数(func)执行100次的平均时间。

3. 使用示例

我们用一个模拟的耗时计算函数(compute)来看看这个装饰器的效果。

python

代码解读

复制代码

from decorators import timeit
import time
import random

@timeit(1)
def compute():
    time.sleep(random.random() / 10)
    return 100

if __name__ == "__main__":
    result = compute()
    print(f"{result = }")

从运行结果可以看出,这个timeit装饰器不影响函数的返回值,

不过,这里只执行一次,执行时间存在一定的随机性。

可以将上面代码中的@timeit(1)改成@timeit(100),再看看执行结果。

执行次数多了之后,平均执行时间开始逼近随机数的中值0.05

一般性能测试时,都会设置loop这个参数至少大于10,而不会只执行一次。

4. 总结

总之,基于Python装饰器实现的函数性能计时工具具有代码简洁、复用性强、灵活度高、便于性能分析、易于集成等诸多好处。

这些好处使得它成为我们在进行代码性能分析和优化时的有力工具。


转载来源:https://juejin.cn/post/7352079427863855115

相关文章
|
3天前
|
JavaScript 前端开发 Android开发
【03】仿站技术之python技术,看完学会再也不用去购买收费工具了-修改整体页面做好安卓下载发给客户-并且开始提交网站公安备案-作为APP下载落地页文娱产品一定要备案-包括安卓android下载(简单)-ios苹果plist下载(稍微麻烦一丢丢)-优雅草卓伊凡
【03】仿站技术之python技术,看完学会再也不用去购买收费工具了-修改整体页面做好安卓下载发给客户-并且开始提交网站公安备案-作为APP下载落地页文娱产品一定要备案-包括安卓android下载(简单)-ios苹果plist下载(稍微麻烦一丢丢)-优雅草卓伊凡
40 13
【03】仿站技术之python技术,看完学会再也不用去购买收费工具了-修改整体页面做好安卓下载发给客户-并且开始提交网站公安备案-作为APP下载落地页文娱产品一定要备案-包括安卓android下载(简单)-ios苹果plist下载(稍微麻烦一丢丢)-优雅草卓伊凡
|
5天前
|
JavaScript 搜索推荐 Android开发
【01】仿站技术之python技术,看完学会再也不用去购买收费工具了-用python扒一个app下载落地页-包括安卓android下载(简单)-ios苹果plist下载(稍微麻烦一丢丢)-客户的麻将软件需要下载落地页并且要做搜索引擎推广-本文用python语言快速开发爬取落地页下载-优雅草卓伊凡
【01】仿站技术之python技术,看完学会再也不用去购买收费工具了-用python扒一个app下载落地页-包括安卓android下载(简单)-ios苹果plist下载(稍微麻烦一丢丢)-客户的麻将软件需要下载落地页并且要做搜索引擎推广-本文用python语言快速开发爬取落地页下载-优雅草卓伊凡
27 8
【01】仿站技术之python技术,看完学会再也不用去购买收费工具了-用python扒一个app下载落地页-包括安卓android下载(简单)-ios苹果plist下载(稍微麻烦一丢丢)-客户的麻将软件需要下载落地页并且要做搜索引擎推广-本文用python语言快速开发爬取落地页下载-优雅草卓伊凡
|
5天前
|
数据采集 JavaScript Android开发
【02】仿站技术之python技术,看完学会再也不用去购买收费工具了-本次找了小影-感觉页面很好看-本次是爬取vue需要用到Puppeteer库用node.js扒一个app下载落地页-包括安卓android下载(简单)-ios苹果plist下载(稍微麻烦一丢丢)-优雅草卓伊凡
【02】仿站技术之python技术,看完学会再也不用去购买收费工具了-本次找了小影-感觉页面很好看-本次是爬取vue需要用到Puppeteer库用node.js扒一个app下载落地页-包括安卓android下载(简单)-ios苹果plist下载(稍微麻烦一丢丢)-优雅草卓伊凡
33 7
【02】仿站技术之python技术,看完学会再也不用去购买收费工具了-本次找了小影-感觉页面很好看-本次是爬取vue需要用到Puppeteer库用node.js扒一个app下载落地页-包括安卓android下载(简单)-ios苹果plist下载(稍微麻烦一丢丢)-优雅草卓伊凡
|
19天前
|
并行计算 安全 Java
Python GIL(全局解释器锁)机制对多线程性能影响的深度分析
在Python开发中,GIL(全局解释器锁)一直备受关注。本文基于CPython解释器,探讨GIL的技术本质及其对程序性能的影响。GIL确保同一时刻只有一个线程执行代码,以保护内存管理的安全性,但也限制了多线程并行计算的效率。文章分析了GIL的必要性、局限性,并介绍了多进程、异步编程等替代方案。尽管Python 3.13计划移除GIL,但该特性至少要到2028年才会默认禁用,因此理解GIL仍至关重要。
101 16
Python GIL(全局解释器锁)机制对多线程性能影响的深度分析
|
1月前
|
设计模式 前端开发 Shell
Python装饰器是什么?
装饰器是Python中用于动态修改函数、方法或类功能的工具,无需改变原代码。通过将函数作为参数传递并返回新函数,装饰器可以在原函数执行前后添加额外逻辑。例如,使用`@logger`装饰器可以打印函数调用日志,而`@timethis`则可用于计算函数执行时间。为了保持被装饰函数的元信息(如`__name__`和`__doc__`),可使用`functools.wraps`装饰器。此外,带参数的装饰器可通过嵌套函数实现,如`@timeitS(2)`,以根据参数条件输出特定信息。
90 59
|
5天前
|
存储 数据采集 数据库
Python爬虫实战:股票分时数据抓取与存储
Python爬虫实战:股票分时数据抓取与存储
|
29天前
|
运维 Shell 数据库
Python执行Shell命令并获取结果:深入解析与实战
通过以上内容,开发者可以在实际项目中灵活应用Python执行Shell命令,实现各种自动化任务,提高开发和运维效率。
56 20
|
算法 索引 Python
python 中基本运算的性能简析
版权声明:本文为半吊子子全栈工匠(wireless_com,同公众号)原创文章,未经允许不得转载。
706 0
|
2月前
|
人工智能 数据可视化 数据挖掘
探索Python编程:从基础到高级
在这篇文章中,我们将一起深入探索Python编程的世界。无论你是初学者还是有经验的程序员,都可以从中获得新的知识和技能。我们将从Python的基础语法开始,然后逐步过渡到更复杂的主题,如面向对象编程、异常处理和模块使用。最后,我们将通过一些实际的代码示例,来展示如何应用这些知识解决实际问题。让我们一起开启Python编程的旅程吧!
|
2月前
|
存储 数据采集 人工智能
Python编程入门:从零基础到实战应用
本文是一篇面向初学者的Python编程教程,旨在帮助读者从零开始学习Python编程语言。文章首先介绍了Python的基本概念和特点,然后通过一个简单的例子展示了如何编写Python代码。接下来,文章详细介绍了Python的数据类型、变量、运算符、控制结构、函数等基本语法知识。最后,文章通过一个实战项目——制作一个简单的计算器程序,帮助读者巩固所学知识并提高编程技能。

热门文章

最新文章