Python装饰器实战:打造高效性能计时工具

简介: 在数据分析中,处理大规模数据时,分析代码性能至关重要。本文介绍如何使用Python装饰器实现性能计时工具,在不改变现有代码的基础上,方便快速地测试函数执行时间。该方法具有侵入性小、复用性强、灵活度高等优点,有助于快速发现性能瓶颈并优化代码。通过设置循环次数参数,可以更准确地评估函数的平均执行时间,提升开发效率。

在数据分析工作中,针对百万,千万级别的数据进行分析是常有的事情,

因此,分析代码性能的重要性不容忽视,能够有一个方便快速的测试函数性能的方法,

对于我们快速发现性能瓶颈,及时优化,提高项目的开发效率至关重要。

本文介绍如何通过Python装饰器来实现性能计时工具

帮助我们在不改变现有代码的基础上,随时测试函数的执行时间。

1. 概要

装饰器来实现这样计时的工具有以下一些好处:

首先,侵入性小,使用装饰器可以非常方便地为函数添加性能计时功能,则无需修改函数的内部代码。

这使得代码更加整洁,也更容易维护。

其次,复用性强,一旦创建了一个性能计时装饰器,就可以将其应用于多个函数,而无需为每个函数单独编写性能计时的代码。

这样不仅提高了代码的效率,也降低了出错的可能性。

最后,是灵活度高,装饰器允许你根据需要定制性能计时的行为,不仅可以打印到终端,也可以根据需求将性能测试结果写入文件或者数据库。

2. 实现计时机制

下面是我目前在用的一个计时装饰器,开发过程中经常用它来看看可能存在性能问题的函数的执行时间。

python

代码解读

复制代码

from functools import wraps
from time import perf_counter


def timeit(loop: int = 1):
    """
    函数执行失败时,重试

    :param loop: 循环执行次数
    :return:
    """

    # 校验参数,参数值不正确时使用默认参数
    if loop < 1:
        loop = 1

    def decorator(func):
        @wraps(func)
        def wrapper(*args, **kwargs):
            sum_time: float = 0.0
            for i in range(loop):
                start_time: float = perf_counter()
                ret = func(*args, **kwargs)
                end_time: float = perf_counter()
                sum_time += end_time - start_time

            print(
                f"函数({func.__name__})共执行{loop}次,平均执行时间 {(sum_time/loop):.3f} 秒"
            )
            return ret

        return wrapper

    return decorator

这个装饰器只有一个参数(loop),这个参数可以设置需要反复执行几次待测试的函数(func)。

比如loop设置100,这个装饰器会计算函数(func)执行100次的平均时间。

3. 使用示例

我们用一个模拟的耗时计算函数(compute)来看看这个装饰器的效果。

python

代码解读

复制代码

from decorators import timeit
import time
import random

@timeit(1)
def compute():
    time.sleep(random.random() / 10)
    return 100

if __name__ == "__main__":
    result = compute()
    print(f"{result = }")

从运行结果可以看出,这个timeit装饰器不影响函数的返回值,

不过,这里只执行一次,执行时间存在一定的随机性。

可以将上面代码中的@timeit(1)改成@timeit(100),再看看执行结果。

执行次数多了之后,平均执行时间开始逼近随机数的中值0.05

一般性能测试时,都会设置loop这个参数至少大于10,而不会只执行一次。

4. 总结

总之,基于Python装饰器实现的函数性能计时工具具有代码简洁、复用性强、灵活度高、便于性能分析、易于集成等诸多好处。

这些好处使得它成为我们在进行代码性能分析和优化时的有力工具。


转载来源:https://juejin.cn/post/7352079427863855115

相关文章
|
4月前
|
SQL 关系型数据库 数据库
Python SQLAlchemy模块:从入门到实战的数据库操作指南
免费提供Python+PyCharm编程环境,结合SQLAlchemy ORM框架详解数据库开发。涵盖连接配置、模型定义、CRUD操作、事务控制及Alembic迁移工具,以电商订单系统为例,深入讲解高并发场景下的性能优化与最佳实践,助你高效构建数据驱动应用。
574 7
|
4月前
|
数据采集 Web App开发 数据安全/隐私保护
实战:Python爬虫如何模拟登录与维持会话状态
实战:Python爬虫如何模拟登录与维持会话状态
|
4月前
|
存储 分布式计算 测试技术
Python学习之旅:从基础到实战第三章
总体来说,第三章是Python学习路程中的一个重要里程碑,它不仅加深了对基础概念的理解,还引入了更多高级特性,为后续的深入学习和实际应用打下坚实的基础。通过这一章的学习,读者应该能够更好地理解Python编程的核心概念,并准备好应对更复杂的编程挑战。
165 12
|
4月前
|
存储 数据采集 监控
Python文件操作全攻略:从基础到高级实战
本文系统讲解Python文件操作核心技巧,涵盖基础读写、指针控制、异常处理及大文件分块处理等实战场景。结合日志分析、CSV清洗等案例,助你高效掌握文本与二进制文件处理,提升程序健壮性与开发效率。(238字)
456 1
|
4月前
|
存储 Java 调度
Python定时任务实战:APScheduler从入门到精通
APScheduler是Python强大的定时任务框架,通过触发器、执行器、任务存储和调度器四大组件,灵活实现各类周期性任务。支持内存、数据库、Redis等持久化存储,适用于Web集成、数据抓取、邮件发送等场景,解决传统sleep循环的诸多缺陷,助力构建稳定可靠的自动化系统。(238字)
861 1
|
4月前
|
Java 调度 数据库
Python threading模块:多线程编程的实战指南
本文深入讲解Python多线程编程,涵盖threading模块的核心用法:线程创建、生命周期、同步机制(锁、信号量、条件变量)、线程通信(队列)、守护线程与线程池应用。结合实战案例,如多线程下载器,帮助开发者提升程序并发性能,适用于I/O密集型任务处理。
454 0
|
4月前
|
机器学习/深度学习 监控 数据挖掘
Python 高效清理 Excel 空白行列:从原理到实战
本文介绍如何使用Python的openpyxl库自动清理Excel中的空白行列。通过代码实现高效识别并删除无数据的行与列,解决文件臃肿、读取错误等问题,提升数据处理效率与准确性,适用于各类批量Excel清理任务。
522 0

推荐镜像

更多