开发者社区> 虎说八道> 正文

Python代码运行不够流畅?看大神如何多角度优化!

简介: Python代码运行不够流畅?看大神如何多角度优化!
+关注继续查看

更多深度文章,请关注:https://yq.aliyun.com/cloud


这是“Python代码性能优化系列中的第一篇文章——环境设置。通过每个帖子,我将介绍一些Python代码的工具和剖析器,以及它们中的每一个如何帮助您更好地在前端(Python脚本)和/或后端(Python解释器)中找到突破点。

配置:

在进行基本测试和分析之前,首先需要一个适当的环境。这意味着必须为此任务配置机器和操作系统。

一般来说,我的机器有以下规格:

  • 处理器:IntelRXeonRCPU E5-2699 v3 @ 2.30GHz
  • 内存:32GB
  • 操作系统:Ubuntu 16.04 LTS
  • 内核:4.4.0-75通用

我们的目标是得到具有可重复的结果,从而确保我们的数据不受其他后台进程、操作系统配置或任何其他硬件性能带来的影响。

我们从配置我们用于分析的机器开始。

硬件功能:

首先,禁用任何硬件性能功能。这意味着从BIOS / UEFI禁用Intel Turbo Boost和超线程。

正如官方所述Turbo Boost是一种技术,如果处理器内核运行在低于​​功率、电流和温度规格限制的情况下,自动允许处理器内核的运行速度高于额定工作频率。另一方面,超线程是更有效地使用处理器资源的技术,可以使多个线程在每个核心上运行,如这里所述

我们花了钱在工具上,而且我们真的想让它们发挥它们的作用。那么为什么在分析/基准测试时能够启用它们呢?因为我们没有得到可靠和可重复的结果,这转化为运行变化。让我们在一个小例子中看到这一点,叫做primes.py

该代码也可在GitHub找到。作为依赖分析,您将需要运行:

pip install statistics

让我们在启用了Turbo Boost并超线程的系统中运行它:


python primes.py
Benchmark duration:1.0644240379333496seconds
Mean duration:0.2128755569458008seconds
Standard deviation:0.032928838418120374(15.468585914964498 %)

现在,在同一个系统上,但是禁用Turbo Boost和超线程:


python primes.py
Benchmark duration:1.2374498844146729seconds
Mean duration:0.12374367713928222seconds
Standard deviation:0.000684464852339824(0.553131172568 %)

观察第一种情况下的标准差--15%。相反,在第二种情况下,变化减小到约0.6%。这难道不是优化产生的巨大价值吗?

CPU设置:

禁用一些CPU的功能,能够省电并能使用固定的CPU频率。实现这个功能可以通过将Linux调节器从更改intel_pstate  acpi_cpufreq

intel_pstate驱动程序使用Intel CoreSandy Bridge和更新的)处理器的内部调节器实现缩放驱动程序。该acpi_cpufreq驱动器利用ACPI处理器性能状态。我们先来看看吧! 



$ cpupower frequency-info
analyzing CPU 0:
driver: intel_pstate
CPUs which run at the same hardware frequency: 0
CPUs which need to have their frequency coordinated by software: 0
maximum transition latency: 0.97 ms.
hardware limits: 1.20 GHz - 3.60 GHz
available cpufreq governors: performance, powersave
current policy: frequency should be within 1.20 GHz and 3.60 GHz.
The governor "powersave" may decide which speed to use within this range.
current CPU frequency is 1.20 GHz.
boost state support:
Supported: yes
Active: yes

您会看到使用调节器设置为powersaveCPU频率会在1.20 GHz3.60 GHz之间。这对您的个人电脑或其他日常使用是有好处的,但在做基准测试时会影响到结果。

调节器还有其他什么功能?如果你浏览文档,你会看到以下内容:

  • performance - 以最高频率运行CPU
  • powersave - 以最低频率运行CPU
  • userspace - 以用户指定的频率运行CPU
  • ondemand - 根据当前负载动态缩放频率。跳转到最高频率,然后可能随着空闲时间的增加而退回。
  • conservative - 根据当前负载动态缩放频率。比频率更频繁地扩大频率。

我们想要使用的是性能调节器,并将频率设置在CPU支持的最大值。比如说是这样的结果:




$ cpupower frequency-info
analyzing CPU 0:
driver: acpi-cpufreq
CPUs which run at the same hardware frequency: 0
CPUs which need to have their frequency coordinated by software: 0
maximum transition latency: 10.0 us.
hardware limits: 1.20 GHz - 2.30 GHz
 available frequency steps: 2.30 GHz, 2.20 GHz, 2.10 GHz, 2.00 GHz, 1.90 GHz, 1.80 GHz, 1.70 GHz, 1.60 GHz, 1.50 GHz, 1.40 GHz, 1.30 GHz, 1.20 GHz
available cpufreq governors: conservative, ondemand, userspace, powersave, performance
current policy: frequency should be within 2.30 GHz and 2.30 GHz.
The governor "performance" may decide which speed to use
within this range.
current CPU frequency is 2.30 GHz.
cpufreq stats: 2.30 GHz:100.00%, 2.20 GHz:0.00%, 2.10 GHz:0.00%, 2.00 GHz:0.00%, 1.90 GHz:0.00%, 1.80 GHz:0.00%, 1.70 GHz:0.00%, 1.60 GHz:0.00%, 1.50 GHz:0.00%, 1.40 GHz:0.00%, 1.30 GHz:0.00%, 1.20 GHz:0.00% (174)
boost state support:
Supported: no
Active: no

现在你要使用  performance 调节器,固定频率为2.3 GHz。该值是可以在Xeon E5-2699 v3上使用的最大的可能,没有Turbo Boost。要设置所有内容,请以管理权限运行以下命令:


cpupower frequency-set -g performance
cpupower frequency-set --min 2300000 --max 2300000
如果没有cpupower,请使用以下命令安装:

sudo apt-get install linux-tools-common linux-header-`uname -r` -y​

调节器对CPU的使用有很大的影响。默认情况下,调速器设置为自动缩放频率以降低功耗。我们不希望在我们的系统上,我们继续从GRUB禁用它。只需编辑/boot/grub/grub.cfg (但是如果您在内核升级时操作要小心,这将会消失)或者在其中创建一个新的内核条目  /etc/grub.d/40_custom。我们的引导行必须包含以下标志:intel_pstate=disable,如下所示:

linux/boot/vmlinuz-4.4.0-78-generic.efi.signed root=UUID=86097ec1-3fa4-4d00-97c7-3bf91787be83 ro intel_pstate=disable quiet splash $vt_handoff

ASLR设置(地址空间布局随机器):

这个设置是有争议的,你可以在Victor Stinner帖子中看到。当我第一次建议在执行基准测试时禁用ASLR,这是在进一步改进对CPython中存在的Profile Guided Optimizations的支持的背景下。

什么导致我说这是个事实,在上面提到的特定硬件上,禁用ASLR,运行primes.py,标准差变化到0.4%!

另一方面,在我的个人计算机(拥有Intel Core i7 4710MQ)上进行测试,使得禁用ASLR导致出现了Victor所提出的相同问题。

由于它似乎不是普遍可用的结论,而是在很大程度上取决于硬件/软件配置,所以最好的方法是让它启用并测试,禁用它并重新测试,然后比较结果。

在我的机器上,我通过添加以下内容在全球禁用/etc/sysctl.conf

申请使用sudo sysctl -p


kernel.randomize_va_space = 0

如果要在运行时禁用它:


sudo bash -c 'echo 0 >| /proc/sys/kernel/randomize_va_space'

如果要启用它:

sudo bash -c 'echo 2 >| /proc/sys/kernel/randomize_va_space'

未完待续!

希望上述的介绍能够帮助到你! 

本文由北邮@爱可可-爱生活老师推荐,

文章原标题《Hunting Performance in Python Code – Part 1. Environment Setup》,

作者:pythonrinf       译者:袁虎 审阅:

文章为简译,更为详细的内容,请查看原文

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
阿里云服务器如何登录?阿里云服务器的三种登录方法
购买阿里云ECS云服务器后如何登录?场景不同,阿里云优惠总结大概有三种登录方式: 登录到ECS云服务器控制台 在ECS云服务器控制台用户可以更改密码、更换系.
27723 0
开发每个静态网站是的模版代码(自己开发是长期优化过的觉得最简的代码)
/*Index page,designed by tuzuoquan,version:1.0,2012-7-16*/ /**Styles which is common in most website,the styles blow can controll all the pages in the website.**/ /*全局样式*/ /*这里是子页面的CSS样式*/ *
1031 0
数据管理 DMS :SQLServer 2008的性能优化服务发布
数据库性能诊断和优化是提高数据库性能和稳定性的关键技术之一。快速的发现异常、定位根因并且进行止损,是每个用户的需求。 数据管理DMS 增强了对SQL Server 2008 R2 性能优化服务的支持,希望可以帮助用户更快速的定位问题和解决问题。
2228 0
ORACLE实际执行计划与预估执行计划不一致性能优化案例
在一台ORACLE服务器上做巡检时,使用下面SQL找出DISK_READ最高的TOP SQL分析时,分析过程中,有一条SQL语句的一些反常现象,让人觉得很奇怪:   SELECT SQL_ID,        SQL_TEXT,        DISK_READS,        BUF...
1244 0
+关注
51
文章
0
问答
文章排行榜
最热
最新
相关电子书
更多
JS零基础入门教程(上册)
立即下载
性能优化方法论
立即下载
手把手学习日志服务SLS,云启实验室实战指南
立即下载