做过几年开发或者
测试开发的人员，时常会觉得很迷茫，新功能的开发或者老功能的维护，基本是在堆代码了， 做过几年测试的朋友也会有类似的想法。性能调优或者
性能测试的确很考验人分析问题、解决问题的能力，知识是否全面。本人也是第一次实现高性能的
测试工具， 记录下这次diameter协议测试工具的优化过程，供大家一起
学习。 有些内容涉及到具体产品，做了些改动或者单独写了测试代码演示。
Python用来开发高性能的测试工具的确有天然的缺陷，性能差还有GIL，无法利用多线程。 但办法总比困难多，那么多大的
互联网公司都使用python与实际产品中，总比我们测试的性能要求搞多了。 本文主要讲述在系统设计和架构方面的性能优化，具体算法和一些小细节的优化，请参考 http://blog.csdn.net/powerccna/article/details/8020289
项目背景：
实现个高性能的diameter 测试工具， 接受1000+发送1000，双向要支持到2000条消息每秒。 diameter 协议的源代码是从这里下载的 http://sourceforge.net/projects/pyprotosim/， 这个开源包还支持SMPP, RADIUS, DHCP, LDAP, 而且新增加的协议字段都可以在dictionary配置属性，不需要修改代码，实在是方便。 初始阶段我们为了实现功能，没有怎么考虑性能的问题，很多地方用的是单线程，初始性能只能支持到50 消息。硬件环境： SunFire 4170， 16 核，每核2.4 G
Python性能优化的几个方向：
1. 换python的解析器：常见的python解析器有pysco，pypy, cython, jython, pysco已经对python 2.7不支持了，就没有测试，据说跑的很C语言一样快。对pypy, jython做了简单测试，pypy在不同机器上可以提高到5-10倍的样子，Jython虽然可以避免python GIL的问题（因为jython是跑在
java虚拟机上的），但测试看来，效率提升很少。
2. 优化代码
3. 改变系统架构，多线程，多进程或者协程
方案1： 换Python解析器
如果换Python解析器能达到性能需求是最廉价的方案了，不需要对代码做任何改动。下面代码只是为了说明pypy的效果，单独写的测试代码，在windows下运行的结果。在linux下机器上运行效果会更好些。
|
#!/usr/bin/env python
#coding=utf-8
import time
def check(num):
a = list(str(num))
b = a[::-1]
if a == b:
return True
return False
def
test():
all = xrange(1,10**7)
for i in all:
if check(i):
if check(i**2):
i**2
if __name__ == '__main__':
start=time.time()
test()
print time.time()-start
分别用python和pypy的运行结果
C:\Python27\python.exeD:/RCC/mp/src/test.py
14.4940001965
C:\pypy-2.1\pypy.exeD:/RCC/mp/src/test.py
4.37800002098
|
可以看出来pypy的运行结果效果还是明显的，虽然能提高5倍（linux机器上），50*5， 离2000还差好远。 pypy对python 多线程的支持没有明显效果，这个在后面会提到。
最新内容请见作者的GitHub页：http://qaseven.github.io/
