AI 助理
备案控制台
开发者社区 开发与运维 文章 正文

服务端socket开发之多线程和gevent框架并发测试[python语言]

2017-11-08 1443
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介：

测试下多线程和gevent在socket服务端的小包表现能力，测试的方法不太严谨，

有点属于自娱自乐，要是有问题之处，请大家喷之 ！


每个连接都特意堵塞了0.5秒钟 ！

012011164.jpg


在大批量tcp测试下，threading的开销越来越大，所以造成了在并发数加大的情况下，出现threading崩溃的情况 ！  gevent是 libevent和协程的融合，一个线程里面都可以跑超多的协程！ 利用libevent做io堵塞的调度 ，gevent体系下，同一时间只有一个任务在运行 ！    



先来测试下多线程：   我们就不加线程池了

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
#!/usr/bin/env python
# -*- coding: utf- 8  -*-
#xiaorui.cc
import  sys
import  socket
import  time
import  threading
#xiaorui.cc
def threads(port):
     s = socket.socket()
     s.bind(( '0.0.0.0' , port))
     s.listen( 500 )
     while  True:
         cli, addr = s.accept()
         t = threading.Thread(target=handle_request, args=(cli, time.sleep))
         t.daemon = True
         t.start()
def handle_request(s, sleep):
     try :
         s.recv( 1024 )
         sleep( 0.5 )                                                                                                           
         s.send( '' 'http/ 1.0  200  OK
                   Hello World!  '' ')
         s.shutdown(socket.SHUT_WR)
         print  '.' ,
     except Exception, ex:
         print ex
     finally :
         sys.stdout.flush()
         s.close()
if  __name__ ==  '__main__' :
     threads( 4444 )


用threading跑socket，每个连接堵塞的时间是0.5

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
time ab -n  10000  -c  500  http: //127.0.0.1:4444/
This  is  ApacheBench, Version  2.3  <$Revision:  655654  $>
Copyright  1996  Adam Twiss, Zeus Technology Ltd, http: //www.zeustech.net/
Licensed to The Apache Software Foundation, http: //www.apache.org/
Benchmarking  127.0 . 0.1  (be patient)
Completed  1000  requests
Completed  2000  requests
Completed  3000  requests
Completed  4000  requests
Completed  5000  requests
Completed  6000  requests
Completed  7000  requests
Completed  8000  requests
Completed  9000  requests
Completed  10000  requests
Finished  10000  requests
Server Software:
Server Hostname:         127.0 . 0.1
Server Port:             4444
Document Path:          /
Document Length:         0  bytes
Concurrency Level:       500
Time taken  for  tests:    11.123  seconds
Complete requests:       10000
Failed requests:         0
Write errors:            0
Total transferred:       470000  bytes
HTML transferred:        0  bytes
Requests per second:     899.01  [#/sec] (mean)
Time per request:        556.166  [ms] (mean)
Time per request:        1.112  [ms] (mean, across all concurrent requests)
Transfer rate:           41.26  [Kbytes/sec] received
Connection Times (ms)
               min  mean[+/-sd] median   max
Connect:         0    33  177.0       0     1000
Processing:    500   508   33.9     501     1132
Waiting:       500   508   33.9     501     1132
Total:         500   541  201.8     501     2132
Percentage of the requests served within a certain time (ms)
   50 %     501
   66 %     501
   75 %     502
   80 %     505
   90 %     522
   95 %     532
   98 %    1534
   99 %    1722
  100 %    2132  (longest request)
real    0m11.145s
user    0m0.210s
sys     0m0.961s



012312118.jpg

加到800的时候~

012606797.jpg


gevent：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
#xiaorui.cc
import  sys
import  socket
import  time
import  gevent
from gevent  import  socket
def server(port):
     s = socket.socket()
     s.bind(( '0.0.0.0' , port))
     s.listen( 500 )
     while  True:
         cli, addr = s.accept()
         gevent.spawn(handle_request, cli, gevent.sleep)
def handle_request(s, sleep):
     try :
         data=s.recv( 1024 )
         sleep( 0.5 )
         s.send( '' 'http/ 1.0  200  OK
                   Hello World!  this  is  xiaorui.cc !!! '' ')
         print data
         request_string =  "GET %s HTTP/1.1\r\nHost: %s\r\n\r\nServer: xiaorui.cc\n"  %( 'index.html' ,  '127.0.0.1' )             
         s.send(request_string)
         s.shutdown(socket.SHUT_WR)
         print  '.' ,‘be killed’
     except Exception, ex:
         print ex
     finally :
                                                                                                                                                                                                                                                                                                                                                                                   
         s.close()
if  __name__ ==  '__main__' :
     server( 7777 )



gevent跑socket服务：

并发数值是500的时候！


1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
time ab -n  10000  -c  500  http: //127.0.0.1:7777/
This  is  ApacheBench, Version  2.3  <$Revision:  655654  $>
Copyright  1996  Adam Twiss, Zeus Technology Ltd, http: //www.zeustech.net/
Licensed to The Apache Software Foundation, http: //www.apache.org/
Benchmarking  127.0 . 0.1  (be patient)
Completed  1000  requests
Completed  2000  requests
Completed  3000  requests
Completed  4000  requests
Completed  5000  requests
Completed  6000  requests
Completed  7000  requests
Completed  8000  requests
Completed  9000  requests
Completed  10000  requests
Finished  10000  requests
Server Software:
Server Hostname:         127.0 . 0.1
Server Port:             7777
Document Path:          /
Document Length:         0  bytes
Concurrency Level:       500
Time taken  for  tests:    11.312  seconds
Complete requests:       10000
Failed requests:         0
Write errors:            0
Total transferred:       20000  bytes
HTML transferred:        0  bytes
Requests per second:     884.04  [#/sec] (mean)
Time per request:        565.584  [ms] (mean)
Time per request:        1.131  [ms] (mean, across all concurrent requests)
Transfer rate:           1.73  [Kbytes/sec] received
Connection Times (ms)
               min  mean[+/-sd] median   max
Connect:         0    44  202.7       0     1001
Processing:    500   513   10.1     511      707
Waiting:       500   513   10.1     511      707
Total:         500   557  204.1     512     1525
Percentage of the requests served within a certain time (ms)
   50 %     512
   66 %     515
   75 %     517
   80 %     519
   90 %     531
   95 %     552
   98 %    1521
   99 %    1523
  100 %    1525  (longest request)
real    0m11.334s
user    0m0.159s
sys     0m0.730s

010236465.jpg

服务端看到的信息都是正常的！


010104472.jpg


并发是1000的时候：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
time ab -n  10000  -c  1000  http: //127.0.0.1:7777/
This  is  ApacheBench, Version  2.3  <$Revision:  655654  $>
Copyright  1996  Adam Twiss, Zeus Technology Ltd, http: //www.zeustech.net/
Licensed to The Apache Software Foundation, http: //www.apache.org/
Benchmarking  127.0 . 0.1  (be patient)
Completed  1000  requests
Completed  2000  requests
Completed  3000  requests
Completed  4000  requests
Completed  5000  requests
Completed  6000  requests
Completed  7000  requests
Completed  8000  requests
Completed  9000  requests
Completed  10000  requests
Finished  10000  requests
Server Software:
Server Hostname:         127.0 . 0.1
Server Port:             7777
Document Path:          /
Document Length:         0  bytes
Concurrency Level:       1000
Time taken  for  tests:    7.406  seconds
Complete requests:       10000
Failed requests:         0
Write errors:            0
Total transferred:       20000  bytes
HTML transferred:        0  bytes
Requests per second:     1350.22  [#/sec] (mean)
Time per request:        740.623  [ms] (mean)
Time per request:        0.741  [ms] (mean, across all concurrent requests)
Transfer rate:           2.64  [Kbytes/sec] received
Connection Times (ms)
               min  mean[+/-sd] median   max
Connect:         0   175  491.7       0     3000
Processing:    500   520   17.7     515      707
Waiting:       500   520   17.7     515      707
Total:         500   695  492.5     517     3521
Percentage of the requests served within a certain time (ms)
   50 %     517
   66 %     523
   75 %     538
   80 %     569
   90 %    1515
   95 %    1530
   98 %    1539
   99 %    3514
  100 %    3521  (longest request)
real    0m7.428s
user    0m0.208s
sys     0m0.741s


当并发到1500的时候：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
time ab -n  10000  -c  1500  http: //127.0.0.1:7777/
This  is  ApacheBench, Version  2.3  <$Revision:  655654  $>
Copyright  1996  Adam Twiss, Zeus Technology Ltd, http: //www.zeustech.net/
Licensed to The Apache Software Foundation, http: //www.apache.org/
Benchmarking  127.0 . 0.1  (be patient)
Completed  1000  requests
Completed  2000  requests
Completed  3000  requests
Completed  4000  requests
Completed  5000  requests
Completed  6000  requests
Completed  7000  requests
Completed  8000  requests
Completed  9000  requests
Completed  10000  requests
Finished  10000  requests
Server Software:
Server Hostname:         127.0 . 0.1
Server Port:             7777
Document Path:          /
Document Length:         0  bytes
Concurrency Level:       1500
Time taken  for  tests:    5.290  seconds
Complete requests:       10000
Failed requests:         0
Write errors:            0
Total transferred:       20000  bytes
HTML transferred:        0  bytes
Requests per second:     1890.27  [#/sec] (mean)
Time per request:        793.536  [ms] (mean)
Time per request:        0.529  [ms] (mean, across all concurrent requests)
Transfer rate:           3.69  [Kbytes/sec] received
Connection Times (ms)
               min  mean[+/-sd] median   max
Connect:         0   214  404.9       1     1003
Processing:    500   522   23.0     514      716
Waiting:       500   522   23.0     514      716
Total:         500   736  406.7     520     1712
Percentage of the requests served within a certain time (ms)
   50 %     520
   66 %     558
   75 %     602
   80 %    1506
   90 %    1526
   95 %    1531
   98 %    1535
   99 %    1548
  100 %    1712  (longest request)
real    0m5.313s
user    0m0.275s
sys     0m0.763s



出现了少量的报错：

010710202.jpg


gevent 可以加个队列，来限制协程的数目，但是数目限制了，虽然稳定了，但是并发数上不去。

1
2
from gevent.pool  import  Pool
pool = Pool(N)




这里测试有点简单，虽然已经安排了连接的堵塞，但是毕竟不符合业务。 有时间把后端的任务改成才mongodb取数据 ！






 本文转自 rfyiamcool 51CTO博客，原文链接：http://blog.51cto.com/rfyiamcool/1342536，如需转载请自行联系原作者



文章标签：
Python
测试技术
关键词：
Python开发
框架Python
Python框架
框架测试
Python语言
技术小胖子
目录
相关文章
游客5fdji2pvmf8888
|
2月前
|
安全 数据处理 开发者
Python中的多线程编程：从入门到精通
本文将深入探讨Python中的多线程编程，包括其基本原理、应用场景、实现方法以及常见问题和解决方案。通过本文的学习，读者将对Python多线程编程有一个全面的认识，能够在实际项目中灵活运用。
游客5fdji2pvmf8888
72 0
Deephub
|
7天前
|
IDE 测试技术 开发工具
10个必备Python调试技巧：从pdb到单元测试的开发效率提升指南
在Python开发中，调试是提升效率的关键技能。本文总结了10个实用的调试方法，涵盖内置调试器pdb、breakpoint()函数、断言机制、logging模块、列表推导式优化、IPython调试、警告机制、IDE调试工具、inspect模块和单元测试框架的应用。通过这些技巧，开发者可以更高效地定位和解决问题，提高代码质量。
Deephub
82 8
10个必备Python调试技巧：从pdb到单元测试的开发效率提升指南
游客5fdji2pvmf8888
|
1月前
|
数据采集 存储 数据处理
Python中的多线程编程及其在数据处理中的应用
本文深入探讨了Python中多线程编程的概念、原理和实现方法，并详细介绍了其在数据处理领域的应用。通过对比单线程与多线程的性能差异，展示了多线程编程在提升程序运行效率方面的显著优势。文章还提供了实际案例，帮助读者更好地理解和掌握多线程编程技术。
游客5fdji2pvmf8888
42 5
土木林森
|
1月前
|
并行计算 算法 测试技术
C语言因高效灵活被广泛应用于软件开发。本文探讨了优化C语言程序性能的策略，涵盖算法优化、代码结构优化、内存管理优化、编译器优化、数据结构优化、并行计算优化及性能测试与分析七个方面
C语言因高效灵活被广泛应用于软件开发。本文探讨了优化C语言程序性能的策略，涵盖算法优化、代码结构优化、内存管理优化、编译器优化、数据结构优化、并行计算优化及性能测试与分析七个方面，旨在通过综合策略提升程序性能，满足实际需求。
土木林森
62 1
东方睿赢
|
1月前
|
存储 算法 C语言
用C语言开发游戏的实践过程，包括选择游戏类型、设计游戏框架、实现图形界面、游戏逻辑、调整游戏难度、添加音效音乐、性能优化、测试调试等内容
本文探讨了用C语言开发游戏的实践过程，包括选择游戏类型、设计游戏框架、实现图形界面、游戏逻辑、调整游戏难度、添加音效音乐、性能优化、测试调试等内容，旨在为开发者提供全面的指导和灵感。
东方睿赢
47 2
叫个什么名字
|
1月前
|
并行计算 数据处理 调度
Python中的并发编程：探索多线程与多进程的奥秘####
本文深入探讨了Python中并发编程的两种主要方式——多线程与多进程，通过对比分析它们的工作原理、适用场景及性能差异，揭示了在不同应用需求下如何合理选择并发模型。文章首先简述了并发编程的基本概念，随后详细阐述了Python中多线程与多进程的实现机制，包括GIL（全局解释器锁）对多线程的影响以及多进程的独立内存空间特性。最后，通过实例演示了如何在Python项目中有效利用多线程和多进程提升程序性能。 ####
叫个什么名字
51 5
墨城coding
|
1月前
|
Java Unix 调度
python多线程！
本文介绍了线程的基本概念、多线程技术、线程的创建与管理、线程间的通信与同步机制，以及线程池和队列模块的使用。文章详细讲解了如何使用 `_thread` 和 `threading` 模块创建和管理线程，介绍了线程锁 `Lock` 的作用和使用方法，解决了多线程环境下的数据共享问题。此外，还介绍了 `Timer` 定时器和 `ThreadPoolExecutor` 线程池的使用，最后通过一个具体的案例展示了如何使用多线程爬取电影票房数据。文章还对比了进程和线程的优缺点，并讨论了计算密集型和IO密集型任务的适用场景。
墨城coding
94 4
众所周知
|
1月前
|
Kubernetes 网络协议 Python
Python网络编程：从Socket到Web应用
在信息时代，网络编程是软件开发的重要组成部分。Python作为多用途编程语言，提供了从Socket编程到Web应用开发的强大支持。本文将从基础的Socket编程入手，逐步深入到复杂的Web应用开发，涵盖Flask、Django等框架的应用，以及异步Web编程和微服务架构。通过本文，读者将全面了解Python在网络编程领域的应用。
众所周知
39 1
XIAZHI
|
1月前
|
数据采集 Java Python
爬取小说资源的Python实践：从单线程到多线程的效率飞跃
本文介绍了一种使用Python从笔趣阁网站爬取小说内容的方法，并通过引入多线程技术大幅提高了下载效率。文章首先概述了环境准备，包括所需安装的库，然后详细描述了爬虫程序的设计与实现过程，包括发送HTTP请求、解析HTML文档、提取章节链接及多线程下载等步骤。最后，强调了性能优化的重要性，并提醒读者遵守相关法律法规。
XIAZHI
68 0
叫个什么名字
|
2月前
|
Python
Python中的多线程与多进程
本文将探讨Python中多线程和多进程的基本概念、使用场景以及实现方式。通过对比分析，我们将了解何时使用多线程或多进程更为合适，并提供一些实用的代码示例来帮助读者更好地理解这两种并发编程技术。
叫个什么名字
67 2

热门文章

最新文章

  • 1
    使用Python实现智能食品库存管理的深度学习模型
  • 2
    Python实现常用办公文件格式转换
  • 3
    猫狗宠物识别系统Python+TensorFlow+人工智能+深度学习+卷积网络算法
  • 4
    pyenv 管理多个 Python 版本(1)
  • 5
    Python编程数据结构的深入理解
  • 6
    Python的标准库
  • 7
    利用Python内置函数实现的冒泡排序算法
  • 8
    使用Python实现智能食品消费习惯分析的深度学习模型
  • 9
    使用Python实现深度学习模型的分布式训练
  • 10
    在 Python 中，如何将日期时间类型转换为字符串？
  • 1
    LabVIEW MEMS电容式压力传感器测试系统
    81
  • 2
    热敏电阻怎么进行性能测试？并以LabVIEW为例进行说明
    88
  • 3
    论文介绍：MACHIAVELLI基准测试：衡量奖励与道德行为之间的权衡
    92
  • 4
    LabVIEW无人机大气数据智能测试系统
    63
  • 5
    LabVIEW高温摩擦磨损测试系统
    45
  • 6
    LabVIEW伺服阀动静态测试系统
    62
  • 7
    容器技术：优化软件测试流程的利器
    120
  • 8
    LabVIEW开发自动读取指针式仪表测试系统
    67
  • 9
    LabVIEW开发新型电化学性能测试设备
    67
  • 10
    LabVIEW与Tektronix示波器实现电源测试自动化
    82

    • 相关课程

    更多
  • Python爬虫实战
  • Python开发基础入门
  • Python常用数据科学库
  • Python网络爬虫实战
  • Python完全自学手册图文教程
  • Python基础快速入门实战教程

    • 相关电子书

    更多
  • From Python Scikit-Learn to Sc
  • Data Pre-Processing in Python:
  • 双剑合璧-Python和大数据计算平台的结合

    • 相关实验场景

    更多
  • 用Python画圣诞树
  • Python选择及循环结构
  • 云端Python及基本操作
  • 使用Java面向对象编写网络通信程序应用
  • Python网络通信程序典型应用
  • Python新手入门（Anolis OS）

    • 推荐镜像

    更多
  • python-release
  • nodejs-release
  • deepin-cd
    • 下一篇
    手把手教你白嫖阿里云服务器(免费领服务器)