基于zeromq的高性能分布式RPC框架Zerorpc 性能测试

简介:

Zeromq 是基于zeromq、gevent和 msgpack开发的分布式RPC框架zerorpc-python。这个框架简单、易用。


1. 安装zeromq

1
2
3
4
5
6
yum -y install zeromq
yum install gcc gcc-c++ libuuid-devel python-uuid uuid
wget http: //download.zeromq.org/zeromq-2.1.9.tar.gz
./configure
make
make install


2.安装gevent

1
pip install gevent


3.  安装zerorpc

1
pip install zerorpc




server的测试代码:

1
2
3
4
5
6
7
8
9
import  zerorpc
import  time
class  HelloRPC(object):
     def hello(self, name):
         print    "this is %s  %s"  %(name,time.strftime( '%Y-%m-%d %H-%m-%S' ,time.localtime(time.time())))
         return  "Hello, %s"  %time.strftime( '%Y-%m-%d %H-%m-%S' ,time.localtime(time.time()))
s = zerorpc.Server(HelloRPC())
s.bind( "tcp://0.0.0.0:4242" )
s.run()



222442261.jpg


222312425.jpg


client的测试代码


1
2
3
4
5
import  zerorpc
import  os,sys
=  zerorpc.Client()
c.connect( "tcp://127.0.0.1:4242" )
print  c.hello( 'www.ruifengyun.com' )


222537291.jpg


也可以传送cmd的命令,然后return结果,这个有点像是 zeromq的req方法

223810510.jpg

客户端也可以独立的存在

1
zerorpc --client --connect tcp: //127.0.0.1:4242 hello lllllllllllllllllllllllllll


客户端显示:


224507360.jpg


服务端显示:

224702901.jpg


现在看来,如果按照mq的性能对比的话,这个结果还是令人不太满意的,但这个是应用于rpc远程调用的场景内,外部调用的话一秒中可以可以发送并接受10次的调用,内部调用的话,可以每秒钟打到300次左右,但这个结果还是可以接受的,毕竟没有谁每时每刻都在用远端的函数的。。。。。。。

这个一个老外的测试数据:


1
2
3
4
xmlrpc client & server (single-threaded):  850  calls/sec
zerorpc client & server (single-threaded):  4500  calls/sec
xmlrpc client & server (multi-threaded):  1200  calls/sec
zerorpc client & server (multi-threaded):  11000  calls/sec


我很纳闷他是怎么测试出来的~

如果不需要return结果,只是类pub数据过去的话,是可以到600多,但是远达不到他们的数据。。。

很奇怪~

为了测试性能我把gevent引入了,测试的结果不稳定,以我对gevent协程框架的使用,他很少出这样的情况,问题很有可能是server的问题。。。


235228883.jpg

测试的结果:

235714474.jpg



完成的测试代码,以供大家学习测试:

server 测试代码:


1
2
3
4
5
6
7
8
9
10
11
12
13
14
class  Cooler:
     def add_man(self, sentence):
         return  the result.  "" "
         return  sentence +  ", man!"
     def add_42(self, n):
         result.  "" "
         return  n +  42
     def boat(self, sentence):
         because it's cooler.  "" "
         return  "I'm on a boat!"
import  zerorpc
s = zerorpc.Server(Cooler())
s.bind( "tcp://0.0.0.0:4242" )
s.run()


client 测试代码:


1
2
3
4
5
6
$ zerorpc -j tcp: //:4242 add_42 1
43
$ zerorpc tcp: //:4242 add_man 'I own a mint-condition Volkswagen Golf'
"I own a mint-condition Volkswagen Golf, man!"
$ zerorpc tcp: //:4242 boat 'I own a mint-condition Volkswagen Golf, man!'
"I'm on a boat!"



zerorpc 官方推荐的高可用的方法是用haproxy实现的


1
2
3
4
5
6
7
8
haproxy.cfg的配置
$cat haproxy.cfg
listen zerorpc  0.0 . 0.0 : 1111
     mode tcp
     server backend_a localhost: 2222  check
     server backend_b localhost: 3333  check
检测语法
$ haproxy -f haproxy.cfg


可以进行语句的超时处理

231023715.jpg





 本文转自 rfyiamcool 51CTO博客,原文链接:http://blog.51cto.com/rfyiamcool/1254000,如需转载请自行联系原作者




相关文章
|
消息中间件 Java Kafka
在Java中实现分布式事务的常用框架和方法
总之,选择合适的分布式事务框架和方法需要综合考虑业务需求、性能、复杂度等因素。不同的框架和方法都有其特点和适用场景,需要根据具体情况进行评估和选择。同时,随着技术的不断发展,分布式事务的解决方案也在不断更新和完善,以更好地满足业务的需求。你还可以进一步深入研究和了解这些框架和方法,以便在实际应用中更好地实现分布式事务管理。
1113 161
|
10月前
|
数据采集 存储 数据可视化
分布式爬虫框架Scrapy-Redis实战指南
本文介绍如何使用Scrapy-Redis构建分布式爬虫系统,采集携程平台上热门城市的酒店价格与评价信息。通过代理IP、Cookie和User-Agent设置规避反爬策略,实现高效数据抓取。结合价格动态趋势分析,助力酒店业优化市场策略、提升服务质量。技术架构涵盖Scrapy-Redis核心调度、代理中间件及数据解析存储,提供完整的技术路线图与代码示例。
1096 0
分布式爬虫框架Scrapy-Redis实战指南
|
4月前
|
消息中间件 缓存 监控
中间件架构设计与实践:构建高性能分布式系统的核心基石
摘要 本文系统探讨了中间件技术及其在分布式系统中的核心价值。作者首先定义了中间件作为连接系统组件的"神经网络",强调其在数据传输、系统稳定性和扩展性中的关键作用。随后详细分类了中间件体系,包括通信中间件(如RabbitMQ/Kafka)、数据中间件(如Redis/MyCAT)等类型。文章重点剖析了消息中间件的实现机制,通过Spring Boot代码示例展示了消息生产者的完整实现,涵盖消息ID生成、持久化、批量发送及重试机制等关键技术点。最后,作者指出中间件架构设计对系统性能的决定性影响,
|
Java 数据库
在Java中使用Seata框架实现分布式事务的详细步骤
通过以上步骤,利用 Seata 框架可以实现较为简单的分布式事务处理。在实际应用中,还需要根据具体业务需求进行更详细的配置和处理。同时,要注意处理各种异常情况,以确保分布式事务的正确执行。
|
8月前
|
监控 Java 调度
SpringBoot中@Scheduled和Quartz的区别是什么?分布式定时任务框架选型实战
本文对比分析了SpringBoot中的`@Scheduled`与Quartz定时任务框架。`@Scheduled`轻量易用,适合单机简单场景,但存在多实例重复执行、无持久化等缺陷;Quartz功能强大,支持分布式调度、任务持久化、动态调整和失败重试,适用于复杂企业级需求。文章通过特性对比、代码示例及常见问题解答,帮助开发者理解两者差异,合理选择方案。记住口诀:单机简单用注解,多节点上Quartz;若是任务要可靠,持久化配置不能少。
805 4
|
消息中间件 运维 数据库
Seata框架和其他分布式事务框架有什么区别
Seata框架和其他分布式事务框架有什么区别
496 153
|
8月前
|
消息中间件 缓存 算法
分布式开发:数字时代的高性能架构革命-为什么要用分布式?优雅草卓伊凡
分布式开发:数字时代的高性能架构革命-为什么要用分布式?优雅草卓伊凡
580 0
分布式开发:数字时代的高性能架构革命-为什么要用分布式?优雅草卓伊凡
|
存储 Java 关系型数据库
在Spring Boot中整合Seata框架实现分布式事务
可以在 Spring Boot 中成功整合 Seata 框架,实现分布式事务的管理和处理。在实际应用中,还需要根据具体的业务需求和技术架构进行进一步的优化和调整。同时,要注意处理各种可能出现的问题,以保障分布式事务的顺利执行。
1285 160
|
数据库
如何在Seata框架中配置分布式事务的隔离级别?
总的来说,配置分布式事务的隔离级别是实现分布式事务管理的重要环节之一,需要认真对待和仔细调整,以满足业务的需求和性能要求。你还可以进一步深入研究和实践 Seata 框架的配置和使用,以更好地应对各种分布式事务场景的挑战。
615 160
|
10月前
|
存储 人工智能 固态存储
DeepSeek开源周第五弹之一!3FS:支撑V3/R1模型数据访问的高性能分布式文件系统
3FS是DeepSeek开源的高性能分布式文件系统,专为AI训练和推理任务设计,提供高达6.6 TiB/s的读取吞吐量,支持强一致性保障和通用文件接口,优化AI工作负载。
1555 2
DeepSeek开源周第五弹之一!3FS:支撑V3/R1模型数据访问的高性能分布式文件系统

热门文章

最新文章