使用Python的twisted和socket模块实现端口的负载分发

简介:

103109652.jpg

很简单的需求,自己写个类似iptables那样的dnat端口转发,简单实现像lvs那样的nat模式的端口的负载分发,当然性能堪忧哈~


这个例子是 监听 本地ip的9999端口,然后映射到另一个端口上,也可以利用random参数,进行多个端口的轮训,当然他的算法和性能简单,不能和lvs 相比了。


映射的版本:


执行方法:python th.py 8888 10.10.10.63 80


1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
#!/usr/bin/env python
#python th.py 8888 10.10.10.63 80
import  sys, socket, time, threading
loglock  =  threading.Lock()
def  log(msg):
loglock.acquire()
try :
print  '[%s]: \n%s\n'  %  (time.ctime(), msg.strip())
sys.stdout.flush()
finally :
loglock.release()
class  PipeThread(threading.Thread):
def  __init__( self , source, target):
threading.Thread.__init__( self )
self .source  =  source
self .target  =  target
def  run( self ):
while  True :
try :
data  =  self .source.recv( 1024 )
log(data)
if  not  data:  break
self .target.send(data)
except :
break
log( 'PipeThread done' )
class  Forwarding(threading.Thread):
def  __init__( self , port, targethost, targetport):
threading.Thread.__init__( self )
self .targethost  =  targethost
self .targetport  =  targetport
self .sock  =  socket.socket(socket.AF_INET, socket.SOCK_STREAM)
self .sock.bind(( '0.0.0.0' , port))
self .sock.listen( 10 )
def  run( self ):
while  True :
client_fd, client_addr  =  self .sock.accept()
target_fd  =  socket.socket(socket.AF_INET, socket.SOCK_STREAM)
target_fd.connect(( self .targethost,  self .targetport))
log( 'new connect' )
# two direct pipe
PipeThread(target_fd, client_fd).start()
PipeThread(client_fd, target_fd).start()
if  __name__  = =  '__main__' :
print  'Starting'
import  sys
try :
port  =  int (sys.argv[ 1 ])
targethost  =  sys.argv[ 2 ]
try : targetport  =  int (sys.argv[ 3 ])
except  IndexError: targetport  =  port
except  (ValueError, IndexError):
print  'Usage: %s port targethost [targetport]'  %  sys.argv[ 0 ]
sys.exit( 1 )
#sys.stdout = open('forwaring.log', 'w')
Forwarding(port, targethost, targetport).start()


附带负载的版本:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
#!/usr/bin/env python
import  sys, socket, time, threading
loglock  =  threading.Lock()
def  log(msg):
loglock.acquire()
try :
print  '[%s]: \n%s\n'  %  (time.ctime(), msg.strip())
sys.stdout.flush()
finally :
loglock.release()
class  PipeThread(threading.Thread):
def  __init__( self , source, target):
threading.Thread.__init__( self )
self .source  =  source
self .target  =  target
def  run( self ):
while  True :
try :
data  =  self .source.recv( 1024 )
log(data)
if  not  data:  break
self .target.send(data)
except :
break
log( 'PipeThread done' )
class  Forwarding(threading.Thread):
def  __init__( self , port, targethost, targetport):
number  =  random.randint( 1 , 2 )
numbers  =  '%d'  % number
portlist = { '1' : 80 , '2' : 81 }
host = '10.10.10.63'
threading.Thread.__init__( self )
self .targethost  =  targethost
self .targetport  =  portlist[numbers]
self .sock  =  socket.socket(socket.AF_INET, socket.SOCK_STREAM)
self .sock.bind(( '0.0.0.0' , port))
self .sock.listen( 10 )
def  run( self ):
while  True :
client_fd, client_addr  =  self .sock.accept()
target_fd  =  socket.socket(socket.AF_INET, socket.SOCK_STREAM)
target_fd.connect(( self .targethost, portlist[numbers]))
log( 'new connect' )
# two direct pipe
PipeThread(target_fd, client_fd).start()
PipeThread(client_fd, target_fd).start()
if  __name__  = =  '__main__' :
print  'Starting'
import  sys
import  random
number  =  random.randint( 1 , 2 )
numbers  =  '%d'  % number
#sys.stdout = open('forwaring.log', 'w')
portlist = { '1' : 80 , '2' : 81 }
host = '10.10.10.63'
Forwarding( 9999 ,host, portlist[numbers]).start()


对于性能要求高的,可以试试twisted端口转发的代码。

调优方向  I/O模型,比如阻塞、非阻塞和反应式(select,poll,WaitForMultipleObject)


1
2
3
4
现在用gevent比较多,一是gevent性能会更好一些,而且用同步的方式来实现异步(使用greenlet),twisted中defer 和
callback 会把逻辑打散。
当初从twisted转到gevent最主要的原因是在twisted上很难实现多进程。
gevent不好的地方就是它的mongkey_patch 有时候会带来一些奇怪的问题。


个人感觉,twisted的优点是程序的各种设计,要是针对于咱们这个映射需求的话,推荐使用gevent网络并发框架。  这个也是我较常用的。


1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
from twisted.internet.protocol  import  Protocol,ClientCreator
from twisted.internet  import  reactor
from twisted.protocols.basic  import  LineReceiver
from twisted.internet.protocol  import  Factory,ClientFactory
class  Transfer(Protocol):
def __init__(self):
pass
def connectionMade(self):
c = ClientCreator(reactor,Clienttransfer)
c.connectTCP( "10.10.10.63" , 80 ).addCallback(self.set_protocol)
self.transport.pauseProducing()
def set_protocol(self,p):
self.server = p
p.set_protocol(self)
def dataReceived(self,data):
self.server.transport.write(data)
def connectionLost(self,reason):
self.transport.loseConnection()
self.server.transport.loseConnection()
class  Clienttransfer(Protocol):
def __init__(self):
pass
def set_protocol(self,p):
self.server = p
self.server.transport.resumeProducing()
pass
def dataReceived(self,data):
self.server.transport.write(data)
pass
factory = Factory()
factory.protocol = Transfer
reactor.listenTCP( 9999 ,factory)
reactor.run()



完成 !





 本文转自 rfyiamcool 51CTO博客,原文链接:http://blog.51cto.com/rfyiamcool/1203660,如需转载请自行联系原作者


相关文章
|
13天前
|
网络协议 Python
网络世界的建筑师:Python Socket编程基础与进阶,构建你的网络帝国!
在数字宇宙中,网络如同复杂脉络连接每个角落,Python Socket编程则是开启这一世界的钥匙。本文将引导你从基础概念入手,逐步掌握Socket编程,并通过实战示例构建TCP/UDP服务器与客户端。你将学会使用Python的socket模块进行网络通信,了解TCP与UDP的区别,并运用多线程与异步IO提升服务器性能。跟随本文指引,成为网络世界的建筑师,构建自己的网络帝国。
26 2
|
13天前
|
网络协议 开发者 Python
网络编程小白秒变大咖!Python Socket基础与进阶教程,轻松上手无压力!
在网络技术飞速发展的今天,掌握网络编程已成为开发者的重要技能。本文以Python为工具,带你从Socket编程基础逐步深入至进阶领域。首先介绍Socket的概念及TCP/UDP协议,接着演示如何用Python创建、绑定、监听Socket,实现数据收发;最后通过构建简单的聊天服务器,巩固所学知识。让初学者也能迅速上手,成为网络编程高手。
49 1
|
7天前
|
监控 网络协议 数据库连接
Python3 监控端口:使用 socket 库
Python3 监控端口:使用 socket 库
18 0
|
8天前
|
监控 网络协议 数据库连接
Python3 监控端口:使用 socket 库
Python3 监控端口:使用 socket 库
23 0
Py之twisted:Python库之twisted简介、安装、使用方法等详细攻略
Py之twisted:Python库之twisted简介、安装、使用方法等详细攻略
|
1天前
|
机器学习/深度学习 人工智能 数据可视化
Python比较适合哪些场景的编程?
Python比较适合哪些场景的编程?
14 7
|
1天前
|
大数据 Python
Python 高级编程:深入探索高级代码实践
本文深入探讨了Python的四大高级特性:装饰器、生成器、上下文管理器及并发与并行编程。通过装饰器,我们能够在不改动原函数的基础上增添功能;生成器允许按需生成值,优化处理大数据;上下文管理器确保资源被妥善管理和释放;多线程等技术则助力高效完成并发任务。本文通过具体代码实例详细解析这些特性的应用方法,帮助读者提升Python编程水平。
18 5
|
6天前
|
数据挖掘 索引 Python
Python数据挖掘编程基础3
字典在数学上是一个映射,类似列表但使用自定义键而非数字索引,键在整个字典中必须唯一。可以通过直接赋值、`dict`函数或`dict.fromkeys`创建字典,并通过键访问元素。集合是一种不重复且无序的数据结构,可通过花括号或`set`函数创建,支持并集、交集、差集和对称差集等运算。
15 9
|
2天前
|
存储 数据处理 开发者
深入浅出:Python编程基础与实战技巧
【9月更文挑战第32天】本文将引导读者从零开始,掌握Python编程语言的核心概念,并通过实际代码示例深入理解。我们将逐步探索变量、数据结构、控制流、函数、类和异常处理等基本知识,并结合实用案例,如数据处理、文件操作和网络请求,提升编程技能。无论您是初学者还是有一定经验的开发者,这篇文章都能帮助您巩固基础,拓展视野。
|
2天前
|
数据采集 机器学习/深度学习 人工智能
Python编程之旅:从基础到精通
【9月更文挑战第32天】本文将带你进入Python的世界,从基础语法到高级特性,再到实战项目,让你全面掌握Python编程技能。无论你是初学者还是有一定基础的开发者,都能在这篇文章中找到适合自己的学习路径和方法。让我们一起踏上Python编程之旅,开启一段充满挑战和乐趣的学习历程吧!
下一篇
无影云桌面