使用Python的twisted和socket模块实现端口的负载分发

简介:

103109652.jpg

很简单的需求,自己写个类似iptables那样的dnat端口转发,简单实现像lvs那样的nat模式的端口的负载分发,当然性能堪忧哈~


这个例子是 监听 本地ip的9999端口,然后映射到另一个端口上,也可以利用random参数,进行多个端口的轮训,当然他的算法和性能简单,不能和lvs 相比了。


映射的版本:


执行方法:python th.py 8888 10.10.10.63 80


1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
#!/usr/bin/env python
#python th.py 8888 10.10.10.63 80
import  sys, socket, time, threading
loglock  =  threading.Lock()
def  log(msg):
loglock.acquire()
try :
print  '[%s]: \n%s\n'  %  (time.ctime(), msg.strip())
sys.stdout.flush()
finally :
loglock.release()
class  PipeThread(threading.Thread):
def  __init__( self , source, target):
threading.Thread.__init__( self )
self .source  =  source
self .target  =  target
def  run( self ):
while  True :
try :
data  =  self .source.recv( 1024 )
log(data)
if  not  data:  break
self .target.send(data)
except :
break
log( 'PipeThread done' )
class  Forwarding(threading.Thread):
def  __init__( self , port, targethost, targetport):
threading.Thread.__init__( self )
self .targethost  =  targethost
self .targetport  =  targetport
self .sock  =  socket.socket(socket.AF_INET, socket.SOCK_STREAM)
self .sock.bind(( '0.0.0.0' , port))
self .sock.listen( 10 )
def  run( self ):
while  True :
client_fd, client_addr  =  self .sock.accept()
target_fd  =  socket.socket(socket.AF_INET, socket.SOCK_STREAM)
target_fd.connect(( self .targethost,  self .targetport))
log( 'new connect' )
# two direct pipe
PipeThread(target_fd, client_fd).start()
PipeThread(client_fd, target_fd).start()
if  __name__  = =  '__main__' :
print  'Starting'
import  sys
try :
port  =  int (sys.argv[ 1 ])
targethost  =  sys.argv[ 2 ]
try : targetport  =  int (sys.argv[ 3 ])
except  IndexError: targetport  =  port
except  (ValueError, IndexError):
print  'Usage: %s port targethost [targetport]'  %  sys.argv[ 0 ]
sys.exit( 1 )
#sys.stdout = open('forwaring.log', 'w')
Forwarding(port, targethost, targetport).start()


附带负载的版本:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
#!/usr/bin/env python
import  sys, socket, time, threading
loglock  =  threading.Lock()
def  log(msg):
loglock.acquire()
try :
print  '[%s]: \n%s\n'  %  (time.ctime(), msg.strip())
sys.stdout.flush()
finally :
loglock.release()
class  PipeThread(threading.Thread):
def  __init__( self , source, target):
threading.Thread.__init__( self )
self .source  =  source
self .target  =  target
def  run( self ):
while  True :
try :
data  =  self .source.recv( 1024 )
log(data)
if  not  data:  break
self .target.send(data)
except :
break
log( 'PipeThread done' )
class  Forwarding(threading.Thread):
def  __init__( self , port, targethost, targetport):
number  =  random.randint( 1 , 2 )
numbers  =  '%d'  % number
portlist = { '1' : 80 , '2' : 81 }
host = '10.10.10.63'
threading.Thread.__init__( self )
self .targethost  =  targethost
self .targetport  =  portlist[numbers]
self .sock  =  socket.socket(socket.AF_INET, socket.SOCK_STREAM)
self .sock.bind(( '0.0.0.0' , port))
self .sock.listen( 10 )
def  run( self ):
while  True :
client_fd, client_addr  =  self .sock.accept()
target_fd  =  socket.socket(socket.AF_INET, socket.SOCK_STREAM)
target_fd.connect(( self .targethost, portlist[numbers]))
log( 'new connect' )
# two direct pipe
PipeThread(target_fd, client_fd).start()
PipeThread(client_fd, target_fd).start()
if  __name__  = =  '__main__' :
print  'Starting'
import  sys
import  random
number  =  random.randint( 1 , 2 )
numbers  =  '%d'  % number
#sys.stdout = open('forwaring.log', 'w')
portlist = { '1' : 80 , '2' : 81 }
host = '10.10.10.63'
Forwarding( 9999 ,host, portlist[numbers]).start()


对于性能要求高的,可以试试twisted端口转发的代码。

调优方向  I/O模型,比如阻塞、非阻塞和反应式(select,poll,WaitForMultipleObject)


1
2
3
4
现在用gevent比较多,一是gevent性能会更好一些,而且用同步的方式来实现异步(使用greenlet),twisted中defer 和
callback 会把逻辑打散。
当初从twisted转到gevent最主要的原因是在twisted上很难实现多进程。
gevent不好的地方就是它的mongkey_patch 有时候会带来一些奇怪的问题。


个人感觉,twisted的优点是程序的各种设计,要是针对于咱们这个映射需求的话,推荐使用gevent网络并发框架。  这个也是我较常用的。


1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
from twisted.internet.protocol  import  Protocol,ClientCreator
from twisted.internet  import  reactor
from twisted.protocols.basic  import  LineReceiver
from twisted.internet.protocol  import  Factory,ClientFactory
class  Transfer(Protocol):
def __init__(self):
pass
def connectionMade(self):
c = ClientCreator(reactor,Clienttransfer)
c.connectTCP( "10.10.10.63" , 80 ).addCallback(self.set_protocol)
self.transport.pauseProducing()
def set_protocol(self,p):
self.server = p
p.set_protocol(self)
def dataReceived(self,data):
self.server.transport.write(data)
def connectionLost(self,reason):
self.transport.loseConnection()
self.server.transport.loseConnection()
class  Clienttransfer(Protocol):
def __init__(self):
pass
def set_protocol(self,p):
self.server = p
self.server.transport.resumeProducing()
pass
def dataReceived(self,data):
self.server.transport.write(data)
pass
factory = Factory()
factory.protocol = Transfer
reactor.listenTCP( 9999 ,factory)
reactor.run()



完成 !





 本文转自 rfyiamcool 51CTO博客,原文链接:http://blog.51cto.com/rfyiamcool/1203660,如需转载请自行联系原作者


相关文章
|
1月前
|
网络协议 物联网 API
Python网络编程:Twisted框架的异步IO处理与实战
【10月更文挑战第26天】Python 是一门功能强大且易于学习的编程语言,Twisted 框架以其事件驱动和异步IO处理能力,在网络编程领域独树一帜。本文深入探讨 Twisted 的异步IO机制,并通过实战示例展示其强大功能。示例包括创建简单HTTP服务器,展示如何高效处理大量并发连接。
53 1
|
2月前
|
消息中间件 监控 网络协议
Python中的Socket魔法:如何利用socket模块构建强大的网络通信
本文介绍了Python的`socket`模块,讲解了其基本概念、语法和使用方法。通过简单的TCP服务器和客户端示例,展示了如何创建、绑定、监听、接受连接及发送/接收数据。进一步探讨了多用户聊天室的实现,并介绍了非阻塞IO和多路复用技术以提高并发处理能力。最后,讨论了`socket`模块在现代网络编程中的应用及其与其他通信方式的关系。
277 3
|
1月前
|
网络协议 调度 开发者
Python网络编程:Twisted框架的异步IO处理与实战
【10月更文挑战第27天】本文介绍了Python网络编程中的Twisted框架,重点讲解了其异步IO处理机制。通过反应器模式,Twisted能够在单线程中高效处理多个网络连接。文章提供了两个实战示例:一个简单的Echo服务器和一个HTTP服务器,展示了Twisted的强大功能和灵活性。
47 0
|
2月前
|
Python
Python编程--使用NMAP端口扫描
Python编程--使用NMAP端口扫描
31 1
|
2月前
|
网络安全 Python
Python编程--目标IP地址段主机指定端口状态扫描
Python编程--目标IP地址段主机指定端口状态扫描
65 1
|
3月前
|
Linux Python
用python扫描linux开放的端口(3种方式)
这篇文章介绍了三种使用Python实现Linux端口扫描的方法,包括基础版端口扫描、全端口扫描和多线程扫描技术。
77 15
|
2月前
|
运维 安全 网络协议
Python 网络编程:端口检测与IP解析
本文介绍了使用Python进行网络编程的两个重要技能:检查端口状态和根据IP地址解析主机名。通过`socket`库实现端口扫描和主机名解析的功能,并提供了详细的示例代码。文章最后还展示了如何整合这两部分代码,实现一个简单的命令行端口扫描器,适用于网络故障排查和安全审计。
57 0
|
3月前
|
监控 网络协议 数据库连接
Python3 监控端口:使用 socket 库
Python3 监控端口:使用 socket 库
55 0
|
3月前
|
监控 网络协议 数据库连接
Python3 监控端口:使用 socket 库
Python3 监控端口:使用 socket 库
57 0
|
4月前
|
网络安全 数据安全/隐私保护 Python
Python 渗透测试:文件传输爆破( 21端口 )
Python 渗透测试:文件传输爆破( 21端口 )
40 2