开发者社区> 技术小胖子> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

python之网络编程

简介:
+关注继续查看

14.1.1 socket模块

在网络编程中德一个基本组件就是套接字。套接字主要是两个程序之间的信息通道。

套接字包括两个:服务器套接字和客户机套接字。创建一个服务器套接字后,让它等待连接。这样它就在某个网络地址处监听。

一个套接字就是一个socket模块中socket类的实例。它的实例化需要3个参数:第一个参数是地址族(默认是socket.AF_INET);第2个参数是流(socket.SOCK_STREAM,默认值)或数据报(socket.SOCK_DGRAM)套接字。第三个参数是使用的协议(默认是0)。

服务器端套接字使用bind方法后,再调用listen方法去监听这个给定的地址。客户端套接字使用connect方法连接到服务器,在connect方法中使用的地址与bind方法中的地址相同。在这种情况下,一个地址就是一个格式为(host,port)的元组,其中host是主机名,port是端口号。listen方法只有一个参数,即服务器未处理的连接的长度。

服务器端套接字开始监听后,它就可以接受客户端的连接。这个步骤使用accept方法来完成。这个方法会阻塞直到客户端连接,然后该方法就返回一个格式为(client,address)的元组,client是一个客户端套接字,address是一个前面解释过的地址。服务器能处理客户端到它满意的程度,然后调用另一个accept方法开始等待下一个连接。

套接字有两个方法:send和recv(勇于接收),用于传输。可以使用字符串参数调用send以发送数据,用一个所需的字节数做参数调用recv来接收数据。如果不能确定使用哪个数字比较好,那么1024.


一个小型服务器

import socket

s = socket.socket()

host = socket.gethostname()

port = 1234

s.bind((host,port))

s.listen(5)

while True:

c, addr = s.accept()

print 'Got connection from', addr

c.send('Thank you for connecting')

c.close()


一个小型客户机

import socket

s = socket.gethostname()

port = 1234 


s.connect((host,port))

print s.recv(1024)


14.1.2 urllib和urllib2模块

在能使用的各种网络工作库中,功能最强大的是urllib和urllib2.它们能让通过网络访问文件,就像那些文件存在于你的电脑上一样。通过一个简单的函数调用,几乎可以把任何URL所指向的东西用做程序的输入。

这两个模块的功能差不多,但urllib2更好一些。如果需要使用http验证或者cookie或者要为自己的协议写扩展程序的话,那么urllib2是好的选择。


1.打开远程文件

可以像打开本地一样打开远程文件,不同之处是可以使用只读模式,使用的是来自urllib模块的uriopen,而不是open

>>>from urllib import urlopen

>>>webpage = urlopen('http://www.python.org')


urlopen返回的类文件对象支持close,read,readline,readlines方法,当然也支持迭代。

假设想要提取在前面打开的python页中“About”链接的URL,那么就可以用正则表达式来实现。

>>>import re

>>>text = webpage.read()

>>>m = re.search('<a href="([^"]+)" .?>about</a>',text,re.IGNORECASE)

>>>m.group(1)

'/about/'


2.获取远程文件

函数urlopen提供一个能从中读取数据的类文件对象。如果希望urllib为你下载文件并在本地文件中存储一个文件的副本,那么可以使用urlretrieve。urlretrieve返回一个元组(filename,headers)而不是类文件对象,filename是本地文件的名字(由urllib自动创建),headers包含一些远程文件的信息,如果想要为下载的副本指定文件名,可以在urlretrieve函数的第2个参数中给出。

urlretrieve('http://www.python.org','C:\\python_webpage.html')

这个语句获取python的主页并把它存储在html中,如果没有指定文件名,文件就会放在临时的位置,用open函数可以打开它,但如果完成了对它的操作,就可以删除它以节省硬盘空间。要清理临时文件,可以调用urlcleanup函数,但不要提供参数,该函数会负责清理工作。


14.2 SocketServer和它的朋友们

SocketServer模块是标准库中很多服务器框架的基础,这些服务器框架包括BaseHTTPServer,SimpleHTTPServer,CGIHTTPServer,SimpleXMLRPCServer和DocXMLRPCServer,所有的这些服务器框架都为基础服务器增加了特定的功能。

SocketServer包含了4个基本的类:针对TCP套接字流的TCPServer;针对UDP数据报套接字的UDPServer;以及针对性不强的UnixStreamServer和UnixDatagramServer。可能不会用到后3个。

为了写一个使用SocketServer框架的服务器,大部分代码会在一个请求处理程序,每当服务器收到一个请求时,就会实例化一个请求处理程序,并且它的各种处理方法会在处理请求时被调用。具体调用哪个方法取决于特定的服务器和使用的处理程序类,这样可以把它们子类化,使得服务器调用自定义的处理程序集。基本的BaseRequestHandler类把所有的操作都放到了处理器的一个叫做handle的方法中,这个方法会被服务器调用。然后这个方法就会访问属性self.request中的客户端套接字。如果使用的是流,那么可以使用StreamRequestHandler类,创建了其他两个新属性,self.rfile(用于读取)和self.wfile(用于写入)然后就能使用这些类文件对象和客户机进行通信。

SocketServer框架中德其他类实现了对HTTP服务器的基本支持,其中包括运行CGI脚本。

一个基于SocketServer的小型服务器

from SocketServer import TCPServer,StreamRequestHandler

class Handler(StreamRequestHandler):

def handle(self):

addr = self.request.getpeername()

print 'Got connection from', addr

self.wfile.write('Thank you for connecting')

server = TCPServer(('',1234),Handler)

server.serve_forever()


14.3 多连接

到目前为止讨论的服务器解决方案都是同步的:即一次只能链接一个客户机并处理它的请求。如果每个请求只是花费很少的时间,比如,一个完整的聊天会话,那么同时能处理多个连接就很重要。

有3种主要的方法能实现这个目的:分叉、线程以及异步I/O。通过对SocketServer服务器使用混入类,派生进程和线程很容易处理。

分叉占用资源,并且如果有太多的客户端时分叉不能很好分叉

线程处理能导致同步问题。

Twisted是一个非常强大的异步网络变成框架。


14.3.1 使用SocketServer进行分叉和线程处理

windows不支持分叉


使用了分叉技术的服务器

from SocketServer import TCPServer,ForkingMinIn,StreamRequestHandler

class Server(ForkingMixIn,TCPServer): pass

class Handler(StreamRequestHandler):

def handle(self):

addr = self.request.getpeername()

print 'Got connection from', addr

self.wfile.write('Thank you for connecting')

server = Server(('',1234),Handler)

server.serve_forever()


一个使用了线程处理的服务器

from SocketServer import TCPServer,ThreadingMixIn,StreamRequestHandler

class Server(ThreadingMixIn,TCPServer): pass

class Handler(StreamRequestHandler):

def handle(self):

addr = self.request.getpeername()

print 'Got connection from',addr

self.wfile.write('Thank you for connecting')

server = Server(('',1234),Handler)

server.serve_forever()


14.3.2 带有select和poll的异步I/O

当一个服务器与一个客户端通信时,来自客户端的数据可能是不连续的。如果使用分叉或线程处理,那就不是问题。当一个程序在等待数据,另一个并行的程序可以继续处理它们自己的客户端。另外的处理方法是只处理在给定时间内真正要进行通信的客户端。不需要一直监听----只要监听一会儿,然后把它放到其他客户端的后面。

这是asyncore/asynchar框架和Twisted框架采用的方法,这种功能的基础是select函数,如果poll函数可用,那也可以是它,这两个函数都来自select模块,这两个函数中,poll的伸缩性更好,但它只能在unix系统中使用(windows不可用)。

select函数需要3个序列作为它的必选参数,此外还有一个可选的以秒为单位的超时时间作为第4个参数。这些序列式文件描述符整数。这些就是我们等待的连接。3个序列用于输入、输出、以及异常情况。如果没有给定超时时间,select会阻塞,直到其中的一个文件描述符已经为行动做好了准备;如果给定了超时时间,select最多阻塞给定的超时时间,如果给定的超时时间是0,那么就给出了一个连续的poll(即不阻塞)。select的返回值是3个序列,每个代表相应参数的一个活动子集。比如返回的第1个序列是一个输入文件描述符的序列,其中有一些可以读取的东西。

序列能包含文件对象(在windows中行不通)或者套接字。服务器是个简单的记录器,它输出来自客户机的所有数据。可以使用Telnet连接它来进行测试。尝试用多个Telnet去连接来验证服务器能同时为多个客户端服务。


使用了select的简单服务器

import socket,select

s = socket.socket()

host = socket.gethostname()

port = 1234

s.bind((host,port))


s.listen(5)

inputs = [s]

while True:

rs.ws,es = select.select(inputs,[],[])

for r in rs:

if r is s:

c, addr = s.accept()

print 'Got connection from' , addr

inputs.append(c)

else:

try:

data = r.recv(1024)

disconnected = not data

except socket.error:

disconnected = True

if disconnected:

print r.getpeername(),'disconnected'

inputs.remove(r)

else:

print data


poll方法使用起来比select简单。在调用poll时,会得到一个poll对象。然后就可以使用pol对象的register方法注册一个文件描述符。注册后就可以使用unregister方法移除注册的对象。注册了一些对象以后,就可以调用poll方法并得到一个格式列表,其中fd是文件描述符,event则告诉你发生了什么。这是一个位掩码,意思是它是一个整数,这个整数的每个位对应不同的事件。那些不同的事件是select模块的常量。



使用poll的简单服务器

import socket.select

s = socket.socket()

host = socket.gethostname()

port = 1234

s.bind((host,port))

fdmap = {s.fileno(): s}

s.listen(5)

p = select.poll()

p.register(s)

while True:

events = p.poll()

for fd, event in events:

if fd = s.fileno():

c,addr = s.accept()

print 'Got connection from', addr

p.register(c)

fdmap[c.fileno()] = c

elif event & select.POLLIN:

data = fdmap[fd].recv(1024)

if not data:

print fdmap[fd].getpeername(),'disconnected'

p.unregister(fd)

del fdmap[fd]

else:

print data


14.4 Twisted 

from twisted.internet import reactor

from twisted.internet.protocol import Protocol.Factory

class SimpleLogger(Protocol):

def connectionMade(self):

print 'Got connection from',self.transport.client

def connectionLost(self,reason):

print self.transport.client,'disconnected'

def dataReceived(self,data):

print data

factory = Factory()

factory.protocol = Simplelogger

reactor.listenTCP(1234,factory)

reactor.run()


如果用telnet 连接到此服务器并进行测试的话,那么每行可能只输出一个字符取决于缓冲或类似的东西。当然可以使用sys.stdout.write来代替print。


一个使用了LineReceiver协议改进的记录服务器

from twisted.internet import reactor

from twisted.internet.protocol import Factory

from twisted.protocols.basic import LineReceiver

class SimpleLogger(LineReceiver):

def SimpleLogger(LineReceiver):

print 'Got connection from',self.transport.client

def connectionLost(self,reason):

print self.transport.client,'disconnected'

def lineReceived(self,line):

print line

factory = Factory()

factory.protocol = SimpleLogger

reactor.listenTCP(1234,factory)

reactor.run()





      本文转自潘阔 51CTO博客,原文链接:http://blog.51cto.com/pankuo/1661448,如需转载请自行联系原作者



版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
进阶——python——网络编程
进阶——python——网络编程
0 0
Python 网络编程(三)
Python 网络编程(三)
0 0
Python 网络编程(二)
Python 网络编程(二)
0 0
Python 网络编程(一)
Python 网络编程(一)
0 0
我开始学Python网络编程了
我开始学Python网络编程了
0 0
Python学习笔记第二十一天(网络编程)
Python学习笔记第二十一天讲解什么是 Socket、socket()函数、Socket 对象(内建)方法、Python Internet 模块的用法。
0 0
Python网络编程之Socket通信简单实
Python网络编程之Socket通信简单实
0 0
Python 网络编程3:tcp客户端与tcp服务器以及下载器
Python 网络编程3:tcp客户端与tcp服务器以及下载器
0 0
文章
问答
文章排行榜
最热
最新
相关电子书
更多
给运维工程师的Python实战课
立即下载
Python 脚本速查手册
立即下载
ACE 区域技术发展峰会:Flink Python Table API入门及实践
立即下载