14.1.1 socket模块
在网络编程中德一个基本组件就是套接字。套接字主要是两个程序之间的信息通道。
套接字包括两个：服务器套接字和客户机套接字。创建一个服务器套接字后，让它等待连接。这样它就在某个网络地址处监听。
一个套接字就是一个socket模块中socket类的实例。它的实例化需要3个参数：第一个参数是地址族（默认是socket.AF_INET）;第2个参数是流（socket.SOCK_STREAM，默认值）或数据报(socket.SOCK_DGRAM)套接字。第三个参数是使用的协议（默认是0）。
服务器端套接字使用bind方法后，再调用listen方法去监听这个给定的地址。客户端套接字使用connect方法连接到服务器，在connect方法中使用的地址与bind方法中的地址相同。在这种情况下，一个地址就是一个格式为（host，port）的元组，其中host是主机名，port是端口号。listen方法只有一个参数，即服务器未处理的连接的长度。
服务器端套接字开始监听后，它就可以接受客户端的连接。这个步骤使用accept方法来完成。这个方法会阻塞直到客户端连接，然后该方法就返回一个格式为（client，address）的元组，client是一个客户端套接字，address是一个前面解释过的地址。服务器能处理客户端到它满意的程度，然后调用另一个accept方法开始等待下一个连接。
套接字有两个方法：send和recv（勇于接收），用于传输。可以使用字符串参数调用send以发送数据，用一个所需的字节数做参数调用recv来接收数据。如果不能确定使用哪个数字比较好，那么1024.
一个小型服务器
import socket
s = socket.socket()
host = socket.gethostname()
port = 1234
s.bind((host,port))
s.listen(5)
while True:
c, addr = s.accept()
print 'Got connection from', addr
c.send('Thank you for connecting')
c.close()
一个小型客户机
import socket
s = socket.gethostname()
port = 1234
s.connect((host,port))
print s.recv(1024)
14.1.2 urllib和urllib2模块
在能使用的各种网络工作库中，功能最强大的是urllib和urllib2.它们能让通过网络访问文件，就像那些文件存在于你的电脑上一样。通过一个简单的函数调用，几乎可以把任何URL所指向的东西用做程序的输入。
这两个模块的功能差不多，但urllib2更好一些。如果需要使用http验证或者cookie或者要为自己的协议写扩展程序的话，那么urllib2是好的选择。
1.打开远程文件
可以像打开本地一样打开远程文件，不同之处是可以使用只读模式，使用的是来自urllib模块的uriopen，而不是open
>>>from urllib import urlopen
>>>webpage = urlopen('http://www.python.org')
urlopen返回的类文件对象支持close，read，readline，readlines方法，当然也支持迭代。
假设想要提取在前面打开的python页中“About”链接的URL，那么就可以用正则表达式来实现。
>>>import re
>>>text = webpage.read()
>>>m = re.search('<a href="([^"]+)" .?>about</a>',text,re.IGNORECASE)
>>>m.group(1)
'/about/'
2.获取远程文件
函数urlopen提供一个能从中读取数据的类文件对象。如果希望urllib为你下载文件并在本地文件中存储一个文件的副本，那么可以使用urlretrieve。urlretrieve返回一个元组(filename，headers）而不是类文件对象，filename是本地文件的名字（由urllib自动创建），headers包含一些远程文件的信息，如果想要为下载的副本指定文件名，可以在urlretrieve函数的第2个参数中给出。
urlretrieve('http://www.python.org','C:\\python_webpage.html')
这个语句获取python的主页并把它存储在html中，如果没有指定文件名，文件就会放在临时的位置，用open函数可以打开它，但如果完成了对它的操作，就可以删除它以节省硬盘空间。要清理临时文件，可以调用urlcleanup函数，但不要提供参数，该函数会负责清理工作。
14.2 SocketServer和它的朋友们
SocketServer模块是标准库中很多服务器框架的基础，这些服务器框架包括BaseHTTPServer，SimpleHTTPServer，CGIHTTPServer，SimpleXMLRPCServer和DocXMLRPCServer，所有的这些服务器框架都为基础服务器增加了特定的功能。
SocketServer包含了4个基本的类：针对TCP套接字流的TCPServer；针对UDP数据报套接字的UDPServer；以及针对性不强的UnixStreamServer和UnixDatagramServer。可能不会用到后3个。
为了写一个使用SocketServer框架的服务器，大部分代码会在一个请求处理程序，每当服务器收到一个请求时，就会实例化一个请求处理程序，并且它的各种处理方法会在处理请求时被调用。具体调用哪个方法取决于特定的服务器和使用的处理程序类，这样可以把它们子类化，使得服务器调用自定义的处理程序集。基本的BaseRequestHandler类把所有的操作都放到了处理器的一个叫做handle的方法中，这个方法会被服务器调用。然后这个方法就会访问属性self.request中的客户端套接字。如果使用的是流，那么可以使用StreamRequestHandler类，创建了其他两个新属性，self.rfile（用于读取）和self.wfile（用于写入）然后就能使用这些类文件对象和客户机进行通信。
SocketServer框架中德其他类实现了对HTTP服务器的基本支持，其中包括运行CGI脚本。
一个基于SocketServer的小型服务器
from SocketServer import TCPServer,StreamRequestHandler
class Handler(StreamRequestHandler):
def handle(self):
addr = self.request.getpeername()
print 'Got connection from', addr
self.wfile.write('Thank you for connecting')
server = TCPServer(('',1234),Handler)
server.serve_forever()
14.3 多连接
到目前为止讨论的服务器解决方案都是同步的：即一次只能链接一个客户机并处理它的请求。如果每个请求只是花费很少的时间，比如，一个完整的聊天会话，那么同时能处理多个连接就很重要。
有3种主要的方法能实现这个目的：分叉、线程以及异步I/O。通过对SocketServer服务器使用混入类，派生进程和线程很容易处理。
分叉占用资源，并且如果有太多的客户端时分叉不能很好分叉
线程处理能导致同步问题。
Twisted是一个非常强大的异步网络变成框架。
14.3.1 使用SocketServer进行分叉和线程处理
windows不支持分叉
使用了分叉技术的服务器
from SocketServer import TCPServer,ForkingMinIn,StreamRequestHandler
class Server(ForkingMixIn,TCPServer): pass
class Handler(StreamRequestHandler):
def handle(self):
addr = self.request.getpeername()
print 'Got connection from', addr
self.wfile.write('Thank you for connecting')
server = Server(('',1234),Handler)
server.serve_forever()
一个使用了线程处理的服务器
from SocketServer import TCPServer,ThreadingMixIn,StreamRequestHandler
class Server(ThreadingMixIn,TCPServer): pass
class Handler(StreamRequestHandler):
def handle(self):
addr = self.request.getpeername()
print 'Got connection from',addr
self.wfile.write('Thank you for connecting')
server = Server(('',1234),Handler)
server.serve_forever()
14.3.2 带有select和poll的异步I/O
当一个服务器与一个客户端通信时，来自客户端的数据可能是不连续的。如果使用分叉或线程处理，那就不是问题。当一个程序在等待数据，另一个并行的程序可以继续处理它们自己的客户端。另外的处理方法是只处理在给定时间内真正要进行通信的客户端。不需要一直监听----只要监听一会儿，然后把它放到其他客户端的后面。
这是asyncore/asynchar框架和Twisted框架采用的方法，这种功能的基础是select函数，如果poll函数可用，那也可以是它，这两个函数都来自select模块，这两个函数中，poll的伸缩性更好，但它只能在unix系统中使用（windows不可用）。
select函数需要3个序列作为它的必选参数，此外还有一个可选的以秒为单位的超时时间作为第4个参数。这些序列式文件描述符整数。这些就是我们等待的连接。3个序列用于输入、输出、以及异常情况。如果没有给定超时时间，select会阻塞，直到其中的一个文件描述符已经为行动做好了准备；如果给定了超时时间，select最多阻塞给定的超时时间，如果给定的超时时间是0，那么就给出了一个连续的poll（即不阻塞）。select的返回值是3个序列，每个代表相应参数的一个活动子集。比如返回的第1个序列是一个输入文件描述符的序列，其中有一些可以读取的东西。
序列能包含文件对象（在windows中行不通）或者套接字。服务器是个简单的记录器，它输出来自客户机的所有数据。可以使用Telnet连接它来进行测试。尝试用多个Telnet去连接来验证服务器能同时为多个客户端服务。
使用了select的简单服务器
import socket,select
s = socket.socket()
host = socket.gethostname()
port = 1234
s.bind((host,port))
s.listen(5)
inputs = [s]
while True:
rs.ws,es = select.select(inputs,[],[])
for r in rs:
if r is s:
c, addr = s.accept()
print 'Got connection from' , addr
inputs.append(c)
else:
try:
data = r.recv(1024)
disconnected = not data
except socket.error:
disconnected = True
if disconnected:
print r.getpeername(),'disconnected'
inputs.remove(r)
else:
print data
poll方法使用起来比select简单。在调用poll时，会得到一个poll对象。然后就可以使用pol对象的register方法注册一个文件描述符。注册后就可以使用unregister方法移除注册的对象。注册了一些对象以后，就可以调用poll方法并得到一个格式列表，其中fd是文件描述符，event则告诉你发生了什么。这是一个位掩码，意思是它是一个整数，这个整数的每个位对应不同的事件。那些不同的事件是select模块的常量。
使用poll的简单服务器
import socket.select
s = socket.socket()
host = socket.gethostname()
port = 1234
s.bind((host,port))
fdmap = {s.fileno(): s}
s.listen(5)
p = select.poll()
p.register(s)
while True:
events = p.poll()
for fd, event in events:
if fd = s.fileno():
c,addr = s.accept()
print 'Got connection from', addr
p.register(c)
fdmap[c.fileno()] = c
elif event & select.POLLIN:
data = fdmap[fd].recv(1024)
if not data:
print fdmap[fd].getpeername(),'disconnected'
p.unregister(fd)
del fdmap[fd]
else:
print data
14.4 Twisted
from twisted.internet import reactor
from twisted.internet.protocol import Protocol.Factory
class SimpleLogger(Protocol):
def connectionMade(self):
print 'Got connection from',self.transport.client
def connectionLost(self,reason):
print self.transport.client,'disconnected'
def dataReceived(self,data):
print data
factory = Factory()
factory.protocol = Simplelogger
reactor.listenTCP(1234,factory)
reactor.run()
如果用telnet 连接到此服务器并进行测试的话，那么每行可能只输出一个字符取决于缓冲或类似的东西。当然可以使用sys.stdout.write来代替print。
一个使用了LineReceiver协议改进的记录服务器
from twisted.internet import reactor
from twisted.internet.protocol import Factory
from twisted.protocols.basic import LineReceiver
class SimpleLogger(LineReceiver):
def SimpleLogger(LineReceiver):
print 'Got connection from',self.transport.client
def connectionLost(self,reason):
print self.transport.client,'disconnected'
def lineReceived(self,line):
print line
factory = Factory()
factory.protocol = SimpleLogger
reactor.listenTCP(1234,factory)
reactor.run()
