背景
上图描述的是一般的服务器的模型,即:由主线程作为 server 端,负责接收所有到来的请求,并将请求封装为新的对象放入阻塞队列中。由线程池中的一系列工作线程对请求的业务进行处理(可能包括磁盘读写的操作),最后返回处理结果。Memcached 服务端也是采用类似的架构。
看起来上面的架构相当合理,但是仔细看来,其实里面大有可优化之处。下面是阻塞队列:
线程池中的线程数目毕竟有限,假设只有四条线程轮询上面的阻塞队列,然后分别处理四条请求 R1R4。当 R1R4 都需要进行磁盘操作时此时问题就出现了。假设 R5 请求不需要进行磁盘操作,甚至可以很快处理完成。但是即使线程池里的线程都在等待 I/O 完成而“空闲”下来,后面的请求依然得不到处理。由此可见,消除磁盘 I/O 请求阻塞非磁盘请求可以优化请求的平均处理时间,提高服务器的性能。
后面将陆续更新三种优化方法,当然三种方法全部依托于 twisted 框架。
异步网络调用
一个真正达到性能优化服务器,还是需要我们在程序中真正良好的去应用 Twisted 的各种工具的。 最常见的情况就是我们将一个非阻塞的应用中,加入了长时间的处理过程,从而达到了阻塞的效果,从而让大家都因为一位同志的长时工作而等待。
先来看看下面的这段代码:
from twisted.internet import protocol, reactor from twisted.protocols import basic class FingerProtocol(basic.LineReceiver): def lineReceived(self, user): self.transport.write(self.factory.getUser(user)+"\r\n") self.transport.loseConnection() class FingerFactory(protocol.ServerFactory): protocol = FingerProtocol def __init__(self, **kwargs): self.users = kwargs def getUser(self, user): return self.users.get(user, "No such user") reactor.listenTCP(1079, FingerFactory(hd='Hello my python world')) reactor.run()
它可能是我们所写的第一个 Twisted 服务器。可能所有人都会认为这样的操作已经不会有什么问题了。但是显然,在这里我们的 getUser 更多的情况下可能会是从数据库中或是 LDAP 服务器上获取相关的信息。哪么最好的处理就是将 get 操作以非即时方式返回,以避免发生处理的阻塞。哪么就需要使用 Deferreds 了:
from twisted.internet import protocol, reactor, defer from twisted.protocols import basic class FingerProtocol(basic.LineReceiver): def lineReceived(self, user): self.factory.getUser(user ).addErrback(lambda _: "Internal error in server" ).addCallback(lambda m: (self.transport.write(m+"\r\n"), self.transport.loseConnection())) class FingerFactory(protocol.ServerFactory): protocol = FingerProtocol def __init__(self, **kwargs): self.users = kwargs def getUser(self, user): return defer.succeed(self.users.get(user, "No such user")) reactor.listenTCP(1079, FingerFactory(hd='Hello my python world')) reactor.run()
这里 getUser 返回的是 defer 处理过的一个事务,而 addCallback 方法注册了 defer 中处理完成后的返回事件。这样,事务的处理就可以在另一个事件可调度的情况下进行了。从而避免了因一个用户的处理阻塞的情况下,让所有的用户都停止了响应。