10.python网络编程(socket server 实现并发 part 2)

简介:

一、基于tcp的socket通信的基本原理分析。

基于tcp的socket通信,主要依靠两个循环,分别是连接循环和通信循环。

这个前面的文章有写过,在这里就不再重复了。


二、socketserver实现多并发的原理分析。

1.server类:

1036857-20170505014200961-1776184607.png

2.reques类。

1036857-20170505014309914-771361140.png

类继承关系:

1036857-20170505015158101-334152905.png


1036857-20170505015356492-1711228984.png

示例代码:

import socketserver
import struct
import json
import os
class FtpServer(socketserver.BaseRequestHandler):
    coding='utf-8'
    server_dir='file_upload'
    max_packet_size=1024
    BASE_DIR=os.path.dirname(os.path.abspath(__file__))
    def handle(self):
        print(self.request)
        while True:
            data=self.request.recv(4)
            data_len=struct.unpack('i',data)[0]
            head_json=self.request.recv(data_len).decode(self.coding)
            head_dic=json.loads(head_json)
            # print(head_dic)
            cmd=head_dic['cmd']
            if hasattr(self,cmd):
                func=getattr(self,cmd)
                func(head_dic)
    def put(self,args):
        file_path = os.path.normpath(os.path.join(
            self.BASE_DIR,
            self.server_dir,
            args['filename']
        ))
        filesize = args['filesize']
        recv_size = 0
        print('----->', file_path)
        with open(file_path, 'wb') as f:
            while recv_size < filesize:
                recv_data = self.request.recv(self.max_packet_size)
                f.write(recv_data)
                recv_size += len(recv_data)
                print('recvsize:%s filesize:%s' % (recv_size, filesize))
ftpserver=socketserver.ThreadingTCPServer(('127.0.0.1',8080),FtpServer)
ftpserver.serve_forever()

分析开始:

结合上面的例子,还有类关系图一块看。

ftpserver=socketserver.ThreadingTCPServer(('127.0.0.1',8080),FtpServer)
ftpserver.serve_forever()

查找属性的顺序:ThreadingTCPServer->ThreadingMixIn->TCPServer->BaseServer

  1. 通过ThreadingTCPServer 这个类,实例化出一个ftpserver对象。

    1.2 先从ThreadingTCPServer这个类中找__init__方法,SocketServer的源码中可以看到,它本身并没有__init__方法,这时候就从ThreadingTCPServer所继承的两个父类中去找。从源码中可以看到ThreadingTCPServer一共继承了两个父类,分别是ThreadingMixIn和TCPServer,其中ThreadingMixIn中也没有__init__方法,最终在TCPServer下找到了__init__,此时执行TCPServer下的__init__方法。



       1.3 TCPServer下的__init__方法一共做了四件事,分别是执行了BaseServer类下的__init__方法,创                                    建了socket对象,绑定了IP地址和端口(bind),以及开始listen监听。

        BaseServer类下的__init__方法,做了两件事,为创建出来的对象添加了两个属性,分别                                            是server_address和RequestHandlerClass,其中server_address是服务端绑定的ip地址和端                        口,RequestHandlerClass是前面我们自己创建的FtpServer类。

        (完成了bind和listen操作是因为执行了server_bind和server_active)

        

    2.Serve_forever 实现连接循环。

        2.1前面说了,ftpserver这个对象是由ThreadingTCPServer这个类创建出来的,所以说,默认情况下ftpserver这个对象本身,以及ThreadingTCPServer这个类都没有Serve_forever这个方法,依旧按照上面的套路,阅读源码,从ThreadingTCPServer继承的父类中去找,分别是ThreadingMixIn和TCPServer,在这两个父类中都没有找到,接着去看ThreadingMixIn和TCPServer继承的父类....关于继承顺序的概念在这也不再赘述.....最终在BaseServer中找到了Serve_forever这个方法。


    2.2serve_forever下主要执行self._handle_request_noblock()进而执行request, client_address = self.get_request()(就是TCPServer中的self.socket.accept()),然后执行self.process_request(request, client_address)

在ThreadingMixIn中找到process_request,开启多线程应对并发,进而执行process_request_thread,执行self.finish_request(request, client_address)。


    2.3上述四部分完成了链接循环,本部分开始进入处理通讯部分,在BaseServer中找到finish_request,触发我们自己定义的类的实例化,去找__init__方法,而我们自己定义的类没有该方法,则去它的父类也就是BaseRequestHandler中找....

 


最后总结下创建socketserver的几个步骤。

  1. First, you must create a request handler class by subclassing the BaseRequestHandlerclass and overriding its handle() method; this method will process incoming requests.   


首先你必须创建一个类,这个类必须是BaseRequestHandler的子类,并且这个类必须要有一个handle方法,这个方法用来处理连接进来的请求。


2.Second, you must instantiate one of the server classes, passing it the server’s address and the request handler class.

其次你必须实例化一个服务器类,在实例化的过程中,需要传入服务端地址 以及 那个请求句柄的类。


3.Then call the handle_request() or serve_forever() method of the server object to process one or many requests.

然后,执行服务器对象的handle_request()或 serve_forever()方法 ,来处理一个或多个请求。


4.Finally, call server_close() to close the socket.

最后,执行server_close()这个方法关闭套接字。





      本文转自苏浩智 51CTO博客,原文链接:http://blog.51cto.com/suhaozhi/1923787,如需转载请自行联系原作者






相关文章
|
3月前
|
Python
Socket学习笔记(二):python通过socket实现客户端到服务器端的图片传输
使用Python的socket库实现客户端到服务器端的图片传输,包括客户端和服务器端的代码实现,以及传输结果的展示。
186 3
Socket学习笔记(二):python通过socket实现客户端到服务器端的图片传输
|
3月前
|
JSON 数据格式 Python
Socket学习笔记(一):python通过socket实现客户端到服务器端的文件传输
本文介绍了如何使用Python的socket模块实现客户端到服务器端的文件传输,包括客户端发送文件信息和内容,服务器端接收并保存文件的完整过程。
204 1
Socket学习笔记(一):python通过socket实现客户端到服务器端的文件传输
|
2月前
|
Kubernetes 网络协议 Python
Python网络编程:从Socket到Web应用
在信息时代,网络编程是软件开发的重要组成部分。Python作为多用途编程语言,提供了从Socket编程到Web应用开发的强大支持。本文将从基础的Socket编程入手,逐步深入到复杂的Web应用开发,涵盖Flask、Django等框架的应用,以及异步Web编程和微服务架构。通过本文,读者将全面了解Python在网络编程领域的应用。
45 1
|
3月前
|
消息中间件 监控 网络协议
Python中的Socket魔法:如何利用socket模块构建强大的网络通信
本文介绍了Python的`socket`模块,讲解了其基本概念、语法和使用方法。通过简单的TCP服务器和客户端示例,展示了如何创建、绑定、监听、接受连接及发送/接收数据。进一步探讨了多用户聊天室的实现,并介绍了非阻塞IO和多路复用技术以提高并发处理能力。最后,讨论了`socket`模块在现代网络编程中的应用及其与其他通信方式的关系。
366 3
|
3月前
|
网络协议 Linux 应用服务中间件
Socket通信之网络协议基本原理
【10月更文挑战第10天】网络协议定义了机器间通信的标准格式,确保信息准确无损地传输。主要分为两种模型:OSI七层模型与TCP/IP模型。
|
3月前
|
网络协议 Python
|
4月前
|
网络协议 Python
网络世界的建筑师:Python Socket编程基础与进阶,构建你的网络帝国!
在数字宇宙中,网络如同复杂脉络连接每个角落,Python Socket编程则是开启这一世界的钥匙。本文将引导你从基础概念入手,逐步掌握Socket编程,并通过实战示例构建TCP/UDP服务器与客户端。你将学会使用Python的socket模块进行网络通信,了解TCP与UDP的区别,并运用多线程与异步IO提升服务器性能。跟随本文指引,成为网络世界的建筑师,构建自己的网络帝国。
42 2
|
4月前
|
网络协议 Python
告别网络编程迷雾!Python Socket编程基础与实战,让你秒变网络达人!
在网络编程的世界里,Socket编程是连接数据与服务的关键桥梁。对于初学者,这往往是最棘手的部分。本文将用Python带你轻松入门Socket编程,从创建TCP服务器与客户端的基础搭建,到处理并发连接的实战技巧,逐步揭开网络编程的神秘面纱。通过具体的代码示例,我们将掌握Socket的基本概念与操作,让你成为网络编程的高手。无论是简单的数据传输还是复杂的并发处理,Python都能助你一臂之力。希望这篇文章成为你网络编程旅程的良好开端。
68 3
|
4月前
|
网络协议 开发者 Python
网络编程小白秒变大咖!Python Socket基础与进阶教程,轻松上手无压力!
在网络技术飞速发展的今天,掌握网络编程已成为开发者的重要技能。本文以Python为工具,带你从Socket编程基础逐步深入至进阶领域。首先介绍Socket的概念及TCP/UDP协议,接着演示如何用Python创建、绑定、监听Socket,实现数据收发;最后通过构建简单的聊天服务器,巩固所学知识。让初学者也能迅速上手,成为网络编程高手。
86 1
|
3月前
|
网络协议 测试技术 网络安全
Python编程-Socket网络编程
Python编程-Socket网络编程
34 0
下一篇
开通oss服务