Socket编程模式理解与对比

简介:

本文主要分析了几种Socket编程的模式。主要包括基本的阻塞Socket、非阻塞Socket、I/O多路复用。其中,阻塞和非阻塞是相对于套接字来说的,而其他的模式本质上来说是基于Socket的并发模式。I/O多路复用又主要分析了分析linux和windows下的常用模型。最后,比较这几种Socket编程模式的优缺点,并讨论多线程与Socket的组合使用和服务器开发的常用模式。

阻塞模式

阻塞模式是最基本的Socket编程模式,在各种关于网络编程的书籍中都是入门的例子。就像其名所说,阻塞模式的Socket会阻塞当前的线程,直到结果返回,否则会一直等待。

非阻塞模式

非阻塞模式是相对阻塞模式来说,Socket并不会阻塞当前线程,非阻塞模式不会等到结果返回,而会立即运行下去。

//设置套接字为非阻塞模式
fcntl( sockfd, F_SETFL, O_NONBLOCK); //O_NONBLOCK标志设置非阻塞模式

这里需要注意,阻塞/非阻塞、同步/异步之前的区别。在本质上它们是不同的。同步和异步是相对操作结果来说,会不会等待结果结果返回。而阻塞和非阻塞是相对线程是否被阻塞来说的。其实,这两者存在本质的区别,它们的修饰对象是不同的。阻塞和非阻塞是指进程访问的数据如果尚未就绪,进程是否需要等待,简单说这相当于函数内部的实现区别,也就是未就绪时是直接返回还是等待就绪。而同步和异步是指访问数据的机制,同步一般指主动请求并等待I/O操作完毕的方式,当数据就绪后在读写的时候必须阻塞,异步则指主动请求数据后便可以继续处理其它任务,随后等待I/O,操作完毕的通知,这可以使进程在数据读写时也不阻塞。因为两者在表现上经常相同,所以经常被混淆。

I/O多路复用

I/O多路复用是一种并发服务器开发技术(处理多个客户端的连接)。通过该技术,系统内核缓冲I/O数据,当某个I/O准备好后,系统通知应用程序该I/O可读或可写,这样应用程序可以马上完成相应的I/O操作,而不需要等待系统完成相应I/O操作,从而应用程序不必因等待I/O操作而阻塞。
在linux下主要有select、poll、epoll三种模型,在freeBSD下则有kqueue,windwos下select、事件选择模型、重叠I/O和完成端口等。

linux上I/O复用模型

select

select本质是通过设置或检查存放fd标志位的数据结构来进行下一步的处理。select是采用轮询fd集合来进行处理的。

//select相关函数
int select(int maxfdp1, fd_set *readset, fd_set *writeset, fd_set *exceptset,const struct timeval *timeout) //返回值:就绪描述符的数目,超时返回0,出错返回-1 void FD_ZERO(fd_set *fdset); //清空集合 void FD_SET(int fd, fd_set *fdset); //将一个给定的文件描述符加入集合之中 void FD_CLR(int fd, fd_set *fdset); //将一个给定的文件描述符从集合中删除 int FD_ISSET(int fd, fd_set *fdset); // 检查集合中指定的文件描述符是否可以读写

但是,select存在一定的缺陷。单个进程可监视的fd数量被限制,linux下一般为1024。虽然是可以修改的,但是总是有限制的。在每次调用select时,都需要把fd集合从用户态拷贝到内核态,而且需要循环整个fd集合,这个开销很多时候是比较大的。

poll

poll的实现和select非常相似,本质上是相同,只是描述fd集合的方式不同。poll是基于链表来存储的。这虽然没有了最大连接数的限制,但是仍然还有fd集合拷贝和循环带来的开销。而且poll还有一个特点是水平触发,内核通知了fd后,没有被处理,那么内核就会不断的通知,直到被处理。

//poll相关函数
int poll(struct pollfd *fdarray, unsigned long nfds, int timeout);
epoll

epoll是对select和poll的改进。相较于poll,epoll使用“事件”的就绪通知,通过epoll_ctl注册fd,一旦该fd就绪,内核就会采用类似callback的回调机制来激活该fd,把就绪fd放入就绪链表中,并唤醒在epoll_wait中进入睡眠的进程,这样不在需要轮询,判断fd合计合集是否为空。而且epoll不仅支持水平触发,还支持边缘触发。边缘触发是指内核通知fd之后,不管处不处理都不在通知了。在存储fd的集合上,epoll也采用了更为优秀的mmap,而且会保证fd集合拷贝只会发生一次。

//epoll相关函数
int epoll_create(int size); //句柄的创建 int epoll_ctl(int epfd, int op, int fd, struct epoll_event *event); //事件注册 int epoll_wait(int epfd, struct epoll_event * events, int maxevents, int timeout); //等待事件的发生

Windows上的I/O复用模型

事件选择模型

事件选择模型是基于消息的。它允许程序通过Socket,接收以事件为基础的网络事件通知。

//事件选择模型相关函数
WSAEVENT WSACreatEvent(void); //创建事件对象 int WSAEventSelect(SOCKET s, WSAEVENT hEventObject, long lNetworkEvents); //关联事件
重叠I/O模型

重叠I/O模型是异步I/O模型。重叠模型的核心是一个重叠数据结构。重叠模型是让应用程序使用重叠数据结构(WSAOVERLAPPED),一次投递一个或多个Winsock I/O请求。若想以重叠方式使用文件,必须用FILE_FLAG_OVERLAPPED 标志打开它。当I/O操作完成后,系统通知应用程序。利用重叠I/O模型,应用程序在调用I/O函数之后,只需要等待I/O操作完成的消息即可。

HANDLE hFile = CreateFile(lpFileName, GENERIC_READ | GENERIC_WRITE, FILE_SHARE_READ | FILE_SHARE_WRITE, NULL, OPEN_EXISTING, FILE_FLAG_OVERLAPPED, NULL); 
完成端口模型(IOCP)

IOCP完成端口是目前Windows下性能最好的I/O模型,当然也是最复杂的。简单的说,IOCP 是一种高性能的I/O模型,是一种应用程序使用线程池处理异步I/O请求的机制。IOCP将所有用户的请求都投递到一个消息队列中去,然后线程池中的线程逐一从消息队列中去取出消息并加以处理,就可以避免针对每一个I/O请求都开线程。不仅减少了线程的资源,也提高了线程的利用率。

//IOCP简单流程    
//创建完成端口
Port port = createIoCompletionPort(INVALID_HANDLE_VALUE, 
0, 0, fixedThreadCount());

//将Socket关联到IOCP CreateIoCompletionPort((HANDLE )m_sockClient,m_hIocp, (ULONG_PTR )m_sockClient, 0); //投递AcceptEx请求 LPFN_ACCEPTEX m_lpfnAcceptEx; // AcceptEx函数指针 GUID GuidAcceptEx = WSAID_ACCEPTEX; // GUID,这个是识别AcceptEx函数必须的 DWORD dwBytes = 0; WSAIoctl( m_pListenContext->m_Socket, SIO_GET_EXTENSION_FUNCTION_POINTER, &GuidAcceptEx, sizeof(GuidAcceptEx), &m_lpfnAcceptEx, sizeof(m_lpfnAcceptEx), &dwBytes, NULL, NULL); //使用GetQueuedCompletionStatus()监控完成端口 void *lpContext = NULL; OVERLAPPED *pOverlapped = NULL; DWORD dwBytesTransfered = 0; BOOL bReturn = GetQueuedCompletionStatus( pIOCPModel->m_hIOCompletionPort, &dwBytesTransfered, (LPDWORD)&lpContext, &pOverlapped, INFINITE ); //收到通知 int nBytesRecv = WSARecv(pIoContext->m_Socket, pIoContext ->p_wbuf, 1, &dwBytes, 0, pIoContext->p_ol, NULL); 

线程的使用

在以上I/O复用模型的讨论中,其实都含有线程的使用。重叠I/O和I/O完成端口都是利用了线程。这也可以看出在高并发服务器的开发中,采用线程也是十分必要的。在I/O完成端口的使用中,还会使用到线程池,这也是现在应用十分广泛的。通过线程池,可以降低频繁创建线程带来的开销。

在Windows下一般使用windows提供I/O模型就足够应付很多场景。但是,在linux下I/O模型都是和线程不相关的。有时为了更高的性能,也会采取线程池和I/O复用模型结合使用。比如许多Linux服务端程序就采用epoll和线程池结合的形式,当然引入线程也带来了更多的复杂度,需要注意线程的控制和性能开销(线程的主要开销在线程的切换上)。而epoll本来也足够优秀,所以仅用epoll也是可以的,像libevent这种著名的网络库也是采用epoll实现的。当然,在linux下也有只使用多进程或多线程来达到并发的。这样会带来一定缺点,程序需要维护大量的Scoket。在服务端开发中使用线程,也要劲量保证无锁,锁也是很高的开销的。

目录
相关文章
|
7月前
|
存储 Python
Python网络编程基础(Socket编程)UDP客户端编程
【4月更文挑战第9天】在UDP通信中,客户端负责发送数据到服务器,并接收来自服务器的响应。与服务器不同,客户端通常不需要绑定到特定的地址和端口,因为它可以临时使用任何可用的端口来发送数据。下面,我们将详细讲解UDP客户端编程的基本步骤。
|
7月前
|
网络协议 网络性能优化 开发者
Python网络编程基础(Socket编程)UDP Socket编程
【4月更文挑战第8天】Python网络编程中,UDP与TCP协议各有特点。TCP提供可靠连接,确保数据顺序与完整性,适合文件传输等;UDP则无连接,速度快,常用于实时音视频,牺牲了数据可靠性。Python的socket库支持两者,开发者可根据需求选择。
|
6月前
|
网络协议 安全 Java
Java网络编程入门涉及TCP/IP协议理解与Socket通信。
【6月更文挑战第21天】Java网络编程入门涉及TCP/IP协议理解与Socket通信。TCP/IP协议包括应用层、传输层、网络层和数据链路层。使用Java的`ServerSocket`和`Socket`类,服务器监听端口,接受客户端连接,而客户端连接指定服务器并交换数据。基础示例展示如何创建服务器和发送消息。进阶可涉及多线程、NIO和安全传输。学习这些基础知识能助你构建网络应用。
53 1
|
3月前
|
网络协议
关于套接字socket的网络通信。&聊天系统 聊天软件
关于套接字socket的网络通信。&聊天系统 聊天软件
|
4月前
|
网络协议 Java
一文讲明TCP网络编程、Socket套接字的讲解使用、网络编程案例
这篇文章全面讲解了基于Socket的TCP网络编程,包括Socket基本概念、TCP编程步骤、客户端和服务端的通信过程,并通过具体代码示例展示了客户端与服务端之间的数据通信。同时,还提供了多个案例分析,如客户端发送信息给服务端、客户端发送文件给服务端以及服务端保存文件并返回确认信息给客户端的场景。
一文讲明TCP网络编程、Socket套接字的讲解使用、网络编程案例
|
7月前
|
Python
Python网络编程基础(Socket编程)UDP服务器编程
【4月更文挑战第8天】Python UDP服务器编程使用socket库创建UDP套接字,绑定到特定地址(如localhost:8000),通过`recvfrom`接收客户端数据报,显示数据长度、地址和内容。无连接的UDP协议使得服务器无法主动发送数据,通常需应用层实现请求-响应机制。当完成时,用`close`关闭套接字。
|
存储 数据采集 网络协议
【网络】socket套接字编程
【网络】socket套接字编程
基于UTP的Socket编程(基础)
基于UTP的Socket编程(基础)
123 0
|
Python
Python编程:socket实现udp通讯
Python编程:socket实现udp通讯
173 0
网络编程基础-Socket编程(使用socketserver实现一对多通信)
由socket模块换成socketserver模块后,改动不大,主要是服务端的代码要进行改动,客户端的代码基本不用动。服务端要继承BaseRequestHandler类。这个类在初始化的时候,它会依次调用3个方法。子类可以覆盖这些方法。
网络编程基础-Socket编程(使用socketserver实现一对多通信)