IOCP详解
IOCP（I/O Completion Port，I/O完成端口）是性能最好的一种I/O模型。它是应用程序使用线程池处理异步I/O请求的一种机制。在处理多个并发的异步I/O请求时，以往的模型都是在接收请求是创建一个线程来应答请求。这样就有很多的线程并行地运行在系统中。而这些线程都是可运行的，Windows内核花费大量的时间在进行线程的上下文切换，并没有多少时间花在线程运行上。再加上创建新线程的开销比较大，所以造成了效率的低下。
Windows Sockets应用程序在调用WSARecv()函数后立即返回,线程继续运行。当系统接收数据完成后，向完成端口发送通知包（这个过程对应用程序不可见）。
应用程序在发起接收数据操作后，在完成端口上等待操作结果。当接收到I/O操作完成的通知后，应用程序对数据进行处理。
完成端口其实就是上面两项的联合使用基础上进行了一定的改进。
一个完成端口其实就是一个通知队列，由操作系统把已经完成的重叠I/O请求的通知放入其中。当某项I/O操作一旦完成，某个可以对该操作结果进行处理的工作者线程就会收到一则通知。而套接字在被创建后，可以在任何时候与某个完成端口进行关联。
众所皆知，完成端口是在WINDOWS平台下效率最高，扩展性最好的IO模型，特别针对于WINSOCK的海量连接时，更能显示出其威力。其实建立一个完成端口的服务器也很简单，只要注意几个函数，了解一下关键的步骤也就行了。
分为以下几步来说明完成端口：
0) 同步IO与异步IO
1) 函数
2) 常见问题以及解答
3) 步骤
4) 例程
0、同步IO与异步IO
同步I/O首先我们来看下同步I/O操作，同步I/O操作就是对于同一个I/O对象句柄在同一时刻只允许一个I/O操作，原理图如下：
由图可知，内核开始处理I/O操作到结束的时间段是T2~T3，这个时间段中用户线程一直处于等待状态，如果这个时间段比较短，则不会有什么问题，但是如果时间比较长，那么这段时间线程会一直处于挂起状态，这就会很严重影响效率，所以我们可以考虑在这段时间做些事情。
异步I/O操作则很好的解决了这个问题，它可以使得内核开始处理I/O操作到结束的这段时间，让用户线程可以去做其他事情，从而提高了使用效率。
由图可知，内核开始I/O操作到I/O结束这段时间，用户层可以做其他的操作，然后，当内核I/O结束的时候，可以让I/O对象或者时间对象通知用户层，而用户线程GetOverlappedResult来查看内核I/O的完成情况。
1、函数
我们在完成端口模型下会使用到的最重要的两个函数是：
CreateIoCompletionPort、GetQueuedCompletionStatus
CreateIoCompletionPort 的作用是创建一个完成端口和把一个IO句柄和完成端口关联起来：
// 创建完成端口
HANDLECompletionPort = CreateIoCompletionPort(INVALID_HANDLE_VALUE, NULL, 0, 0);
// 把一个IO句柄和完成端口关联起来，这里的句柄是一个socket 句柄
CreateIoCompletionPort((HANDLE)sClient,CompletionPort, (DWORD)PerHandleData, 0);
其中第一个参数是句柄，可以是文件句柄、SOCKET句柄。
第二个就是我们上面创建出来的完成端口，这里就把两个东西关联在一起了。
第三个参数很关键，叫做PerHandleData，就是对应于每个句柄的数据块。我们可以使用这个参数在后面取到与这个SOCKET对应的数据。
最后一个参数给0，意思就是根据CPU的个数，允许尽可能多的线程并发执行。
GetQueuedCompletionStatus的作用就是取得完成端口的结果：
// 从完成端口中取得结果
GetQueuedCompletionStatus(CompletionPort,&BytesTransferred, (LPDWORD)&PerHandleData,(LPOVERLAPPED*)&PerIoData, INFINITE)
第一个参数是完成端口
第二个参数是表明这次的操作传递了多少个字节的数据
第三个参数是OUT类型的参数，就是前面CreateIoCompletionPort传进去的单句柄数据，这里就是前面的SOCKET句柄以及与之相对应的数据，这里操作系统给我们返回，让我们不用自己去做列表查询等操作了。
第四个参数就是进行IO操作的结果，是我们在投递WSARecv / WSASend 等操作时传递进去的，这里操作系统做好准备后，给我们返回了。非常省事！！
个人感觉完成端口就是操作系统为我们包装了很多重叠IO的不爽的地方，让我们可以更方便的去使用，下篇我将会尝试去讲述完成端口的原理。
2、常见问题和解答
1）什么是单句柄数据(PerHandle)和单IO数据(PerIO)
单句柄数据就是和句柄对应的数据，像socket句柄，文件句柄这种东西。
单IO数据，就是对应于每次的IO操作的数据。例如每次的WSARecv/WSASend等等
其实我觉得PER是每次的意思，翻译成每个句柄数据和每次IO数据还比较清晰一点。
在完成端口中，单句柄数据直接通过GetQueuedCompletionStatus 返回，省去了我们自己做容器去管理。单IO数据也容许我们自己扩展OVERLAPPED结构，所以，在这里所有与应用逻辑有关的东西都可以在此扩展。
2）如何判断客户端的断开
我们要处理几种情况
a)如果客户端调用了closesocket，我们就可以这样判断他的断开：
if(0== GetQueuedCompletionStatus(CompletionPort, &BytesTransferred, 。。。)
{
}
if(BytesTransferred == 0)
{
// 客户端断开，释放资源
}
b)如果是客户端直接退出，那就会出现64错误，指定的网络名不可再用。这种情况我们也要处理的：
if(0== GetQueuedCompletionStatus(。。。))
{
if( (GetLastError() == WAIT_TIMEOUT) ||(GetLastError() == ERROR_NETNAME_DELETED) )
{
// 客户端断开，释放资源
}
}
3）什么是IOCP?
我们已经提到IOCP 只不过是一个专门实现用来进行线程间的通信的技术，和信号量（semaphore）相似，因此IOCP并不是一个复杂的概念。一个IOCP 对象是与多个I/O对象关联的，这些对象支持挂起异步IO调用。直到一个挂起的异步IO调用结束为止，一个访问IOCP的线程都有可能被挂起。
完成端口的目标是使CPU保持在满负荷状态下工作。
4）为什么使用IOCP?
使用IOCP,我们可以克服”一个客户端一个线程”的问题。我们知道，这样做的话，如果软件不是运行在一个多核及其上性能就会急剧下降。线程是系统资源，他们既不是无限制的、也不是代价低廉的。
IOCP提供了一种只使用一些（I/O worker）线程去“相对公平地”完成多客户端的”输入输出”。线程会一直被挂起，而不会使用CPU时间片，直到有事情做完为止。
5）IOCP是如何工作的？
当使用IOCP时，你必须处理三件事情：a)将一个Socket关联到完成端口;b)创建一个异步I/O调用; c)与线程进行同步。为了获得异步IO调用的结果，比如哪个客户端执行了调用，你必须传入两个参数：pCompletionKey参数和OVERLAPPED结构。
3、步骤
编写完成端口服务程序，无非就是以下几个步骤：
1、创建一个完成端口
2、根据CPU个数创建工作者线程，把完成端口传进去线程里
3、创建侦听SOCKET，把SOCKET和完成端口关联起来
4、创建PerIOData，向连接进来的SOCKET投递WSARecv操作
5、线程里所做的事情：
a、GetQueuedCompletionStatus，在退出的时候就可以使用PostQueudCompletionStatus使线程退出;
b、取得数据并处理;
4、例程
下面是服务端的例程，可以使用sunxin视频中中的客户端程序来测试服务端。稍微研究一下，也就会对完成端口模型有个大概的了解了。
实例结果服务器、客户端如下：
/*
完成端口服务器
接收到客户端的信息，直接显示出来
*/
#include"winerror.h"
#include"Winsock2.h"
#pragmacomment(lib, "ws2_32")
#include"windows.h"
#include<iostream>
usingnamespace std;
/// 宏定义
#define PORT 5050
#define DATA_BUFSIZE 8192
#define OutErr(a) cout << (a) << endl \
<< "出错代码："<< WSAGetLastError() << endl \
<< "出错文件："<< __FILE__ << endl \
<< "出错行数："<< __LINE__ << endl \
#define OutMsg(a) cout << (a) << endl;
/// 全局函数定义
///
//
// 函数名 : InitWinsock
// 功能描述 : 初始化WINSOCK
// 返回值 : void
//
///
void InitWinsock()
{
// 初始化WINSOCK
WSADATA wsd;
if( WSAStartup(MAKEWORD(2, 2), &wsd) != 0)
{
OutErr("WSAStartup()");
}
}
///
//
// 函数名 : BindServerOverlapped
// 功能描述 : 绑定端口，并返回一个 Overlapped 的ListenSocket
// 参数 : int nPort
// 返回值 : SOCKET
//
///
SOCKET BindServerOverlapped(int nPort)
{
// 创建socket
SOCKET sServer = WSASocket(AF_INET,SOCK_STREAM, 0, NULL, 0, WSA_FLAG_OVERLAPPED);
// 绑定端口
struct sockaddr_in servAddr;
servAddr.sin_family = AF_INET;
servAddr.sin_port = htons(nPort);
servAddr.sin_addr.s_addr = htonl(INADDR_ANY);
if(bind(sServer, (struct sockaddr*)&servAddr, sizeof(servAddr)) < 0)
{
OutErr("bind Failed!");
return NULL;
}
// 设置监听队列为200
if(listen(sServer, 200) != 0)
{
OutErr("listen Failed!");
return NULL;
}
return sServer;
}
/// 结构体定义
typedef struct
{
OVERLAPPED Overlapped;
WSABUF DataBuf;
CHAR Buffer[DATA_BUFSIZE];
}PER_IO_OPERATION_DATA,* LPPER_IO_OPERATION_DATA;
typedef struct
{
SOCKET Socket;
}PER_HANDLE_DATA,* LPPER_HANDLE_DATA;
DWORD WINAPI ProcessIO(LPVOID lpParam)
{
HANDLE CompletionPort = (HANDLE)lpParam;
DWORD BytesTransferred;
LPPER_HANDLE_DATA PerHandleData;
LPPER_IO_OPERATION_DATA PerIoData;
while(true)
{
if(0 == GetQueuedCompletionStatus(CompletionPort,&BytesTransferred, (LPDWORD)&PerHandleData,(LPOVERLAPPED*)&PerIoData, INFINITE))
{
if( (GetLastError() ==WAIT_TIMEOUT) || (GetLastError() == ERROR_NETNAME_DELETED) )
{
cout << "closingsocket" << PerHandleData->Socket << endl;
closesocket(PerHandleData->Socket);
delete PerIoData;
delete PerHandleData;
continue;
}
else
{
OutErr("GetQueuedCompletionStatus failed!");
}
return 0;
}
// 说明客户端已经退出
if(BytesTransferred == 0)
{
cout << "closing socket" <<PerHandleData->Socket << endl;
closesocket(PerHandleData->Socket);
delete PerIoData;
delete PerHandleData;
continue;
}
// 取得数据并处理
cout << PerHandleData->Socket<< "发送过来的消息：" << PerIoData->Buffer<< endl;
// 继续向 socket 投递WSARecv操作
DWORD Flags = 0;
DWORD dwRecv = 0;
ZeroMemory(PerIoData,sizeof(PER_IO_OPERATION_DATA));
PerIoData->DataBuf.buf =PerIoData->Buffer;
PerIoData->DataBuf.len = DATA_BUFSIZE;
WSARecv(PerHandleData->Socket,&PerIoData->DataBuf, 1, &dwRecv, &Flags,&PerIoData->Overlapped, NULL);
}
return 0;
}
void main()
{
InitWinsock();
HANDLE CompletionPort =CreateIoCompletionPort(INVALID_HANDLE_VALUE, NULL, 0, 0);
//根据系统的CPU来创建工作者线程
SYSTEM_INFO SystemInfo;
GetSystemInfo(&SystemInfo);
//线程数目=系统进程数目的两倍.
for(int i = 0; i <SystemInfo.dwNumberOfProcessors * 2; i++)
{
HANDLE hProcessIO = CreateThread(NULL, 0,ProcessIO, CompletionPort, 0, NULL);
if(hProcessIO)
{
CloseHandle(hProcessIO);
}
}
//创建侦听SOCKET
SOCKET sListen = BindServerOverlapped(PORT);
SOCKET sClient;
LPPER_HANDLE_DATA PerHandleData;
LPPER_IO_OPERATION_DATA PerIoData;
while(true)
{
// 等待客户端接入
//sClient = WSAAccept(sListen, NULL, NULL, NULL, 0);
sClient = accept(sListen, 0, 0);
cout << "Socket " << sClient << "连接进来"<< endl;
PerHandleData = new PER_HANDLE_DATA();
PerHandleData->Socket = sClient;
// 将接入的客户端和完成端口联系起来
CreateIoCompletionPort((HANDLE)sClient, CompletionPort,(DWORD)PerHandleData, 0);
// 建立一个Overlapped，并使用这个Overlapped结构对socket投递操作
PerIoData = new PER_IO_OPERATION_DATA();
ZeroMemory(PerIoData, sizeof(PER_IO_OPERATION_DATA));
PerIoData->DataBuf.buf = PerIoData->Buffer;
PerIoData->DataBuf.len = DATA_BUFSIZE;
// 投递一个WSARecv操作
DWORD Flags = 0;
DWORD dwRecv = 0;
WSARecv(sClient, &PerIoData->DataBuf, 1, &dwRecv, &Flags,&PerIoData->Overlapped, NULL);
}
DWORD dwByteTrans;
//将一个已经完成的IO通知添加到IO完成端口的队列中.
//提供了与线程池中的所有线程通信的方式.
PostQueuedCompletionStatus(CompletionPort,dwByteTrans, 0, 0); //IO操作完成时接收的字节数.
closesocket(sListen);
}
/*--------------------------------------------
**---------客户端例程序-----------------------
---------------------------------------------*/
#include<stdio.h>
#include<Winsock2.h>
#define MAXCNT 30000
void main()
{
WORD wVersionRequested;
WSADATA wsaData;
int err;
wVersionRequested = MAKEWORD( 2, 2);
err = WSAStartup( wVersionRequested,&wsaData );//WSAStartup()加载套接字库
if ( err != 0 ) {
return;
}
if ( LOBYTE( wsaData.wVersion ) != 2 ||
HIBYTE( wsaData.wVersion ) != 2 ){
WSACleanup( );
return;
}
static int nCnt = 0;
char sendBuf[2000];
// char recvBuf[100];
while(nCnt < MAXCNT)
{
SOCKETsockClient=socket(AF_INET,SOCK_STREAM,0);
SOCKADDR_IN addrSrv;
addrSrv.sin_addr.S_un.S_addr=inet_addr("127.0.0.1");//本地回路地址127，用于一台机器上测试的IP
addrSrv.sin_family=AF_INET;
addrSrv.sin_port=htons(5050);//和服务器端的端口号保持一致
connect(sockClient,(SOCKADDR*)&addrSrv,sizeof(SOCKADDR));//连接服务器端（套接字，地址转换，长度）
sprintf(sendBuf,"This is TestNo : %d\n",++nCnt);
send(sockClient,sendBuf,strlen(sendBuf)+1,0);//向服务器端发送数据，"+1"是为了给'\0'留空间
printf("send:%s",sendBuf);
// memset(recvBuf,0,100);
// recv(sockClient,recvBuf,100,0);//接收数据
// printf("%s\n",recvBuf);//打印
closesocket(sockClient);//关闭套接字，释放为这个套接字分配的资源
Sleep(1);
}
WSACleanup();//终止对这个套接字库的使用
}
