AI 助理
备案控制台
开发者社区 云原生 文章 正文

Linux的poll与epoll实现（3）---epoll_ctl

2012-02-06 882
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 大家都知道，这个epoll_ctl系统调用是epoll高效之所在，因为把文件描述符集合的传递与轮询分离，而对目标文件描述符集合的操作就在这个epoll_ctl里面完成。我们先来关注一下数据结构： 第一个是昨天提到的eventpoll，这里就不说了。
大家都知道，这个epoll_ctl系统调用是epoll高效之所在，因为把文件描述符集合的传递与轮询分离，而对目标文件描述符集合的操作就在这个epoll_ctl里面完成。我们先来关注一下数据结构：
第一个是昨天提到的eventpoll，这里就不说了。
第二个是epitem，每一个需要传递的文件描述符都对应着一个epitem，我们来看一下源码：
  1. /*
  2.  * Each file descriptor added to the eventpoll interface will
  3.  * have an entry of this type linked to the hash.
  4.  */
  5. struct epitem {
  6.     /* RB-Tree node used to link this structure to the eventpoll rb-tree */
  7.     struct rb_node rbn;

  9.     /* List header used to link this structure to the eventpoll ready list */
  10.     struct list_head rdllink;

  12.     /* The file descriptor information this item refers to */
  13.     struct epoll_filefd ffd;

  15.     /* Number of active wait queue attached to poll operations */
  16.     int nwait;

  18.     /* List containing poll wait queues */
  19.     struct list_head pwqlist;

  21.     /* The "container" of this item */
  22.     struct eventpoll *ep;

  24.     /* The structure that describe the interested events and the source fd */
  25.     struct epoll_event event;

  27.     /*
  28.      * Used to keep track of the usage count of the structure. This avoids
  29.      * that the structure will desappear from underneath our processing.
  30.      */
  31.     atomic_t usecnt;

  33.     /* List header used to link this item to the "struct file" items list */
  34.     struct list_head fllink;

  36.     /* List header used to link the item to the transfer list */
  37.     struct list_head txlink;

  39.     /*
  40.      * This is used during the collection/transfer of events to userspace
  41.      * to pin items empty events set.
  42.      */
  43.     unsigned int revents;
  44. };
可以看到，这个结构体跟eventpoll紧密结合，eventpoll维护一个红黑树存储着epitem。
 
下面正式看看sys_epoll_ctl源码：
  1. /*
  2.  * The following function implements the controller interface for
  3.  * the eventpoll file that enables the insertion/removal/change of
  4.  * file descriptors inside the interest set. It represents
  5.  * the kernel part of the user space epoll_ctl(2).
  6.  */
  7. asmlinkage long
  8. sys_epoll_ctl(int epfd, int op, int fd, struct epoll_event __user *event)
  9. {
  10.     int error;
  11.     struct file *file, *tfile;
  12.     struct eventpoll *ep;
  13.     struct epitem *epi;
  14.     struct epoll_event epds;

  16.     DNPRINTK(3, (KERN_INFO "[%p] eventpoll: sys_epoll_ctl(%d, %d, %d, %p)\n",
  17.          current, epfd, op, fd, event));

  19.     error = -EFAULT;
  20.     if (EP_OP_HASH_EVENT(op) &&                                    //(1)
  21.      copy_from_user(&epds, event, sizeof(struct epoll_event)))
  22.         goto eexit_1;

  24.     /* Get the "struct file *" for the eventpoll file */
  25.     error = -EBADF;
  26.     file = fget(epfd);                                              //(2)
  27.     if (!file)
  28.         goto eexit_1;

  30.     /* Get the "struct file *" for the target file */
  31.     tfile = fget(fd);                                              //(3)
  32.     if (!tfile)
  33.         goto eexit_2;

  35.     /* The target file descriptor must support poll */
  36.     error = -EPERM;
  37.     if (!tfile->f_op || !tfile->f_op->poll)                        //(4)
  38.         goto eexit_3;

  40.     /*
  41.      * We have to check that the file structure underneath the file descriptor
  42.      * the user passed to us _is_ an eventpoll file. And also we do not permit
  43.      * adding an epoll file descriptor inside itself.
  44.      */
  45.     error = -EINVAL;
  46.     if (file == tfile || !IS_FILE_EPOLL(file))                      //(5)
  47.         goto eexit_3;

  49.     /*
  50.      * At this point it is safe to assume that the "private_data" contains
  51.      * our own data structure.
  52.      */
  53.     ep = file->private_data;                                        //(6)


  55.     down_write(&ep->sem);

  57.     /* Try to lookup the file inside our hash table */
  58.     epi = ep_find(ep, tfile, fd);                                  //(7)                 

  60.     error = -EINVAL;
  61.     switch (op) { 
  62.     case EPOLL_CTL_ADD:
  63.         if (!epi) {
  64.             epds.events |= POLLERR | POLLHUP;

  66.             error = ep_insert(ep, &epds, tfile, fd);
  67.         } else
  68.             error = -EEXIST;
  69.         break;
  70.     case EPOLL_CTL_DEL:
  71.         if (epi)
  72.             error = ep_remove(ep, epi);
  73.         else
  74.             error = -ENOENT;
  75.         break;
  76.     case EPOLL_CTL_MOD:
  77.         if (epi) {
  78.             epds.events |= POLLERR | POLLHUP;
  79.             error = ep_modify(ep, epi, &epds);
  80.         } else
  81.             error = -ENOENT;
  82.         break;
  83.     }

  85.     /*
  86.      * The function ep_find() increments the usage count of the structure
  87.      * so, if this is not NULL, we need to release it.
  88.      */
  89.     if (epi)                                                       //(8)
  90.         ep_release_epitem(epi);

  92.     up_write(&ep->sem);

  94. eexit_3:
  95.     fput(tfile);
  96. eexit_2:
  97.     fput(file);
  98. eexit_1:
  99.     DNPRINTK(3, (KERN_INFO "[%p] eventpoll: sys_epoll_ctl(%d, %d, %d, %p) = %d\n",
  100.          current, epfd, op, fd, event, error));

  102.     return error;
  103. }
 
(1)这里就是把epoll_event（用过epoll函数都知道这个）从用户态传到内核态。
(2)(3)这两个分别是获得创建的eventpoll和监听目标这两个文件描述符的文件对象。
(4)就是看看监听目标有没有支持poll也就是有没有实现poll函数。
(5)相关文件的检查。
(6)取得eventpoll。
(7)首先是在我们eventpoll的红黑树里面找到属于监听目标的epitem，然后进行用户想要的操作。
(8)看注释可以知道，因为ep_find增加了引用计数，这里要减去。
 
操作具体实现等下补上，先去吃饭，O(∩_∩)O~
好，吃饭回来，接着看。这里以ADD操作为例。看源码：
  1. static int ep_insert(struct eventpoll *ep, struct epoll_event *event,
  2.          struct file *tfile, int fd)
  3. {
  4.     int error, revents, pwake = 0;
  5.     unsigned long flags;
  6.     struct epitem *epi;
  7.     struct ep_pqueue epq;

  9.     error = -ENOMEM;
  10.     if (!(epi = EPI_MEM_ALLOC()))
  11.         goto eexit_1;

  13.     /* Item initialization follow here ... */                 //(1)
  14.     EP_RB_INITNODE(&epi->rbn);
  15.     INIT_LIST_HEAD(&epi->rdllink);
  16.     INIT_LIST_HEAD(&epi->fllink);
  17.     INIT_LIST_HEAD(&epi->txlink);
  18.     INIT_LIST_HEAD(&epi->pwqlist);
  19.     epi->ep = ep;
  20.     EP_SET_FFD(&epi->ffd, tfile, fd);
  21.     epi->event = *event;
  22.     atomic_set(&epi->usecnt, 1);
  23.     epi->nwait = 0;

  25.     /* Initialize the poll table using the queue callback */
  26.     epq.epi = epi;                                           //(2)
  27.     init_poll_funcptr(&epq.pt, ep_ptable_queue_proc);

  29.     /*
  30.      * Attach the item to the poll hooks and get current event bits.
  31.      * We can safely use the file* here because its usage count has
  32.      * been increased by the caller of this function.
  33.      */
  34.     revents = tfile->f_op->poll(tfile, &epq.pt);              //(3)

  36.     /*
  37.      * We have to check if something went wrong during the poll wait queue
  38.      * install process. Namely an allocation for a wait queue failed due
  39.      * high memory pressure.
  40.      */
  41.     if (epi->nwait 0)                                       //(4)
  42.         goto eexit_2;

  44.     /* Add the current item to the list of active epoll hook for this file */  //(5)
  45.     spin_lock(&tfile->f_ep_lock);                              
  46.     list_add_tail(&epi->fllink, &tfile->f_ep_links);
  47.     spin_unlock(&tfile->f_ep_lock);

  49.     /* We have to drop the new item inside our item list to keep track of it */   //6)
  50.     write_lock_irqsave(&ep->lock, flags);

  52.     /* Add the current item to the rb-tree */                           //(7)
  53.     ep_rbtree_insert(ep, epi);

  55.     /* If the file is already "ready" we drop it inside the ready list */     //(8)
  56.     if ((revents & event->events) && !EP_IS_LINKED(&epi->rdllink)) {
  57.         list_add_tail(&epi->rdllink, &ep->rdllist);

  59.         /* Notify waiting tasks that events are available */
  60.         if (waitqueue_active(&ep->wq))
  61.             wake_up(&ep->wq);
  62.         if (waitqueue_active(&ep->poll_wait))
  63.             pwake++;
  64.     }

  66.     write_unlock_irqrestore(&ep->lock, flags);

  68.     /* We have to call this outside the lock */                    //(9)
  69.     if (pwake)
  70.         ep_poll_safewake(&psw, &ep->poll_wait);

  72.     DNPRINTK(3, (KERN_INFO "[%p] eventpoll: ep_insert(%p, %p, %d)\n",
  73.          current, ep, tfile, fd));

  75.     return 0;

  77. eexit_2:
  78.     ep_unregister_pollwait(ep, epi);

  80.     /*
  81.      * We need to do this because an event could have been arrived on some
  82.      * allocated wait queue.
  83.      */                                                            //(10)
  84.     write_lock_irqsave(&ep->lock, flags);
  85.     if (EP_IS_LINKED(&epi->rdllink))
  86.         EP_LIST_DEL(&epi->rdllink);
  87.     write_unlock_irqrestore(&ep->lock, flags);

  89.     EPI_MEM_FREE(epi);
  90. eexit_1:
  91.     return error;
  92. }
我发现eopll模块的代码是内核代码中注释比较全的部分了，呵呵，很多牛人代码都不留痕迹的。
（1）这部分都是初始化刚刚申请的epitem，比较有意思的是每个epitem其实都有一个nwait字段，所以每个监听目标可以同时用多个epoll监听。
（2）这部分就是最核心的部分了。epoll高效还有一个原因就是有回调唤醒机制。要理解这部分是最困难的，因为涉及很多数据结构，我们先来分析一下数据结构:（引用网上的图）
 
img_7490daae936d63569c0fb18980c2888f.gif
 
ep_ptable_queue_proc这个函数就是初始化每个epitem的回调函数，并把它放到等待队列，等待被事件唤醒。相信在接下来我们分析epoll_wait的时候会知道如何唤醒，如何回调。
(3)这里调用了目标文件的poll函数，每个目标文件都应该由自己的poll_wait实现。类似的第一篇引用过别人的话。
(4)在刚才设置回调函数的时候，如果发生错误，nwait为-1。
(5)把fllink连接到文件的轮询等待链表。
(6)加写锁。
(7)把这个epitem加到eventpoll的红黑树里面。
(8)这里把已经ready的加到表示准备好的队列里面，估计回调函数做的也跟这个差不多了。
(9)这里是完成刚才剩下的工作，也是wakeup，这里的wakeup有点不同，这里不细究，有兴趣的可以去看源码。
(10)出错处理，把ready队列里面相关的删掉。
文章标签：
Linux
容器
存储
nothingfinal
目录
相关文章
菊头蝙蝠
|
6月前
|
网络协议 Linux C++
Linux C/C++ 开发（学习笔记十二 ）：TCP服务器（并发网络编程io多路复用epoll）
Linux C/C++ 开发（学习笔记十二 ）：TCP服务器（并发网络编程io多路复用epoll）
菊头蝙蝠
116 0
1941623231718325
|
6月前
|
网络协议 Linux Python
Python网络编程基础（Socket编程）epoll在Linux下的使用
【4月更文挑战第12天】在上一节中，我们介绍了使用`select`模块来实现非阻塞IO的方法。然而，`select`模块在处理大量并发连接时可能会存在性能问题。在Linux系统中，`epoll`机制提供了更高效的IO多路复用方式，能够更好地处理大量并发连接。
1941623231718325
70 0
Man9Oo
|
监控 网络协议 Java
I/O多路复用【Linux/网络】（C++实现select、poll和epoll服务器）（上）
I/O多路复用【Linux/网络】（C++实现select、poll和epoll服务器）
Man9Oo
254 0
威哥爱编程
|
22天前
|
存储 JSON Java
细谈 Linux 中的多路复用epoll
大家好，我是 V 哥。`epoll` 是 Linux 中的一种高效多路复用机制，用于处理大量文件描述符（FD）事件。相比 `select` 和 `poll`，`epoll` 具有更高的性能和可扩展性，特别适用于高并发服务器。`epoll` 通过红黑树管理和就绪队列分离事件，实现高效的事件处理。本文介绍了 `epoll` 的核心数据结构、操作接口、触发模式以及优缺点，并通过 Java NIO 的 `Selector` 类展示了如何在高并发场景中使用多路复用。希望对大家有所帮助，欢迎关注威哥爱编程，一起学习进步。
威哥爱编程
55 6
石小浪♪
|
1月前
|
Linux C++
Linux C/C++之IO多路复用(poll,epoll)
这篇文章详细介绍了Linux下C/C++编程中IO多路复用的两种机制：poll和epoll，包括它们的比较、编程模型、函数原型以及如何使用这些机制实现服务器端和客户端之间的多个连接。
石小浪♪
25 0
Linux C/C++之IO多路复用(poll,epoll)
拂去尘世尘
|
5月前
|
消息中间件 存储 监控
实战Linux I/O多路复用：借助epoll，单线程高效管理10,000+并发连接
本文介绍了如何使用Linux的I/O多路复用技术`epoll`来高效管理超过10,000个并发连接。`epoll`允许单线程监控大量文件描述符，显著提高了资源利用率。文章详细阐述了`epoll`的几个关键接口，包括`epoll_create`、`epoll_ctl`和`epoll_wait`，以及它们在处理并发连接中的作用。此外，还探讨了`epoll`在高并发TCP服务场景的应用，展示了如何通过`epoll`和线程/协程池来构建服务框架。
拂去尘世尘
651 9
爱你三千遍斯塔克
|
4月前
|
Linux 网络安全 虚拟化
Ngnix04系统环境准备-上面软件是免费版的，下面是收费版的，他更快的原因使用了epoll模型，查看当前Linux系统版本, uname -a，VMWARE建议使用NAT，PC端电脑必须使用网线连接
Ngnix04系统环境准备-上面软件是免费版的，下面是收费版的，他更快的原因使用了epoll模型，查看当前Linux系统版本, uname -a，VMWARE建议使用NAT，PC端电脑必须使用网线连接
爱你三千遍斯塔克
38 0
青玉白露
|
6月前
|
监控 Linux
Linux的epoll用法与数据结构data、event
Linux的epoll用法与数据结构data、event
青玉白露
88 0
Man9Oo
|
存储 监控 网络协议
I/O多路复用【Linux/网络】（C++实现select、poll和epoll服务器）（下）
I/O多路复用【Linux/网络】（C++实现select、poll和epoll服务器）
Man9Oo
224 0
泡沫o0
|
6月前
|
监控 网络协议 Linux
Linux I/O多路复用深入解析：从select到epoll的演进之路
Linux I/O多路复用深入解析：从select到epoll的演进之路
泡沫o0
452 0

热门文章

最新文章

  • 1
    linux性能监控:CPU监控命令之nmon命令
  • 2
    linux下a.out > outfile 2>&1重定向问题
  • 3
    微软Win 10年度升级将加入Linux命令行
  • 4
    Linux系统盘制作(Rufus)
  • 5
    萌新的Linux学习之路（七）
  • 6
    Linux下如何查找可执行文件
  • 7
    Linux实时查看Tomcat调试信息
  • 8
    Linux命令总结【待续】
  • 9
    linux新的API signalfd、timerfd、eventfd使用说明
  • 10
    Linux终端执行shell脚本，提示权限不够的解决办法
  • 1
    Linux命令systemctl详解
    164
  • 2
    Linux命令sync详解
    479
  • 3
    Linux命令sum详解
    100
  • 4
    Linux命令su详解
    147
  • 5
    Linux命令stty详解
    392
  • 6
    Linux命令strip详解
    215
  • 7
    Linux命令strings详解
    220
  • 8
    stdbuf命令在Linux中的深度解析
    151
  • 9
    Linux命令stat：深入了解文件与文件系统状态
    223
  • 10
    Linux命令ssltap的深入解析与应用实践
    81

    • 相关课程

    更多
  • Linux MySQL服务器搭建与应用
  • Linux用户和组管理
  • 计算机基础与Linux入门
  • Linux企业运维实战 - 入门及常用命令
  • Linux Shell 编程入门与实战
  • Linux网络进阶 - TCP/IP协议及OSI七层模型

    • 相关电子书

    更多
  • Alibaba Cloud Linux 3 发布
  • ECS系统指南之Linux系统诊断
  • ECS运维指南 之 Linux系统诊断

    • 相关实验场景

    更多
  • Linux指令入门-文件与权限
  • Linux系统的文本处理
  • Linux指令入门-系统管理
  • 使用计算巢企业应用，一键获取专属的Linux服务器管理软件
  • Alibaba Cloud Linux操作系统的安装及使用
  • Alibaba Cloud Linux操作系统Shell程序

    • 推荐镜像

    更多
  • mxlinux-iso
  • archlinuxarm
  • archlinuxcn
    • 下一篇
    手把手教你白嫖阿里云服务器(免费领服务器)