实战Linux I/O多路复用:借助epoll,单线程高效管理10,000+并发连接

本文涉及的产品
服务治理 MSE Sentinel/OpenSergo,Agent数量 不受限
简介: 本文介绍了如何使用Linux的I/O多路复用技术`epoll`来高效管理超过10,000个并发连接。`epoll`允许单线程监控大量文件描述符,显著提高了资源利用率。文章详细阐述了`epoll`的几个关键接口,包括`epoll_create`、`epoll_ctl`和`epoll_wait`,以及它们在处理并发连接中的作用。此外,还探讨了`epoll`在高并发TCP服务场景的应用,展示了如何通过`epoll`和线程/协程池来构建服务框架。

实战Linux I/O多路复用:借助epoll,单线程高效管理10,000+并发连接

引言

  在应对高并发连接的传统策略中,普遍采取为每个连接配置单独线程或进程的直接方式,管理其I/O操作。此法虽直观易行,但随业务规模扩张,线程资源需求急剧上升。相反,Linux下的I/O多路复用技术,尤其是epoll,展示了一种高效路径:单一线程即可监控成千上万的文件描述符,极大提升了资源使用效率。

  I/O 多路复用的场景有很多,也比较实用。通常用法epoll线程 + 线程/协程池处理并发场景,这里做一个简单的实例使用,以便后续查阅。

概述

selectpoll同样能够满足多路复用的需求,在特定场景下各有千秋。不过,当面对需监控大量文件句柄的场景时,epoll凭借其高效的设计和更高的性能表现,成为更为优选的解决方案。其不仅在资源管理和事件处理上展现出明显优势,而且编程接口的灵活性也更为优雅。本文主要聚焦于epoll的实践应用,实例学习其高效而精炼的使用方法。

epoll常用接口

epoll的描述man手册已经记录比较详细了,这里列举一下常用的接口:

  1. epoll_create / epoll_create1
  • 原型: int epoll_create(int size) /  int epoll_create1(int flags)    
  • 功能: 创建一个新的epoll实例,返回一个文件描述符,该描述符代表epoll对象。
  • 参数:
  • size: 接受一个参数 size,在Linux 2.6.8以后这个参数被忽略,但仍要求传递一个大于0的值;
  • flags: 接收一个标志。为0作用与epoll_create相同;为EPOLL_CLOEXEC时,会在execve() 调用后自动关闭 epoll 文件描述符,避免子进程继承。
  • 返回值
  • -1:发生错误,设置errno> 0:epoll文件描述符。
  1. epoll_ctl
  • 原型:  int epoll_ctl(int epfd, int op, int fd, struct epoll_event *event)
  • 功能: 用于控制已经创建好的epoll实例中的文件描述符事件集合。
  • 参数:
  • epfd:epoll_create() 返回的文件描述符。
  • op:操作类型,可以是 EPOLL_CTL_ADD(添加)、EPOLL_CTL_MOD(修改)、EPOLL_CTL_DEL(删除)。
  • fd:要操作的文件描述符。
  • event:一个指向struct epoll_event的指针,定义了关注的事件类型(如 EPOLLIN, EPOLLOUT)及其它数据。
  • 返回值
  • -1:发生错误,设置errno0:成功。
  1. epoll_wait
  • 原型: int epoll_wait(int epfd, struct epoll_event *events, int maxevents, int timeout)
  • 功能: 阻塞等待直到epoll实例中的一个或多个文件描述符变为就绪状态(可读、可写或出现错误)。
  • 参数:
  • epfd:epoll实例的文件描述符。
  • events:指向struct epoll_event结构体数组的指针,用于存储就绪事件。
  • maxevents:events 数组的最大容量。
  • timeout:等待超时时间,单位为毫秒,-1表示无限等待,0 表示立即返回,正值为等待的最长时间。
  • 返回值:
  • -1:发生错误,设置errno0:超时;>0: 准备好的文件描述符数量。

应用场景

  在高并发TCP服务场景中,服务端通过部署epoll + 线程/协程池机制,构建高效服务框架。epoll作为核心监听器,统一管理并快速响应来自不同客户端的连接请求,其事件驱动特性确保了对socket就绪状态的即时检测。与此同时,这些请求被异步地分发至线程/协程池中,利用任务队列和工作线程(或轻量级协程)并发执行,提升数据处理能力。

类图

EpollEventHandler类图

  • EpollEventHandler (Epoll事件调度器类)
    该类负责注册并管理监听句柄,实时监控Epoll事件,确保对每个就绪连接的快速响应与处理。
  • IEpollEvent (监听接口类)
    此类定义了句柄注册与事件处理的标准操作,使EpollEventHandler能统一管理不同类型的监听对象,实现接口的标准化与句柄处理的灵活性。
  • PSocket (可被监听的Socket实现类)
    继承自IEpollEvent的实现类,封装标准的Socket操作,同时定义针对Epoll事件的响应逻辑,实现Socket交互的统一管理和定制化处理。
  • PUart (可被监听的Uart实现类)
    继承自IEpollEvent的实现类,封装了标准Uart操作,同时定义针对Epoll事件的响应逻辑,实现Uart交互的统一管理和定制化处理。
  • 其他可被监听的实现类
    还可以实现其他可被epoll监听的类型类,通过继承IEpollEvent实现可被EpollEventHandler统一注册,再通过内部EpollEvent实现差异化响应处理。

源码实现

编程环境

① 编译环境: Linux环境

② 语言: C++语言

接口定义

  • EpollEventHandler
class EpollEventHandler
{
public:
    virtual ~EpollEventHandler();
    static EpollEventHandler* GetInstance();
    void AddPoll(IEpollEvent* p);
    void DelPoll(IEpollEvent* p);
    void EpollLoop(bool bRun);
private:
    EpollEventHandler(int size = 0);
private:
    int     mHandle;
    bool    mRun;
    std::map<int, IEpollEvent*> mEpollMap;   // fd, type, IEpollEvent
};

EpollEventHandler主要封装了epoll接口,集中管理并监听所有IEpollEvent实例。在EpollLoop循环中,阻塞等待并处理各类句柄事件,一旦事件触发,即通过多态调用IEpollEvent的虚函数来EpollEvent执行特定的事件处理逻辑,从而实现差异化的处理需求。

void EpollEventHandler::EpollLoop(bool bRun)
{
    struct epoll_event ep[32];
    mRun = bRun;
    do {
        if (!mRun) {
            break;
        }
        // 无事件时, epoll_wait阻塞, 等待
        int count = epoll_wait(mHandle, ep, sizeof(ep)/sizeof(ep[0]), -1);
        if (count <= 0) {
            continue;
        }
        for (int i = 0; i < count; i++) {
            IEpollEvent* p = (IEpollEvent*)ep[i].data.ptr;
            if (p == nullptr) {
                continue;
            }
            // TODO: 丢到线程/协程池响应
            p->EpollEvent(p->GetEpollFd(), p->GetEpollType(), p->GetArgs());
        }
    } while(mRun);
    SPR_LOGD("EpollLoop exit\n");
}
  • IEpollEvent
class IEpollEvent
{
public:
    IEpollEvent(int fd, EpollType eType = EPOLL_TYPE_BEGIN, void* arg = nullptr)
        : mEpollFd(fd), mEpollType(eType), mArgs(arg) {};
    virtual ~IEpollEvent() = default;
    virtual ssize_t Write(int fd, const std::string& bytes);
    virtual ssize_t Read(int fd, std::string& bytes);
    virtual void*   EpollEvent(int fd, EpollType eType, void* arg) = 0;
    int         GetEpollFd()        { return mEpollFd; }
    EpollType   GetEpollType()      { return mEpollType; }
    void*       GetArgs()           { return mArgs; }
protected:
    int         mEpollFd;
    EpollType   mEpollType;
    void*       mArgs;
};

IEpollEvent主要统一句柄注册与事件处理的标准操作,方便EpollEventHandler统一监听,通过EpollEvent实现差异化响应。

  • PSocket
class PSocket : public IEpollEvent
{
public:
    PSocket(int domain, int type, int protocol,
               std::function<void(int, void*)> cb, void* arg = nullptr);
    PSocket(int sock,
               std::function<void(int, void*)> cb, void* arg = nullptr);
    virtual ~PSocket();
    void Close();
    int AsTcpServer(short bindPort, int backlog);
    int AsTcpClient(bool con = false,
                    const std::string& srvAddr = "",
                    short srvPort = 0,
                    int rcvLen = 512 * 1024,
                    int sndLen = 512 * 1024);
    int AsUdpServer(short bindPort, int rcvLen = 512 * 1024);
    int AsUdpClient(const std::string& srvAddr, short srvPort, int sndLen = 512 * 1024);
    int AsUnixStreamServer(const std::string& serverName, int backlog);
    int AsUnixStreamClient(bool con = false,
                           const std::string& serverName = "",
                           const std::string& clientName = "");
    int AsUnixDgramServer(const std::string& serverName);
    int AsUnixDgramClient(const std::string& serverName);
    virtual void*   EpollEvent(int fd, EpollType eType, void* arg) override;
private:
    bool            mEnable;
    PSocketType     mSockType;
    std::function<void(int, void*)> mCb;
};
  • PUart
class PUart : public IEpollEvent
{
public:
    PUart(const std::string& devPath,
            std::function<void(int, char *, long, void*)> cb,
            void*   arg     = nullptr,
            speed_t rate    = B115200,
            int     parity  = 0,
            int     stopbit = 1
            );
    virtual ~PUart();
    void* EpollEvent(int fd, EpollType eType, void* arg) override;
    bool  SetupPort(speed_t rate, int parity, int stopbit);
    void  Close();
private:
    std::function<void(int, char *, long, void*)> mCb;
    std::string mDevFile;
};

测试效果

  • 测试代码这里实现一个TCP server的功能,响应多个客户端请求。
int main(int argc, const char *argv[])
{
    std::mutex epFdMutex;
    EpollEventHandler *pEpoll = EpollEventHandler::GetInstance();
    auto tcpClient = make_shared<PSocket>(AF_INET, SOCK_STREAM, 0, [&](int sock, void *arg) {
        PSocket* pCliObj = (PSocket*)arg;
        if (pCliObj == nullptr) {
            SPR_LOGE("PSocket is nullptr\n");
            return;
        }
        std::string rBuf;
        int rc = pCliObj->Read(sock, rBuf);
        if (rc > 0) {
            SPR_LOGD("# RECV [%d]> %s\n", sock, rBuf.c_str());
        } else {
            pEpoll->DelPoll(pCliObj);
            SPR_LOGD("## CLOSE [%d]\n", sock);
            std::lock_guard<std::mutex> lock(epFdMutex);
            pCliObj->Close();
        }
    });
    tcpClient->AsTcpClient(true, "127.0.0.1", 8080);
    pEpoll->AddPoll(tcpClient.get());
    std::thread wThread([&]{
        while(true) {
            std::lock_guard<std::mutex> lock(epFdMutex);
            tcpClient->Write(tcpClient->GetEpollFd(), "Hello World");
            sleep(1);
        }
    });
    pEpoll->EpollLoop(true);
    wThread.join();
    return 0;
}
  • 测试结果
$ ./sample_tcpserver
  81 EpollEvent D: Add epoll fd 4
  81 EpollEvent D: Add epoll fd 5
  81 EpollEvent D: Add epoll fd 6
  54 TcpServer D: # RECV [6]> I'm Client A
  58 TcpServer D: # SEND [6]> ACK
  54 TcpServer D: # RECV [5]> I'm Client B
  58 TcpServer D: # SEND [5]> ACK
  54 TcpServer D: # RECV [6]> I'm Client A
  58 TcpServer D: # SEND [6]> ACK
  54 TcpServer D: # RECV [5]> I'm Client B
  58 TcpServer D: # SEND [5]> ACK

测试结果上看,sample_tcpserver能够实现一个线程同时监听两个客户端的请求和应答。

总结

  • 本篇主要操练一下epoll的常规使用,简单做一下封装能够实现epoll监听各个类型的句柄事件。其实epoll还可以监听消息队列、串口等其他文件句柄,深入挖掘一下,能够实现很多优雅的操作。
  • 本实践深受先前一位导师兼朋友所分享代码的启发,其创新性地提出了采用epoll结合协程机制来替代传统多线程架构的方法,让我受益匪浅。
  • epoll的妙用远不止于此,后续的代码会不断挖掘,并集成到个人的开源项目中。
相关实践学习
容器服务Serverless版ACK Serverless 快速入门:在线魔方应用部署和监控
通过本实验,您将了解到容器服务Serverless版ACK Serverless 的基本产品能力,即可以实现快速部署一个在线魔方应用,并借助阿里云容器服务成熟的产品生态,实现在线应用的企业级监控,提升应用稳定性。
云原生实践公开课
课程大纲 开篇:如何学习并实践云原生技术 基础篇: 5 步上手 Kubernetes 进阶篇:生产环境下的 K8s 实践 相关的阿里云产品:容器服务&nbsp;ACK 容器服务&nbsp;Kubernetes&nbsp;版(简称&nbsp;ACK)提供高性能可伸缩的容器应用管理能力,支持企业级容器化应用的全生命周期管理。整合阿里云虚拟化、存储、网络和安全能力,打造云端最佳容器化应用运行环境。 了解产品详情:&nbsp;https://www.aliyun.com/product/kubernetes
相关文章
|
30天前
|
运维 Oracle 容灾
Oracle dataguard 容灾技术实战(笔记),教你一种更清晰的Linux运维架构
Oracle dataguard 容灾技术实战(笔记),教你一种更清晰的Linux运维架构
|
2天前
|
Linux Windows 虚拟化
【Linux环境搭建实战手册】:打造高效开发空间的秘籍
【Linux环境搭建实战手册】:打造高效开发空间的秘籍
|
8天前
|
关系型数据库 MySQL Linux
Linux 命令 `db_upgrade` 详解与实战
`db_upgrade` 是一个自定义数据库升级命令,用于更新数据库结构和版本。它包括检查当前版本、备份、执行升级、更新版本信息和验证。基本语法是 `db_upgrade [OPTIONS]`,支持 `-b`(备份)、`-f`(强制升级)、`-v`(详细信息)等选项。在实战中,先备份数据库,然后使用 `db_upgrade` 命令升级,并验证结果。注意在生产环境升级前进行测试。虽然不是标准命令,但理解其用法有助于应对数据库升级。
|
11天前
|
监控 安全 Linux
Linux服务器如何管理sshd的连接
【6月更文挑战第6天】Linux服务器如何管理sshd的连接
15 4
|
12天前
|
Linux 网络安全 Windows
ssh连接缓慢 ssh连接失败问题 Linux 脚本解决ssh连接缓慢问题,windows解决本地ssh连接失败
ssh连接缓慢 ssh连接失败问题 Linux 脚本解决ssh连接缓慢问题,windows解决本地ssh连接失败
|
2天前
|
Linux
【Linux】一条命令,转发所有请求到另一台服务器上 -高级技巧
【Linux】一条命令,转发所有请求到另一台服务器上 -高级技巧
10 0
|
17小时前
|
Linux 数据处理
Linux命令中的tic:深入了解与高效应用
`tic`是Linux中用于处理 Tektronix 4015 终端文本解释的命令,源于troff文本格式化系统。尽管现代系统不再常见该终端,`tic`仍用于特定数据处理,尤其是与troff配合,将troff输出转换为特定格式。使用时注意兼容性、输入格式和参数调整,如`-a`设定宽高比。通过`man tic`可获取更多详情。示例:`troff document.tr | tic`。了解这些能更好地处理特定文本格式任务。
|
18小时前
|
Linux Shell 数据处理
探索Linux的`infokey`命令:终端键绑定的查询工具
探索Linux的`infokey`命令用于查询终端键绑定。它显示按键如何映射到命令,帮助用户理解终端行为。`infokey`与`ncurses`库配合,提供查询、清除和定制输出的功能。例如,`infokey -d`显示所有键绑定,`infokey -k &quot;\e[11~&quot;`检查F1键绑定。使用前确保安装了`ncurses`库,注意终端兼容性和权限问题。定期检查键绑定,备份配置,阅读文档以优化终端体验。
|
1天前
|
算法 网络协议 Linux
探索Linux命令idn:处理国际化域名
`idn`命令在Linux中用于处理国际化域名,转换成ASCII兼容的ACE格式或反之。它支持Punycode算法,提供命令行接口及多种参数,如`-a`转ASCII,`-d`转回国际化域名。示例包括将`xn--zhonggu-wu9d.com`转换。使用时注意有效输入,考虑版本兼容性,并可与其他工具结合使用。
|
1天前
|
Linux 数据处理 数据库
深入解析Linux命令id:理解用户身份与权限
`id`命令在Linux中用于显示用户身份(UID, GID和附加组)。它查看系统用户数据库获取信息。参数如`-u`显示UID,`-g`显示GID,`-G`显示附加组,结合`-n`显示名称而非ID。用于确认命令执行者身份,确保权限正确。在脚本中使用时注意权限管理,遵循最小权限原则。