探秘Linux网络设计:Reactor模型与高效http静态服务器构建

简介: 本文将深入探讨Linux网络设计中的Reactor模型,并展示如何利用该模型构建高效的http静态服务器。在现代互联网环境中,快速响应和高吞吐量对于提供卓越用户体验至关重要。通过理解Reactor模型的基本概念和工作原理,我们将揭示它在构建高并发应用中的关键作用。本文还将详细介绍如何利用Reactor模型优化网络通信,实现快速的http请求处理和静态资源传输。通过实践经验的分享,包括事件驱动编程、多线程和多进程处理以及负载均衡等技巧,读者将获得构建高效http静态服务器的实际指导和启示。

1、Reactor简介

Reactor意译“反应堆”,是一种事件驱动机制,程序需要提供回调函数,注册到reactor中。
Reactor模型包含三个重要组件:多路复用器,事件分离器,事件处理器。多路复用器在Linux上一般是select、poll、epoll;事件分离器是调用对应注册的回调函数;事件处理器是回调函数的执行,如读、写数据操作。
mermaid-diagram-2023-07-16-123128.png

一个程序监控多个IO,所有要处理的事件注册到一个中心IO多路复用器epoll上,由epoll进行管理,当epoll检测到一个IO事件到来或准备就绪时,epoll触发相对应的IO事件;reactor就是对所有的事件做成反应堆模式,当事件触发时,调用相对应的回调函数。比如,IO的可读事件调用读数据的回调函数,IO的可写事件调用发送数据回调函数。
每个IO相互独立,都有自己相对应的回调函数,互不影响。

2、Reactor存在的理由

1、epoll是对IO的管理,检测接入的IO,触发IO事件;reactor是对事件的管理,不同的事件调用不同的回调函数;这样带来的好处是每个事件对应不同的回调函数,每个事件数据互不影响。
2、事件封装;对未处理的事件放在独立的buffer中;对于http服务器可以优先处理一部分数据。

3、sendfile()说明

在HTTP服务器中,返回资源文件时可以使用sendfile函数来发送body部分,提高效率。
函数原型:

#include <sys/sendfile.h>

ssize_t sendfile(int out_fd, int in_fd, off_t *offset, size_t count);

说明:
sendfile在一个文件描述符和另一个文件描述符之间复制数据。由于这种复制是在内核中完成的,因此sendfile比读和写的组合更有效,后者需要在用户空间之间传输数据。
参数说明:

参数 含义
out_fd 为读取而打开的文件描述符,通常是文件的fd
in_fd 为写入而打开的文件描述符
out_fd 如果offset不为NULL,则它指向保存文件偏移量的变量,将从该变量开始从infd读取数据。如果偏移量为NULL,则从当前文件偏移量开始从in fd读取数据,并通过调用更新文件偏移量。
count 在文件描述符之间复制的字节数

返回值:
如果传输成功,则返回写入out_ fd的字节数。请注意,成功调用sendfile()可能会写入比请求更少的字节;如果存在未发送的字节,调用方应准备重试调用。传输失败返回负数。

错误代码:

错误码 含义
EAGAIN 已使用ONONBLOCK选择非阻塞I/O,sendfile需要写入阻塞。
EBADF 未打开输入文件进行读取,或未打开输出文件进行写入。
EFAULT 地址不正确。
EINVAL 描述符无效或已锁定,或者类似mmap的操作不可用于in_fd,或者计数为负。
EINVAL out_ fd设置了O_APPEND。sendfile()当前不支持此操作。
EIO 从in_ fd读取时出现未指定错误。
ENOMEM 内存不足,无法从in_ fd读取。
EOVERFLOW 计数太大,该操作将导致超过输入文件或输出文件的最大大小。
ESPIPE 偏移量不为NULL,但输入文件不可搜索(2)。

4、HTTP常用的请求方法

方法 含义
GET 获取资源
POST 提交数据
PUT 更新数据
DELETE 删除数据

5、HTTP静态服务器

HTTP静态服务器可以基于Reactor,实现高并发,reactor的实现可参考上一篇:开启极速之旅:了解Linux网络设计中的Reactor模型与百万级并发实践

5.1 接收数据逻辑 -- recv

HTTP服务器接受请求时,不必接收完所有的数据才进行数据解析,可以读一部分数据先进行解析,再解析后面的数据。
可以按行解析,如HTTP请求时,可以先解析GET方法所在行的数据,里面就包含了请求资源的位置。
mermaid-diagram-2023-07-16-123542.png

5.2 发送数据逻辑 -- send

HTTP服务器返回数据和接收数据的类似,可以先发送http的头数据,再发送内容。
数据拷贝到自己的buffer,发送数据,发送完重新设置事件,设为读就绪。
mermaid-diagram-2023-07-16-123630.png

5.3 HTTP服务器实现

HTTP请求包中GET所在行包含的数据有三部分:请求方法(GET),请求的资源,协议版本号。

5.3.1、HTTP请求包解析

业务分析是recv完之后的操作,一般recv最好是按行读取数据,方便数据分析和处理。
简单示例:

// 读取一行数据
int readline(char *buffer,int idx,char *linebuffer)
{
   
   
    int len=strlen(buffer);
    for(;idx<len;idx++)
    {
   
   
        if(buffer[idx]=='\r' && buffer[idx+1]=='\n')
            return idx+2;
        *(linebuffer++)=buffer[i];
    }
    return  -1;
}

int nty_http_request(struct ntyevent *ev/*用于解析的结构体*/)
{
   
   
    char linebuffer[1024];
    readline(ev->buffer,0,linebuffer);
    if(strstr(linebuffer,"GET "))
    {
   
   
        ev->method=HTTP_METHOD_GET;//标识为HTTP的GET方法
        //解析资源包
        int i = strlen("GET ");
        while (linebuffer[i] != ' ')
            i++;
        linebuffer[i] = '\0';

        sprintf(ev->resource, "%s%s", HTTP_WEB_ROOT,linebuffer + 4);//将请求资源保存
;    }
    else if(strstr(linebuffer,"POST "))
    {
   
   
        /*处理POST方法*/
    }
    return 0;
}

nty_http_request函数在recv之后调用。

5.3.2、HTTP打包发送

HTTP服务器应答需要打包数据,包括HTTP Header和body。在send之前操作,一般将HTTP header和body分开发送。
简单示例:

// http header 打包
int nty_http_response_get_method(struct ntyevent *ev)
{
   
   
    int len;
    int filefd = open(ev->resource, O_RDONLY);
    if (filefd == -1)
    {
   
   
        len = sprintf(ev->wbuffer,
            "HTTP/1.1 200 OK\r\n"
            "Accept-Ranges: bytes\r\n"
            "Content-Length: 78\r\n"
            "Content-Type: text/html\r\n"
            "Date: Sat, 06 Aug 2022 13:16:46 GMT\r\n\r\n"
            "<html><head><title>FLY.TestWeb</title></head><body><h1>FLY.</h1><body/></html>");

        ev->wlength = len;
    }
    else
    {
   
   
        struct stat stat_buf;
        fstat(filefd, &stat_buf);
        close(filefd);
        len = sprintf(ev->wbuffer,
            "HTTP/1.1 200 OK\r\n"
            "Accept-Ranges: bytes\r\n"
            "Content-Length: %ld\r\n"
            "Content-Type: text/html\r\n"
            "Date: Sat, 06 Aug 2022 13:16:46 GMT\r\n\r\n"
            ,stat_buf.st_size);
        ev->wlength = len;
    }
    return len;
}
int nty_http_response(struct ntyevent *ev/*用于解析的结构体*/)
{
   
   
    if(ev->method==HTTP_METHOD_GET)//获取HTTP的请求方法
    {
   
   
        nty_http_response_get_method(ev);//http头打包
    }
    else if(ev->method==HTTP_METHOD_POST)//获取HTTP的请求方法
    {
   
   
    }
}

// 发送数据回调函数
int send_cb(struct ntyevent *ev)
{
   
   
    ......
    send(fd,ev->wbuffer,ev->length,0);//发送http的头数据

    int filefd=open(ev->resource,O_RDONLY);//只读方式打开文件
    struct stat stat_buff;

    // 设置阻塞模式
    fstat(filefd,&stat_buff);
    int flag = fcntl(fd, F_GETFL, 0);
    flag &= ~O_NONBLOCK;
    fcntl(fd, F_SETFL, flag);

    sendfile(filefd,fd,NULL,st_size);// 发送http body

    // 还原非阻塞模式
    flag |= O_NONBLOCK;
    fcntl(fd, F_SETFL, flag);

    close(filefd);

    send(fd, "\r\n", 2, 0);
    ......
}

6 content-type常用类型

参数 含义
text/html HTML格式
application/x-www-form-urlencoded form 表单数据被编码
application/json JSON数据格式
text/plain 纯文本格式
text/xml XML格式
image/gif gif图片格式
image/jpeg jpg图片格式
image/png png图片格式
application/octet-stream 二进制流数据

image.png

相关实践学习
CentOS 8迁移Anolis OS 8
Anolis OS 8在做出差异性开发同时,在生态上和依赖管理上保持跟CentOS 8.x兼容,本文为您介绍如何通过AOMS迁移工具实现CentOS 8.x到Anolis OS 8的迁移。
相关文章
|
23天前
|
人工智能 负载均衡 数据可视化
阿里云出手了,DeepSeek服务器拒绝繁忙,免费部署DeepSeek模型671B满血版
阿里云推出免费部署DeepSeek模型671B满血版服务,通过百炼大模型平台,用户无需编码,最快5分钟、最低0元即可完成部署。平台提供100万免费Token,支持DeepSeek-R1和DeepSeek-V3等多款模型调用,有效解决服务器繁忙问题。新手零基础也能轻松上手,享受高效稳定的API调用和自动弹性扩展功能。教程涵盖开通服务、获取API-KEY及配置Chatbox客户端等步骤,详细指引助您快速实现DeepSeek自由。
178 18
|
5月前
|
机器学习/深度学习 人工智能 运维
企业内训|LLM大模型在服务器和IT网络运维中的应用-某日企IT运维部门
本课程是为某在华日资企业集团的IT运维部门专门定制开发的企业培训课程,本课程旨在深入探讨大型语言模型(LLM)在服务器及IT网络运维中的应用,结合当前技术趋势与行业需求,帮助学员掌握LLM如何为运维工作赋能。通过系统的理论讲解与实践操作,学员将了解LLM的基本知识、模型架构及其在实际运维场景中的应用,如日志分析、故障诊断、网络安全与性能优化等。
153 2
|
5月前
|
安全 Linux 编译器
探索Linux内核的奥秘:从零构建操作系统####
本文旨在通过深入浅出的方式,带领读者踏上一段从零开始构建简化版Linux操作系统的旅程。我们将避开复杂的技术细节,以通俗易懂的语言,逐步揭开Linux内核的神秘面纱,探讨其工作原理、核心组件及如何通过实践加深理解。这既是一次对操作系统原理的深刻洞察,也是一场激发创新思维与实践能力的冒险。 ####
|
3月前
|
Prometheus 运维 监控
Prometheus+Grafana+NodeExporter:构建出色的Linux监控解决方案,让你的运维更轻松
本文介绍如何使用 Prometheus + Grafana + Node Exporter 搭建 Linux 主机监控系统。Prometheus 负责收集和存储指标数据,Grafana 用于可视化展示,Node Exporter 则采集主机的性能数据。通过 Docker 容器化部署,简化安装配置过程。完成安装后,配置 Prometheus 抓取节点数据,并在 Grafana 中添加数据源及导入仪表盘模板,实现对 Linux 主机的全面监控。整个过程简单易行,帮助运维人员轻松掌握系统状态。
413 3
|
3月前
|
缓存 负载均衡 监控
HTTP代理服务器在网络安全中的重要性
随着科技和互联网的发展,HTTP代理IP中的代理服务器在企业业务中扮演重要角色。其主要作用包括:保护用户信息、访问控制、缓存内容、负载均衡、日志记录和协议转换,从而在网络管理、性能优化和安全性方面发挥关键作用。
116 2
|
4月前
|
弹性计算 监控 数据库
制造企业ERP系统迁移至阿里云ECS的实例,详细介绍了从需求分析、数据迁移、应用部署、网络配置到性能优化的全过程
本文通过一个制造企业ERP系统迁移至阿里云ECS的实例,详细介绍了从需求分析、数据迁移、应用部署、网络配置到性能优化的全过程,展示了企业级应用上云的实践方法与显著优势,包括弹性计算资源、高可靠性、数据安全及降低维护成本等,为企业数字化转型提供参考。
112 5
|
4月前
|
Web App开发 Linux 应用服务中间件
【DrissionPage】Linux上如何将https改为http
通过上述步骤,可以在Linux上将DrissionPage从HTTPS改为HTTP。关键在于修改DrissionPage配置、代码中的HTTPS设置、URL以及Web服务器配置,确保所有部分都正确使用HTTP协议。通过合理配置和测试,能够确保系统在HTTP环境下稳定运行。
113 1
|
5月前
|
存储 安全 数据可视化
提升网络安全防御有效性,服务器DDoS防御软件解读
提升网络安全防御有效性,服务器DDoS防御软件解读
137 1
提升网络安全防御有效性,服务器DDoS防御软件解读
|
4月前
|
存储 关系型数据库 MySQL
查询服务器CPU、内存、磁盘、网络IO、队列、数据库占用空间等等信息
查询服务器CPU、内存、磁盘、网络IO、队列、数据库占用空间等等信息
1725 2
|
5月前
|
数据可视化 Linux 网络安全
如何使用服务器训练模型
本文介绍了如何使用服务器训练模型,包括获取服务器、访问服务器、上传文件、配置环境、训练模型和下载模型等步骤。适合没有GPU或不熟悉Linux服务器的用户。通过MobaXterm工具连接服务器,使用Conda管理环境,确保训练过程顺利进行。
343 0
如何使用服务器训练模型