Http解析实现/服务器Get请求的实现

简介: Http解析实现/服务器Get请求的实现

Http解析实现/服务器Get请求的实现

网络编程相关文章:

select、poll、epoll、多线程实现并发请求处理

epoll-reactor模型原理代码解析

epoll的水平触发LT以及边沿触发ET的原理及使用及优缺点


之前有实现过怎么通过epoll实现socket的数据传输,以及通过reactor模型实现epoll服务器并发,但是程序只实现了数据的接收于重发,并没有涉及Http的协议解析等操作。本文将通过简单的程序解释当客户端发来Http的Get请求时,服务器时如何操作的。

HTTP简介

HTTP 协议是 Hyper Text Transfer Protocol(超文本传输协议)的缩写,是用于从万维网(WWW:World Wide Web )服务器传输超文本到本地浏览器的传送协议。HTTP 是一个基于TCP/IP 通信协议来传递数据(HTML 文件, 图片文件, 查询结果等)。

客户端请求消息

客户端发送一个 HTTP 请求到服务器的请求消息包括以下格式:请求行(request line)、请求头部(header)、空行和请求数据四个部分组成,下图给出了请求报文的一般格式。

请求信息示例:

GET index.html/ HTTP/1.1
Host: 120.25.155.134:10000
User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:86.0) Gecko/20100101 Firefox/86.0
Accept:text/html,application/xhtml+xml,application/xml;q=0.9,image/webp
Accept-Language: zh-CN,zh;q=0.8,zh-TW;q=0.7,zh-HK;q=0.5,en-US;q=0.3,en;q=0.2
Accept-Encoding: gzip, deflate, br
Connection: keep-alive
Cookie: BAIDUID=6729CB682DADC2CF738F533E35162D98:FG=1;

HTTP请求方法

HTTP/1.1 协议中共定义了八种方法(也叫“动作”)来以不同方式操作指定的资源:

  • GET:向指定的资源发出“显示”请求。使用 GET 方法应该只用在读取数据,而不应当被用于产生“副作用”的操作中(不能修改服务器数据),例如在 Web Application 中。其中一个原因是 GET 可能会被恶意软件随意访问。
  • HEAD:与 GET 方法一样,都是向服务器发出指定资源的请求。只不过服务器将不传回资源的本文部分。它的好处在于,使用这个方法可以在不必传输全部内容的情况下,就可以获取其中“关于该资源的信息”(元信息或称元数据)。
  • POST:向指定资源提交数据,请求服务器进行处理(例如提交表单或者上传文件)。数据被包含在请求本文中。这个请求可能会创建新的资源或修改现有资源,或二者皆有。
  • PUT:向指定资源位置上传其最新内容。
  • DELETE:请求服务器删除 Request-URI 所标识的资源。
  • TRACE:回显服务器收到的请求,主要用于测试或诊断。
  • OPTIONS:这个方法可使服务器传回该资源所支持的所有 HTTP 请求方法。用’*'来代替资源名称,向 Web 服务器发送 OPTIONS 请求,可以测试服务器功能是否正常运作。
  • CONNECT:HTTP/1.1 协议中预留给能够将连接改为管道方式的代理服务器。通常用于SSL加密服务器的链接(经由非加密的 HTTP 代理服务器)。

服务器响应消息

HTTP 响应也由四个部分组成,分别是:状态行、消息报头、空行和响应正文。

响应信息示例:

所有HTTP响应的第一行都是状态行,依次是当前HTTP版本号,3位数字组成的状态代码(可以看到示例的第一行中有200的字符,这是HTTP的状态码),以及描述状态的短语,彼此由空格分隔。

状态代码的第一个数字代表当前响应的类型:

  • 1xx消息——请求已被服务器接收,继续处理
  • 2xx成功——请求已成功被服务器接收、理解、并接受
  • 3xx重定向——需要后续操作才能完成这一请求
  • 4xx请求错误——请求含有词法错误或者无法被执行
  • 5xx服务器错误——服务器在处理某个正确请求时发生错误

本文代码中可以用下面的一段代码做服务器的返回信息

const char *html = "<html><head><title>hello http</title></head><body><H1>Meta</H1></body></html>\r\n\r\n";
sprintf(ev-buffer, 
      "HTTP/1.1 200 OK\r\n\
      Date:Wed, 13 Apr 2022 02:01:06 GMT\r\n\
      Content-Type: text/htmp;charset=ISO-8859-1\r\n\
      Content-Length: 83\r\n\r\n\
      html);

注意:Content-Length是html的长度。如果长度不匹配,浏览器可能会一直转圈。由于content-length不匹配,会一直等待接收完数据。

请求报文的解析

在reactor的代码中,我们的recv_cb中实现了数据的接收,send_cb中实现了数据的发送,但是没有对接收数据做处理,而是直接回发了接收的数据。在浏览器发送Get请求时,可以从示例中看到,第一行包含了一些请求的数据信息。

GET index.html/ HTTP/1.1

因此在reactor的代码的recv_cb中会新增了http_request函数实现对请求报文的解析。

int recv_cb(int fd, int events, void *arg) {
  struct ntyreactor *reactor = (struct ntyreactor*)arg;
  struct ntyevent *ev = reactor->events+fd;
  int len = recv(fd, ev->buffer, BUFFER_LENGTH, 0); //BUFFER_LENGTH   //读取fd的数据到相应的buffer 中,指定buffer长度(可以理解乘读取数据最大长度)
  if (len > 0) {
    ev->length = len;
    ev->buffer[len] = '\0';
    printf("C[%d]:%s\n", fd, ev->buffer);
        http_request(ev);//通过http_request实现请求报文的解析
        nty_event_del(reactor->epfd, ev);
    nty_event_set(ev, fd, send_cb, reactor);//设置send_cb回调函数
    nty_event_add(reactor->epfd, EPOLLOUT, ev);//注册EPOLLOUT事件
  } else if (len == 0) {//关闭连接
        nty_event_del(reactor->epfd, ev);
    close(ev->fd);
    printf("[fd=%d] pos[%ld], closed\n", fd, ev-reactor->events);  
  } else {
        nty_event_del(reactor->epfd, ev);
    close(ev->fd);
    printf("recv[fd=%d] error[%d]:%s\n", fd, errno, strerror(errno)); 
  }
  return len;
}

http_request函数实现报文解析区分GET和POST请求

//实现GET与POST请求的区分
int http_request(struct ntyevent *ev) {
  // GET, POST
  char linebuf[1024] = {0};
  int idx = readline(ev->buffer, 0, linebuf);//通过readline函数实现一行代码的读取
  if (strstr(linebuf, "GET")) {//strstr()查找第一次出现字符串 GET 的位置,不包含终止符 '\0'。
    ev->method = HTTP_METHOD_GET;
    //url
    int i = 0;
    while (linebuf[sizeof("GET ") + i] != ' ') i++;
    linebuf[sizeof("GET ")+i] = '\0';
    sprintf(ev->resource, "./%s/%s", HTTP_WEBSERVER_HTML_ROOT, linebuf+sizeof("GET "));
    //将要访问的资源存入ev->resource
  } else if (strstr(linebuf, "POST")) {
  //
  }
}

通过上面函数可以直到客户端是GET请求还是其他请求方法,并且通过请求报文中url(请求报文中第一行中的index.html)的内容将请求的资源保存在ev->resource中。

http请求报文详情:

从HTTP的请求信息示例中,可以发现第一行中首先是GET请求方法,然后是请求资源.index.html,服务器通过该请求链接就可以找到服务器中对应的资源。

响应报文的发送

send_cb 函数返回http响应。同时写一个http_response 程序,处理回发buffer

http响应包含两部分,head和body组成。而 get方法请求资源

返回报文时可以两次发送,发送响应报文时可以分为两次发送,先发送head再发送body部分。

也可以一次全部发送。

int send_cb(int fd, int events, void *arg) {
  struct ntyreactor *reactor = (struct ntyreactor*)arg;
  struct ntyevent *ev = reactor->events+fd;
    http_response(ev);//head部分的内容保存再ev-buffer中
  int len = send(fd, ev->buffer, ev->length, 0);//发送head数据
  if (len > 0) {
    printf("send[fd=%d], [%d]%s\n", fd, len, ev->buffer);
        if (ev->ret_code == 200) {//如果状态码是200
      int filefd = open(ev->resource, O_RDONLY);//打开资源
      struct stat stat_buf;
      fstat(filefd, &stat_buf);//采用fstat,可以比较方便地拿到文件的大小
      sendfile(fd, filefd, NULL, stat_buf.st_size);//发送body部分。用sendfile发送文件,属于零拷贝,节省资源
      close(filefd);
    }
    nty_event_del(reactor->epfd, ev);//删除epoll注册事件
    nty_event_set(ev, fd, recv_cb, reactor);//设置回调函数
    nty_event_add(reactor->epfd, EPOLLIN | EPOLLET, ev);//条件epoll注册事件
  } 
    else {
    close(ev->fd);
    nty_event_del(reactor->epfd, ev);
    printf("send[fd=%d] error %s\n", fd, strerror(errno));
  }
  return len;
}

http-response函数

int http_response(struct ntyevent *ev) {
  if (ev == NULL) return -1;
  memset(ev->buffer, 0, BUFFER_LENGTH);
  printf("resource: %s\n", ev->resource);
  int filefd = open(ev->resource, O_RDONLY);
  if (filefd == -1) { // 找不到资源return 404
    ev->ret_code = 404;//404状态码
    ev->length = sprintf(ev->buffer, 
      "HTTP/1.1 404 Not Found\r\n"
      "Date: Thu, 11 Nov 2021 12:28:52 GMT\r\n"
      "Content-Type: text/html;charset=ISO-8859-1\r\n"
      "Content-Length: 85\r\n\r\n"
      "<html><head><title>404 Not Found</title></head><body><H1>404</H1></body></html>\r\n\r\n" );
  } else {//找到资源了
    struct stat stat_buf;
    fstat(filefd, &stat_buf);//采用fstat可以获得数据的长度
    close(filefd);
    if (S_ISDIR(stat_buf.st_mode)) {//如果是只是找到目录也返回404
      ev->ret_code = 404;
      ev->length = sprintf(ev->buffer, 
        "HTTP/1.1 404 Not Found\r\n"
        "Date: Thu, 11 Nov 2021 12:28:52 GMT\r\n"
        "Content-Type: text/html;charset=ISO-8859-1\r\n"
        "Content-Length: 85\r\n\r\n"
        "<html><head><title>404 Not Found</title></head><body><H1>404</H1></body></html>\r\n\r\n" );
    } else if (S_ISREG(stat_buf.st_mode)) {//如果是文件就说明可以返回正确的资源了
      ev->ret_code = 200;//200状态码,就是访问正确,先将head部分存入ev-buffer中
      ev->length = sprintf(ev->buffer, 
        "HTTP/1.1 200 OK\r\n"
        "Date:Wed, 13 Apr 2022 02:01:06 GMT\r\n"
        "Content-Type: text/html;charset=ISO-8859-1\r\n"
        "Content-Length: %ld\r\n\r\n", 
        stat_buf.st_size );
    }
  }
  return ev->length;
}

注意:如果时访问资源错误,返回404状态码,并且将head和body部分同时发回去(比较简单就不用发两遍)。"<html><head><title>404 Not Found</title></head><body><H1>404</H1></body></html>\r\n\r\n"就是404的body部分。

如果请求到正确资源,就先将head部分发回去,再将body部分(就是访问的资源)发回去。

文件发送sendfile函数

在发送文件时。磁盘再在文件中,一般发送,会通过fd将文件存入内存中,再从内存将文件发送到sockfd。这样可以实现,但是有更好的方法

代码中使用sendfile()来发送文件

sendfile专门用于文件发送,中间用的一个mmap,做了个内存映射,文件地址映射,节省了磁盘拷贝的工作。是零拷贝的。而拷贝需要copy,cpu执行move指令。而sendfile()这儿不需要cpu参与,使用dma(直接数据读取),所以叫零拷贝。

代码结果分析

浏览器输入IP:10000/index.html

服务器返回如下html页面信息

可以从服务器的后台终端中看到浏览器发送的GET请求内容

以及服务器发送的响应报文内容

在实际的服务器的报文解析部分并不会像本文代码这样做,通常会使用到有限状态机的方式去解析报文,本文仅通过简单的逻辑实现对网络编程中报文如何解析如何返回做了流程化的解释。

本文的源代码可在github上得到链接在此

目录
相关文章
|
7天前
|
Java
java原生发送http请求
java原生发送http请求
|
14天前
|
网络协议 Linux iOS开发
推荐:实现RTSP/RTMP/HLS/HTTP协议的轻量级流媒体框架,支持大并发连接请求
推荐:实现RTSP/RTMP/HLS/HTTP协议的轻量级流媒体框架,支持大并发连接请求
37 1
|
4天前
|
域名解析 网络协议 应用服务中间件
阿里云服务器配置免费https服务
阿里云服务器配置免费https服务
|
19天前
|
安全 数据安全/隐私保护
深入解析:HTTP和HTTPS的三次握手与四次挥手
在这些握手和挥手过程中,双方交换信息,协商参数,建立或关闭连接,以保证数据的可靠传输。HTTPS在此基础上加入了数字证书验证和加密通信,增加了安全性。这些步骤确保了HTTP和HTTPS协议的通信过程的稳定和安全。
110 0
|
25天前
|
Shell Linux 网络安全
【Shell 命令集合 网络通讯 】Linux 管理Apache HTTP服务器 httpd命令 使用指南
【Shell 命令集合 网络通讯 】Linux 管理Apache HTTP服务器 httpd命令 使用指南
28 0
|
25天前
|
Shell Linux Apache
【Shell 命令集合 网络通讯 】Linux 管理Apache HTTP服务器 apachectl命令 使用教程
【Shell 命令集合 网络通讯 】Linux 管理Apache HTTP服务器 apachectl命令 使用教程
154 1
|
26天前
|
JSON 前端开发 数据格式
糊涂工具类真是场景下请求http接口的案例
糊涂工具类真是场景下请求http接口的案例
21 0
|
26天前
|
安全 JavaScript 前端开发
若依实现单点登录(解析请求链接中的参数做鉴权认证)
若依实现单点登录(解析请求链接中的参数做鉴权认证)
17 0
|
26天前
|
数据采集 缓存 前端开发
http和https请求服务器的时候在请求头部分都带什么到服务器呢?
HTTP和HTTPS请求头基本结构相似,HTTPS多了一层SSL/TLS加密。常见请求头如Accept(指定内容类型)、Authorization(身份验证)、Cookie(会话跟踪)、User-Agent(标识用户代理)等。HTTPS特有的头包括Upgrade-Insecure-Requests(升级到HTTPS)、Strict-Transport-Security(强制使用HTTPS)、Sec-Fetch-*(安全策略)和X-Content-Type-Options、X-Frame-Options等(增强安全性)。实际应用中,请求头会根据需求和安全策略变化。
20 0
|
27天前
|
网络协议 网络安全 API
Qt 网络编程之美:探索 URL、HTTP、服务发现与请求响应
Qt 网络编程之美:探索 URL、HTTP、服务发现与请求响应
40 1

热门文章

最新文章

推荐镜像

更多