动手做webserver的核心之http解析

简介: 简介         webserver往小里说核心功能就是socket管理、url处理、http协议处理、业务dll管理等;下面简介绍一下http协议:超文本传输协议(HTTP)是一种通信协议,当时就是为web传输设计的一个基于tcp的协议;基于这个字面上理解,可以简单的点说就是用tcp来传输文本、数据的一种编解码格式。

简介

        webserver往小里说核心功能就是socket管理、url处理、http协议处理、业务dll管理等;下面简介绍一下http协议:超文本传输协议(HTTP)是一种通信协议,当时就是为web传输设计的一个基于tcp的协议;基于这个字面上理解,可以简单的点说就是用tcp来传输文本、数据的一种编解码格式。传输协议一般比如说定个长度+内容,或者以回车符作为结尾等方式。http协议是文本传输协议,所以也是采用回车符来结尾的方式来实现编码传输解析的; 这里使用分析工具来简单分析一下http的基本格式:

      从上图可以看出http的基本格式一般大体为成header和body,header的第一行是固定的status line,header与body之间用回车符+空行+回车符来分隔的

GET

      webserver一般收到get请求如下:

1  GET /yswenli/p/8858669.html HTTP/1.1 
2  Host www.cnblogs.com
3  User-Agent Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.106 Safari/537.36  Accept image/webp,image/*,*/*;q=0.8 
4  Referer https://www.cnblogs.com/yswenli/p/8858669.html 
5  Accept-Encoding gzip, deflate, sdch  
6  Accept-Language zh-CN,zh;q=0.8

      也就是说如果发起了一个get请求的时候,webserver只是收到一个一个http header,直接全部收取后解析就行

POST

       如果是一个post请求呢?查看html相关内容,可以看post有很多方式,总体上分成三种,一种是默认的application/x-www-form-urlencoded:

1 POST http://www.example.com HTTP/1.1
2 Content-Type: application/x-www-form-urlencoded;charset=utf-8
3 
4 title=test&sub%5B%5D=1&sub%5B%5D=2&sub%5B%5D=3

      这种格式就是带有header和body两部分内容,解析的时候可以先按get收头部,然后再取body,body里面的参数取值是先urldecode再htmldecode就可以了。

      第二种就是json、xml、plaine等:

1 POST http://www.example.com HTTP/1.1 
2 Content-Type: application/json;charset=utf-8
3 
4 {"title":"test","sub":[1,2,3]}

      这种和上面类似,不过在取body的时候直接读就行~

      还有第三种multipart/form-data,这种模式格式比较复杂,它支持多键值对、多文件的方式,使用特定的boundary来分隔body

 1 POST http://www.example.com HTTP/1.1
 2 Content-Type:multipart/form-data; boundary=----WebKitFormBoundaryrGKCBY7qhFd3TrwA
 3 
 4 ------WebKitFormBoundaryrGKCBY7qhFd3TrwA
 5 Content-Disposition: form-data; name="name"
 6 
 7 yswenli
 8 ------WebKitFormBoundaryrGKCBY7qhFd3TrwA
 9 Content-Disposition: form-data; name="file"; filename="chrome.png"
10 Content-Type: image/png
11 
12 PNG ... content of chrome.png ... 
13 ------WebKitFormBoundaryrGKCBY7qhFd3TrwA
14 Content-Disposition: form-data; name="text"
15 
16 title
17 ------WebKitFormBoundaryrGKCBY7qhFd3TrwA
18 Content-Disposition: form-data; name="file"; filename="chrome2.png"
19 Content-Type: image/png
20 
21 PNG ... content of chrome.png ...
22 ------WebKitFormBoundaryrGKCBY7qhFd3TrwA--

      这种格式也是带有header和body两部分内容,解析的时候先按get收头部,然后再取body,body里面的内容先按boundry进行分割,然后再根据content-type进行判断取出文件内容。

TCP转HTTP

      即然拿到相关数据格式,并研究分析了http的编码格式,下面就可以开始解码了。首先使用一个data来接收socket的tcp数据包,然后统一分析http包的header,直到截取到\r\n+""+\r\n为止。

 1             using (MemoryStream ms = new MemoryStream(buffer))
 2             {
 3                 ms.Position = 0;
 4 
 5                 using (SAEA.Common.StreamReader streamReader = new SAEA.Common.StreamReader(ms))
 6                 {
 7                     while (true)
 8                     {
 9                         var str = streamReader.ReadLine();
10                         if (str == string.Empty)
11                         {
12                             this.HeaderStr = _stringBuilder.ToString();
13                             _stringBuilder.Clear();
14                             break;
15                         }
16                         else if (str == null && string.IsNullOrEmpty(this.HeaderStr))
17                         {
18                             return false;
19 
20                         }
21                         else
22                             _stringBuilder.AppendLine(str);
23                     }
24                 }
25             }

      上面使用了一个自定义的StreamReader,原因是自带的那个无法定位Stream的Position;若已成功解析出http的header,接下来就可以根据header来判断提交的方式是get还是post等。

 1         /// <summary>
 2         /// 解析http请求的数据
 3         /// </summary>
 4         /// <param name="data"></param>
 5         /// <param name="onUnpackage"></param>
 6         public void GetRequest(byte[] data, Action<RequestDataReader> onUnpackage)
 7         {
 8             lock (_locker)
 9             {
10                 _cache.AddRange(data);
11 
12                 var buffer = _cache.ToArray();
13 
14                 if (!isAnalysis)
15                 {
16                     isAnalysis = _httpStringReader.Analysis(buffer);
17                 }
18                 if (isAnalysis)
19                 {
20                     //post需要处理body
21                     if (_httpStringReader.Method == ConstString.POSTStr)
22                     {
23                         var contentLen = _httpStringReader.ContentLength;
24                         var positon = _httpStringReader.Position;
25                         var totlalLen = contentLen + positon;
26                         if (buffer.Length == totlalLen)
27                         {
28                             _httpStringReader.AnalysisBody(buffer);
29                             onUnpackage.Invoke(_httpStringReader);
30                             Array.Clear(buffer, 0, buffer.Length);
31                             buffer = null;
32                             _cache.Clear();
33                             _cache = null;
34                         }
35                     }
36                     else
37                     {
38                         onUnpackage.Invoke(_httpStringReader);
39                         Array.Clear(buffer, 0, buffer.Length);
40                         buffer = null;
41                         _cache.Clear();
42                         _cache = null;
43                     }
44                 }
45             }
46         }

      已解析header的话,就可以根据上面说的相关post的http数据格式来解析body。

 1                switch (this.ContentType)
 2                 {
 3                     case ConstString.FORMENCTYPE1:
 4                         this.Forms = GetRequestForms(Encoding.UTF8.GetString(this.Body));
 5                         break;
 6                     case ConstString.FORMENCTYPE2:
 7                         //todo
 8                         using (MemoryStream ms = new MemoryStream(this.Body))
 9                         {
10                             ms.Position = 0;
11                             using (var sr = new SAEA.Common.StreamReader(ms))
12                             {
13                                 StringBuilder sb = new StringBuilder();
14                                 var str = string.Empty;
15                                 do
16                                 {
17                                     str = sr.ReadLine();
18                                     if (str == null)
19                                     {
20                                         break;
21                                     }
22                                     else
23                                     {
24                                         sb.AppendLine(str);
25                                         if (str.IndexOf(CT) > -1)
26                                         {
27                                             var filePart = GetRequestFormsWithMultiPart(sb.ToString());
28 
29                                             if (filePart != null)
30                                             {
31                                                 sr.ReadLine();
32 
33                                                 filePart.Data = sr.ReadData(sr.Position, this.Boundary);
34                                                 if (filePart.Data != null)
35                                                 {
36                                                     filePart.Data = filePart.Data.Take(filePart.Data.Length - 2).ToArray();
37                                                 }
38                                                 if (this.PostFiles == null)
39                                                     this.PostFiles = new List<FilePart>();
40                                                 this.PostFiles.Add(filePart);
41                                             }
42                                             sb.Clear();
43                                             sr.ReadLine();
44                                         }
45                                     }
46                                 }
47                                 while (true);
48 
49                             }
50                         }
51                         break;
52                     default:
53                         this.Json = Encoding.UTF8.GetString(this.Body);
54                         break;
55                 }

      至此,http的相关解析就完成了,详细的代码可参见:

      1.HCode主要功能收取tcp包、 

      2.RequestDataReader主要功能是收到的tcp包近http协议转成webrequest、

      3.HttpRequest主要功能是将转换的数据进行model赋值、

      4.HttpContext主要功能是映射到处理业务并返回http数据

 

转载请标明本文来源:https://www.cnblogs.com/yswenli/p/9326453.html
更多内容欢迎star/fork作者的github:https://github.com/yswenli/SAEA
如果发现本文有什么问题和任何建议,也随时欢迎交流~

目录
相关文章
|
4月前
|
缓存 监控 搜索推荐
301重定向实现原理全面解析:从HTTP协议到SEO最佳实践
301重定向是HTTP协议中的永久重定向状态码,用于告知客户端请求的资源已永久移至新URL。它在SEO中具有重要作用,能传递页面权重、更新索引并提升用户体验。本文详解其工作原理、服务器配置方法(如Apache、Nginx)、对搜索引擎的影响及最佳实践,帮助实现网站平稳迁移与优化。
614 68
|
9月前
|
安全 算法 网络协议
解析:HTTPS通过SSL/TLS证书加密的原理与逻辑
HTTPS通过SSL/TLS证书加密,结合对称与非对称加密及数字证书验证实现安全通信。首先,服务器发送含公钥的数字证书,客户端验证其合法性后生成随机数并用公钥加密发送给服务器,双方据此生成相同的对称密钥。后续通信使用对称加密确保高效性和安全性。同时,数字证书验证服务器身份,防止中间人攻击;哈希算法和数字签名确保数据完整性,防止篡改。整个流程保障了身份认证、数据加密和完整性保护。
|
3月前
|
缓存 网络协议 UED
深度解析HTTP协议从版本0.9至3.0的演进和特性。
总的来说,HTTP的演进是互联网技术不断发展和需求日益增长的结果。每一次重要更新都旨在优化性能,增进用户体验,适应新的应用场景,而且保证了向后兼容,让互联网的基础架构得以稳定发展。随着网络技术继续进步,我们可以预期HTTP协议在未来还会继续演化。
433 0
|
3月前
|
数据采集 JSON Go
Go语言实战案例:实现HTTP客户端请求并解析响应
本文是 Go 网络与并发实战系列的第 2 篇,详细介绍如何使用 Go 构建 HTTP 客户端,涵盖请求发送、响应解析、错误处理、Header 与 Body 提取等流程,并通过实战代码演示如何并发请求多个 URL,适合希望掌握 Go 网络编程基础的开发者。
|
5月前
|
网络协议 API Python
解析http.client与requests在Python中的性能比较和改进策略。
最后,需要明确的是,这两种库各有其优点和适用场景。`http.client` 更适合于基础且并行的请求,`requests` 则因其易用且强大的功能,更适用于复杂的 HTTP 场景。对于哪种更适合你的应用,可能需要你自己进行实际的测试来确定。
159 10
|
6月前
|
域名解析 网络协议 网络安全
SSL证书验证全攻略:DNS/HTTP/手动解析怎么选?
SSL证书在网络安全中至关重要,1Panel提供三种验证方式:DNS验证、HTTP验证和手动解析。DNS验证便捷,适合CDN网站;HTTP验证快速,需服务器在线;手动解析灵活,但操作复杂。根据需求选择合适确认方式,定期检查证书状态。
787 2
|
6月前
|
安全 网络协议 算法
HTTP/HTTPS与SOCKS5协议在隧道代理中的兼容性设计解析
本文系统探讨了构建企业级双协议隧道代理系统的挑战与实现。首先对比HTTP/HTTPS和SOCKS5协议特性,分析其在工作模型、连接管理和加密方式上的差异。接着提出兼容性架构设计,包括双协议接入层与统一隧道内核,通过协议识别模块和分层设计实现高效转换。关键技术部分深入解析协议转换引擎、连接管理策略及加密传输方案,并从性能优化、安全增强到典型应用场景全面展开。最后指出未来发展趋势将更高效、安全与智能。
242 1
|
7月前
|
安全 网络安全 数据安全/隐私保护
HTTP 与 HTTPS 协议及 SSL 证书解析-http和https到底有什么区别?-优雅草卓伊凡
HTTP 与 HTTPS 协议及 SSL 证书解析-http和https到底有什么区别?-优雅草卓伊凡
402 3
|
7月前
|
网络安全
网络问题解析:如何解决CondaHTTPError HTTP 000 CONNECTION FAILED错误。
以上就是斯诺普为你准备的解决Conda出现HTTP连接错误的手术室。希望这辆小车可以顺利驶出棘手的泥潭,再次在自由的大路上疾驰。一切的尝试和努力,只为更好的探索与开发。
299 17
|
8月前
|
算法 测试技术 C语言
深入理解HTTP/2:nghttp2库源码解析及客户端实现示例
通过解析nghttp2库的源码和实现一个简单的HTTP/2客户端示例,本文详细介绍了HTTP/2的关键特性和nghttp2的核心实现。了解这些内容可以帮助开发者更好地理解HTTP/2协议,提高Web应用的性能和用户体验。对于实际开发中的应用,可以根据需要进一步优化和扩展代码,以满足具体需求。
828 29

推荐镜像

更多
  • DNS