网络-http协议学习笔记(消息结构、请求方法、状态码等)

简介: 网络-http协议学习笔记(消息结构、请求方法、状态码等)

学习过Rest API,使用Wireshark、burpsuite抓过包,还是感觉没有系统的学习http协议,写下此篇,作为笔记整理。

所用工具

  • Wireshark
  • Postman
  • Pycharm
  • httpbin.org

HTTP简介

HTTP协议是Hyper Text Transfer Protocol(超文本传输协议)的缩写,是用于从万维网(WWW:World Wide Web )服务器传输超文本到本地浏览器的传送协议,是一个基于TCP/IP通信协议来传递数据(HTML文件, 图片文件, 查询结果等)。

HTTP 工作原理

HTTP协议工作于C/S(客户端-服务端)架构上。浏览器作为HTTP客户端通过URL向HTTP服务端即WEB服务器发送所有请求。


Web服务器有:Nginx服务器,Apache服务器,IIS服务器(Internet Information Services)等。


Web服务器根据接收到的请求后,向客户端发送响应信息。


HTTP默认端口号为80,你也可以改为8080或者其他端口,HTTPS默认端口号为443。

HTTP注意事项

  • HTTP是无连接:无连接指限制每次连接只处理一个请求。服务器处理完客户的请求,并收到客户的应答后,即断开连接。采用这种方式可以节省传输时间。
  • HTTP是媒体独立的:这意味着,只要客户端和服务器知道如何处理的数据内容,任何类型的数据都可以通过HTTP发送。客户端以及服务器指定使用适合的MIME-type内容类型。
  • HTTP是无状态:HTTP协议是无状态协议。无状态指协议对于事务处理没有记忆能力。缺少状态意味着如果后续处理需要前面的信息,则它必须重传,这样可能导致每次连接传送的数据量增大。另一方面,在服务器不需要先前信息时它的应答就较快。

下图表展示了HTTP协议通信流程:

20200606174104101.gif

               图片来源于网络(侵删)

HTTP 消息结构

HTTP使用统一资源标识符(Uniform Resource Identifiers, URI)来传输数据和建立连接。

一旦建立连接后,数据消息就通过类似Internet邮件所使用的格式[RFC5322]和多用途Internet邮件扩展(MIME)[RFC2045]来传送。

客户端请求消息

客户端发送一个HTTP请求到服务器的请求消息包括以下格式:请求行(request line)、请求头部(header)、空行和请求数据四个部分组成。

下图给出了请求报文的一般格式 :

20200606174736435.png

                       图片来源于网络(侵删)

20200606175713363.png

                                                 请求

注意:GET之后是有一个空格的

服务器响应消息  

HTTP响应也由四个部分组成,分别是:状态行、消息报头、空行和响应正文。

20200606180625637.png

                                           响应

实例

python代码

import urllib.request
url = "http://httpbin.org/get"
print(url)
# 添加请求的url和方法
req = urllib.request.Request(url, method="GET")
# 接收响应数据
returnData = urllib.request.urlopen(req)
res_json = returnData.read().decode('utf-8')
print(res_json)

20200606181222589.png

HTTP 请求方法

HTTP1.0 定义了三种请求方法: GET, POST 和 HEAD方法。

HTTP1.1 新增了六种请求方法:OPTIONS、PUT、PATCH、DELETE、TRACE 和 CONNECT 方法。

image.png

20200606182208461.png

                                                  HEAD

20200606182454281.png

                                                 请求方法

GET和POST的区别

  • GET在浏览器回退时是无害的,而POST会再次提交请求
  • GET产生的URL地址可以被Bookmark,而POST不可以。
  • GET请求会被浏览器主动cache,而POST不会,除非手动设置。
  • GET请求只能进行url编码,而POST支持多种编码方式。
  • GET请求参数会被完整保留在浏览器历史记录里,而POST中的参数不会被保留。
  • GET请求在URL中传送的参数是有长度限制的,而POST没有。
  • 对参数的数据类型,GET只接受ASCII字符,而POST没有限制。
  • GET比POST更不安全,因为参数直接暴露在URL上,所以不能用来传递敏感信息。
  • GET参数通过URL传递,POST放在Request body中。

(源于w3schools)

HTTP的底层是TCP/IP(推荐书籍《TCP/IP详解》)。所以,GET和POST的底层也是TCP/IP。GET和POST能做的事情是一样一样的。如果给GET加上request body,或者给POST带上url参数,技术上是完全行的通的。也就是说,GET和POST在本质上没什么区别。


但是如果真的一点区别都没有,那么这个问题也就不存在了,两者之间最重大的区别就是:

GET产生一个TCP数据包;POST产生两个TCP数据包。

具体点说来就是:


对于GET方式的请求,浏览器会把http header和data一并发送出去,服务器响应200(返回数据);


而对于POST,浏览器先发送header,服务器响应100 continue,浏览器再发送data,服务器响应200 ok(返回数据)。


get: RFC 2616 - Hypertext Transfer Protocol -- HTTP/1.1 post: RFC 2616 - Hypertext Transfer Protocol -- HTTP/1.1

HTTP 响应头信息

就是前面的消息报头,以key:value形式。

image.png

image.png

20200606184014349.png

HTTP状态码

HTTP状态码分类

分类 分类描述
1** 信息,服务器收到请求,需要请求者继续执行操作
2** 成功,操作被成功接收并处理
3** 重定向,需要进一步的操作以完成请求
4** 客户端错误,请求包含语法错误或无法完成请求
5** 服务器错误,服务器在处理请求的过程中发生了错误

HTTP状态码列表

image.png

image.png

20200910152637632.png

                               401

404,页面不存在,检查url是否正确

20200606184905231.png                                         404 Not Found

405,方法被禁止,检查使用方法是否正确

20200606185242115.png

--20200902更新------------------------------


前几天遇到了502 Bad Gateway,北邮最近使用微信企业号进行澡堂洗澡预约,方便测体温和分流,由于即将开课,学生来的很多,而想在7~10点洗澡的同学占比很大,导致晚上00:00都抢着预约,可能短时间请求较大,导致出现了502。我抢了两天后实在是懒得抢,就写了一个脚本放到服务器上,00:00自动启动区抢,现在又可以晚上跑完步后,9、10点去洗澡了。


其他的还遇到一些,等碰到了再补充。


更多内容查看:网络安全-自学笔记


相关文章
|
28天前
|
缓存 前端开发 API
|
2月前
|
数据采集 前端开发 算法
Python Requests 的高级使用技巧:应对复杂 HTTP 请求场景
本文介绍了如何使用 Python 的 `requests` 库应对复杂的 HTTP 请求场景,包括 Spider Trap(蜘蛛陷阱)、SESSION 访问限制和请求频率限制。通过代理、CSS 类链接数控制、多账号切换和限流算法等技术手段,提高爬虫的稳定性和效率,增强在反爬虫环境中的生存能力。文中提供了详细的代码示例,帮助读者掌握这些高级用法。
Python Requests 的高级使用技巧:应对复杂 HTTP 请求场景
|
16天前
|
JSON API 数据格式
Python中获取HTTP请求响应体的详解
本文介绍了如何使用Python的`requests`和`urllib`库发送HTTP请求并处理响应体。`requests`库简化了HTTP请求过程,适合快速开发;`urllib`库则更为底层,适用于性能要求较高的场景。文章详细演示了发送GET请求、处理JSON响应等常见操作。
|
15天前
|
安全 API 网络安全
使用OkHttp进行HTTPS请求的Kotlin实现
使用OkHttp进行HTTPS请求的Kotlin实现
|
22天前
|
前端开发 JavaScript Java
如何捕获和处理HTTP GET请求的异常
如何捕获和处理HTTP GET请求的异常
|
24天前
|
开发者
HTTP 协议请求方法的发展历程
【10月更文挑战第21天】
|
24天前
|
安全
HTTP 协议的请求方法
【10月更文挑战第21天】
|
24天前
|
缓存 安全 前端开发
HTTP 协议的请求方法在实际应用中有哪些注意事项?
【10月更文挑战第29天】HTTP协议的请求方法在实际应用中需要根据具体的业务场景和需求,合理选择和使用,并注意各种方法的特点和限制,以确保网络通信的安全、高效和数据的一致性。
|
28天前
|
安全 API 数据安全/隐私保护
常见的HTTP请求方法
【10月更文挑战第25天】这些HTTP请求方法共同构成了客户端与服务器之间交互的基础,使得客户端能够根据不同的需求对服务器资源进行各种操作。在实际应用中,开发者需要根据具体的业务场景和资源的性质选择合适的请求方法来实现客户端与服务器之间的有效通信。
|
28天前
|
安全 前端开发 JavaScript
利用HTTP协议进行文件上传和下载的常见方法
【10月更文挑战第25天】可以利用HTTP协议方便地实现文件的上传和下载功能,满足不同应用场景下的需求。在实际应用中,还可以根据具体的业务需求和安全要求,对文件上传和下载的过程进行进一步的优化和安全处理。