学习过Rest API,使用Wireshark、burpsuite抓过包,还是感觉没有系统的学习http协议,写下此篇,作为笔记整理。
所用工具
- Wireshark
- Postman
- Pycharm
- httpbin.org
HTTP简介
HTTP协议是Hyper Text Transfer Protocol(超文本传输协议)的缩写,是用于从万维网(WWW:World Wide Web )服务器传输超文本到本地浏览器的传送协议,是一个基于TCP/IP通信协议来传递数据(HTML文件, 图片文件, 查询结果等)。
HTTP 工作原理
HTTP协议工作于C/S(客户端-服务端)架构上。浏览器作为HTTP客户端通过URL向HTTP服务端即WEB服务器发送所有请求。
Web服务器有:Nginx服务器,Apache服务器,IIS服务器(Internet Information Services)等。
Web服务器根据接收到的请求后,向客户端发送响应信息。
HTTP默认端口号为80,你也可以改为8080或者其他端口,HTTPS默认端口号为443。
HTTP注意事项
- HTTP是无连接:无连接指限制每次连接只处理一个请求。服务器处理完客户的请求,并收到客户的应答后,即断开连接。采用这种方式可以节省传输时间。
- HTTP是媒体独立的:这意味着,只要客户端和服务器知道如何处理的数据内容,任何类型的数据都可以通过HTTP发送。客户端以及服务器指定使用适合的MIME-type内容类型。
- HTTP是无状态:HTTP协议是无状态协议。无状态指协议对于事务处理没有记忆能力。缺少状态意味着如果后续处理需要前面的信息,则它必须重传,这样可能导致每次连接传送的数据量增大。另一方面,在服务器不需要先前信息时它的应答就较快。
下图表展示了HTTP协议通信流程:
图片来源于网络(侵删)
HTTP 消息结构
HTTP使用统一资源标识符(Uniform Resource Identifiers, URI)来传输数据和建立连接。
一旦建立连接后,数据消息就通过类似Internet邮件所使用的格式[RFC5322]和多用途Internet邮件扩展(MIME)[RFC2045]来传送。
客户端请求消息
客户端发送一个HTTP请求到服务器的请求消息包括以下格式:请求行(request line)、请求头部(header)、空行和请求数据四个部分组成。
下图给出了请求报文的一般格式 :
图片来源于网络(侵删)
请求
注意:GET之后是有一个空格的
服务器响应消息
HTTP响应也由四个部分组成,分别是:状态行、消息报头、空行和响应正文。
响应
实例
python代码
import urllib.request url = "http://httpbin.org/get" print(url) # 添加请求的url和方法 req = urllib.request.Request(url, method="GET") # 接收响应数据 returnData = urllib.request.urlopen(req) res_json = returnData.read().decode('utf-8') print(res_json)
HTTP 请求方法
HTTP1.0 定义了三种请求方法: GET, POST 和 HEAD方法。
HTTP1.1 新增了六种请求方法:OPTIONS、PUT、PATCH、DELETE、TRACE 和 CONNECT 方法。
HEAD
请求方法
GET和POST的区别
- GET在浏览器回退时是无害的,而POST会再次提交请求。
- GET产生的URL地址可以被Bookmark,而POST不可以。
- GET请求会被浏览器主动cache,而POST不会,除非手动设置。
- GET请求只能进行url编码,而POST支持多种编码方式。
- GET请求参数会被完整保留在浏览器历史记录里,而POST中的参数不会被保留。
- GET请求在URL中传送的参数是有长度限制的,而POST没有。
- 对参数的数据类型,GET只接受ASCII字符,而POST没有限制。
- GET比POST更不安全,因为参数直接暴露在URL上,所以不能用来传递敏感信息。
- GET参数通过URL传递,POST放在Request body中。
(源于w3schools)
HTTP的底层是TCP/IP(推荐书籍《TCP/IP详解》)。所以,GET和POST的底层也是TCP/IP。GET和POST能做的事情是一样一样的。如果给GET加上request body,或者给POST带上url参数,技术上是完全行的通的。也就是说,GET和POST在本质上没什么区别。
但是如果真的一点区别都没有,那么这个问题也就不存在了,两者之间最重大的区别就是:
GET产生一个TCP数据包;POST产生两个TCP数据包。
具体点说来就是:
对于GET方式的请求,浏览器会把http header和data一并发送出去,服务器响应200(返回数据);
而对于POST,浏览器先发送header,服务器响应100 continue,浏览器再发送data,服务器响应200 ok(返回数据)。
get: RFC 2616 - Hypertext Transfer Protocol -- HTTP/1.1 post: RFC 2616 - Hypertext Transfer Protocol -- HTTP/1.1
HTTP 响应头信息
就是前面的消息报头,以key:value形式。
HTTP状态码
HTTP状态码分类
分类 | 分类描述 |
1** | 信息,服务器收到请求,需要请求者继续执行操作 |
2** | 成功,操作被成功接收并处理 |
3** | 重定向,需要进一步的操作以完成请求 |
4** | 客户端错误,请求包含语法错误或无法完成请求 |
5** | 服务器错误,服务器在处理请求的过程中发生了错误 |
HTTP状态码列表
401
404,页面不存在,检查url是否正确
404 Not Found
405,方法被禁止,检查使用方法是否正确
--20200902更新------------------------------
前几天遇到了502 Bad Gateway,北邮最近使用微信企业号进行澡堂洗澡预约,方便测体温和分流,由于即将开课,学生来的很多,而想在7~10点洗澡的同学占比很大,导致晚上00:00都抢着预约,可能短时间请求较大,导致出现了502。我抢了两天后实在是懒得抢,就写了一个脚本放到服务器上,00:00自动启动区抢,现在又可以晚上跑完步后,9、10点去洗澡了。
其他的还遇到一些,等碰到了再补充。
更多内容查看:网络安全-自学笔记