网络原理 - HTTP / HTTPS(1)——http请求

简介: 网络原理 - HTTP / HTTPS(1)——http请求

一、认识HTTP协议


       HTTP 全称为:“超文本传输协议”,是一种应用非常广泛的 应用层协议。如图:

       什么是超文本呢?文本就是字符串,能在 utf8 / gbk 等码表上找到的合法字符;而超文本比文本更nb,不仅仅可以是字符串,也可以携带一些图片,特殊格式啥的(链接、HTML(超文本标记语言)、表格、标题等等)

       HTTP诞生于1991年,是目前最主流的应用层协议,如图是发展史:

       HTTP3.0之前,在传输层是基于TCPHTTP3.0开始就是基于UDP;不是说UDP不可靠吗,为什么还用它呢?因为UDP传输的很快,是TCP比不了的,虽然它不可靠,但我们可以给它添加一些机制(一系列更复杂的机制),也可以提供可靠性

理解 应用层协议

       我们之前学习了TCP / IP 协议,知道网络传输数据,可以通过 IP地址和进程端口定位服务器 /客户端,知道网络数据传输的起点和终点,但是当网络数据传输完,就结束了吗?NO!!当数据传输给对端,对端还要对数据进行加工处理所以应用层还需要一层协议,它不关心通信的过程、细节,只关心应用细节,这层协议就是应用层协议

       HTTP最主要的应用场景:网站浏览器和服务器之间的数据传输,使用的协议就是HTTP;客户端(手机 / PC),和服务器之间的传输的协议,也很可能是HTTP。如图是浏览器和服务器之间的一次交互。

      网页是通过HTML构建的,HTML也是一门编程语言,不过和Java / C / C++ / Python不同,这些表达的是 逻辑,你要做什么;而HTML表达的是 内容,你有什么

       一个成熟的网页,光有HTML是不够的,还需要CSS、JavaScript的配合,这三个语言称为“前端开发三剑客”,学习前端开发,这三个语言都要会。

       HTTP的交互过程,是非常经典的 “一问一答” 模型对于 TCP / UDP,它们的交互模型更为多样,具体是啥情况,取决于你的代码。但即使只有 一问一答 的模型,对于网站开发,也够用了,如图是以前网站上的广告,如果你搜索 “不孕不育、整容” 等词,就会出现一堆广告,你点进去就会出现聊天对话框(类似QQ这种),如图:

       在网页上,你发一条消息,对面就能收到给你回复,你也能继续给对面发消息,类似一问一答的,这就是一问一答的实现场景。


二、fiddler的安装以及介绍


       fiddler 是抓包工具,抓包工具本质上就是 “代理程序,能够获取网络上传输的数据,并且显示出来,给程序员提供一些参考。

       其中有一种叫 高大全 的抓包工具:wireshark,可以抓各种协议的数据包(TCP、UDP、IP、以太网等等),因为涵盖的范围比较广,所以使用起来会更复杂,但fiddler是一种专注于HTTP的抓包,相对于wireshark的使用更简单,而我们目前也是在学习HTTP。以下介绍fiddler的下载安装:

1、fiddler的安装

       fiddler下载地址:Web Debugging Proxy and Troubleshooting Tools|Fiddler (telerik.com)

       选择经典版本(最新版要收费),点击 try for free,然后填写相关信息:

       接下来一路默认next即可:

       安装完成

安装完后,进行一些简单的设置

       fiddler的界面:

       接下来要抓包,就需要进行一个简单的设置,如下:

       中间会提示是否要安装证书,这里一路确定就好了。

       把这些都勾上(当前网络上大部分请求都是基于 HTTPS(相当于在HTTP的基础上进行了加密,并且要安装证书),才能进行正确的解密)。

       除了上述操作之外,另外还需要关闭电脑上本身的代理程序,例如VPN,有些可以fq的程序(单独的程序 / 浏览器插件),这个也是代理程序,要确保电脑上其他的代理程序都是关闭状态,不然可能会导致fiddler和其他代理程序发生冲突

2、fiddler的介绍

       fiddler是一个代理程序,什么是代理程序呢,代理也分正向代理和反向代理,下面介绍正向代理,如图就是fiddler是客户端的代理:

       上图是正向代理,可以这么理解,正向代理:客户端的代言人反向代理:服务器的代言人

       抓包工具就可以获取到HTTP协议的数据包,显示出请求和响应的具体细节

       这里解释一下如何实现fq的效果:用来fq的代理,本质就是通过可以被访问到境外的服务器,部署一个代理服务器,这样我们就可以绕过国家的防火墙,访问海外的服务器;我们直接访问谷歌服务器访问不了,但是通过这个代理服务器,就能访问到,如图:

       在fiddler中我们可以看到,即使我们什么也不做,也能抓到很多包,即使你什么也不干,电脑也会在你感知不到的地方,偷偷的做很多事情,和人家的服务器进行交互,这里介绍一个快捷键:全选,Ctrl + a,再按delete键就可以把当前所有显示的包清除

       打开一个网站,其实浏览器和服务器之间进行的 HTTP 交互不只有一次,而是会有很多次第一次交互拿到的是这个页面的html,但html还会依赖css、js等,html被加载出来后,还会触发一些其他的http请求,获取到css、js,而获取到js后,执行js还会触发很多http请求,css同理;从而获取到一些数据。浏览器和服务器之间往往会经历反复多次的拉扯

       我们打开一个bilbli网站,fiddler里面会抓取到很多包,而会有蓝色的显示,它表示返回的是一个html,往往是访问一个网站的入口请求,双击它就能看到明细,如图:

       RAW选项是原始数据(http的原始数据),如图:

       上面一部分是请求的明细,下面这部分是响应的明细。

       我们可以用记事本的方式看看请求和响应的内容(这里有个选项,点中就可以以记事本的方式查看),如图:

请求的内容:

       可以看到,http协议确实是文本的格式

响应的内容:

       但是这里查看的响应,为什么有乱码,乱码也就意味着不是文本的格式。原因很简单:当前的响应数据被压缩了,我们知道,网络传输中,网络带宽是很珍贵的资源,比CPU还贵为了节省带宽,就可以把它进行压缩(一般压缩响应,请求不太需要),而压缩和解压缩都是要消耗CPU资源的,虽然CPU资源贵,但是网络带宽更贵,我们用CPU资源换网络带宽资源,是不亏的

       那我们想看返回响应的数据咋办,这时候可以点这个,叫解压缩

       再用记事本的方式打开,就可以看到不是乱码的了,如图:

       而这里响应的数据,其实就是网站的网页 html


三、HTTP 报文格式


       http是一个文本格式的协议,可以通过fiddler抓包工具,获得http的请求 / 响应的细节,以下是http抓包的请求和响应的细节。

1、http的请求

       http的请求包含4个部分1、首行;2、请求头(header);3、空行(请求头最下面会有一个空行,这个空行可以表示结束标记);4、正文(body),http的载荷部分。

       如图:

       其中,首行还包含三个部分,如图:

       第一部分是方法,第二部分是url,第三部分是版本号。

2、http的响应

       http的响应也是分为四部分的,如图:

       其中,响应的正文也有三部分,如图:

       第一部分是版本号;第二部分是状态码;第三部分是状态码描述。


四、认识URL


       URL不仅仅在http中使用,在学JDBC的时候,也用过URL,如图:

       URL描述的是一个网络上的资源位置,是唯一资源定位符还有一个和URL的概念很接近:URI,但它是唯一资源标识符它们两都是描述一个网络上的资源位置,有啥不同呢?举个例子:我们标识变量的身份,怎么知道这个变量是什么呢?在C语言是用变量的地址,而在Java中是使用变量的hashCode。它们的就类似这种情况

       以下就是一个最简单的URL,这是搜狗搜索的网站,如图:

       而一个完整的URL,还有很多其他的结构,如图:

(1)协议方案名

       就是协议名,http协议

(2)登录信息(认证)

       也就是你登录的密码写在这里不太好,因为可以从url,就可以看到你密码了,很容易被黑客入侵拿到登录网站的密码,甚至你旁边有人,也能看到密码,现在都是 “单独的登录页面” 来完成身份验证的。

(3)服务器地址

       就是域名,可以通过域名拿到服务器的IP地址

(4)服务器的端口号

       通过端口号才能知道你要访问服务器的哪个端口如果url不带端口,则会给一个默认访问的端口(服务器的端口,不是系统随机分配的),此处用啥端口作为默认值取决于协议,http的默认端口是80https的默认端口的443

(5)带层次的文件路径

       我们知道,网络上的资源位置,可以通过IP地址知道它在哪,通过端口知道它是哪个程序,但还不够,还要通过文件路径,知道要访问哪个资源这里可能对应一个真实的硬盘文件,也可能是对应虚拟的文件

(6)查询字符串(query string)

       客户端给服务器传递信息的重要途径,这里的组织方式是按照键值对的方式来组织的。这里的键值对内容是程序员自定义的。结合上面的IP地址、端口号、路径、查询字符串,就可以描述出一个网络资源了,类似下图:

       片段标识符用来标识当前页面的某个部分用不同的片段标识表示可以完成页面内跳转


五、关于URL encode


       query string 里定义的键值对,在 URL 中,有些特殊符号本身就具有特定的含义如:/  ?  @ 等等那如果query string 里面本身就包含特殊的符号,咋办?这时候就需要用到转义,对这些特殊符号进行转义,如C++,在必应上搜索C++,如图:

       而 “+” 的ASCII值就是2B,如图:

       如果是中文呢,也要进行转义,因为在中文的utf8或者gbk等编码中,就可能某个字节恰好有和ASCII码的符号一样的;在必应上搜索蛋糕,如图:

       可以看到,这里并没有转义啊,那我们选中url,复制进画图板中,如图:

       变成了:%E8%9B%8B%E7%B3%95这个也是和上面的 + 一样,基于汉字的编码,把每个字节都转成16进制来表示,并且加上%,我们去utf8码表里面查一下,如图:

       这里的URL encode 编码非常重要,在实际开发中,要构造一个URL,尤其是query string里包含中文的,一定要进行转义、编码,不然很可能会导致,因为有中文,某些网页跳转不了,进不去你要进的网页

相关文章
|
4天前
|
网络协议 网络安全 数据安全/隐私保护
HTTPS与HTTP的一些区别
HTTPS与HTTP的一些区别
|
5天前
|
JSON 网络协议 数据格式
网络协议基础:HTTP请求与响应详解
【7月更文挑战第11天】HTTP协议作为Web通信的核心,其请求与响应机制是理解网络通信的关键。本文详细介绍了HTTP请求与响应的格式、过程以及常用的请求方法,帮助读者更好地理解HTTP协议的工作原理和应用场景。在实际应用中,HTTP协议的可定制性和灵活性使其能够适应多种
|
13天前
|
安全 网络协议 Java
Java中的网络通信:HTTP详解
Java中的网络通信:HTTP详解
|
3天前
|
网络协议 安全 Python
我们将使用Python的内置库`http.server`来创建一个简单的Web服务器。虽然这个示例相对简单,但我们可以围绕它展开许多讨论,包括HTTP协议、网络编程、异常处理、多线程等。
我们将使用Python的内置库`http.server`来创建一个简单的Web服务器。虽然这个示例相对简单,但我们可以围绕它展开许多讨论,包括HTTP协议、网络编程、异常处理、多线程等。
7 0
若依修改,http和https的两种写法,部署成功的两种写法
若依修改,http和https的两种写法,部署成功的两种写法
|
11天前
|
数据安全/隐私保护
https【详解】与http的区别,对称加密,非对称加密,证书,解析流程图
https【详解】与http的区别,对称加密,非对称加密,证书,解析流程图
9 0
|
13天前
|
安全 网络协议 网络安全
计算机网络之HTTP和HTTPS的区别(文末送书福利)
计算机网络之HTTP和HTTPS的区别(文末送书福利)
|
19天前
|
安全 网络协议 网络安全
IP代理的三大协议:HTTP、HTTPS与SOCKS5的区别
**HTTP代理**适用于基本网页浏览,简单但不安全;**HTTPS代理**提供加密,适合保护隐私;**SOCKS5代理**灵活强大,支持TCP/UDP及认证,适用于绕过限制。选择代理协议应考虑安全、效率及匿名需求。
|
4天前
|
存储 安全 搜索推荐
HTTPS协议深度解析
【7月更文挑战第12天】HTTPS协议通过加密通信和身份验证机制,为数据传输提供了强有力的安全保障。在现代互联网环境中,HTTPS已成为保障网站和用户数据安全的重要手段。了解HTTPS的工作原理和安全性特性,有助于更好地应用和维护HTTPS,提升网络安全水平。
|
13天前
|
安全 算法 网络协议
HTTPS协议的详细讲解(四次握手)
HTTPS协议的详细讲解(四次握手)