开发者社区> 程序员黄小斜> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

JavaWeb技术内幕一:深入web请求过程

简介: 版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/a724888/article/details/81409257 这位大侠,这是我的公众号:程序员江湖。
+关注继续查看
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/a724888/article/details/81409257

微信公众号【Java技术江湖】一位阿里 Java 工程师的技术小站。(关注公众号后回复”Java“即可领取 Java基础、进阶、项目和架构师等免费学习资料,更有数据库、分布式、微服务等热门技术学习视频,内容丰富,兼顾原理和实践,另外也将赠送作者原创的Java学习指南、Java程序员面试指南等干货资源)

wAAACH5BAEKAAAALAAAAAABAAEAAAICRAEAOw==

深入web请求过程

Web2.0时代到来,互联网架构从C/S升级到B/S架构

B/S架构的好处主要有两方面:

一是客户端统一采用浏览器,非常简单易用。

二是服务端基于统一的HTTP,与传统C/S架构采用自定义协议的方式不同,基于HTTP更加方便,降低成本。

B/S网络架构概述

前后端基于http协议进行交互,一次请求以后就可以断开,保证请求是无状态的,因为这样可以为更多用户同时提供服务,也不必担心状态存储的问题。

基本访问过程

1 用户在浏览器输入www.taobao.com这个url

2 它会请求DNS把这个域名解析成ip地址

3 然后根据这个IP找到对应主机,发送get请求。

4 服务器可能有多台,会进行负载均衡

5 数据可能存在缓存里,也可能是在数据库

6 当数据返回给浏览器时,解析数据可能发现还有一些静态资源,比如css和js,此时可能会再次发起http请求去CDN中请求这些数据,因为比起直接从服务器获取,从CDN访问静态资源要快得多。

不变应万变

1 URL是统一资源定位符。http服务通过url定位资源。

2 必须基于http协议进行前后端交互。

3 数据必须展示在浏览器,浏览器才知道怎么渲染页面。

如何发起一个请求

我们平时点一下链接其实就发起了一个请求了,但是这是浏览器帮你封装好的请求,实际上到底是怎么回事呢。如何不借助浏览器来发送http请求呢。

1 发起一个HTTP请求需要先建立socket连接。

只不过要求输入流和输出流的二进制数据格式要符合HTTP协议。

2 浏览器在建立socket连接之前,先用把url通过dns解析出ip地址,然后根据ip地址和默认的80端口建立起socket连接。

3 然后根据这个url(http请求头里有url,没有ip)组装成一个get类型的HTTP请求头(get请求没有请求体),然后通过输出流发送到目标服务器。浏览器收到输入流的读取结果后,就会断开连接。

4 不同浏览器对于这个socket连接有不同的处理方式。既然浏览器可以发送http请求,那么不通过浏览器是否也能自己实现http请求发送呢。

5 因为http请求本质上就是socket通信,所以我们基于socket进行请求发送,比如使用HttpClient,在Java环境中实现HTTP请求发送,它封装了实现细节。实际上我们也可以自己拼装http请求,只不过比较麻烦,而且要求你对HTTP协议非常熟悉。

6 除了HttpClient, Linux的curl命令也可以简单地发起HTTP请求。

HTTP解析

B/S架构的核心是HTTP,关键就在于理解HTTP协议。
其中最重要的就是HTTP header。
HTTP header控制着所有请求的传输,控制着用户浏览器的执行逻辑。比如渲染,状态码,缓存等等。

常见http请求头主要有

1 accept-encoding:接收编码内容
2 host:一般是url
3 connection:keep-alive保持连接,默认自动断开

常见响应头

1 server:服务器名称
2 content-type:实体正文的类型,比如text/html json等。
3 content-length:实体长度
4 keep-alive:保持连接的时间

常见状态码

1 200 请求成功
2 302 临时跳转
3 400 请求语法错误
4 403 服务器拒绝提供服务(可能是权限问题)
5 404 请求资源不存在
6 500 服务器内部错误

查看HTTP信息的工具

使用一些浏览器插件可以很好地查看请求内容和响应内容,比如firebug,自带调试工具等。

浏览器缓存机制

浏览器缓存是一个比较复杂的机制,在很多地方都可以做缓存。

1 首先在浏览器端,如果使用ctrl+f5刷新,则浏览器会直接发送请求,不会访问缓存。

2 其次,在应用服务器端,也可能会有缓存服务器,用户请求会先访问缓存服务器,所以为了不访问缓存,我们必须在http请求上做手脚。

3 使用ctrl+f5的组合键,实际上是组装了一个特别的http请求,其中请求头会增加两个字段,一个是pragma:no-cache,一个是cache-control:no-cahce。

4 cache-control/pragma字段要求整个http请求过程必须服从该指令,从而可以控制浏览器甚至服务端的缓存使用。

5 HTTP header有一些可选值,比如public,会让所有内容被缓存,是响应头的字段。
no-cache要求所有内容都不缓存,可以在请求头和响应头中设置。

6 cache-control的优先级很高,和expire这类字段同时出现时,会覆盖他们。pragma和这个类似。

7 expire表示缓存的过期时间,但是会被上述字段覆盖。

last-modified字段用于表示资源的最后修改时间,可以通过它来判断当前资源是否是最新的。这字段是响应头携带的,下次再请求该页面时,请求体会携带该字段,以便让服务器判断是否更新了这个资源,如果没有更新直接返回304即可,表示资源已是最新。

DNS域名解析

DNS解析过程

输入www.abc.com

1 浏览器检查缓存中是否有解析过该url,有的话结束解析。(可以设置缓存时间)

2 如果浏览器没有,则让操作系统在本地缓存中查找,这个过程是查找hosts文件。如果有的话,则直接返回即可。

有的黑客利用这个特点修改你的hosts文件来劫持域名。

3 如果在本机无法解析,则需要求助DNS服务器,本地局域网内一般会有一个DNS服务器,不会很远。

这个本地dns服务器也叫ldns,同样会缓存解析结果,可以处理80%的域名解析。

4 如果ldns没有命中,则需要到root server请求解析了。

5 rootserver是最高级的域名服务器,它会返回给我们一个主域名服务器的地址,主域名服务器一半对应.com,.cn,.org等。全球只有13台左右。

6 ldns请求主域名服务器解析域名

7 主域名服务器返回一个name server域名服务器,该服务器通常就是我们注册的域名服务器,比如我们注册了sina的微博,有一个带有sina的域名,这个域名解析就由sina域名提供商进行解析。

8 nameserver解析出url和ip的映射关系,然后返回ip和过期时间ttl。

9 ldns得到url和ip以后,会缓存这个解析结果,缓存时间就是
ttl。

10 把解析的结果返回给用户,缓存在本地系统中。

跟踪域名解析过程

linux和Windows都可以用nslookup来查询域名解析的结果

linux还可以用dig来查询dns的解析过程

清除缓存的域名

1 LDNS的缓存我们没办法请求,但是可以清除本机的缓存

2 Windows可以使用ipconfig/flushdns来刷新缓存

linux可以通过nscd restart来清除缓存

3 事实上JVM也会缓存DNS解析结果,是在InetAddress类中完成的。

这里要强调一点,如果要用InetAddress解析域名,必须使用单例模式,否则每次都会重新创建实例并且重新解析,非常耗时。

几种域名解析方式

域名解析主要分为A记录,MX记录,CNAME记录以及NS记录和TXT记录等。

1 A记录用来之定义域名对应的ip地址,可把多个域名解析到一个ip,但是不能把一个域名解析到多个ip

2 MX记录用于邮件服务器,略

3 CNAME记录全称是别名解析,可以把一个域名解析成多个别名,比如www.taobao.com别名设置为www.hellotb.com。

4 NS记录,为某个域名指定DNS服务器

5 TXT记录,为某个主机名或者域名设置说明,比如h2p.com设置TXT位“黄蓬龙的博客”

CDN工作机制

CDN就是内容分布网络,是一种先进的流量分布网络,为用户提供最近距离节点的快速响应服务。有别于镜像,CDN可以说是镜像+缓存+整体负载均衡的结合物。

CDN目前主要用于缓存静态数据为主,比如CSS,JS,图片等资源。http请求先响应动态结果,再来访问这些静态资源,速度飞快。

CDN架构

由于DNS请求最终会落到域名对应的服务器上,比如taobao.com最终会落在淘宝的dns服务器上,此时淘宝dns会cname解析到另外一个域名,一般会指向CDN的DNS负载均衡服务器,由该dns决定访问哪一个CDN节点,一般是离用户最近的。

负载均衡

负载均衡可以避免单点失效。解决网络拥堵。通常有三种负载均衡架构。同时一般分为软件负载均衡和硬件负载均衡。

1 链路负载均衡

2 集群负载均衡

3 操作系统负载均衡

CDN动态加速

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
SpringBoot学习---Web开发(静态资源处理,首页和图标)
SpringBoot学习---Web开发(静态资源处理,首页和图标)
214 0
VScode插件推荐(web开发)
VScode插件推荐(web开发)
135 0
【HTML入门】从网页搭建开始学习Java Web开发
今天开始总结学习Java Web,而学习Java Web我们应该先学习一些网页搭建基础的东西,今天我们就先从HTML开始。
105 0
【SpringBoot 2】(六)配置文件 web开发相关(二)
【SpringBoot 2】(六)配置文件 web开发相关(二)
65 0
【SpringBoot 2】(六)配置文件 web开发相关(一)
【SpringBoot 2】(六)配置文件 web开发相关(一)
29 0
【学习笔记】【Idea】开发WEB程序
【学习笔记】【Idea】开发WEB程序
43 0
面试官问我Python日历模块,我直接用Flask开发Web版日历应用给他
面试官问我Python日历模块,我直接用Flask开发Web版日历应用给他
42 0
推荐这几个流程图设计器web开发方案
前沿:一个流程图设计器需要什么?一个是图的绘制能力、基于svg或者canvas来绘制各种形状的节点(矩形、圆形、多边形)以及线,一个是图与图之间的交互包括拖拽,节点之间的连线等,最后是画布面板的便捷性,其中包括:比如ps中的网格功能、对其线、步骤回撤、画布的可伸缩、快捷按钮等等,那前端社区有啥开源解决方案,方便我们快速开发一个属于自己的流程图设计器?
404 0
艾伟_转载:VS 2010 和 .NET 4.0 系列之《代码优化的Web开发Profile》篇
本系列文章导航 VS 2010 和 .NET 4.0 系列之《ASP.NET 4 中的SEO改进 》篇 VS 2010 和 .NET 4.0 系列之《干净的Web.Config文件 》篇 VS 2010 和 .
1089 0
艾伟_转载:ASP.NET开发中关于Web标准的几点建议
  Visual Studio.NET从2003到现在的2008,一路走来慢慢强大……从以前的vs2003能自动改乱你的html代码到现在在vs2008中都能直接对html代码进行w3c标准验证并提示了,非常不易。
791 0
+关注
程序员黄小斜
微信公众号【程序员黄小斜】作者是前蚂蚁金服Java工程师,专注分享Java后端技术干货和求职成长心得,不限于BAT面试,算法、数据库、分布式、spring全家桶、微服务、高并发、JVM、Docker容器,ELK、大数据等内容
文章
问答
文章排行榜
最热
最新
相关电子书
更多
Web应用系统性能优化
立即下载
WEB浏览器中即将发生的安全变化
立即下载
从Web到Cloud App——YunOS Web App 开发经验分享
立即下载