Httpclient核心架构设计

本文涉及的产品
全局流量管理 GTM,标准版 1个月
云解析 DNS,旗舰版 1个月
云解析DNS,个人版 1个月
简介: 大概两周前,团队需要对httpclient进行调优,领到任务后,大致研究了源码很快就确定了调优方向。但是对于一个重度强迫症患者,对一件事情的理解就只有两种程度,完全懂或者完全不懂,于是悲催的开始httpclient整体架构的探索之路,每天晚上回家抽点边角料的时间写,之前的理解建立在一个宏观基础上,对整体有个把握,写的过程中细节不断丰富细节,理解开始变得立体起来。背景知识 Http简介 通常,我

大概两周前,团队需要对httpclient进行调优,领到任务后,大致研究了源码很快就确定了调优方向。但是对于一个重度强迫症患者,对一件事情的理解就只有两种程度,完全懂或者完全不懂,于是悲催的开始httpclient整体架构的探索之路,每天晚上回家抽点边角料的时间写,之前的理解建立在一个宏观基础上,对整体有个把握,写的过程中细节不断丰富细节,理解开始变得立体起来。

背景知识

Http简介

通常,我们使用IE或者safari来访问互联网上的内容,只需要输入资源地址,浏览器便会呈现给你想要的内容。这一切的背后,都是迄今为止在计算机领域最成功的协议–http协议。

Http协议分为请求和响应,客户端建立连接,接着发送请求,服务端接受并处理请求,再发送应答,再由客户端接受并处理应答。浏览器是最最常见的一种客户端,它将用户的交互行为作为http请求发送,并接受服务端的应答,再将应答内容展示,一般应答都是html类型的超文本。

浏览器显然不是唯一的客户端,理论上任何遵循了http规范都可作为客户端。在程序里也可以通过Java api实现简单的客户端–使用HttpURLConnection发送http请求,并解析应答。假设应答是个html或者json,则只需要基于双方约定的格式进行解析就能得到聚焦的结果。

Http, tcp/ip和socket区别

Tcp/ip是传输层协议,而http则是建立在它之上的上层应用协议。Http主要解决的是数据规范层面的事情,而tcp/ip主要解决的则是数据传输层面的事情。如果没有规范的应用协议,数据能从网络里的A节点传到B节点,但却无法有效识别,建立在tcp/ip上的应用协议很多,像rpc,ftp等,反过来不管应用协议有多强大最终都需要依靠传输层协议进行数据传输。 
Socket则是tcp/ip的一个编程实现,在程序里http请求(连接)最终一定需要绑定到一个具体的socket连接进行上行和下行传输。

整体架构

对于简单应用,HttpURLConnection完全可以满足。但是对于1)系统复杂度高,2)性能要求高,3)可靠性要求也高的应用,则需要一个更强大的组件。

Httpclient架构
Httpclient将对接的服务器或者集群(相同域名)称为route,并为每个route建立若干连接池化在连接池里。Client通过tcp/ip协议发送请求以及接受应答,在发送请求前和接收应答后都会经由interceptor进行链式处理,在httpclient里这些interceptor被称为HttpProcessor,负责处理诸如设置报文头,报文体,编码格式等以及解析报文头,报文体,解码格式等http规范报文格式范畴内的事情。

HttpClient静态结构

静态结构 
- HttpClient通过建造者构建出来,用户可以通过建造者暴露出来的参数属性方法来组织最终生成的产品属性。HttpClients是个工厂类,用于生产HttpClient,同时也提供custom方法返回builder,由使用者组织client属性。 
- HttpClient主要由5个组件组成,分别是: 
1. Closeable: 代表需要关闭的组件,client服务关闭时会回调注册的所有Closeable组件依次关闭。用户可以通过HttpClientBuilder#addCloseable添加自定义关闭组件。HttpClient内部利用Closeable关闭IdleConnectionEvictor以及HttpClientConnectionManager 
2. IdleConnectionEvictor: 用来关闭闲置连接,它会启动一个守护线程进行清理工作。用户可以通过builder#evictIdleConnections开启该组件,并通过builder#setmaxIdleTime设置最大空闲时间。 
3. HttpClientConnectionManager管理着连接的整个生命周期。连接在连接池中创建、复用以及移除。 
连接状态 
connection被创建出来后处于闲置状态,由连接池管理,被lease后会校验是否是open状态,不是的话会进行connect,connect的过程就是将http请求(连接)绑定到socket的过程。同时连接也会因为心跳或者过期等原因被close变成stale状态,直至被下一次get到时或者连接满时被清理出去。

同时连接池还能对连接进行限流–全局和单route连接数。Connection manager封装了对连接池的具体操作,比如向连接池租用和归还连接;还提供了基于不同schema(主要是http和https)创建不同的socket连接(ssl和plain)并且将http请求(连接)绑定到socket的能力,等等。 
4. HttpRoutePlanner用来创建HttpRoute。后者代表客户端request的对端服务器,主要包含rout的host以及proxy信息。 
5. ClientExecChain代表一次完整的调用执行过程,它是一个包装类,类似于java io类,每个包装类完成一个特定的功能,多层嵌套完成一个系统性的功能,比如处理协议范畴的例如cookie、报文解析等,又比如处理自动重试的,等等。

连接池

CPool静态结构

  • CPool里的连接分为三种–available, leased和pending,分别对应空闲,占用和堵塞三种状态,连接池为这三种状态建立三个列表(List/Set)。对连接数的管理则有两个维度,分别是全局最大数和单route最大数。全局连接和单route连接都对应三种状态列表,CPool内部维护了route和RouteSpecificPool的映射,通过后者对单route连接进行管理,并且严格保证一个route只会对应一个route pool。操作(租用,释放,阻塞或者移除等等)连接时CPool首先会依据route信息取出route pool,对其上维护的连接进行操作,之后再对CPool上的相应连接操作。RouteSpecificPool是个friend的abstract类,也就是说它是CPool隐藏起来的实现细节,对外只暴露CPool的行为甚至用户都可以不理会CPool只关心connection mananger。

  • 连接池对外透出的是PoolEntryFuture,后者的get方法能够获取一个闲置连接,或者进入堵塞等待。  
    requestConn交互
    连接池的连接连同route信息一起被包含在PoolEntry里返回给消费者,除此之外,PoolEntry还包含了连接的失效时间等等,超过失效时间会在下一次被get到时close。

  • CPool还有流控功能,get请求在没有空闲连接但连接数没达到阈值时通过连接池创建连接并池化放入available或者leased。leased连接数达到阈值时对请求进行堵塞–PoolEntryFuture#await,并且将PoolEntryFuture放入pending。其他请求释放连接时会唤醒堵塞请求,被唤醒的请求获取到连接后会被从pending列表中移除。 
    连接池交互
    超过任何一个最大数阈值后CPool首先都会进行收缩,超过单route最大数,则收缩单route连接,超过全局最大数,则收缩全局连接。收缩的过程只会关闭空闲连接,直至连接数等于阈值-1。

执行链

执行链静态结构

  • MainClientExec是真正执行客户端请求的,它位于包装类的最里层,它通过连接管理器向CPool requestConnection,绑定http请求到socket,通过request executor发送请求,并且还能基于keep-alive策略处理连接的复用等等。

  • ProtocolExec通过一系列的HttpProcessor处理链对Http消息按格式编码以及解码。每一个processor处理一个范畴的事情,比如处理header,content以及cookie等等。

  • RetryExec,对io某些特殊情形的io异常进行重连,保证可用性。

  • RedirectExec,处理301,302,303和307的情况,即move和redirect。

  • BackoffStrategyExec对出现连接或者响应超时异常的route进行降级,缩小该route上连接数,能使得服务质量更好的route能得到更多的连接。降级的速度可以通过因子设置,默认是每次降级减少一半的连接数,即降级因子是0.5。

最后注意一点,以上的这些exec只有MainClientExec和ProtocolExec是默认开启的,其他的都需要通过HttpClientBuilder设置参数开启,具体可以参考文档或者源码。

调优方向

了解了架构原理后,就可以着手在3个方向进行调优: 
1. 连接数,通过设立全局最大连接数和单route连接数,增加吞吐能力。用户可通过HttpClientBuilder#maxConnTotal和#maxConnPerRoute分别设置。 
2. 获取连接的超时时间,调小超时时间能够有效提高响应速度并且降低积压请求量,但相应的也会增加请求失败的几率。用户可以通过RequestConfig的connectionRequestTimeout进行设置。 
3. 建立连接和route响应的超时时间,调小能够有效的降低bad request对连接的占用,留给质量更好的请求,有效提高系统提高吞吐能力及响应速度。否则有可能在峰值期被慢请求占满连接池,导致系统瘫痪。两者分别可通过RequestConfig#connectionTimeout和socketTimeout进行设置。 
4. 开启BackoffStrategyExec,对状况差的route进行降级处理,将连接让给其他route。

目录
相关文章
|
网络协议
Httpclient核心架构设计
背景知识 Http简介 通常,我们使用IE或者safari来访问互联网上的内容,只需要输入资源地址,浏览器便会呈现给你想要的内容。这一切的背后,都是迄今为止在计算机领域最成功的协议–http协议。 Http协议分为请求和响应,客户端建立连接,接着发送请求,服务端接受并处理请求,再发送应答,再由客户端接受并处理应答。浏览器是最最常见的一种客户端,它将用户的交互行为作为
4257 0
|
13小时前
|
负载均衡 安全 API
探索微服务架构中的API网关模式
在微服务架构的海洋中,API网关犹如一座灯塔,为迷失方向的请求指引道路。本文将深入探讨API网关的设计哲学、核心功能及其在系统架构中的关键作用。我们将从流量控制、安全防护到服务聚合等多个维度剖析API网关的重要性,并结合实例分析其在实际项目中的运用。
|
14小时前
|
消息中间件 运维 API
探索后端开发中的微服务架构实践
本文将深入探讨微服务架构在后端开发中的应用,包括其设计原则、优势与挑战。通过对具体案例的分析,我们将了解如何在实际项目中有效实施微服务,以及如何克服实施过程中的常见问题。文章旨在为后端开发人员提供一套微服务架构的实践指南,帮助他们构建更加灵活、可扩展的系统。
8 1
|
21小时前
|
Kubernetes API 开发者
探索现代后端开发中的微服务架构
【7月更文挑战第17天】本文深入探讨了微服务架构在现代后端开发中的应用,分析了其设计原则、优势以及面临的挑战。通过具体实例,展示了如何有效实施微服务架构,并讨论了相关技术栈的选择。文章旨在为后端开发者提供微服务实施的指导和最佳实践。
|
1天前
|
消息中间件 负载均衡 网络协议
探索微服务架构中的服务通信模式
【7月更文挑战第16天】在微服务架构的海洋中,服务间的通信宛如细丝相连,维系着整个系统的协同与和谐。本文将深入探讨微服务之间如何通过同步与异步通信模式进行交互,并剖析这些模式背后的技术原理及其对系统性能和可扩展性的影响。我们将从理论到实践,一探究竟。
15 6
|
1天前
|
缓存 负载均衡 监控
探索微服务架构中的API网关模式
【7月更文挑战第16天】在微服务架构的复杂网络中,API网关扮演着交通枢纽的角色,它不仅简化了客户端与众多微服务间的交互,还提升了整个系统的可扩展性与安全性。本文将深入探讨API网关的核心概念、设计模式以及在实际应用中的考量因素,为开发者提供实现高效、稳定微服务系统的实用指南。
14 4
|
1天前
|
测试技术 调度 微服务
微服务架构下的两类测试
【7月更文挑战第16天】微服务架构下的两类测试:流量录制回放测试和仿真环境测试
|
2天前
|
消息中间件 API 开发者
探索后端开发中的微服务架构实践
本文将深入探讨微服务架构在后端开发中的应用,分析其优势与面临的挑战,并提供实践中的解决方案。通过具体的案例研究,我们旨在为开发者提供一套可行的微服务实施策略,以促进高效、可扩展的后端系统建设。
7 0
|
2天前
|
监控 Cloud Native 安全
云原生架构下的微服务治理实践
在数字化转型的浪潮中,云原生技术以其灵活性和可扩展性成为现代软件工程的基石。本文将深入探讨云原生架构下微服务治理的实践路径,从微服务的拆分、容器化部署、服务网格的应用到最终的监控与故障排除,提供一套全面的方法论。文章旨在为读者呈现一个清晰的云原生环境下,如何高效管理和维护微服务系统的全景图。
15 2
|
2天前
|
Kubernetes Cloud Native 持续交付
云原生架构的核心组成部分通常包括容器化(如Docker)、容器编排(如Kubernetes)、微服务架构、服务网格、持续集成/持续部署(CI/CD)、自动化运维(如Prometheus监控和Grafana可视化)等。
云原生架构的核心组成部分通常包括容器化(如Docker)、容器编排(如Kubernetes)、微服务架构、服务网格、持续集成/持续部署(CI/CD)、自动化运维(如Prometheus监控和Grafana可视化)等。
35 3