API网关帮后端服务做连接管理

本文涉及的产品
AI 网关免费试用,400元 Serverless
简介: 使用API网关来管理你的API的时候,由API网关来负责管理所有客户端的连接,后端服务器可以专心处理业务请求,节省了大量连接管理的开销。

当一个互联网产品业务量越来越大,她接入的客户端也会越来越多,不管客户端使用的是长连接还是短连接,对用户的连接管理必将成为一件耗资源且复杂的事情。特别对于使用HTTP短连接进行数据交互的业务,在HTTP连接维护上面,需要花费比较大的开销。

让我们来看看使用HTTP短连接来完成一次数据交互的全过程。

众所周知,HTTP是基于TCP的协议,而使用TCP进行通信前,首先需要通信双方建立TCP连接。我们来看看客户端是如何和服务器端建立连接的:

  1. 请求新的TCP连接时,客户端需要向服务器发送一个小的TCP报文(通常是40-60字节), 这个报文设置了一个特殊的SYN标记。说明这是一个连接请求;
  2. 如果服务器接受了连接,就会对一些连接参数进行计算,并向客户端回送一个TCP报文,这个报文的SYN和ACK标记都被置位。ACK标记被置位是告诉客户端,服务器端已经收到你的连接请求了,SYN标记被置位是服务器告诉客户端,服务器端的连接已经建立;
  3. 最后, 客户端收到刚才的SYN和ACK报文后,向服务器会送一条TCP报文,这个报文的ACK标记都被置位。这个报文是通知服务器端,客户端知道服务器的连接建立好了。

三步完成后,此连接已成功建立, 客户端和服务器端都可以在此连接上发送数据了,这三步就是江湖上经常说道的TCP三次握手的过程,下面我们用一张图来更清晰地描述下这个过程:

三次握手建立连接

连接建立后,客户端在这条连接上发送请求数据,服务器端收到请求后,将请求交给业务线程处理,业务线程在处理完成业务后,将应答数据写入连接。客户端接收到应答数据,将应答数据处理后显示给客户端使用者。此时客户端由于客户端使用的是短连接通信策略,并且数据交互过程已经完成,客户端会主动去关闭这条连接,这个关闭的过程也比较复杂,比建立连接的三步还多一步:

  1. 客户端需要向服务器发送一个标记为FIN的报文,告诉服务器我要关闭这条连接了;
  2. 服务器收到客户端发送的标记为FIN的报文后,给客户端发送一个标记为ACK的报文,告诉客户端我知道你想关闭这条连接了;此时服务器如果还有未发送完的应答数据,也会继续在这条连接上将数据传输完毕;
  3. 服务器端发现自己也没有数据发送给客户端了,这时服务器会给客户端发送一条标记为FIN的报文,告诉客户端,我也准备好关闭这条连接了;
  4. 客户端收到服务器端发送过来的FIN报文后,立即给服务器端发送一个针对这条FIN报文的ACK报文,告诉服务器端,我收到了,你安心释放这条连接的资源吧。服务器收到最后的ACK报文后,将这条连接的资源释放掉。此时客户端在发送完ACK报文后会处于TIME_WAIT状态一段时间,然后再释放这条连接。

让我们用一张简要的图来描述下这个过程:

关闭TCP连接

有时候服务器端会主动发起FIN报文,流程和客户端发起的一样,这块就不继续描述了。

从以上的描述中,我们已经可以了解到,客户端和服务器端处理连接的建立和释放这个过程是非常耗时间和资源的。目前很多APP的业务还都是使用HTTP短连接来完成数据通讯的,这样每完成一次业务通信,就需要完成一次建立连接和关闭连接的过程。使用HTTP短连接做数据通讯,每一次连接的建立和关闭具体会消耗服务器多少时间呢,我们可以通过抓包来量化这个过程。

下面是我抓的一个典型的短连接数据的网络包,客户端向服务器发起请求一个HTTP请求获取一个静态页面,服务器端读取本地页面文件后给客户端返回。

短连接HTTP请求抓包

从这个图中我们可以看到,前三个包是TCP三次握手建立连接的过程,一共花费了服务器22毫秒的样子,中间三个报文是接收HTTP请求和返回应答的报文,一共花费了服务器180毫秒,最后四个报文是关闭连接的报文,花费了服务器60毫秒左右。也就是说服务器在连接的建立与关闭,一共花费了82毫秒的CPU时间,而真实的业务处理花费了180毫秒,连接管理的开销达到了业务开销的45%。这个业务请求是有磁盘IO的,如果业务的操作在内存可以完成,那么连接管理的开销可能达到业务开销的100%。

如果你的业务服务器部署在阿里云API网关的后面,由阿里云API网关负责管理所有客户端的连接,阿里云API网与后端业务服务器之间使用长连接进行通信。由于长连接通信不需要频繁的建立、释放TCP连接,那么后端的业务服务器完全不用在连接管理上面有额外开销,所有的CPU资源都可以花销在业务处理上。我们来看一下这块的架构图:

架构图

结论:

使用API网关来管理你的API的时候,由API网关来负责管理所有客户端的连接,后端服务器可以专心处理业务请求,节省了大量连接管理的开销。

需要注意的一点是,后端服务器的HTTP容器必须配置成支持HTTP长连接才能享受到使用API网关带来福利。

目录
相关文章
|
弹性计算 监控 负载均衡
|
9月前
|
运维 Prometheus 监控
云原生 API 网关 x OKG:游戏连接治理的「最后一公里」
本文介绍了云原生技术在游戏连接治理中的应用,重点探讨了如何通过 OpenKruiseGame(OKG)与云原生 API 网关的结合,实现游戏服务的优雅下线与无感配置变更。文章分析了游戏服务的强状态特性所带来的挑战,并提出了基于状态感知与连接管理的解决方案,保障玩家会话的连续性与体验的稳定性。同时,还介绍了如何通过零改造接入、全栈可观测性与简化的 API 治理,缩短游戏服务云原生化的“最后一公里”。
386 5
|
9月前
|
运维 Prometheus 监控
API 网关 x OKG:游戏连接治理的「最后一公里」
本文介绍了 API 网关与 OpenKruiseGame(OKG)结合,在云原生游戏场景中实现连接治理“最后一公里”的解决方案。针对游戏服务的有状态特性,该方案通过精细化流量管理和无感变更能力,保障玩家会话连续性,提升运维效率,助力游戏服务实现优雅下线、配置动态更新等功能,同时提供零改造接入和全栈可观测性,显著优化游戏体验与开发运维流程。
385 0
|
Web App开发 JavaScript 前端开发
构建高效后端服务:Node.js与Express框架的实战指南
【9月更文挑战第6天】在数字化时代的潮流中,后端开发作为支撑现代Web和移动应用的核心,其重要性不言而喻。本文将深入浅出地介绍如何使用Node.js及其流行的框架Express来搭建一个高效、可扩展的后端服务。通过具体的代码示例和实践技巧,我们将探索如何利用这两个强大的工具提升开发效率和应用性能。无论你是后端开发的新手还是希望提高现有项目质量的老手,这篇文章都将为你提供有价值的见解和指导。
|
JavaScript 前端开发 中间件
构建高效后端服务:Node.js与Express框架的完美搭档
【8月更文挑战第28天】在追求高性能、可扩展和易维护的后端开发领域,Node.js和Express框架的组合提供了一种轻量级且灵活的解决方案。本文将深入探讨如何利用这一组合打造高效的后端服务,并通过实际代码示例展示其实现过程。
|
前端开发 Java 数据库连接
Java后端开发-使用springboot进行Mybatis连接数据库步骤
本文介绍了使用Java和IDEA进行数据库操作的详细步骤,涵盖从数据库准备到测试类编写及运行的全过程。主要内容包括: 1. **数据库准备**:创建数据库和表。 2. **查询数据库**:验证数据库是否可用。 3. **IDEA代码配置**:构建实体类并配置数据库连接。 4. **测试类编写**:编写并运行测试类以确保一切正常。
715 2
|
前端开发 Java
学习SpringMVC,建立连接,请求,响应 SpringBoot初学,如何前后端交互(后端版)?最简单的能通过网址访问的后端服务器代码举例
文章介绍了如何使用SpringBoot创建简单的后端服务器来处理HTTP请求,包括建立连接、编写Controller处理请求,并返回响应给前端或网址。
504 0
学习SpringMVC,建立连接,请求,响应 SpringBoot初学,如何前后端交互(后端版)?最简单的能通过网址访问的后端服务器代码举例
|
存储 SQL 缓存
深入浅出:构建高效后端服务的五大原则
在数字化浪潮中,后端服务作为技术架构的核心,承载着数据处理和业务逻辑的重要任务。本文将深入探讨如何构建一个高效、稳定且可扩展的后端服务,从五个关键原则出发,带领读者一步步理解并实践这些原则,以确保后端系统能够灵活应对各种挑战。
|
JavaScript 安全 API
构建高效后端服务:RESTful API 设计与实现
【8月更文挑战第31天】在数字化时代,一个清晰、高效且安全的后端服务是应用程序成功的关键。本文将深入探讨如何设计并实现一个遵循REST原则的API,确保服务的可扩展性和维护性。我们将从基础概念出发,逐步引入真实代码示例,展示如何利用现代技术栈创建高性能的后端服务。无论你是初学者还是有经验的开发者,这篇文章都将为你提供新的视角和实用的技巧。
|
XML JSON API
打造高效后端服务:RESTful API 设计实践
【8月更文挑战第31天】在数字化浪潮中,后端服务是支撑起整个互联网生态的骨架。本文将带你深入理解RESTful API的设计哲学,通过具体案例学习如何构建清晰、灵活且高效的后端服务接口。我们将一起探索资源定位、接口约束以及状态传输的关键要素,并通过代码示例揭示最佳实践。无论你是初学者还是有经验的开发者,这篇文章都将为你提供宝贵的洞见和实用的技巧。