你了解 SpringBoot 在一次 http 请求中耗费了多少内存吗?

本文涉及的产品
日志服务 SLS,月写入数据量 50GB 1个月
性能测试 PTS,5000VUM额度
简介: 在工作中常需进行全链路压测并优化JVM参数。通过实验可精确计算特定并发下所需的堆内存,并结合JVM新生代大小估算GC频率,进而优化系统。实验基于SpringBoot应用,利用JMeter模拟并发请求,分析GC日志得出:单次HTTP请求平均消耗约34KB堆内存。复杂环境下,如公司线上环境,单次RPC请求内存消耗可达0.5MB至1MB,揭示了高并发场景下的内存管理挑战。

在实际工作中,经常会需要进行在全链路压测,优化 GC参数,优化 JVM 内存分配。

当知道 1 次 RPC 请求和 Http 请求需要的堆内存大小后,你可以精确地计算:指定的并发量之下,系统需申请多少堆内存。同时结合 JVM 新生代堆大小,就能推算出 1 分钟发生多少次 GC,这个 GC频率是否过于频繁?从而针对性的优化。

我们希望 1 次 Rpc、Http 请求申请堆内存足够少,这样可减少 GC 导致的系统停顿,提高系统性能,单机可以支撑更高的并发量。

1次 Http 请求,申请多少堆内存?

1 次 RPC 请求,申请多少堆内存?

如果不亲自实验,无法得出结论。

1. 实验思路

关键动作
  1. 创建SpringBoot新应用(版本2.5.4)。
  2. 新增 Post 接口,供 JMeter 调用。
  3. JMeter(开源压测工具)新建测试计划。每个线程执行2000 次Http接口调用,共10 个线程,总调用 20000 次。
  4. SpringBoot 打印 GC 详细日志,记录GC 前后,新生代申请了多少内存。

Jmeter 调用 20000 次 Http 接口以后,通过手动 GC 的方式触发 GC,通过 GC 详细日志计算压测期间新生代堆内存增长量。(对象基本分配在新生代)

2. SpringBoot 声明 Http 接口

如下代码声明了一个 Post接口 create;创建了 Get 接口,用于触发GC。

@Slf4j
@RestController
public class TestController {
   private AtomicLong count = new AtomicLong(0);
   @ResponseBody
   @RequestMapping(value = "create", method = RequestMethod.POST)
   public String create(@RequestBody Order order) {
      //log.warn("收到提单请求 cnt{}:{}", count.getAndIncrement(), order);
      return "ok";
   }
   @ResponseBody
   @RequestMapping(value = "gc", method = RequestMethod.GET)
   public String gc() {
      System.gc();
      return "ok";
   }
}

3. JMeter 新建测试计划

3.1 新增线程组

新建线程组,选择 10 个线程,每个线程循环 2000次。

ae0eff6f45bb6344bffd92fbe2866b4.png

2bd20f79014a515697c6698be552561.png

3.2 新建 Http 默认值

feed7bb0681e2ea5f40ab5e6e976087.png

3.3 新建请求头

由于请求体是 JSON,所以新增请求头 Content-Type

cf78d594d4275c6bf87cc4b5a2561bd.png

3.4 新建 Http 请求

请求中指定 Url 和 请求体

dd9587765863fa076f7a07c75601c96.png

4. 实验过程

4.1 启动 SpringBoot应用

堆内存大小 4G,其中新生代内存 2G。SurivivorRadio=8,即每个 Surivivor 占比新生代 1/10。

指定GC日志位置:-Xloggc:/Users/testUser/log/gc.log

java -server 
 -Xmx4g -Xms4g -XX:SurvivorRatio=8 -Xmn2g
 -XX:MetaspaceSize=512m -XX:MaxMetaspaceSize=1g -XX:MaxDirectMemorySize=1g 
 -XX:+HeapDumpOnOutOfMemoryError -XX:+PrintGCCause -XX:+PrintGCDetails 
 -XX:+PrintGCTimeStamps -XX:+PrintGCDateStamps -XX:+PrintTenuringDistribution 
 -XX:+UnlockDiagnosticVMOptions -XX:ParGCCardsPerStrideChunk=32768 
 -XX:+PrintCommandLineFlags -XX:+UseConcMarkSweepGC -XX:+UseParNewGC 
 -XX:ParallelCMSThreads=6 -XX:+CMSClassUnloadingEnabled 
 -XX:+UseCMSCompactAtFullCollection -XX:+CMSParallelInitialMarkEnabled 
 -XX:+CMSParallelRemarkEnabled -XX:+CMSScavengeBeforeRemark -XX:+PrintHeapAtGC 
 -XX:CMSFullGCsBeforeCompaction=1 -XX:CMSInitiatingOccupancyFraction=70 
 -XX:+UseCMSInitiatingOccupancyOnly -XX:+PrintReferenceGC  
 -XX:+ParallelRefProcEnabled -XX:ReservedCodeCacheSize=256M 
 -Xloggc:/Users/testUser/log/gc.log
 -jar target/activiti-0.0.1-SNAPSHOT.jar

4.2 多次手动 GC

由于JVM 启动过程中,需要加载大量对象,所以我们在压测之前先手动 GC,清理一下存量对象。

curl http://localhost:8080/gc

4.3 Jmeter 启动压测

执行 JMeter压测计划,每次执行会调用 20000 次,

6d89695c75f22909dcf276ae3154472.png

4.4 GC 日志解读

GC 以后,新生代 Eden 区已使用内存为 0。GC 前 Eden区大小就是 20000 次 Http 调用所申请的内存总和!

da15237fdad2cf570cc4cc28812b739.png

5. 实验结果

SpringBoot 在处理 Http 请求时,即使请求体相对较小,平均每次 Http 调用仍会申请约 34 K 的堆内存。这一点显得尤为突出,因为请求体仅包含 50 个字符,远远未达到 1K 大小。

然而,每次 Http 请求所消耗的内存却依然高达 34K。这可能是由于在 SpringBoot 的内部处理流程中需要创建多个对象,这些对象的总内存占用显著高于请求体本身。

{"userId": 32898493, "productId":39043, "detail": ""}

在调整 Http 请求后,如将 detail 字段设置为 1200 个字符时,每次 Http 调用平均占用堆内存为 36K。两次实验结果间的差异为 2K,这与 1200 个字符占用的内存大小基本持平(需考虑一定的误差)。

这表明 SpringBoot 内部未进行多次请求体拷贝。

5.1 添加日志打印

log.warn("收到提单请求 cnt{}:{}", count.getAndIncrement(), order);

在打印请求日志后,单次 Http 请求的平均内存使用量达到了 56 KB,比之前增加了整整 20 KB。

然而,当我移除 detail 字段后,单次请求的内存使用骤降至 35.7 KB。

这表明,当日志量较小时,打印日志对内存占用的影响较小。但随着日志大小的增加,内存占用显著上升,这可能触发更频繁地GC,最终导致系统性能明显下降。

因此,建议各位严格控制单条日志的大小,以优化内存使用和系统性能。

60bbeed44de5fa37970f0140b50f42b.png

6. 真实的数据

根据以上实验结果可得出结论:单次 HTTP 请求消耗约34KB内存,这并不意味着所有SpringBoot应用的内存消耗都是如此。由于实验所用的代码相对简单,因此34KB可能是内存消耗的最小值。

举例来说,在我司的线上环境中,单次RPC请求的内存消耗在 0.5MB 到 1MB 之间,内存占用量相对较大。

这是因为复杂的基础架构、复杂的业务逻辑、复杂的流程、多次下游调用、多次SQL 调用、多次缓存调用、日志打印等等 均需要消耗大量的内存!

在此之前,我一直对新生代 Eden 区高达 5G 的情况下,仍每分钟进行 1-2 次 young GC 感到困惑。

经过粗略计算后发现,如果每次请求消耗 0.5M 内存,当单台服务器每秒并发度达到 500 次时,每分钟需要分配的内存高达 15G。因此,至少需要进行3次 young GC 才能满足需求。

相关实践学习
通过性能测试PTS对云服务器ECS进行规格选择与性能压测
本文为您介绍如何利用性能测试PTS对云服务器ECS进行规格选择与性能压测。
相关文章
|
5天前
|
JSON API 网络架构
HTTP常见的请求方法、响应状态码、接口规范介绍
本文详细介绍了HTTP常见的请求方法、响应状态码和接口规范。通过理解和掌握这些内容,开发者可以更好地设计和实现W
162 83
|
4月前
|
Java 数据库连接 测试技术
SpringBoot入门 - 添加内存数据库H2
SpringBoot入门 - 添加内存数据库H2
166 3
SpringBoot入门 - 添加内存数据库H2
|
12天前
|
API
掌握 HTTP 请求的艺术:理解 cURL GET 语法
掌握 cURL GET 请求的语法和使用方法是 Web 开发和测试中的基本技能。通过灵活运用 cURL 提供的各种选项,可以高效地与 API 进行交互、调试网络请求,并自动化日常任务。希望本文能帮助读者更好地理解和使用 cURL,提高工作效率和代码质量。
28 7
|
8天前
|
缓存 安全 数据处理
Objective-C开发:从HTTP请求到文件存储的实战
Objective-C开发:从HTTP请求到文件存储的实战
|
1月前
|
API 数据安全/隐私保护
Haskell中的HTTP请求:代理与响应状态检查
Haskell中的HTTP请求:代理与响应状态检查
|
2月前
|
Java 应用服务中间件 Spring
SpringBoot 响应请求是串行还是并行?
Spring Boot 在默认情况下通过 Servlet 容器的线程池实现并行处理 HTTP 请求。通过适当的线程池配置,可以进一步优化并发性能。此外,Spring Boot 提供了异步处理机制(如使用 `@Async` 注解)和反应式编程模型(Spring WebFlux),使得应用能够处理更高的并发负载。在具体项目中,可以根据需求选择合适的处理模型,以充分利用 Spring Boot 的并发处理能力。
66 21
|
3月前
|
JSON Java 数据格式
java操作http请求针对不同提交方式(application/json和application/x-www-form-urlencoded)
java操作http请求针对不同提交方式(application/json和application/x-www-form-urlencoded)
125 25
java操作http请求针对不同提交方式(application/json和application/x-www-form-urlencoded)
|
2月前
|
缓存 应用服务中间件 Apache
HTTP 范围Range请求
HTTP范围请求是一种强大的技术,允许客户端请求资源的部分内容,提高了传输效率和用户体验。通过正确配置服务器和实现范围请求,可以在视频流、断点续传下载等场景中发挥重要作用。希望本文提供的详细介绍和示例代码能帮助您更好地理解和应用这一技术。
129 19
|
3月前
|
JSON JavaScript 前端开发
什么是HTTP POST请求?初学者指南与示范
HTTP POST请求是一种常用的HTTP方法,主要用于向服务器发送数据。通过合理设置请求头和请求主体,可以实现数据的可靠传输。无论是在客户端使用JavaScript,还是在服务器端使用Node.js,理解和掌握POST请求的工作原理和应用场景,对于Web开发至关重要。
487 18
|
3月前
|
JSON 数据格式
.net HTTP请求类封装
`HttpRequestHelper` 是一个用于简化 HTTP 请求的辅助类,支持发送 GET 和 POST 请求。它使用 `HttpClient` 发起请求,并通过 `Newtonsoft.Json` 处理 JSON 数据。示例展示了如何使用该类发送请求并处理响应。注意事项包括:简单的错误处理、需安装 `Newtonsoft.Json` 依赖,以及建议重用 `HttpClient` 实例以优化性能。
101 2