FGC频繁导致CPU 飙升定位及JVM配置优化总结

简介: FGC频繁导致CPU 飙升定位及JVM配置优化总结

本文为博主原创,未经允许不得转载:

目录:

  1. 定位消耗cpu 的服务进程和线程

  2. 定位FGC 的原因

  3. 定位jvm 参数是否导致FGC

  4. 调试最优解的 jvm 配置


  描述:项目中存在一个后台服务,该后台服务主要用来执行定时任务与kafka 中间件消息的消费。在压测环境上部署时,观察到 cpu 的使用率 异常,竟然达到了 600%, 所以记录下该问题的定位和解决过程,以帮助更多的伙伴。

1. 定位消耗cpu 的服务进程和线程

  使用top 命令查看 服务器的cpu使用情况

top

  获取 top 中cpu 占用率最高的进程的pid ,通过 top -H -P pid 获取该进程对应所有线程的使用情况

top -H -p pid

  通过上面命令得到使用cpu 最高的线程号 threadId ,将线程号通过命令转换为十六进制:

printf "%x\n" threadId

  通过以上命令获取到jvm中对应的 nid , 通过 jstack 查看该 threadId 线程的堆栈信息:

jstack -l pid| grep -10 nid

   通过以上命令判断该线程 执行任务的内容,从而推断导致cpu飙升的原因。

       项目中碰到导致cpu飙升的原因是 存在较多的 FGC 线程,从而怀疑 是 项目内部不断FGC 导致CPU飙升,从而监控项目的FGC 频率

2. 定位FGC 的原因

  通过 jstat 命令查看 FGC 的频率。

jstat  -gc   pid  3000

  发现 FGC 每隔三秒要进行9次左右的FGC垃圾回收。由于FGC 会导致STW (stop the world)现象,及服务不可用。

  需要定位 jvm 内存中的堆栈内容与线程。通过 Visualm 远程监控服务的jvm 性能,jvisualm 使用可参考这篇文章 (https://www.cnblogs.com/zjdxr-up/p/14916455.html),通过 jvisualm 查看服务当前存在的线程和堆内容。通过jvisualm 将堆内容与线程进行dump 之后,发现并未存在异常的内容。且 定时任务与kafka 都是开源的成熟框架,应该不会是导致频繁FGC 的主要原因。

  所以怀疑可能 服务的 jvm 参数配置存在问题,因为如果 jvm 参数设置不合理,当老年代的内存达到一定比例,则会进行FGC。下一步定位 jvm 的参数是否是主要原因。

3. 定位jvm 参数是否导致FGC

  由于我们的服务启动都会设置 最大堆内存和初始化堆内存等参数,所以需要调整 不同jvm 参数 时,服务内部的FGC 情况。

  以下为我们服务设置的 JVM 相关参数

-Xmn512m -Xms512m -Xmx2048m -XX:NewSize=512M -XX:MaxNewSize=512M -XX:-UseAdaptiveSizePlicy 
-XX:ParallelGCThreads=16 -XX:+UseConcMarkSweepGC -XX:+UseParNewGC -XX:MaxTenuringThreshold=15

  为了形成做对比,采取 java -jar 的方式启动服务,不手动设置jvm相关配置,使用 JVM 默认的配置,进行观察是否有变化。

  通过 java -jar 方式启动,使用默认配置之后,再采用 top 观察cpu 使用 与 jstat 观察 FGC 频率,发现 cpu 的使用率降了下来,恢复了正常状态。

4. 调试最优解的 jvm 配置

  获取java -jar 服务启动的进程, 再使用 jinfo 命令 查看JVM 默认的配置,并修改以上jvm 的配置。我们服务器内存均为 32G,默认最大堆内存为 服务器内存的四分之一,即最大堆内存为 8G 。其余参数可根据最大堆内存进行推算出来,通常初始化内存与最大堆内存使用相同的配置。整个堆大小=年轻代大小 + 年老代大小 + 持久代大小。持久代一般固定大小为64m,所以增大年轻代后,将会减小年老代大小。-Xmn 此值对系统性能影响较大,Sun官方推荐配置为整个堆的3/8。年轻代大小 为 3G; 修改后的 jvm 配置参数如下:

-Xmn3072m -Xms8192m -Xmx8192m -XX:NewSize=3072M -XX:MaxNewSize=3072M -XX:-UseAdaptiveSizePlicy 
-XX:ParallelGCThreads=16 -XX:+UseConcMarkSweepGC -XX:+UseParNewGC -XX:MaxTenuringThreshold=15

  补充:为了调试出相对比较好的jvm配置,将最大堆内存进行了多个配置对比,即从最大堆配置的值依次递增和递减 512M 之后,观察性能,发现默认配置依然最优解,所以才用默认配置作为服务启动的jvm配置

 

标签: JVM

目录
相关文章
|
8天前
|
存储 设计模式 监控
如何快速定位并优化CPU 与 JVM 内存性能瓶颈?
本文介绍了 Java 应用常见的 CPU & JVM 内存热点原因及优化思路。
|
4月前
线程CPU异常定位分析
【10月更文挑战第3天】 开发过程中会出现一些CPU异常升高的问题,想要定位到具体的位置就需要一系列的分析,记录一些分析手段。
102 0
|
6月前
|
Java 编译器 Linux
JVM/编译器/CPU,究竟谁是卧底?一个曾经困扰我一个月的 bug
任何复杂的系统都可能因为一个小小的疏漏而无法运转,本文记录了一个困扰作者一个月的 bug 最终拨云见日的过程。
|
15天前
|
SQL 监控 测试技术
一次压测引发的数据库CPU飙升...
一次压测过程中,当数据库的qps和tps都正常时,如果cpu利用率异常的高,应该如何排查?希望通过这篇文章,给你一些启发。
|
2月前
|
存储 缓存 监控
Docker容器性能调优的关键技巧,涵盖CPU、内存、网络及磁盘I/O的优化策略,结合实战案例,旨在帮助读者有效提升Docker容器的性能与稳定性。
本文介绍了Docker容器性能调优的关键技巧,涵盖CPU、内存、网络及磁盘I/O的优化策略,结合实战案例,旨在帮助读者有效提升Docker容器的性能与稳定性。
191 7
|
2月前
|
开发框架 .NET PHP
网站应用项目如何选择阿里云服务器实例规格+内存+CPU+带宽+操作系统等配置
对于使用阿里云服务器的搭建网站的用户来说,面对众多可选的实例规格和配置选项,我们应该如何做出最佳选择,以最大化业务效益并控制成本,成为大家比较关注的问题,如果实例、内存、CPU、带宽等配置选择不合适,可能会影响到自己业务在云服务器上的计算性能及后期运营状况,本文将详细解析企业在搭建网站应用项目时选购阿里云服务器应考虑的一些因素,以供参考。
|
4月前
|
存储 缓存 算法
CPU优化
【10月更文挑战第7天】
64 1
|
4月前
|
Java Android开发 开发者
【编程进阶知识】精细调控:掌握Eclipse JVM参数配置的艺术
本文详细介绍了如何在Eclipse中配置JVM参数,包括内存的初始和最大值设置。通过具体步骤和截图演示,帮助开发者掌握JVM参数的精细调控,以适应不同的开发和测试需求。
67 1
|
4月前
|
Java
Java面试题之cpu占用率100%,进行定位和解决
这篇文章介绍了如何定位和解决Java服务中CPU占用率过高的问题,包括使用top命令找到高CPU占用的进程和线程,以及使用jstack工具获取堆栈信息来确定问题代码位置的步骤。
211 0
Java面试题之cpu占用率100%,进行定位和解决
|
6月前
|
小程序 JavaScript Java
【Java】服务CPU占用率100%,教你用jstack排查定位
本文详细讲解如何使用jstack排查定位CPU高占用问题。首先介绍jstack的基本概念:它是诊断Java应用程序线程问题的工具,能生成线程堆栈快照,帮助找出程序中的瓶颈。接着,文章通过具体步骤演示如何使用`top`命令找到高CPU占用的Java进程及线程,再结合`jstack`命令获取堆栈信息并进行分析,最终定位问题代码。
550 1
【Java】服务CPU占用率100%,教你用jstack排查定位

相关实验场景

更多