JVM频繁GC内存溢出排查

简介: GC(Garbage collection)频繁和堆内存溢出原因简单来说是对象占用堆空间难以回收,新对象无法分配触发GC或者直接导致内存溢出,最终进程结束。

前言
GC(Garbage collection)频繁和堆内存溢出原因简单来说是对象占用堆空间难以回收,新对象无法分配触发GC或者直接导致内存溢出,最终进程结束。
排查思路是先查看进程各种类型对象占用空间大小和比例,锁定占用空间较多的对象后再分析相关的程序是否有使用不当的地方。下文的侧重点是通过多种方式查看堆内存分布。
例子程序
先编译(javac FrequentFullGCSample.java)例子程序,执行下面的指令来创建JVM进程。
指定-Xms2M -Xmx2M来限制堆内存大小为 2兆,作为例子程序够用了;为了方便演示我们再加上这两个选项:-XX:+PrintCommandLineFlags打印有变动的JVM选项值;-XX:+PrintGCDetails打印垃圾回收的详细信息。
java -Xms2M -Xmx2M -XX:+PrintCommandLineFlags -XX:+PrintGCDetails FrequentFullGCSample
复制代码
import java.util.LinkedList;
import java.util.Queue;
import java.util.concurrent.TimeUnit;

public class FrequentFullGCSample {

   private static final Queue QUEUE = new LinkedList<>();

   public static void main(String[] args) throws InterruptedException {
       while (true) {
           QUEUE.offer(new Object());
           TimeUnit.MILLISECONDS.sleep(3);
      }
  }
}
复制代码
从控制台日志可以看到首先输出了部分有变动的JVM选项值:初始堆(-XX:InitialHeapSize)和最大堆(-XX:MaxHeapSize)大小都为2097152字节(B),也就是2兆(M);使用了类指针压缩(-XX:+UseCompressedClassPointers)和对象指针压缩(-XX:+UseCompressedOops)。
在后面我们可以看到输出的GC日志信息,对象先分配在年轻代,空间占满开始频繁YGC(Young garbage collection)。

经过几代回收之后,对象分代年龄增长转移到老年代,老年代空间逐渐占满开始频繁Full GC。

由于例子程序新创建的对象都是强引用类型,不能定为垃圾,无法回收。经过频繁的Full GC无果后新对象无法分配到空间,报错内存溢出(java.lang.OutOfMemoryError)。从后面打印的各个分代的内存使用情况可以看出年轻代(def new generation)和老年代(tenured generation)占用比例接近100%。

先通过jps找到我们的JVM进程ID

查看堆中对象分配信息
jmap -histo(推荐)
jmap是JDK自带的指令可以查看堆内存相关的信息。jmap -histo <Java进程ID>会列出进程中每个类型对象实例数量和占用空间大小按降序列出来,我们再加上head -10来查看前10行信息可以看到排名前几位的对象相关信息。
这种方式合适进程还在运行的时候用,统计输出的信息不多,对进程本身影响比较小。
jmap -histo 20091 | head -10
复制代码

jmap -dump + Java VisualVM
jmap -dump可以将堆内存信息以二进制的方式转储到文件,格式为jmap -dump:format=b,file=<文件名> <Java进程ID>。
这种方式转储的数据比较多,当我们的JVM堆内存使用空间比较大的时候(比如上G大小)需要一定的时间,而且转储的过程中会影响进程运行。一般不建议这样做,除非JVM配置/使用的空间比较小。
jmap -dump:format=b,file=71976.dump 71976
复制代码

有了堆转储文件,我们找一个可以分析这个文件的工具来查看,这里我们用JDK自带的JVM图形化工具Java VisualVM。

Mac在命令行输出下面命令打开

/System/Library/Frameworks/JavaVM.framework/Versions/Current/Commands/jvisualvm

Windows在JDK中bin目录下

复制代码
点击【文件】>【装入】,选择合适的类型后再选中我们的堆转储文件打开。

装入后点击类,可以在图形化界面看到当时堆中各种类的实例数和大小。

内存溢出时自动生成堆转储文件(推荐)
启动时增加一个JVM选项-XX:+HeapDumpOnOutOfMemoryError。默认文件会生成到当前目录下,名为java_pid<进程ID>.hprof,可以通过选项-XX:HeapDumpPath=<目录>生成到指定的目录。再用Java VisualVM装入查看即可。
这种方式是比较推荐的,进程已经出问题要退出了,退出前能生成信息帮助我们事后分析。
java -Xms2M -Xmx2M \
-XX:+PrintCommandLineFlags \
-XX:+PrintGCDetails \
-XX:+HeapDumpOnOutOfMemoryError FrequentFullGCSample
复制代码
Java VisualVM 远程监控
java命令中多加几个选项启用远程监控。-Djava.rmi.server.hostname填本机IP地址;-Dcom.sun.management.jmxremote.port填远程访问使用的端口;其他两个是为了关闭鉴权不校验用户名密码。
进程开启监控肯定需要额外的工作,下发数据、网络交互等等,会影响到进程的运行,所以一般不用。但是可以用在测试的时候,压力测试同时监控,便于分析。
java -Xms2M -Xmx2M -XX:+PrintCommandLineFlags -XX:+PrintGCDetails \
-Dcom.sun.management.jmxremote \
-Dcom.sun.management.jmxremote.authenticate=false \
-Dcom.sun.management.jmxremote.ssl=false \
-Dcom.sun.management.jmxremote.port=1099 \
-Djava.rmi.server.hostname=192.168.252.132 FrequentFullGCSample
复制代码
双击【远程】,填好主机地址后点【确定】。

右键点击刚刚配置出现的主机,选择【添加JMX】连接,填好端口号点【确定】。

双击刚配置的JMX连接,点击【抽样器】>【内存】可以实时看到堆内存中各种对象的分配情况。

总结
以上方式推荐的还是jmap -histo和内存溢出时自动转储,对进程本身影响比较小。
另外jmap -heap <Java进程ID>可以看堆内存相关的JVM配置和堆内存整体分配。

相关文章
|
10天前
|
Arthas 监控 Java
JVM进阶调优系列(9)大厂面试官:内存溢出几种?能否现场演示一下?| 面试就那点事
本文介绍了JVM内存溢出(OOM)的四种类型:堆内存、栈内存、元数据区和直接内存溢出。每种类型通过示例代码演示了如何触发OOM,并分析了其原因。文章还提供了如何使用JVM命令工具(如jmap、jhat、GCeasy、Arthas等)分析和定位内存溢出问题的方法。最后,强调了合理设置JVM参数和及时回收内存的重要性。
|
8天前
|
Java Linux Windows
JVM内存
首先JVM内存限制于实际的最大物理内存,假设物理内存无限大的话,JVM内存的最大值跟操作系统有很大的关系。简单的说就32位处理器虽然可控内存空间有4GB,但是具体的操作系统会给一个限制,这个限制一般是2GB-3GB(一般来说Windows系统下为1.5G-2G,Linux系统下为2G-3G),而64bit以上的处理器就不会有限制。
8 1
|
19天前
|
存储 监控 Java
JVM进阶调优系列(8)如何手把手,逐行教她看懂GC日志?| IT男的专属浪漫
本文介绍了如何通过JVM参数打印GC日志,并通过示例代码展示了频繁YGC和FGC的场景。文章首先讲解了常见的GC日志参数,如`-XX:+PrintGCDetails`、`-XX:+PrintGCDateStamps`等,然后通过具体的JVM参数和代码示例,模拟了不同内存分配情况下的GC行为。最后,详细解析了GC日志的内容,帮助读者理解GC的执行过程和GC处理机制。
|
27天前
|
存储 算法 Java
聊聊jvm的内存结构, 以及各种结构的作用
【10月更文挑战第27天】JVM(Java虚拟机)的内存结构主要包括程序计数器、Java虚拟机栈、本地方法栈、Java堆、方法区和运行时常量池。各部分协同工作,为Java程序提供高效稳定的内存管理和运行环境,确保程序的正常执行、数据存储和资源利用。
46 10
|
26天前
|
存储 算法 Java
Java虚拟机(JVM)的内存管理与性能优化
本文深入探讨了Java虚拟机(JVM)的内存管理机制,包括堆、栈、方法区等关键区域的功能与作用。通过分析垃圾回收算法和调优策略,旨在帮助开发者理解如何有效提升Java应用的性能。文章采用通俗易懂的语言,结合具体实例,使读者能够轻松掌握复杂的内存管理概念,并应用于实际开发中。
|
1月前
|
存储 监控 算法
JVM调优深度剖析:内存模型、垃圾收集、工具与实战
【10月更文挑战第9天】在Java开发领域,Java虚拟机(JVM)的性能调优是构建高性能、高并发系统不可或缺的一部分。作为一名资深架构师,深入理解JVM的内存模型、垃圾收集机制、调优工具及其实现原理,对于提升系统的整体性能和稳定性至关重要。本文将深入探讨这些内容,并提供针对单机几十万并发系统的JVM调优策略和Java代码示例。
51 2
|
1月前
|
Arthas 监控 Java
JVM知识体系学习七:了解JVM常用命令行参数、GC日志详解、调优三大方面(JVM规划和预调优、优化JVM环境、JVM运行出现的各种问题)、Arthas
这篇文章全面介绍了JVM的命令行参数、GC日志分析以及性能调优的各个方面,包括监控工具使用和实际案例分析。
45 3
|
1月前
|
存储 Kubernetes 架构师
阿里面试:JVM 锁内存 是怎么变化的? JVM 锁的膨胀过程 ?
尼恩,一位经验丰富的40岁老架构师,通过其读者交流群分享了一系列关于JVM锁的深度解析,包括偏向锁、轻量级锁、自旋锁和重量级锁的概念、内存结构变化及锁膨胀流程。这些内容不仅帮助群内的小伙伴们顺利通过了多家一线互联网企业的面试,还整理成了《尼恩Java面试宝典》等技术资料,助力更多开发者提升技术水平,实现职业逆袭。尼恩强调,掌握这些核心知识点不仅能提高面试成功率,还能在实际工作中更好地应对高并发场景下的性能优化问题。
|
1月前
|
存储 安全 Java
jvm 锁的 膨胀过程?锁内存怎么变化的
【10月更文挑战第3天】在Java虚拟机(JVM)中,`synchronized`关键字用于实现同步,确保多个线程在访问共享资源时的一致性和线程安全。JVM对`synchronized`进行了优化,以适应不同的竞争场景,这种优化主要体现在锁的膨胀过程,即从偏向锁到轻量级锁,再到重量级锁的转变。下面我们将详细介绍这一过程以及锁在内存中的变化。
37 4
|
3月前
|
Java Docker 索引
记录一次索引未建立、继而引发一系列的问题、包含索引创建失败、虚拟机中JVM虚拟机内存满的情况
这篇文章记录了作者在分布式微服务项目中遇到的一系列问题,起因是商品服务检索接口测试失败,原因是Elasticsearch索引未找到。文章详细描述了解决过程中遇到的几个关键问题:分词器的安装、Elasticsearch内存溢出的处理,以及最终成功创建`gulimall_product`索引的步骤。作者还分享了使用Postman测试接口的经历,并强调了问题解决过程中遇到的挑战和所花费的时间。