开发者社区> 尊渊> 正文

使用MAT对java内存分析

简介:
+关注继续查看
Heap dump是java进程在特定时间的一个内存快照。通常在触发heap dump之前会进行一次full gc,这样dump出来的内容就包含的是被gc后的对象。
dump文件包含的内容:
1,全部的对象:类,域,原生值和引用;
2,全部的类:classloader,类名,超类,静态域;
3,GC root:被JVM定义的可触达的对象;
4,线程栈和本地变量:线程的call stack,本地对象每帧的信息。
dump文件不包含内存的分配信息,因此无法查询谁创建了哪个对象这样的信息。
Shallow heap是一个对象占用的内存空间,一个对象需要32或者64bits。
Retained set of X是X在被jvm gc回收后被remove的一组object。
Retained heap of X是在retained set of X中的所有对象的shallow heap size的和。换句话说就是保持X活着需要的内存空间。
通俗的讲,shallow heap是一个对象在内存中的实际空间,而retained heap是一个对象被gc回收后内存释放出来的空间。


%E6%9C%AA%E5%91%BD%E5%90%8D%E5%9B%BE%E7%
这张图可以看懂什么是leading set什么是retained set。

Dominator tree:定义一个对象x dominate 对象y,当每一条从root开始到y的路径都经过x。说白了就是只要有y对象的存活,那么一定会有一个x对象。Dominator tree就是将对象引用图转换成的树形结构。帮助发现在对象间保持alive的依赖,同时也能识别出retained内存的最大的chunk。Immediate dominator x of y是离y最近的dominator。
Dominator tree有几个属性:
1,对象x的子树包含的对象(x dominate的对象集),代表了x的retained set;
2,如果x是y的immediate dominator,那么x的immediate dominator同样dominate y,以此类推;
3,dominate tree中的边不代表对象引用图里对应的边,并非严格的直接的对象引用。


%E6%9C%AA%E5%91%BD%E5%90%8D%E5%9B%BE%E7%
这张图反应了一个对象引用图转换成dominator tree的示例。

Gc root:一个gc根就是一个对象,这个对象从堆外可以访问读取。以下一些方法可以使一个对象成为gc根。
1,System class:被bootstrap或者system类加载器加载的类,比如rt.jar里的java.util.*;
2,JNI local:native代码里的local变量,比如用户定义的JNI代码和JVM的内部代码;
3,JNI global:native代码里的global变量;
4,Thread block:当前活跃的线程block中引用的对象;
5,Thread:已经启动并且没有stop的线程;
6,busy monitor:被调用了wait()或者notify()或者被synchronized同步的对象,如果是synchronized方法,那么静态方法指的类,非静态方法指的是对象;
7,java local:local变量,比如方法的入参和方法内创建的变量;
8,native stack:native代码里的出入参数,比如file/net/IO方法以及反射的参数;
9,finalizable:在一个队列里等待它的finalizer 运行的对象;
10,unfinalized:一个有finalize方法的对象,还没有被finalize,同时也没有进入finalizer队列等待finalize;
11,unreachable:不会被触碰到的对象,在MAT里被标记为root用来retain object,否则是不会在分析中出现的;
12,java stack frame:java栈帧包含了本地变量,当dump被解析时且在preferences里设置过把栈帧当做对象,这时才会产生;
13,unknown:位置的root类型。

接下来是一些获取dump的方法:
1,在oom时dump:JVM参数:-XX:+HeapDumpOnOutOfMemoryError
2,交互式环境下dump:
1)JVM参数:-XX:+HeapDumpOnCtrlBreak
2)用外部tools:jmap -dump:format=b,file=<filename.hprof> <pid>
3)用外部tools:jconsole
4)用外部工具:MAT
5)kill -3 <pid>
6)jstack -l <pid> > <dumpfile>

一些排查方法:
1,通过top consumers查找大对象,可以按照class、classloader和package进行group by;
2,通过immediate dominator找到责任对象,对于快速定位一组对象的持有者非常有用,这个操作直接解决了“谁让这些对象alive”的问题,而不是“谁有这些对象的引用”的问题,更直接高效;
3,运行classloader分析,这个重要性体现在亮点:第一,应用使用不同的classloader加载类,第二,不同classloader加载的类存储在不同的永久代,这理论上也是可以被回收的。当有一个类被不同的classloader加载时,这时要根据各自loader下的instance数量判断哪个loader更重要,从而要把另一个回收掉;
4,分析线程,本身heap dump里包含了thread信息,可以通过MAT来查看threads 的overview和detail,detail中有线程的堆内存信息,也有线程栈,同时还包含了操作系统本地栈。假设不做heap dump,我们检查到系统有问题,如何通过线程的角度来排查呢?首先top -H -p <pid>以线程的模式查看java应用的运行情况,找到占用cpu或者内存大的线程,记录线程id,然后printf %x <tid>转为16进制,再jstack -l <pid> > thread.log把java进程的thread dump出来,从里面找到tid,分析是哪个线程占用了系统资源。
5,分析java容器类,因为java的容器类是最常用来存储对象的,所以理论上发生内存泄露的风险也最高。可以从几个角度来看:1)array填充率查询(填充率fill ratio是数组中非空元素的比例),打印非原生类型数组的填充率频率分布,从而排查系统中array的利用率;2)数组按照size分组查询,打印一个按size分组的直方图;3)collection的填充率查询,ArrayList/HashMap/Hashtable/Properties/Vector/WeakHashMap/ConcurrentHashMap$Segment;4)collection按照size分组直方图;5)查看一个list里的所有对象;6)查看hashmap里的所有对象;7)查看hashset里的对象;8)检查map的碰撞率;9)检查所有只有一个常量的array。
6,分析Finalizer,1)查询finalizer正在处理的对象;2)查询finalizer准备处理的对象;3)直接查看finalizer线程;4)查看finalizer线程的thread local对象。

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
内存数据库
        内存数据库,顾名思义就是将数据放在内存中直接操作的数据库。相对于磁盘,内存的数据读写速度要高出几个数量级,将数据保存在内存中相比从磁盘上访问能够极大地提高应用的性能。同时,内存数据库抛弃了磁盘数据管理的传统方式,基于全部数据都在内存中重新设计了体系结构,并且在数据缓存、快速算法、并行操作方面也进行了相应的改进,所以数据处理速度比传统数据库的数据处理速度要快很多,一般都在10
1301 0
详细分析Java中断机制
1. 引言 当我们点击某个杀毒软件的取消按钮来停止查杀病毒时,当我们在控制台敲入quit命令以结束某个后台服务时……都需要通过一个线程去取消另一个线程正在执行的任务。Java没有提供一种安全直接的方法来停止某个线程,但是Java提供了中断机制。
1094 0
深度分析Java的ClassLoader机制(源码级别)
深度分析Java的ClassLoader机制(源码级别) 写在前面:Java中的所有类,必须被装载到jvm中才能运行,这个装载工作是由jvm中的类装载器完成的,类装载器所做的工作实质是把类文件从硬盘读取到内存中,JVM在加载类的时候,都是通过ClassLoader的loadClass()方法来加载class的,loadClass使用双亲委派模式。
1433 0
使用Chrome开发者工具分析JavaScript garbage collector(垃圾回收器)的实现原理
使用Chrome开发者工具分析JavaScript garbage collector(垃圾回收器)的实现原理
39 0
深入分析Java的序列化与反序列化
深入分析Java的序列化与反序列化
36 0
tomcat使用manager GUI应用和script分别reload应用的注意事项
tomcat使用manager GUI应用和script分别reload应用的注意事项
26 0
RestTemplate源码分析
RestTemplate是Spring提供的访问Rest服务的客户端,它简化了和http服务器的交互。 HTTP 协议特点是纯文本协议,其媒体类型MediaType可以为text/html、text/xml、application/json等,HTTP消息必须使用content-type进行自我描述,否则不能区分媒体类型。
3834 0
使用 Chrome 开发者工具分析内存问题
使用 Chrome 开发者工具分析内存问题
37 0
+关注
尊渊
大数据践行者,前阿里云大数据平台开发,前阿里集团VOC平台技术负责人,现网易考拉数据产品技术打杂
34
文章
2
问答
文章排行榜
最热
最新
相关电子书
更多
OceanBase 入门到实战教程
立即下载
阿里云图数据库GDB,加速开启“图智”未来.ppt
立即下载
实时数仓Hologres技术实战一本通2.0版(下)
立即下载