结合鹰眼排查内存溢出问题-阿里云开发者社区

开发者社区> 开发与运维> 正文

结合鹰眼排查内存溢出问题

简介: 结合鹰眼排查内存溢出问题,结合不同的产品我们来进行解决这个问题。

本文由曹素杰(阿里云 MVP 石化盈科信息技术有限责任公司 高级工程师)提供,若使用请标明出处。

  1. 内存溢出的表现:
    a) CPU会飙升到100%,如果是多核则乘以核数

b) 日志中会出现OutOfMemoryError

  1. 分析原因步骤:
    a) 使用jmap创建heap文件,命令如下:

/opt/edas/jdk/java/bin/jmap -F -dump:format=b,file=/home/admin/csc.dmp pid
b) 创建成功后压缩下dump文件,命令如下:

        gzip  -c  csc.dmp  > /home/admin/csc.gzip

c) 下载dump文件到本地,命令如下:

        sz /home/admin/csc.gzip

d) 本地使用jprofiler打开快照文件,界面如下:
pic1

从图中可以看到字符串和hashmap占用的比较多,相对来讲,hashmap比string要好分析一些,这里使用hashmap,选中hashmap节点,右键use selected instanced出现界面
pic2

点击确定
随机选择一个hashmap的节点,展开查看引用对象,如下:
pic3

可以看到正在进行HSF的hessian序列话,说明正在接收一个HSF服务结果,并且该结果超大,可以展开map查看结果数据,如图:
pic4
从这里可以看到调用的是客户中心的数据,这时可以上EDAS控制台,查看鹰眼的调用情况,时间选择奔溃的时间点,返回结果选择大于10K,如图:
pic5

能看到有一个延迟较大的调用
pic6

点击进入详情
pic7

可以看到返回的结果超大,再结合应用端的日志则可以排查对应的接口为什么返回大量的数据?

另外也可以和RDS慢日志配合,大部分情况数据都来自于RDS,可以进入到RDS性能优化控制台,查看返回行数较大的sql,如图:
pic8

这样也可以分析到是哪个接口导致的。

建议在EDAS台添加如下配置,内存溢出的时候可以自动创建dump文件,以下为docker配置示例,ecs配置换个路径:
pic9

版权声明:本文中所有内容均属于阿里云开发者社区所有,任何媒体、网站或个人未经阿里云开发者社区协议授权不得转载、链接、转贴或以其他方式复制发布/发表。申请授权请邮件developerteam@list.alibaba-inc.com,已获得阿里云开发者社区协议授权的媒体、网站,在转载使用时必须注明"稿件来源:阿里云开发者社区,原文作者姓名",违者本社区将依法追究责任。 如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件至:developer2020@service.aliyun.com 进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容。

分享:
开发与运维
使用钉钉扫一扫加入圈子
+ 订阅

集结各类场景实战经验,助你开发运维畅行无忧

其他文章