记一次Java进程突然消失问题-阿里云开发者社区

开发者社区> 开发与运维> 正文

记一次Java进程突然消失问题

简介: 记一次Java进程突然消失问题 @Date 2017.05.22 现象: 线上同一个应用部署了多台服务器,有的机器运行过程中突然告警,发现服务进程消失.

记一次Java进程突然消失问题

@Date 2017.05.22

现象: 线上同一个应用部署了多台服务器,有的机器运行过程中突然告警,发现服务进程消失.

  • 看程序本身的日志,没有异常输出
  • 查询磁盘空间是否不足,没有此问题
  • 增加如下启动参数,查看GC日志,发现程序无GC出现
   -Xloggc:/home/admin/logs/gc.log 
   -XX:+PrintGCDetails 
   -XX:+PrintGCDateStamps 
   -XX:+HeapDumpOnOutOfMemoryError 
   -XX:HeapDumpPath=/home/admin/logs/java.hprof 
  • 在上述重启服务时,发现一个现象,程序重启没有多久就消失掉. 此时使用dmesg
    查看Linux系统日志, dmesg只能查看到最近的系统缓存日志,所以在现场能还原时查看最合适.

重点:

  • 会发现dmesg的日志中出现oom kill的字样,由此可以判断应该是机器内存被占满,系统自动选择一个占用内存最大的进行kill掉
  • 复现确认
    1. 在启动应用之后,使用free命令查看机器内存占用情况, 发现total和used相差无几
    2. 查看JVM启动参数以及机器内存配置,发现-Xmx配置和机器内存相等,由此可以断定是应用启动堆内存沾满机器内存,造成系统KILL

解决: 修改JVM启动参数,最好改成系统内存大小的1/2或者2/3左右即可

总结: 需要区分heap与 non-heap,堆内存不足会有OOM异常,进程无缘无故消失一般就是堆外内存导致

注意: 引起系统OOM-KILL的其他情况还有比如使用VIM编辑大文件, 如果文件过大也会造成撑满机器内存

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

分享:
开发与运维
使用钉钉扫一扫加入圈子
+ 订阅

集结各类场景实战经验,助你开发运维畅行无忧

其他文章