一次由于八股文引起的内存泄漏

本文涉及的产品
对象存储 OSS,20GB 3个月
对象存储 OSS,内容安全 1000次 1年
对象存储 OSS,恶意文件检测 1000次 1年
简介: 本文描述了一次由于对Spring Bean生命周期理解不当导致的Java应用程序内存泄漏问题。开发者在`BeanPostProcessor`接口的实现中错误地在每次Bean初始化时创建了OSS客户端,但没有正确关闭连接管理器,导致连接池不断增长,最终引发内存泄漏。在初次修复跨单元访问问题后,系统仍出现Full GC,通过分析发现OSS客户端的初始化代码因接口实现错误而被多次调用,进一步加剧了内存泄漏。通过改用`InitializingBean`接口并正确实现初始化逻辑,问题得以解决。文章强调了基础知识的重要性,即使是面试中常见的“八股文”知识,也是实际工作中解决问题的关键。

文章开头,先分享一张大部分Java开发同学都记在心里的一张图

没错,就是Spring Bean生命周期图。就因为这张图不熟悉,导致线上环境出现内存泄漏问题,系统频繁FullGC,服务无法响应。

第一次报错系统监控现象

关键时间节点:

  • 14:16 机器发布新代码
  • 15:35 机器开始出现fullGC
  • 15:50 机器fullGC耗时上升
  • 17:48 对JVM进行dump操作,然后进行机器置换

由图可知,在14:16发布完成后,系统正常运行了一段时间,期间内存、线程等均未出现异常,不过当系统运行了一段时间后,通过监控可以明显发现内存使用量和线程数都在持续上升,那这样问题就很明确了:

  1. 有大量阻塞线程
  2. 存在内存泄露问题

1.1 排查过程

分析线程Dump文件

通过截图中Dump文件内容可知,HSFBizProcessor-DEFAULT-9-thread-792 这个线程已经阻塞了116s,并且的阻塞线程共有682个。

1.2 分析原因

根据线程堆栈信息,查到了线程是阻塞在下面这段代码

@Component
public class OssClient implements BeanPostProcessor {
    private OSS ossClient = null;
    /** 
     * 初始化OSS客户端
     **/
    @Override
    public Object postProcessAfterInitialization(Object bean, String beanName) throws BeansException {
        // 省略代码……
        // 一下是阻塞代码行
        ossClient = new OSSClientBuilder().build(ossProperty.getString("endpoint"),
                        ossProperty.getString("accessKeyId"),
                        ossProperty.getString("accessKeySecret"),
                        configuration);
        // 省略代码……
        return bean;
    }
}

这段代码本意是在应用启动时,通过动态配置文件来配置OSS客户端。

但是线程阻塞在了这行,首先我想到可能是由于OSS客户端初始化需要发起网络请求,因为饿了么有张北和南通机房且一般情况下跨机房无法访问,所以第一时间检查了一下配置,果不其然,南通机房配置了张北的OSS。

登录上南通机房的机器,尝试PING张北的OSS域名,发现无法PING通,验证了我的猜测。

1.3 第一次问题解决

Get到了报错原因,就方便解决了;通过修改配置,将OSS机房配置正确后,重启机器即可。


第二次报错系统监控现象

本来以为万事大吉,在观察了30分钟,确认系统无BLOCKED线程后,就认为该问题已经解决。

关键时间节点:

  • 19:48 机器发布新代码
  • 22:30 机器开始出现fullGC
  • 23:30 机器fullGC耗时上升
  • 00:30 对JVM进行dump操作,然后进行机器置换

然而,在发布后3个小时以后,系统又开始报错,同样是fullGC,只不过这次fullGC耗时没有之前那么长了。

2.1 排查过程

分析线程Dump文件

因为有了前车之鉴,所以第一步想到的就是上一步的问题没有解决,线程仍然阻塞在刚才的代码处。

不过,这次并没有查询到阻塞线程。这至少证明:

  1. 阻塞线程确实是由于OSS跨单元拒绝访问导致的
  2. 还有其他问题导致了内存泄漏

分析GC Dump文件

首先,通过集团Grace工具,发现有严重的内存泄漏问题

这里显示有11万个org.apache.http.impl.conn.PoolingHttpClientConnectionManager实例,占用了80.42%的堆内存,但是这个类并不是我直接引入的,那么一定是有间接依赖,生成了大量该类对象。

另外,通过类名,能判断这个对象是和网络请求有关系,而我这个应用上需要网络请求的地方有几处:

  1. 访问DB
  2. 访问Redis
  3. 访问OSS
  4. 进行HSF调用

继续通过对对象依赖进行分析,发现了一个重要信息

org.apache.http.impl.conn.PoolingHttpClientConnectionManager这个类由OSS间接依赖进来的,确定了引起内存泄漏的罪魁祸首

2.2 分析原因

虽然定位到了是由于OSS建议依赖进来,但是看代码仍然不能解释为什么会产生内存泄漏。

@Component
public class OssClient implements BeanPostProcessor {
    private OSS ossClient = null;
    /** 
     * 初始化OSS客户端
     **/
    @Override
    public Object postProcessAfterInitialization(Object bean, String beanName) throws BeansException {
        // 省略代码……
        // 一下是阻塞代码行
        ossClient = new OSSClientBuilder().build(ossProperty.getString("endpoint"),
                        ossProperty.getString("accessKeyId"),
                        ossProperty.getString("accessKeySecret"),
                        configuration);
        // 省略代码……
        return bean;
    }
}

排查原因过程中,这篇文章给了我答案FullGC问题排查与内存泄露,下面是这篇文章给的OOM原因的解释:

每次new OSSClient的时候,都会往List中放入HttpClientConnectionManager,但是没有主动调用OSSClient的shutdown的方法,所以List只会增大不会变小。反观我们的代码,每次接口调用都会创建一个OSSClient对象,但却在使用完之后,没有调用OSSClient的shutdown方法,导致未调用IdleConnectionReaper的removeConnectionManager方法,使得IdleConnectionReaper中静态列表存储的PoolingHttpClientConnectionManager实例数据一直会增长,一直都不会被回收,最终带来的结果就是OOM。

其实通过代码能够看出,我的初衷是在OssClient这个Bean初始化的时候执行一下初始化逻辑,在我查到导致内存泄漏的原因后,我仍然对一个问题很是不解:为什么OSS初始化的代码会被多次执行?

回到文章标题和开头,为什么这篇文章标题叫“一次由于八股文引起的内存泄漏”,以及为什么文章开头会引入下面这张图?

实际上,是由于实现错了接口导致的OSS初始化代码被重复调用,最终导致系统OOM

2.3 最终问题解决

改变一下实现接口,使代码逻辑符合我预期效果即可,当然这个解决方式有多种多样,下面只是我的一种解决方案

@Component
public class OssClient implements InitializingBean {
    private OSS ossClient = null;
    /** 
     * 初始化OSS客户端
     **/
    @Override
    public void afterPropertiesSet() throws Exception {
        // 省略代码……
        // 一下是阻塞代码行
        ossClient = new OSSClientBuilder().build(ossProperty.getString("endpoint"),
                        ossProperty.getString("accessKeyId"),
                        ossProperty.getString("accessKeySecret"),
                        configuration);
        // 省略代码……
    }
}

总结

圈内常有声音抱怨,“面试好比是造火箭,而工作不过是拧螺丝”,尤其对于Java开发岗位面试中的常规知识题目持有轻蔑态度。然而,这些被称作“八股文”的知识,实际上是每位开发工程师技术根基的核心。坚实的基础才能确保构建在其之上的高楼大厦能够屹立不倒,历经岁月的洗礼。

相关实践学习
借助OSS搭建在线教育视频课程分享网站
本教程介绍如何基于云服务器ECS和对象存储OSS,搭建一个在线教育视频课程分享网站。
相关文章
|
1月前
|
缓存 Prometheus 监控
Elasticsearch集群JVM调优设置合适的堆内存大小
Elasticsearch集群JVM调优设置合适的堆内存大小
291 1
|
23天前
|
存储 监控 算法
深入探索Java虚拟机(JVM)的内存管理机制
本文旨在为读者提供对Java虚拟机(JVM)内存管理机制的深入理解。通过详细解析JVM的内存结构、垃圾回收算法以及性能优化策略,本文不仅揭示了Java程序高效运行背后的原理,还为开发者提供了优化应用程序性能的实用技巧。不同于常规摘要仅概述文章大意,本文摘要将简要介绍JVM内存管理的关键点,为读者提供一个清晰的学习路线图。
|
1月前
|
Java
JVM内存参数
-Xmx[]:堆空间最大内存 -Xms[]:堆空间最小内存,一般设置成跟堆空间最大内存一样的 -Xmn[]:新生代的最大内存 -xx[use 垃圾回收器名称]:指定垃圾回收器 -xss:设置单个线程栈大小 一般设堆空间为最大可用物理地址的百分之80
|
1月前
|
Java
JVM运行时数据区(内存结构)
1)虚拟机栈:每次调用方法都会在虚拟机栈中产生一个栈帧,每个栈帧中都有方法的参数、局部变量、方法出口等信息,方法执行完毕后释放栈帧 (2)本地方法栈:为native修饰的本地方法提供的空间,在HotSpot中与虚拟机合二为一 (3)程序计数器:保存指令执行的地址,方便线程切回后能继续执行代码
22 3
|
1月前
|
存储 缓存 监控
Elasticsearch集群JVM调优堆外内存
Elasticsearch集群JVM调优堆外内存
50 1
|
1月前
|
Arthas 监控 Java
JVM进阶调优系列(9)大厂面试官:内存溢出几种?能否现场演示一下?| 面试就那点事
本文介绍了JVM内存溢出(OOM)的四种类型:堆内存、栈内存、元数据区和直接内存溢出。每种类型通过示例代码演示了如何触发OOM,并分析了其原因。文章还提供了如何使用JVM命令工具(如jmap、jhat、GCeasy、Arthas等)分析和定位内存溢出问题的方法。最后,强调了合理设置JVM参数和及时回收内存的重要性。
|
2月前
|
缓存 算法 Java
JVM知识体系学习六:JVM垃圾是什么、GC常用垃圾清除算法、堆内存逻辑分区、栈上分配、对象何时进入老年代、有关老年代新生代的两个问题、常见的垃圾回收器、CMS
这篇文章详细介绍了Java虚拟机(JVM)中的垃圾回收机制,包括垃圾的定义、垃圾回收算法、堆内存的逻辑分区、对象的内存分配和回收过程,以及不同垃圾回收器的工作原理和参数设置。
90 4
JVM知识体系学习六:JVM垃圾是什么、GC常用垃圾清除算法、堆内存逻辑分区、栈上分配、对象何时进入老年代、有关老年代新生代的两个问题、常见的垃圾回收器、CMS
|
2月前
|
存储 算法 Java
Java虚拟机(JVM)的内存管理与性能优化
本文深入探讨了Java虚拟机(JVM)的内存管理机制,包括堆、栈、方法区等关键区域的功能与作用。通过分析垃圾回收算法和调优策略,旨在帮助开发者理解如何有效提升Java应用的性能。文章采用通俗易懂的语言,结合具体实例,使读者能够轻松掌握复杂的内存管理概念,并应用于实际开发中。
|
2月前
|
存储 监控 算法
JVM调优深度剖析:内存模型、垃圾收集、工具与实战
【10月更文挑战第9天】在Java开发领域,Java虚拟机(JVM)的性能调优是构建高性能、高并发系统不可或缺的一部分。作为一名资深架构师,深入理解JVM的内存模型、垃圾收集机制、调优工具及其实现原理,对于提升系统的整体性能和稳定性至关重要。本文将深入探讨这些内容,并提供针对单机几十万并发系统的JVM调优策略和Java代码示例。
63 2
|
2月前
|
存储 Java
JVM知识体系学习四:排序规范(happens-before原则)、对象创建过程、对象的内存中存储布局、对象的大小、对象头内容、对象如何定位、对象如何分配
这篇文章详细地介绍了Java对象的创建过程、内存布局、对象头的MarkWord、对象的定位方式以及对象的分配策略,并深入探讨了happens-before原则以确保多线程环境下的正确同步。
64 0
JVM知识体系学习四:排序规范(happens-before原则)、对象创建过程、对象的内存中存储布局、对象的大小、对象头内容、对象如何定位、对象如何分配

热门文章

最新文章