一次 OOM 线上排查实录

简介: 老项目线上 OOM 踩坑实录!Druid 连接池 SQL 缓存泄漏 + 业务 SQL 拼接双重叠加导致内存溢出,通过堆 dump 定位问题,优化 Druid 配置 + 批量插入预防 OOM。

大家好,今天分享一次真实的线上 OOM 排查过程,踩坑 Druid 连接池的经典内存泄漏问题,以及完整的解决思路。


一、问题现场:线上内存飙高,OOM 报警

某天,线上老项目突然收到服务器内存使用率持续飙高的报警,紧接着应用直接抛出 OOM 错误,服务崩溃。

紧急拉取了堆 Dump 文件,用 JProfiler 打开后,直接看到了内存占用的元凶:

oom-dump-pro.png

  • 大量 com.alibaba.druid.proxy.jdbc 相关对象堆积
  • 堆中最大的单个对象是一个 char[],大小超过 500MB,存储的正是项目中执行的 SQL 字符串

结合项目业务场景,初步判断是数据库操作相关的内存泄漏,定位方向直接锁定了代码中的 SQL 操作和 Druid 连接池配置。


二、根因定位:双重问题叠加导致的灾难

顺着堆 Dump 里的 SQL 文本,我直接定位到了业务代码,发现这次 OOM 是两个问题叠加导致的。

1. 业务代码:SQL 拼接逻辑导致大对象堆积

这是一个老项目,当年的开发同学已经离职了,代码里存在这样的逻辑:

  • 单条 INSERT 语句中,通过循环拼接 SQL 字符串,一次性插入大量数据
  • 当数据量较大时,拼接后的 SQL 字符串会变得非常大,生成的 char[] 对象直接占用几百 MB 内存
  • 这些大字符串被线程栈引用,短时间内无法被 GC 回收,直接推高了内存水位

2. 框架层面:Druid 1.1.22 版本的经典 SQL 缓存泄漏

堆 Dump 中大量的 Druid 对象,指向了一个更致命的问题:Druid 连接池的 SQL 统计缓存。

  • 项目使用的 Druid 版本是 1.1.22,这个版本存在一个广为人知的问题:SQL 统计功能会无限制缓存所有执行过的 SQL 字符串,无法自动清理
  • 项目中拼接的大量不同 SQL,会被 Druid 全部缓存到 sqlStatMap 中,这些对象会一直持有 SQL 字符串的引用,导致它们无法被 GC 回收
  • 随着服务运行时间增长,缓存的 SQL 越来越多,内存只会涨不会跌,最终撑满堆内存,触发 OOM

三、解决方案:两步走彻底根治问题

针对这两个问题,我们采用了业务+框架双管齐下的修复方案,从根源解决内存泄漏。

第一步:优化 Druid 配置,掐断缓存泄漏

直接修改项目的 Druid 配置,关闭无限制的 SQL 统计,同时限制缓存大小,避免内存无限增长。

方案 A:彻底关闭 SQL 统计(推荐,零泄漏风险)

spring:
  datasource:
    druid:
      filter:
        stat:
          enabled: false # 关闭导致内存泄漏的SQL统计
      web-stat-filter:
        enabled: false # 关闭Web统计,减少额外内存占用

方案 B:保留监控,限制缓存大小(折中方案)

如果业务必须保留 SQL 监控,可以通过配置限制缓存的 SQL 数量,避免无限增长:

spring:
  datasource:
    druid:
      filter:
        stat:
          enabled: true
      max-stat-count: 200 # 限制最多缓存200条SQL,超出自动淘汰

第二步:重构业务代码,替换 SQL 拼接为批量插入

修改原有的 SQL 拼接逻辑,改为标准的批量插入方式,既避免了超大 SQL 字符串的生成,也提升了数据库写入性能。

改造前(问题代码)

// 循环拼接SQL,生成超大字符串
StringBuilder sql = new StringBuilder("INSERT INTO t_invoice (col1, col2) VALUES ");
for (Invoice invoice : list) {
   
    sql.append("(?, ?),");
}
jdbcTemplate.update(sql.toString(), params);

改造后(批量插入)

// 使用JdbcTemplate批量插入,避免生成超大SQL字符串
String sql = "INSERT INTO t_invoice (col1, col2) VALUES (?, ?)";
jdbcTemplate.batchUpdate(sql, new BatchPreparedStatementSetter() {
   
    @Override
    public void setValues(PreparedStatement ps, int i) throws SQLException {
   
        ps.setString(1, list.get(i).getCol1());
        ps.setString(2, list.get(i).getCol2());
    }

    @Override
    public int getBatchSize() {
   
        return list.size();
    }
});

四、效果验证与后续优化

改造完成后,我们重新上线服务并进行了压测验证:

  1. 内存曲线恢复平稳,不再出现持续飙高的情况
  2. 堆 Dump 中 Druid 相关对象和大 char[] 基本消失
  3. 数据库写入性能也有明显提升,单批次插入耗时降低了 40%

额外优化建议

  • 对于老项目,建议升级 Druid 到最新稳定版(如 1.2.20+),修复了大量已知的内存泄漏问题
  • 批量插入时,建议设置合理的批次大小(如每批 100-500 条),避免单次操作过大导致数据库压力
  • 上线前务必进行压测,通过 JProfiler 或 Arthas 观察内存变化,提前发现潜在问题

五、踩坑总结

这次 OOM 排查给了我两个深刻的教训:

  1. 老项目的依赖版本一定要关注:Druid 1.1.22 这个版本的 SQL 缓存泄漏问题非常普遍,很多线上 OOM 都源于此,升级或关闭统计是最直接的解决方式。
  2. 业务代码的 SQL 拼接是隐形杀手:不仅容易导致 SQL 注入,还会生成超大对象,配合框架的缓存机制,很容易引发内存泄漏。批量插入是更安全、更高效的替代方案。

希望这次分享能帮到遇到同样问题的朋友,如果你也遇到了 Druid 相关的内存问题,欢迎在评论区交流讨论~

目录
相关文章
|
24天前
|
人工智能 前端开发 测试技术
AI Coding Agent 如何工程化:从上下文污染到多 Agent 分工
复杂任务不仅需要会写代码 Agent,更需要能够负责派活、整理结果与汇报 Manager Agent~
273 1
AI Coding Agent 如何工程化:从上下文污染到多 Agent 分工
|
22天前
|
人工智能 机器人 测试技术
用 Bub 和飞书搭一个更懂群聊上下文的小机器人
手把手教你搭建 Bub:一个懂群聊上下文、无“班味”的轻量化 AI 助理。
241 1
用 Bub 和飞书搭一个更懂群聊上下文的小机器人
|
19天前
|
人工智能 JavaScript API
实战分享:生产级AI Agents 7天内上线完成网站主页/域名/Agent Workflow/ 部署和出海打榜
实战分享: 从0到1的一周时间上线生产级AI Agent:Craftsman-Agent(一句话生成3D组装方案,支持乐高/Minecraft/特斯拉车衣设计)和CoachOwl(AI协同日程编排工具,支持目标管理、多Agent协作与自动任务调度),打榜均上线Product Hunt,技术栈涵盖Gemini/Qwen、FastAPI、3D渲染API及DeepNLP OneKey Gateway,部署于AI Agent A2Z 平台*.aiagenta2z.com,获得部署托管网站和子域名。
|
12天前
|
PyTorch API 调度
在 AMD ROCm DSW 上跑通 DeepSeek-V4-Flash:vLLM 兼容部署、长上下文验证与 8K 性能扫参
本文记录一次在 ModelScope DSW AMD GPU/ROCm 环境中部署 DeepSeek-V4-Flash 的工程实践:通过 vLLM、ROCm/AITER/PyTorch fallback 与兼容补丁建立可复现 baseline,并用短问答、2K/8K/32K needle retrieval 和 8K top-k 扫参验证正确性与性能边界。
300 1
在 AMD ROCm DSW 上跑通 DeepSeek-V4-Flash:vLLM 兼容部署、长上下文验证与 8K 性能扫参
|
28天前
|
存储 人工智能 前端开发
不写框架、不用 npm,我用 AI Coding 做了一个家庭记忆站
大佬勿进!新手向,手把手带你从零做站点:妈妈再也不用担心我会忘记和她之间的温馨小故事了。
201 3
|
4天前
|
人工智能 缓存 弹性计算
阿里云服务器2核4G5M199元解析:独享型u1实例,性能、适用场景、购买和续费规则介绍
阿里云通用算力型u1实例(ecs.u1-c1m2.large)2核4G、5M带宽、80G ESSD Entry云盘,活动特惠价仅199元/年(官网价3498.36元),企业新老用户同享,续费同价至2027年3月31日,每人限购1台。该实例采用独享型架构,搭载Intel至强可扩展处理器,内网带宽1Gbit/s、收发包30万PPS、云盘IOPS 1万,性能稳定,适合企业官网、中小Web应用、轻量数据库及开发测试等场景。

热门文章

最新文章