8 种 Java 内存溢出之八 -Kill process or sacrifice child

简介: 8 种 Java 内存溢出之八 -Kill process or sacrifice child

8.1 Kill process or sacrifice child 概述

为了理解这个报错, 我们需要复习一下操作系统基础知识. 正如你所知, 操作系统是建立在进程的概念之上的. 这些过程是由多个内核作业引导的,其中一个以内存杀手 (out of memory killer) 命名的 worker 在这个特殊的情况下是我们感兴趣的。

这个内核作业会在极低的内存条件下消灭您的进程. 当检测到这种情况时,内存杀手就会被激活,并选择一个进程来杀死。使用一组启发式算法对所有进程进行评分,并选择得分最差的一个作为目标。OutOfMemoryError: Kill process or sacrifice child这与我们的 OOM 手册中涉及的其他错误不同,因为它不是由 JVM 触发或代理的,而是构建在操作系统内核中的安全网络。

当可用的虚拟内存 (包括 swap) 被消耗到整个操作系统的稳定性受到威胁的程度时,就会产生 OutOfMemoryError: Kill process or sacrifice child 错误。在这种情况下,内存杀手会选择这个流氓进程并杀死它。

8.2 原因

默认情况下,Linux 内核允许进程请求比当前系统中可用的更多的内存。考虑到大多数进程实际上从未使用它们所分配的所有内存,因此这在现实世界是很有意义的。 最简单的例子就是宽带运营商。他们向所有用户提供了 100Mbit 的下载承诺,远远超过了网络中实际的带宽(超卖)。再次打赌,用户绝不会同时使用他们分配的下载极限值。因此,一个 10Gbit 链接可以成功地服务于多于我们简单的数学算出来的 100 个用户。

这种方法的副作用是可见的,比如某些程序耗尽了系统内存。这可能导致极低的内存状态,没有页 (page) 可以分配到进程。您可能遇到过这样的情况,甚至连根帐户也不能杀死这个讨厌的任务. 为了防止这种情况,这个杀手激活了,并确认把这个流氓进程杀死.

您可以从 这篇 RedHat 文档 中阅读更多关于微调“内存杀手”行为的信息。

现在我们有了背景知识,那么你怎么知道是什么触发了“杀手”,并在凌晨 5 点叫醒了你? 激活的一个常见触发器隐藏在操作系统配置中。当您在 /proc/sys/vm/overcommit_memory 中检查配置时,您有了第一个提示 —— 特定的这个值表明是否允许所有 malloc()调用成功。注意,在 proc 文件系统中参数的路径取决于受更改影响的系统。超限提交配置允许为这个流氓过程分配越来越多的内存,最终可能触发“内存杀手”来完成它想要做的事情。

8.3 示例

当您在 Linux 上编译并启动以下 Java 代码片段时(我使用了最新的稳定 Ubuntu 版本):

package eu.plumbr.demo;
 
public class OOM {
 
public static void main(String[] args) {
    java.util.List<int[]> l = new java.util.ArrayList();
    for (int i = 10000; i<100000; i++) {
        try {
            l.add(new int[100_000_000]);
        } catch (Throwable t) {
            t.printStackTrace();
        }
    }
}
}
JAVA

然后您将在系统日志中看到类似下列的错误 (/var/log/kern.login) 的例子:

Jun  4 07:41:59 plumbr kernel: [70667120.897649] Out of memory: Kill
process 29957 (java) score 366 or sacrifice child
Jun  4 07:41:59 plumbr kernel: [70667120.897701] Killed process
29957 (java) total-vm:2532680kB, anon-rss:1416508kB, file-rss:0kB
MIPSASM

注意,您可能需要调整 swapfile 和堆大小,在我们的测试用例中,我们使用了一个由 -Xmx2g 指定的 2g 堆,并有如下的 swap 配置:

swapoff -a
dd if=/dev/zero of=swapfile bs=1024 count=655360
mkswap swapfile
swapon swapfile
SHELL

8.4 解决方案

有几种方式来解决这类场景. 解决这个问题的第一个也是最直接的方法是将系统迁移到具有更多内存的实例上。

其他的可能性包括 对 OOM 杀手进行微调,在几个小的实例上横向扩展负载,或者减少应用程序的内存需求。

我们不愿意推荐的一个解决方案是增加交换空间。当您回想起 Java 是一种垃圾收集的语言时,这个解决方案似乎就不那么有利可图了. 现代 GC 算法在物理内存中运行效率很高,但是当处理 swap 分配时,效率会受到重创。Swapping 会增加 GC 暂停的长度高达几个数量级,所以在选择到这个解决方案之前,您应该三思而后行。

相关文章
|
安全 Java 应用服务中间件
Spring Boot + Java 21:内存减少 60%,启动速度提高 30% — 零代码
通过调整三个JVM和Spring Boot配置开关,无需重写代码即可显著优化Java应用性能:内存减少60%,启动速度提升30%。适用于所有在JVM上运行API的生产团队,低成本实现高效能。
1445 3
|
存储 缓存 Java
Java数组全解析:一维、多维与内存模型
本文深入解析Java数组的内存布局与操作技巧,涵盖一维及多维数组的声明、初始化、内存模型,以及数组常见陷阱和性能优化。通过图文结合的方式帮助开发者彻底理解数组本质,并提供Arrays工具类的实用方法与面试高频问题解析,助你掌握数组核心知识,避免常见错误。
|
存储 缓存 Java
【高薪程序员必看】万字长文拆解Java并发编程!(5):深入理解JMM:Java内存模型的三大特性与volatile底层原理
JMM,Java Memory Model,Java内存模型,定义了主内存,工作内存,确保Java在不同平台上的正确运行主内存Main Memory:所有线程共享的内存区域,所有的变量都存储在主存中工作内存Working Memory:每个线程拥有自己的工作内存,用于保存变量的副本.线程执行过程中先将主内存中的变量读到工作内存中,对变量进行操作之后再将变量写入主内存,jvm概念说明主内存所有线程共享的内存区域,存储原始变量(堆内存中的对象实例和静态变量)工作内存。
476 0
|
Java 大数据 Go
从混沌到秩序:Java共享内存模型如何通过显式约束驯服并发?
并发编程旨在混乱中建立秩序。本文对比Java共享内存模型与Golang消息传递模型,剖析显式同步与隐式因果的哲学差异,揭示happens-before等机制如何保障内存可见性与数据一致性,展现两大范式的深层分野。(238字)
663 4
|
存储 缓存 Java
【深入浅出】揭秘Java内存模型(JMM):并发编程的基石
本文深入解析Java内存模型(JMM),揭示synchronized与volatile的底层原理,剖析主内存与工作内存、可见性、有序性等核心概念,助你理解并发编程三大难题及Happens-Before、内存屏障等解决方案,掌握多线程编程基石。
|
缓存 监控 Kubernetes
Java虚拟机内存溢出(Java Heap Space)问题处理方案
综上所述, 解决Java Heap Space溢出需从多角度综合施策; 包括但不限于配置调整、代码审查与优化以及系统设计层面改进; 同样也不能忽视运行期监控与预警设置之重要性; 及早发现潜在风险点并采取相应补救手段至关重要.
1183 17
|
Java 物联网 数据处理
Java Solon v3.2.0 史上最强性能优化版本发布 并发能力提升 700% 内存占用节省 50%
Java Solon v3.2.0 是一款性能卓越的后端开发框架,新版本并发性能提升700%,内存占用节省50%。本文将从核心特性(如事件驱动模型与内存优化)、技术方案示例(Web应用搭建与数据库集成)到实际应用案例(电商平台与物联网平台)全面解析其优势与使用方法。通过简单代码示例和真实场景展示,帮助开发者快速掌握并应用于项目中,大幅提升系统性能与资源利用率。
443 6
Java Solon v3.2.0 史上最强性能优化版本发布 并发能力提升 700% 内存占用节省 50%
|
缓存 监控 Cloud Native
Java Solon v3.2.0 高并发与低内存实战指南之解决方案优化
本文深入解析了Java Solon v3.2.0框架的实战应用,聚焦高并发与低内存消耗场景。通过响应式编程、云原生支持、内存优化等特性,结合API网关、数据库操作及分布式缓存实例,展示其在秒杀系统中的性能优势。文章还提供了Docker部署、监控方案及实际效果数据,助力开发者构建高效稳定的应用系统。代码示例详尽,适合希望提升系统性能的Java开发者参考。
771 4
Java Solon v3.2.0 高并发与低内存实战指南之解决方案优化
|
消息中间件 缓存 固态存储
说一说 Java 中的内存映射(mmap)
我是小假 期待与你的下一次相遇 ~
495 1
说一说 Java 中的内存映射(mmap)