8 种 Java 内存溢出之七 -Requested array size exceeds VM limit

简介: 8 种 Java 内存溢出之七 -Requested array size exceeds VM limit

7.1 Requested array size exceeds VM limit 概述

Java 对你的应用可以分配的最大数组大小有限制. 准确的限制与平台有关, 但是通常都位于 10 到 21 亿元素之间.

当你面临java.lang.OutOfMemoryError: Requested array size exceeds VM limit, 意味着应用因为尝试分配一个大于 JVM 可以支持的数组而报错 crash.

7.2 原因

该错误是由 JVM 的本地代码抛出的. 它发生在为一个数组分配内存之前, 这时 JVM 会执行一个与平台有关的检查: 是否待分配的数据结构在这个平台是可寻址的. 这个错误并不像你最初想象的那样普遍。

你很少面对这个错误的原因是 Java 数组是由 int 类型索引的. 在 Java 中最大的正整数是: 2^31 -1 = 2,147,483,647. 平台相关的限制确实相当接近这个数字 – 例如在 MacBook Pro, Java 1.7, 可以初始化数组到 2,147,483,645 或 Integer.MAX_VALUE-2 元素.

数组长度再加 1 到 Integer.MAX_VALUE-1 会导致该 OutOfMemoryError:

Exception in thread “main” java.lang.OutOfMemoryError:
Requested array size exceeds VM limit
SMALI

但是这个限制有时也并不是那么高 – 在 32-bit Linux, OpenJDK 6 上, 你会在分配一个大约 11 亿元素的数组时候出现 java.lang.OutOfMemoryError: Requested array size exceeds VM limit 报错. 要知道你的特定环境的限制大小, 可以运行下面这个小的测试程序.

7.3 示例

要尝试重现 java.lang.OutOfMemoryError: Requested array size exceeds VM limit 错误, 让我们来看一下下面的代码:

for (int i=3; i>=0; i--) {
    try {
        int[] arr = new int[Integer.MAX_VALUE-i];
        System.out.format("Successfully initialized an array with %,d elements .\n", Integer.MAX_VALUE-i);
    } catch (Throwable t) {
        t.printStackTrace();
    }
}
JAVA

该示例循环四次, 并在每次循环中初始化一个长基元数组。该程序试图初始化的数组大小在每次迭代时都增长一个, 最终达到整数MAX_VALUE。现在, 当在 64 位 Mac OS X 上使用 Hotspot 7 启动代码段时, 你应该得到类似于以下内容的输出:

java.lang.OutOfMemoryError: Java heap space
  at eu.plumbr.demo.ArraySize.main(ArraySize.java:8)
java.lang.OutOfMemoryError: Java heap space
  at eu.plumbr.demo.ArraySize.main(ArraySize.java:8)
java.lang.OutOfMemoryError: Requested array size exceeds VM limit
  at eu.plumbr.demo.ArraySize.main(ArraySize.java:8)
java.lang.OutOfMemoryError: Requested array size exceeds VM limit
  at eu.plumbr.demo.ArraySize.main(ArraySize.java:8)
STYLUS

注意到在最后 2 次尝试面临 java.lang.OutOfMemoryError: Requested array size exceeds VM limit 之前, 分配失败报出了更为常见的 java.lang.OutOfMemoryError: Java heap space 消息. 这是因为你尝试分配空间的 2^31-1 int 需要 8G 内存, 远大于 JVM 的默认内存.

这个例子也说明了这个错误很稀少 – 为了看到 VM 达到数组大小的限制, 你需要分配一个数据刚好位于平台的限制和 Integer.MAX_INT 之间. 当这个例子在 64bit Mac OS X, Hotspot 7 上运行时, 只有 2 个满足要求的数组长度: Integer.MAX_INT-1 and Integer.MAX_INT.

7.4 解决方案

java.lang.OutOfMemoryError: Requested array size exceeds VM limit在以下 2 种情况下会出现:

  • 你的数组增长的太大, 最终大小位于平台的限制和 Integer.MAX_INT 之间
  • 您特意尝试分配大于 2 ^ 31-1 元素的数组来试验该限制。

在第一种情况下, 检查您的代码库, 看看您是否真的需要这么大的数组。也许你可以减少数组的大小, 并完成它。或将阵列划分为较小的散点, 并将所需的数据加载到您的平台限制中的批次中。

在第二种情况下 - 请记住, Java 数组是由 int 索引. 因此, 在使用平台中的标准数据结构时, 您不能超过 2 ^ 31-1 元素的数组。实际上, 在这种情况下, 编译器在编译过程中宣布 “错误: 整数太大(error: integer number too large)” 时已经阻止了您.

但是, 如果你真的使用真正的大型数据集, 你需要重新考虑你的选择. 您可以在较小的批次中加载所需的数据, 并且仍然使用标准的 Java 工具, 或者您可能会超出标准的实用程序. 实现这一目标的一个方法是查看 sun.misc.Unsafe 类。这使您可以像在 C 中一样直接分配内存。

相关文章
|
6天前
|
存储 缓存 监控
Java内存管理:垃圾回收与内存泄漏
【4月更文挑战第16天】本文探讨了Java的内存管理机制,重点在于垃圾回收和内存泄漏。垃圾回收通过标记-清除过程回收无用对象,Java提供了多种GC类型,如Serial、Parallel、CMS和G1。内存泄漏导致内存无法释放,常见原因包括静态集合、监听器、内部类、未关闭资源和缓存。内存泄漏影响性能,可能导致应用崩溃。避免内存泄漏的策略包括代码审查、使用分析工具、合理设计和及时释放资源。理解这些原理对开发高性能Java应用至关重要。
|
10天前
|
存储 Java 编译器
Java内存区域详解
Java内存区域详解
25 0
Java内存区域详解
|
14天前
|
存储 缓存 安全
【企业级理解】高效并发之Java内存模型
【企业级理解】高效并发之Java内存模型
|
16天前
|
缓存 安全 Java
Java并发编程进阶:深入理解Java内存模型
【4月更文挑战第6天】Java内存模型(JMM)是多线程编程的关键,定义了线程间共享变量读写的规则,确保数据一致性和可见性。主要包括原子性、可见性和有序性三大特性。Happens-Before原则规定操作顺序,内存屏障和锁则保障这些原则的实施。理解JMM和相关机制对于编写线程安全、高性能的Java并发程序至关重要。
|
20天前
|
缓存 算法 Java
Java内存管理与调优:释放应用潜能的关键
【4月更文挑战第2天】Java内存管理关乎性能与稳定性。理解JVM内存结构,如堆和栈,是优化基础。内存泄漏是常见问题,需谨慎管理对象生命周期,并使用工具如VisualVM检测。有效字符串处理、选择合适数据结构和算法能提升效率。垃圾回收自动回收内存,但策略调整影响性能,如选择不同类型的垃圾回收器。其他优化包括调整堆大小、使用对象池和缓存。掌握这些技巧,开发者能优化应用,提升系统性能。
|
21天前
|
Java
java中jar启动设置内存大小java -jar 设置堆栈内存大小
java中jar启动设置内存大小java -jar 设置堆栈内存大小
11 1
|
21天前
|
缓存 算法 Java
Java内存管理:优化性能和避免内存泄漏的关键技巧
综上所述,通过合适的数据结构选择、资源释放、对象复用、引用管理等技巧,可以优化Java程序的性能并避免内存泄漏问题。
25 5
|
24天前
|
缓存 Java C#
【JVM故障问题排查心得】「Java技术体系方向」Java虚拟机内存优化之虚拟机参数调优原理介绍(一)
【JVM故障问题排查心得】「Java技术体系方向」Java虚拟机内存优化之虚拟机参数调优原理介绍
64 0
|
24天前
|
监控 网络协议 NoSQL
java线上排查OOM内存溢出
java线上排查OOM内存溢出
22 0
|
1月前
|
缓存 Java
java使用MAT进行内存分析
java使用MAT进行内存分析