19-案例实战剖析-日处理上亿数据的系统内存分析和优化

简介: 这是当时开发中遇到的一个真实场景,也是大部分人在开发项目中有可能会遇到的一些场景,该系统主要是做大数据相关计算分析的,日处理数据量在上亿的规模。这里我们重点针对JVM内存的管理来进行模型分析,数据的来源获取主要是MYSQL数据库以及其他数据源里提取大量的数据,通过加载到JVM内存的过程我们来一起分析出现的问题以及如何优化解决

案例实战剖析-日处理上亿数据的系统内存分析和优化

1.系统背景

这是当时开发中遇到的一个真实场景,也是大部分人在开发项目中有可能会遇到的一些场景,该系统主要是做大数据相关计算分析的,日处理数据量在上亿的规模。这里我们重点针对JVM内存的管理来进行模型分析,数据的来源获取主要是MYSQL数据库以及其他数据源里提取大量的数据,通过加载到JVM内存的过程我们来一起分析出现的问题以及如何优化解决(如下图所示):

2.生产环境

这是一套分布式运行系统,生产环境部署了多台服务器(每台4核8G配置),每台机器大概每分钟负责执行100次数据提取和计算,每次提取大概1万条左右的数据到内存计算,平均每次计算需要耗费10秒左右时间。 JVM内存总共分配了4G,堆内存占3G,其中新生代和老年代分别是1.5G的内存空间

3.过程分析

按照上述的背景和实际生产环境,那每次1万条数据会占用多少的内存空间呢?这里每条数据较大,平均包含20个字段,可以认为每条数据大概在1KB左右。那么1万条数据对应就是10MB大小。那么运行多久就会导致新生代塞满呢?

新生代总共分配1.5G,那么Eden区分配就是1.2G,S1和S2区分别是150MB;如下图:

现在我们可以来手动计算下了,1次往Eden区里填充10MB对象,1分钟读取100次,也就是差不多1个G,那也就是1分钟左右的时候我们的Eden区就差不多填满了,这个时候如果触发Minor GC,我们通过上文学习知道,JVM在执行Minor GC之前是会进行一步检查动作的:老年代可用内存空间是否大于新生代全部对象?如果是第一次运行到这儿,那么我们的老年代是空的,也就是有1.5G的空间,完全是够用的。

这里触发Minor GC进行回收,但是问题在于如何回收呢?我们重点来看每次任务计算的耗时是10S,这里差不多有80次的任务都已经执行完毕了,还有大概20个任务正在计算中,也就是对应还有200MB的对象在引用着,这部分对象是不会被回收的,而我们的幸存者区域最大也就是150MB无法存放下200MB,那么根据我们讲过的空间担保机制,这200MB对象会直接进入到老年代!

由于每一分钟就会将Eden区填满触发Minor GC,也就是每分钟就会有200MB对象进入到老年代,那当老年代的内存占用的越多后会发生什么事情呢?比如两分钟过去了,这时占用400MB,那老年代可用空间就只剩1.1G了,那第三分钟触发Minor GC的时候,一判断发现,老年代剩余空间已小于Eden区所有对象1.2G大小了,则会走另一条分支的判断了,我们可以根据下图再来回顾下:

先看参数: -XX:-HandlePromotionFailure是否设置,当然一般都会设置,此时会判断老年代连续空间是否大于历史平均晋升老年代对象的大小,那历史晋升对象大小都在200MB,很明显大于,那么JVM会直接进行冒险操作,触发Minor GC的执行,而本次冒险是成功的!新生代依然继续晋升200MB对象到老年代。

那么当系统运行到第7分钟的时候,这时进入到老年代的对象有1.4G了,剩余空间仅剩100MB!如下图:

系统运行到这儿,发现老年代剩余空间已经比历史平均晋升对象大小都要小了,这时会直接触发Full GC!假设老年代空间都可以被回收,那么这时老年代对象就完全清除,接着会继续进行Minor GC,200MB对象继续进入老年代,又开始重复循环执行了。

那么按照以上的运行分析,我们可以得出一个结论就是:系统平均运行7、8分钟左右就会触发一次Full GC的执行!而每次一旦Full GC执行,就会严重影响到系统的运行效率,加上该系统的Full GC频率较高,给用户带来的使用感受是非常糟糕的!

4.JVM优化

像真实开发中大家也有很大几率会遇到类似这样的情况,我们应该减少Full GC的次数以及降低它出现的频率,甚至不触发Full GC,那么如何进行优化呢?这也是考验一个Java程序员的价值体现。

针对类似的计算系统,每次Minor GC的时候,必然会有一部分数据没处理完毕,但是按照现有的内存模型,我们的幸存者区域只有150MB是无法满足200MB对象的存放,因此有必要调整我们的内存比例。

解决方案:

3GB的堆内存大小,我们直接分配2G给新生代,1G给老年代,这样Survivor区的大小就有200MB了每次刚好能存放下MinorGC过后存活的对象了。如下图所示:

只要每次Minor GC时200MB存活对象可以存放进Survivor区,那么等下一次Minor GC时这部分对象对应的计算任务也已经结束,也可以直接进行回收。

那么接下来我们还是在继续模拟跑一次,当Eden区内存已经装满,此时S0区也有200MB对象,这是触发Minor GC的执行,200MB正在执行的任务对象(存活对象)直接转移到S1区,回收清空掉Eden区和S0区,如下图:

那么通过以上的分析也不免看出,基本上很少会有对象进入到老年代,我们也成功的将几分钟一次的Full GC降低到几个小时一次,大幅度提升了系统的性能,避免了Full GC对系统运行的影响!

当然这里其实还有一个细节点:就是动态年龄对象规则!如果在Survivor空间中相同年龄所有对象大小的总和大于Survivor空间的一半,年龄大于或等于该年龄的对象就可以直接进入老年代,无须等到-XX: MaxTenuringThreshold中要求的年龄。 这里需要结合自己公司的实际系统分析到底有多少对象是根据动态年龄规则进入到了老年代,如果要避免因为这项规则进入老年代,从而触发Full GC也可以尝试调整Eden区和Survivor区的比例,调整survivor区的大小。

相关文章
PyTorch CUDA内存管理优化:深度理解GPU资源分配与缓存机制
本文深入探讨了PyTorch中GPU内存管理的核心机制,特别是CUDA缓存分配器的作用与优化策略。文章分析了常见的“CUDA out of memory”问题及其成因,并通过实际案例(如Llama 1B模型训练)展示了内存分配模式。PyTorch的缓存分配器通过内存池化、延迟释放和碎片化优化等技术,显著提升了内存使用效率,减少了系统调用开销。此外,文章还介绍了高级优化方法,包括混合精度训练、梯度检查点技术及自定义内存分配器配置。这些策略有助于开发者在有限硬件资源下实现更高性能的深度学习模型训练与推理。
108 0
快速定位并优化CPU 与 JVM 内存性能瓶颈
本文介绍了 Java 应用常见的 CPU & JVM 内存热点原因及优化思路。
739 166
JVM实战—2.JVM内存设置与对象分配流转
本文详细介绍了JVM内存管理的相关知识,包括:JVM内存划分原理、对象分配与流转、线上系统JVM内存设置、JVM参数优化、问题汇总。
JVM实战—2.JVM内存设置与对象分配流转
Headless Chrome 优化:减少内存占用与提速技巧
在数据驱动的时代,爬虫技术至关重要。本文聚焦 Headless Chrome 优化方案,解决传统爬虫内存占用高、效率低等问题。通过无界面模式、代理 IP等配置,显著降低资源消耗并提升速度。实际案例中,该方案用于采集汽车点评数据,性能提升明显:内存占用降低 30%-50%,页面加载提速 40%-60%。结合技术架构图与演化树,全面解析爬虫技术演进,助力高效数据采集。
Headless Chrome 优化:减少内存占用与提速技巧
课时4:对象内存分析
接下来对对象实例化操作展开初步分析。在整个课程学习中,对象使用环节往往是最棘手的问题所在。
go的内存逃逸分析
内存逃逸分析是Go编译器在编译期间根据变量的类型和作用域,确定变量分配在堆上还是栈上的过程。如果变量需要分配在堆上,则称作内存逃逸。Go语言有自动内存管理(GC),开发者无需手动释放内存,但编译器需准确分配内存以优化性能。常见的内存逃逸场景包括返回局部变量的指针、使用`interface{}`动态类型、栈空间不足和闭包等。内存逃逸会影响性能,因为操作堆比栈慢,且增加GC压力。合理使用内存逃逸分析工具(如`-gcflags=-m`)有助于编写高效代码。
如何快速定位并优化CPU 与 JVM 内存性能瓶颈?
如何快速定位并优化CPU 与 JVM 内存性能瓶颈?
|
3月前
|
Linux系统内存使用优化技巧
交换空间(Swap)的优化 禁用 Swap sudo swapoff -a 作用:这个命令会禁用系统中所有的 Swap 空间。swapoff 命令用于关闭 Swap 空间,-a 参数表示关闭 /etc/fstab 文件中配置的所有 Swap 空间。 使用场景:在高性能应用场景下,比如数据库服务器或高性能计算服务器,禁用 Swap 可以减少磁盘 I/O,提高系统性能。
72 3
kafka 的数据是放在磁盘上还是内存上,为什么速度会快?
Kafka的数据存储机制通过将数据同时写入磁盘和内存,确保高吞吐量与持久性。其日志文件按主题和分区组织,使用预写日志(WAL)保证数据持久性,并借助操作系统的页缓存加速读取。Kafka采用顺序I/O、零拷贝技术和批量处理优化性能,支持分区分段以实现并行处理。示例代码展示了如何使用KafkaProducer发送消息。
Arthas memory(查看 JVM 内存信息)
Arthas memory(查看 JVM 内存信息)
37 6

热门文章

最新文章