Nodejs内存控制详解(上篇)

简介: JavaScript与Java一样,由垃圾回收机制来进行自动的内存管理。对于性能敏感的服务器端程序,内存管理的好坏、垃圾回收状况是否优良,都会对服务构成影响。而在Node中,这一切与V8引擎息息相关。

输入图片说明

1 V8的垃圾回收机制与内存限制

JavaScript与Java一样,由垃圾回收机制来进行自动的内存管理。对于性能敏感的服务器端程序,内存管理的好坏、垃圾回收状况是否优良,都会对服务构成影响。而在Node中,这一切与V8引擎息息相关。

1.2 V8的内存限制

Node中通过JavaScript只能使用部分内存(64位约1.4G,32位约0.7G)。V8对内存做了限制。因此这种限制下,将会导致Node无法直接操作大内存对象。

1.3 V8的对象分配

V8中,所有的JavaScript对象都是通过堆来分配的。

可以使用以下命令查看Node中V8内存的使用量。


> $ node
> process.memoryUsage();
{ rss: 25939968,
  heapTotal: 5767168,//已申请到的堆内存
  heapUsed: 4707312,//当前使用的量
  external: 8671 }

至于rss为何物,我们会在下面介绍。

V8的堆示意图:

image

限制内存原因:

  • 首先V8是为浏览器而设计的;前期足以满足网页端的需求;
  • 深层原因是V8的垃圾回收机制,垃圾回收耗时,引起JavaScript线程暂停执行时间。
  • 可以手工调整内存大小


node --max-old-space-size=1700 test.js  //单位为MB。设置老生代

node --max-new-space-size=1024 test.js //单位为KB。设置新生代

1.4 V8的垃圾回收机制

主要的垃圾回收策略是基于分代式的垃圾回收机制:将对象的存活时间进行不同的分代

V8中,主要将内存分为新生代和老生代。新生代中的对象为存活时间较短的对象,老生代中的对象为存活时间较长或常驻内存的对象。

image

  • 前面讲到的命令是可以分别设置新生代和老生代的大小。

  • 新生代和老生代的最大值需要在启动时就指定,因此无法动态 扩展。手工设置新生代或老生代的内存,只能在启动时就指定,无法动态的扩展。

Scavenge算法

在分代的基础上,新生代中的对象主要通过Scavenge算法进行垃圾回收。Scavenge算法的具体实现中采用了Cheney算法。

  • Cheney算法主要使用了复制的方式实现。

image

  • 新生代堆内存被一分为二
  • From区存放处于使用状态对象
  • TO区为闲置空间
  • 分配对象时首先在From分配
  • 垃圾回收时,检查From空间中的存活对象,将这些对象复制到TO空间。非存活对象直接释放对应空间。
  • 垃圾回收实际上就是将对象在FROMTO两个空间之间复制。
  • 多次复制仍然存活的对象,即生命周期较长的对象,会被移动到老生代。
  • 对象从新生代到老生代的过程称为晋升
  • 对象晋升过程:

image

另一个判断条件是:TO空间使用是否超过25%。如果超过,直接移动到老生代。

设置25%这个值,是因为当Scavenge完成回收后,这个TO区将变成From区,后面的对象分配要在这个区中进行。如果占比过高,会影响后续的内存分配。

Scavenge的缺点是只能使用堆内存的一半。所以无法大规模的运用到所有的垃圾回收中。但是时间效率上有优异的表现。因此非常适合新生代的垃圾回收,因为新生代中的对象存活周期都较短。

Mark-Sweep & Mark-Compact算法

老生代中主要采用这两种算法进行垃圾回收。

因为老生代中的存活对象占比较大,因此使用Scavenge算法会有弊端:

  • 存活对象多,复制效率低;
  • 浪费一半空间;

1.Mark-Sweep:标记清除

分为标记、清除两个阶段;

  • 标记阶段会遍历堆中的所有对象,并只标记活着的对象;
  • 清除阶段只清除没有被标记的对象;

Mark-Sweep | Scavenge

--- | ---

只清理死亡对象 | 只复制存活对象

死对象在老生代中比重小 | 活对象在新生代中比重小

Mark-Sweep的最大问题即是:在清理完后,内存会出现不连续的状态。导致后续对内存的分配可能出现问题,如无法分配一个大对象。

2.Mark-Compact:标记整理

为了解决Mark-Sweep的问题。Mark-Compact在标记对象死亡后,在整理过程中,将活着的对象往一端移动,移动完成后,直接清理掉边界外的内存。

算法比较

| 算法 | Mark-Sweep | Mark-Compact | Scavenge

---| --- | -- |--

速度 | 中等| 最慢 | 最快

空间开销 | 少(有碎片)|少(无碎片)| 双倍空间(无碎片)

是否移动对象 | 否 | 是 | 是

V8主要使用Mark-Compact,在空间不足以对从新生代中晋升过来的对象进行分配时才使用Mark-Sweep。

原文发布时间为:2018年01月20日
原文作者:sunangie 

本文来源:开源中国 如需转载请联系原作者







目录
相关文章
|
6月前
|
存储 Kubernetes 容器
【CKA模拟题】查找集群中使用内存最高的node节点
【CKA模拟题】查找集群中使用内存最高的node节点
61 1
|
2月前
|
XML IDE 前端开发
IDEA忽略node_modules减少内存消耗,提升索引速度
在后端开发中,IDEA 在运行前端代码时,频繁扫描 `node_modules` 文件夹会导致高内存消耗和慢索引速度,甚至可能会导致软件卡死。为了改善这一问题,可以按照以下步骤将 `node_modules` 文件夹设为忽略:通过状态菜单右键排除该文件夹、在设置选项中将其加入忽略列表,并且手动修改项目的 `.iml` 文件以添加排除配置。这些操作可以有效提高IDE的运行性能、减少内存占用并简化项目结构,但需要注意的是,排除后将无法对该文件夹进行索引,操作文件时需谨慎。
101 4
IDEA忽略node_modules减少内存消耗,提升索引速度
|
29天前
|
运维 JavaScript Linux
容器内的Nodejs应用如何获取宿主机的基础信息-系统、内存、cpu、启动时间,以及一个df -h的坑
本文介绍了如何在Docker容器内的Node.js应用中获取宿主机的基础信息,包括系统信息、内存使用情况、磁盘空间和启动时间等。核心思路是将宿主机的根目录挂载到容器,但需注意权限和安全问题。文章还提到了使用`df -P`替代`df -h`以获得一致性输出,避免解析错误。
|
3月前
|
Web App开发 存储 监控
Node.js中的内存泄漏
【8月更文挑战第31天】Node.js中的内存泄漏
83 1
|
3月前
|
搜索推荐 Java API
Electron V8排查问题之分析 node-memwatch 提供的堆内存差异信息来定位内存泄漏对象如何解决
Electron V8排查问题之分析 node-memwatch 提供的堆内存差异信息来定位内存泄漏对象如何解决
100 0
|
4月前
|
移动开发 运维 JavaScript
阿里云云效操作报错合集之遇到Node.js的内存溢出问题,该怎么办
本合集将整理呈现用户在使用过程中遇到的报错及其对应的解决办法,包括但不限于账户权限设置错误、项目配置不正确、代码提交冲突、构建任务执行失败、测试环境异常、需求流转阻塞等问题。阿里云云效是一站式企业级研发协同和DevOps平台,为企业提供从需求规划、开发、测试、发布到运维、运营的全流程端到端服务和工具支撑,致力于提升企业的研发效能和创新能力。
|
6月前
|
Java
一招轻松解决node内存溢出问题
一招轻松解决node内存溢出问题
如何检测node中是否存在内存泄露的隐患
如何检测node中是否存在内存泄露的隐患
63 0
|
存储 缓存 监控
重学Node系列03-内存管理及GC算法
Node内存控制 这是重新阅读《深入浅出NodeJS》的相关笔记,这次阅读发现自己依旧收获很多,而第一次阅读的东西也差不多忘记完了,所以想着这次过一遍脑子,用自己的理解输出一下,方便记忆以及以后回忆...
134 0
|
存储 监控 JavaScript
【Node Weekly #417】你需要了解的Node.js内存限制
在本篇文章中,我将探索一下Node中的堆内存分配,然后试试看把内存提高到硬件能承受的极限。然后我们将找到一些实用的方法来监控 Node 的进程以调试内存相关问题。 OK,准备完成就发车! 大家可以在仓库拉一下相关代码 clone the code from my GitHub.
779 0