max_semi_space_size 设置值与实际值不一致的原因分析

简介:

问题由来

因为业务的需求,某 Node.js 性能平台用户需要调节新生代大小,Node.js 的启动参数里面的max_semi_space_size可以设置新生代堆空间的大小。

node --v8-options | grep max_semi -A 3 -B 2
  --min_semi_space_size (min size of a semi-space (in MBytes), the new space consists of twosemi-spaces)
        type: int  default: 0
  --max_semi_space_size (max size of a semi-space (in MBytes), the new space consists of twosemi-spaces)
        type: int  default: 0
  --semi_space_growth_factor (factor by which to grow the new space)
        type: int  default: 2

相关文档里该值是一个以MB为单位的整数,并没有其他特别的约束。

然而,当用户设置 max_semi_space_size 为200时,Node.js 性能平台 GC Trace分析 结果显示 inactive new_space semispace:256MB,说明新生代中未使用的那部分是256MB(有关GC的一些知识可以参阅文档最后的列表),如下图所示。

undefined

我们也线下验证了一下:

  • 当设置 max_smi_space_size 为100,110时,inactive new_space semispace:128MB。
  • 当设置 max_smi_space_size 为50,60时,inactive new_space semispace:64MB。

那么问题来了,是 Node.js 性能平台的bug?还是v8引擎本身的设计就是如此?

问题定位

其实,从最终64/128/256,这些数值就能推测到,设计就是如此。在计算机的世界里,2的整数次幂会带来很多方便。

还是老方法,既然文档里没有明确说明,而 Node.js 性能平台运行时在该部分功能跟社区运行时是完全一致的,那么只能去代码里找原因了。
一番操作之后,在 deps/v8/src/heap/heap.cc 中找到函数:

bool Heap::ConfigureHeap(size_t max_semi_space_size, size_t max_old_space_size, size_t code_range_size))。

这里摘抄一点max_semi_space相关代码,相关注释直接写到代码里面了,感兴趣的同学建议去看看完整代码。

bool Heap::ConfigureHeap(size_t max_semi_space_size, size_t max_old_space_size,
                         size_t code_range_size) {
  if (HasBeenSetUp()) return false;

  // Overwrite default configuration.
  // 未设置 max_semi_space_size 时,默认值是 0 
  if (max_semi_space_size != 0) {
    max_semi_space_size_ = max_semi_space_size * MB;
  }
  ...

  // If max space size flags are specified overwrite the configuration.
  // 命令行 --max_semi_space_size 设置的新生代大小是通过 FLAG_max_semi_space_size 传递到v
  if (FLAG_max_semi_space_size > 0) {
    max_semi_space_size_ = static_cast<size_t>(FLAG_max_semi_space_size) * MB;
  }
  ...

  /* 
  ROUND_UP 的定义:
  // Round up n to be a multiple of sz, where sz is a power of 2.
     #define ROUND_UP(n, sz) (((n) + ((sz) - 1)) & ~((sz) - 1))
  */
  // 操作系统相关的内存页大小,我的ubuntu16.04上该值是 512KB
  if (Page::kPageSize > MB) {
    max_semi_space_size_ = ROUND_UP(max_semi_space_size_, Page::kPageSize);
    ...
  }
  // 该参数默认是false
  if (FLAG_stress_compaction) {
    // This will cause more frequent GCs when stressing.
    max_semi_space_size_ = MB;
  }

  // The new space size must be a power of two to support single-bit testing
  // for containment.
  // 关键点在这里
  // 为什么 50 变成了 64, 100/120 变成了128, 200 变成了 256
  // 下面的函数 RoundUpToPowerOfTwo32 就是这个变化的原因。
  /*
uint32_t RoundUpToPowerOfTwo32(uint32_t value) {
  DCHECK_LE(value, uint32_t{1} << 31);
  if (value) --value;
// Use computation based on leading zeros if we have compiler support for that.
#if V8_HAS_BUILTIN_CLZ || V8_CC_MSVC
  return 1u << (32 - CountLeadingZeros32(value));
#else
  value |= value >> 1;
  value |= value >> 2;
  value |= value >> 4;
  value |= value >> 8;
  value |= value >> 16;
  return value + 1;
#endif
}
  */ 
  max_semi_space_size_ = base::bits::RoundUpToPowerOfTwo32(
      static_cast<uint32_t>(max_semi_space_size_));
  // 这里是 min_semi_space_size 的设置,这里不讨论
  if (FLAG_min_semi_space_size > 0) {
    ...
  }
  
  // 新生代初始大小是 min_semispace_size,如果需要,那么增大到 max_semi_space_size
  initial_semispace_size_ = Min(initial_semispace_size_, max_semi_space_size_);

  if (FLAG_semi_space_growth_factor < 2) {
    FLAG_semi_space_growth_factor = 2;
  }

  ...

  configured_ = true;
  return true;
}

问题结论

max_semi_space_size 设置看起来是个任意整数,但是实际使用中 v8 会把该值转换成一个不小于该值的2的整数次幂的值。也就是说:

  • max_semi_space_size 设置为 33, 34, ..., 64,最终结果都是 64MB。
  • max_semi_space_size 设置为 65, 66, ..., 128,最终结果都是 128MB。
  • 依次类推

heap.cc 里面的注释是

  // The new space size must be a power of two to support single-bit testing
  // for containment.

相关知识

目录
相关文章
|
Web App开发 缓存 JavaScript
Python:Python语言下载库或包的常见whl文件集合
Python:Python语言下载库或包的常见whl文件集合
Python:Python语言下载库或包的常见whl文件集合
|
10月前
|
并行计算 API Python
Python 3.12 隐藏利器:用子解释器实现真正并行
Python 3.12 隐藏利器:用子解释器实现真正并行
466 134
|
JavaScript 前端开发
Element_文件上传&&多个文件上传
Element_文件上传&&多个文件上传
1665 0
|
Web App开发 Rust 前端开发
WebAssembly 与 Java 结合实操指南 基于最新工具链的跨语言开发实践教程
WebAssembly与Java集成实操指南 本文基于2024年最新工具链(GraalVM、TeaVM、Wasmtime),提供两种Java与Wasm结合的实践方案: Java调用Wasm模块:通过Rust编写高性能加密算法并编译为Wasm,在Java中利用Wasmtime运行时进行调用,实现6.7倍的性能提升。重点演示了Wasm内存模型操作和指针传递机制。 Java编译为Wasm:使用TeaVM将Java科学计算代码编译为Wasm模块,供浏览器前端直接调用。包含完整的Maven配置和前端调用示例,特别适合
1067 5
|
人工智能 自然语言处理 JavaScript
专为 Claude Code 设计的基于 YAML 的 Playwright MCP 自动化测试
YAML配置结合Claude Code与Playwright MCP,将自动化测试变得人人可用。通过简洁的YAML语法替代复杂的JavaScript代码,解决传统测试中冗长、硬编码和复用性差等问题。自然语言描述测试步骤,AI解析执行,支持多环境切换与智能报告生成,极大降低技术门槛,提升团队协作效率。无论是开发、QA还是产品经理,都能轻松参与测试流程,真正实现可读、易维护的自动化测试新范式。
4918 3
|
应用服务中间件 Linux nginx
Docker镜像-手动制作yum版nginx镜像
这篇文章介绍了如何手动制作一个基于CentOS 7.6的Docker镜像,其中包括下载指定版本的CentOS镜像,创建容器,配置阿里云软件源,安装并配置nginx,自定义nginx日志格式和web页面,最后提交镜像并基于该镜像启动新容器的详细步骤。
688 21
Docker镜像-手动制作yum版nginx镜像
|
人工智能 API C#
SimpleRAG:基于WPF与Semantic Kernel实现的一个简单的RAG应用
SimpleRAG是一款基于WPF与Semantic Kernel的RAG应用,支持OpenAI兼容的AI聊天与文本嵌入模型,演示了RAG技术在提升回答质量上的作用。可通过GitHub获取源码,配置所需模型API密钥后,在VS2022中以.NET 8环境编译运行。应用内置Sqlite数据库存储向量数据,便于离线使用与自定义扩展。如感兴趣,请支持并反馈使用体验。
556 1
SimpleRAG:基于WPF与Semantic Kernel实现的一个简单的RAG应用
|
机器学习/深度学习 人工智能 自动驾驶
ONNX 在多模态应用中的角色
【8月更文第27天】随着人工智能技术的发展,多模态学习成为了一个热门的研究方向。多模态学习指的是结合多种不同类型的数据(如图像、文本和音频等)进行建模,以提取更丰富的信息并做出更准确的预测。Open Neural Network Exchange (ONNX) 作为一种开放的标准,支持多种机器学习框架之间的模型交换,为多模态应用的开发提供了强大的支持。本文将探讨 ONNX 在多模态应用中的作用,并通过具体的代码示例来展示如何利用 ONNX 来实现图像、文本和音频数据的融合处理。
953 1
|
XML 编解码 文字识别
PyMuPDF 1.24.4 中文文档(八)(4)
PyMuPDF 1.24.4 中文文档(八)
1335 1
|
Linux C语言 iOS开发
Python初学者在不同系统上安装Python的保姆级指引_altinstall 安装路径
Python初学者在不同系统上安装Python的保姆级指引_altinstall 安装路径