开发者社区> 问答> 正文

Unified Memory Management内存管理模型是什么?

Unified Memory Management内存管理模型是什么?

展开
收起
芯在这 2021-12-06 08:09:54 404 0
1 条回答
写回答
取消 提交回答
  • "Spark中的内存使用分为两部分:执行(execution)与存储(storage)。

    执行内存主要用于shuffles、joins、sorts和aggregations,存储内存则用于缓存或者跨节点的内部数据传输。1.6之前,对于一个Executor,内存都有哪些部分构成:

    ExecutionMemory。这片内存区域是为了解决 shuffles、joins、 sorts and aggregations 过程中为了避免频繁IO需要的buffer。通过spark.shuffle.memoryFraction(默认 0.2) 配置。 StorageMemory。这片内存区域是为了解决 block cache(就是你显示调用dd.cache, rdd.persist等方法), 还有就是broadcasts,以及task results的存储。可以通过参数 spark.storage.memoryFraction(默认0.6)。设置 OtherMemory。给系统预留的,因为程序本身运行也是需要内存的。 (默认为0.2)."

    2021-12-06 10:04:29
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
内存取证与IaaS云平台恶意行 为的安全监控 立即下载
云服务器ECS内存增强型实例re6全新发布 立即下载
Improve virtual machine performance: Smart Idle Polling 立即下载