3
条回答
写回答
写回答
-
下一站是幸福spark是基于内存进行数据处理的,MapReduce是基于磁盘进行数据处理的 MapReduce的设设计:中间结果保存在文件中,提高了可靠性,减少了内存占用。但是牺牲了性能。
2020-08-21 12:24:07赞同 展开评论 打赏 -
除了设计理念和架构层面（内存计算和DAG），spark在后续的优化过程中不断进行优化，比如专门启动了一个钨丝计划（tungsten），钨丝计划主要涉及三块：（1）Memory Management and Binary Processing，（2）Cache-aware computation，（3）Code generation，可以查看blog：https://databricks.com/glossary/tungsten
2020-03-06 20:32:52赞同 展开评论 打赏 -
1）基于内存计算，减少低效的磁盘交互；
2）高效的调度算法，基于DAG；
3)容错机制Linage，精华部分就是DAG和Lingae2019-10-25 16:15:02赞同 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
