2
条回答
写回答
写回答
-
Spark和MR是不同的计算框架，业界通俗的说法是Spark是MR之后的第二代大数据计算框架。MR是一个stage的计算过程：map->reduce，应用在机器学习领域需要不断的迭代，会有很多个MR job连接起来成为DAG，这样job与job之间的数据通过HDFS来中转，这个过程比较慢，Spark应运而生。Spark最初对比MR优点是内存计算和DAG，map和reduce之间使用内存来shuffle数据，stage与stage之间使用内存来中转数据，这样在机器学习领域性能提升很多。随着Spark的发展，Spark不光能应用在批处理，还能应用于流处理，而MR只能用于批处理。
2020-03-04 21:11:12赞同 展开评论 打赏 -
：MR 一般处理大量数据的时候一般会存在高延迟，浪费时间，对于一些有时间要求的业务就很不适合。但是如果用 spark 处理的话就非常快了，特别是对于实时动态处理的过程。
2020-02-14 20:37:01赞同 展开评论 打赏
问答标签：
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
