开发者社区> 问答> 正文

spark 和 mapreduce 的对比

spark 和 mapreduce 的对比

展开
收起
愚笨如你 2020-02-14 20:36:38 1878 0
2 条回答
写回答
取消 提交回答
  • Spark和MR是不同的计算框架,业界通俗的说法是Spark是MR之后的第二代大数据计算框架。MR是一个stage的计算过程:map->reduce,应用在机器学习领域需要不断的迭代,会有很多个MR job连接起来成为DAG,这样job与job之间的数据通过HDFS来中转,这个过程比较慢,Spark应运而生。Spark最初对比MR优点是内存计算和DAG,map和reduce之间使用内存来shuffle数据,stage与stage之间使用内存来中转数据,这样在机器学习领域性能提升很多。随着Spark的发展,Spark不光能应用在批处理,还能应用于流处理,而MR只能用于批处理。

    2020-03-04 21:11:12
    赞同 展开评论 打赏
  • :MR 一般处理大量数据的时候一般会存在高延迟,浪费时间,对于一些有时间要求的业务就很不适合。但是如果用 spark 处理的话就非常快了,特别是对于实时动态处理的过程。

    2020-02-14 20:37:01
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Hybrid Cloud and Apache Spark 立即下载
Scalable Deep Learning on Spark 立即下载
Comparison of Spark SQL with Hive 立即下载