hadoop和spark的都是并行计算,那么他们有什么相同和区别-问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文

hadoop和spark的都是并行计算,那么他们有什么相同和区别

2019-10-29 14:27:41 1062 1

hadoop和spark的都是并行计算,那么他们有什么相同和区别

取消 提交回答
全部回答(1)
  • 珍宝珠
    2019-10-30 15:30:06

    两者都是用mr模型来进行并行计算,hadoop的一个作业称为job,job里面分为map task和reduce task,每个task都是在自己的进程中运行的,当task结束时,进程也会结束
    spark用户提交的任务成为application,一个application对应一个sparkcontext,app中存在多个job,每触发一次action操作就会产生一个job
    这些job可以并行或串行执行,每个job中有多个stage,stage是shuffle过程中DAGSchaduler通过RDD之间的依赖关系划分job而来的,每个stage里面有多个task,组成taskset有TaskSchaduler分发到各个executor中执行,executor的生命周期是和app一样的,即使没有job运行也是存在的,所以task可以快速启动读取内存进行计算 hadoop的job只有map和reduce操作,表达能力比较欠缺而且在mr过程中会重复的读写hdfs,造成大量的io操作,多个job需要自己管理关系
    spark的迭代计算都是在内存中进行的,API中提供了大量的RDD操作如join,groupby等,而且通过DAG图可以实现良好的容错

    0 0
相关问答

38

回答

【每日一题】SQL 知识大测验 | 持续更新

茶什i 2019-11-22 11:17:53 32537浏览量 回答数 38

5

回答

Spark 【问答合集】

社区小助手 2019-05-29 14:13:40 129517浏览量 回答数 5

10

回答

【精品问答合集】Hbase热门问答

hbase小能手 2019-05-29 14:37:26 123084浏览量 回答数 10

37

回答

SaaS模式云数据仓库MaxCompute 百问百答合集(持续更新20220424)

亢海鹏 2020-05-29 15:10:00 82910浏览量 回答数 37

20

回答

【大咖问答】对话PostgreSQL 中国社区发起人之一,阿里云数据库高级专家 德哥

阿里ACE 彭飞 2019-07-10 09:36:10 1223701浏览量 回答数 20

20

回答

【阿里云产品公测】简单日志服务SLS使用评测含教程

mr_wid 2014-10-09 07:18:30 42114浏览量 回答数 20

8

回答

问几个小白问:服务器重置?数据恢复?及其他?

ap6681c6b 2012-08-15 20:47:42 38672浏览量 回答数 8

5

回答

java.lang.UnsupportedOperationException: This is supposed to be overridden by subclasses.

迷茫君 2019-07-16 09:26:11 120381浏览量 回答数 5

18

回答

MaxCompute百问集锦(持续更新20171011)

隐林 2017-06-30 18:30:36 53023浏览量 回答数 18

11

回答

速戳 | 20位阿里出题专家-备战阿里必不可少的题目

Runt 2020-04-15 10:54:04 61773浏览量 回答数 11
+关注
204
文章
1654
问答
问答排行榜
最热
最新
相关电子书
更多
JS零基础入门教程(上册)
立即下载
性能优化方法论
立即下载
手把手学习日志服务SLS,云启实验室实战指南
立即下载