Spark热火朝天,Hadoop何去何从??-问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

Spark热火朝天,Hadoop何去何从??

2016-02-27 17:51:15 4698 6

刚开始学习Hadoop,就听说Spark会取代Hadoop。噩耗啊!为什么??为什么一切来的那么快???互联网新技术对于初学者来说是机遇还是盲从??

取消 提交回答
全部回答(6)
  • knitysteross
    2019-07-17 18:31:14
    已采纳

    学习技术并不一定需要学习最新的。
    Hadoop目前相对Spark有更成熟的商业环境和社区、文档等各方面支持。

    底层很多技术理论都是想通的,建议你先学习Hadoop入门,即便后续Spark要取代Hadoop,届时过度过去也不是难事。

    1 0
  • inzaghi1984
    2019-07-17 18:31:14

    Spark相对于Hadoop的优势,在任务调度的开销方面:传统的MR系统,如Hadoop 是为了运行长达数小时的批量作业而设计的,在某些极端情况下,提交一个任务的延迟非常高。spark采用了事件驱动的类库 akka来启动任务,可以避免进程或线程启动,以及切换开销。

    2 0
  • 封神
    2019-07-17 18:31:14

    spark现在很火,但是还不是分布式的全部的。
    建议初学者学习一种学习能力,掌握这种元的能力。
    对于hadoop重点是学习一种分布式的思想,可以分布式去思考一些问题。
    至于api层面的一些变化,spark也是在hadoop的基础上优化的,flink也可以认为是spark基础上优化的。
    祝福LZ

    0 0
  • smallpotato000
    2019-07-17 18:31:14

    1 Hadoop主要针对map-reduce函数编程模型的程序,spark则比较灵活,提供多种transformation和action,可以表达更复杂的模型;
    2 运行在Hadoop上的map-reducec程序,基本上自己管理自己的数据(来自HDFS或者http等文件系统的文件数据,来自关系型数据库或者NoSQL型数据库的数据),而Spark则是提供了RDD这种数据结构并把RDD当作分布式数据来对待;
    3 Spark可以在程序中指定将特定的RDD缓存于内存还是磁盘,而Hadoop的cache机制并没有那么有效(?)至少理论上是这样;
    4 Hadoop通常认为适合数据是key-value这种形式的,实际中个人感觉至少要是表格形式的,而且在一次job中表格的条目之间最好逻辑不相关;而Spark则可以处理逻辑结构更加复杂的数据(例如图特别是有向无环图);
    5 个人感觉Hadoop可以当做分布式计算框架来使用,而Spark更像是一种数据过滤和统计计算工具。未必准确,只是个人的感觉;
    6 编程语言方面,Hadoop除了Java(或者其他JVM语言)之外,理论上可以支持任何可以用stdin/stdout进行输入输出的编程语言(通过Hadoop Streaming);而Spark仅仅支持Java/Scala/Python/R这四种。

    1 0
  • wq_crazyboy
    2019-07-17 18:31:14

    建议楼主可以以Hadoop为基础然后进一步了解spark,特别可以着重的掌握spark与Hadoop之间的区别以及这项技术产生的原因,这样更加帮助你掌握大数据的处理数据的方式和架构。

    1 0
  • 菜鸟做火箭
    2019-07-17 18:31:14

    不是刚开始学习么?加油、统统拿下。

    1 0
滑动查看更多
相关问答

1

回答

对spark2.4来说Hadoop的最佳版本是?

2019-08-08 17:23:02 733浏览量 回答数 1

1

回答

对spark2.4来说Hadoop的最佳版本

2018-12-19 16:05:52 4938浏览量 回答数 1

1

回答

Spark Streaming 原理是什么?

2022-01-13 15:54:26 1117浏览量 回答数 1

1

回答

Spark Streaming中的DStream的输出操作是什么?

2021-12-07 20:17:49 135浏览量 回答数 1

1

回答

Spark Streaming中的DStream的转化操作是什么?

2021-12-07 20:17:05 111浏览量 回答数 1

1

回答

spark streaming中的foreachRDD(func)方法是什么?

2021-12-07 08:05:05 291浏览量 回答数 1

1

回答

spark streaming是怎么收集和处理数据的?

2021-12-07 22:52:45 113浏览量 回答数 1

1

回答

如何使用Spark Streaming SQL进行 PV/UV统计?

2020-12-28 11:38:30 485浏览量 回答数 1

1

回答

使用Spark Streaming SQL进行 PV/UV统计的准备工作?

2020-12-28 11:39:00 415浏览量 回答数 1

1

回答

spark streaming实时程序 进程总是运行三四个小时左右不知道原因挂掉

2019-12-20 21:25:15 873浏览量 回答数 1
+关注
1
文章
2
问答
问答排行榜
最热
最新
相关电子书
更多
低代码开发师(初级)实战教程
立即下载
阿里巴巴DevOps 最佳实践手册
立即下载
冬季实战营第三期:MySQL数据库进阶实战
立即下载