1
条回答
写回答
写回答
-
十分耕耘，一定会有一分收获！1、Spark 基于内存进行数据处理，适合数据量大，对实时性要求不高的场合。 2、Hadoop要求每个步骤的数据序列化到磁盘，I/O成本高，导致交互分析迭代算法开销很大。
- Hadoop的MapReduce表达能力有限，所有计算都要转换成 Map和Reduce两个操作，不能适用于所有场景，对于复杂的数据处理过程难以描述。
- Spark的计算模式也属于MapReduce类型，但Spark不仅提供了 Map 和 Reduce操作，还包括了 Filter、FlatMap、Sample、GroupByKey等多种转换操作，以及Count、Collect、Reduce等行为操作。Spark基于DAG(有向无环图)的任务调度执行机制比Hadoop Mapreduce 的迭代执行机制更优越！
2023-04-25 10:55:44赞同 1 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
