emapreduce的spark跑在哪里呢?
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
spark有许多的运行模式,大致有:
1、local:一般是调试代码的时候用,可以再本地local。因为spark的程序本身就带一个main函数。
2、 standalone cluster:就是spark'自身提供守护进程,启动spark的executor节点的。
3、spark on Mesos:这个是spark原生就支持的分布式调度资源框架上运行起来的,不过国内较少使用,对hadoop生态的其它组件也支持的不好。
4、spark on Yarn:这个是目前推荐使用的,也是国内用的比较多,因为一般用spark的集群可能也会运行一些hadoop mr的job。
在emapreduce上就是spark on yarn的模式在运行的。