emapreduce的spark跑在哪里呢?-问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文

emapreduce的spark跑在哪里呢?

封神 2016-05-18 17:03:16 1419

emapreduce的spark跑在哪里呢?

分布式计算 Spark
分享到
取消 提交回答
全部回答(1)
  • 封神
    2019-07-17 19:06:59

    spark有许多的运行模式,大致有:
    1、local:一般是调试代码的时候用,可以再本地local。因为spark的程序本身就带一个main函数。
    2、 standalone cluster:就是spark'自身提供守护进程,启动spark的executor节点的。
    3、spark on Mesos:这个是spark原生就支持的分布式调度资源框架上运行起来的,不过国内较少使用,对hadoop生态的其它组件也支持的不好。
    4、spark on Yarn:这个是目前推荐使用的,也是国内用的比较多,因为一般用spark的集群可能也会运行一些hadoop mr的job。

    在emapreduce上就是spark on yarn的模式在运行的。

    1 0
大数据
使用钉钉扫一扫加入圈子
+ 订阅

大数据计算实践乐园,近距离学习前沿技术

推荐文章
相似问题