开发者社区 问答 正文

emapreduce的spark跑在哪里呢?

emapreduce的spark跑在哪里呢?

展开
收起
封神 2016-05-18 17:03:16 3030 分享 版权
1 条回答
写回答
取消 提交回答
  • 专注在大数据分布式计算、数据库及存储领域,拥有13+年大数据引擎、数据仓库、宽表引擎、平台研发经验,6年云智能大数据产品技术一号位经验,10年技术团队管理经验;云智能技术架构/云布道师; 研发阿里历代的大数据技术产品包括ODPS、DLA、ADB,最近五年主导宽表引擎研发、DLA、ADB湖仓研发;

    spark有许多的运行模式,大致有:
    1、local:一般是调试代码的时候用,可以再本地local。因为spark的程序本身就带一个main函数。
    2、 standalone cluster:就是spark'自身提供守护进程,启动spark的executor节点的。
    3、spark on Mesos:这个是spark原生就支持的分布式调度资源框架上运行起来的,不过国内较少使用,对hadoop生态的其它组件也支持的不好。
    4、spark on Yarn:这个是目前推荐使用的,也是国内用的比较多,因为一般用spark的集群可能也会运行一些hadoop mr的job。

    在emapreduce上就是spark on yarn的模式在运行的。

    2019-07-17 19:06:59
    赞同 1 展开评论
问答分类:
问答标签:
问答地址: