开发者社区 问答 正文

spark的部署模式的特点是什么?

spark的部署模式的特点是什么?

展开
收起
芯在这 2021-12-07 16:04:13 269 分享 版权
1 条回答
写回答
取消 提交回答
  • 1)本地模式

    Spark不一定非要跑在hadoop集群,可以在本地,起多个线程的方式来指定。将Spark应用以多线程的方式直接运行在本地,一般都是为了方便调试,本地模式分三类

    local:只启动一个executor

    local[k]:启动k个executor

    local:启动跟cpu数目相同的 executor

    2)standalone模式

    分布式部署集群, 自带完整的服务,资源管理和任务监控是Spark自己监控,这个模式也是其他模式的基础,

    3)Spark on yarn模式

    分布式部署集群,资源和任务监控交给yarn管理,但是目前仅支持粗粒度资源分配方式,包含cluster和client运行模式,cluster适合生产,driver运行在集群子节点,具有容错功能,client适合调试,dirver运行在客户端

    4)Spark On Mesos模式。官方推荐这种模式(当然,原因之一是血缘关系)。正是由于Spark开发之初就考虑到支持Mesos,因此,目前而言,Spark运行在Mesos上会比运行在YARN上更加灵活,更加自然。

    2021-12-07 16:05:11
    赞同 展开评论