开发者社区> 问答> 正文

用Yarn部署spark的原因是什么?

用Yarn部署spark的原因是什么?

展开
收起
游客y244y7ln2rlpa 2021-12-07 07:46:24 448 0
1 条回答
写回答
取消 提交回答
  • 原因:因为Yarn支持动态资源配置。Standalone 模式只支持简单的固定资源分配策略,每个任务固定数量的core,各Job按顺序依次分配在资源,资源不够的时候就排队。这种模式比较适合单用户的情况,多用户的情境下,会有可能有些用户的任务得不到资源。

    Yarn作为通用的种子资源调度平台,除了spark提供调度服务之外,还可以为其他系统提供调度,如Hadoop MapReduce, Hive等。

    2021-12-07 07:47:27
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
深度学习+大数据 TensorFlow on Yarn 立即下载
Docker on Yarn 微服务实践 立即下载
深度学习+大数据-TensorFlow on Yarn 立即下载

相关实验场景

更多