开发者社区> 问答> 正文

用Yarn来部署Spark的原因是什么啊?

用Yarn来部署Spark的原因是什么啊?

展开
收起
游客ahv54x37wvm7u 2021-12-13 19:39:39 593 0
1 条回答
写回答
取消 提交回答
  • 因为 Yarn 支持动态资源配置。Standalone 模式只支持简单的固定资源分配策略,每个任务固定数量的 core,各 Job 按顺序依次分配在资源,资源不够的时候就排队。这种模式比较适合单用户的情况,多用户的情境下,会有可能有些用户的任务得不到资源。

    Yarn 作为通用的种子资源调度平台,除了 Spark 提供调度服务之外,还可以为其他系统提供调度,如 Hadoop MapReduce, Hive 等。

    2021-12-13 19:39:50
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
深度学习+大数据 TensorFlow on Yarn 立即下载
Docker on Yarn 微服务实践 立即下载
深度学习+大数据-TensorFlow on Yarn 立即下载

相关实验场景

更多