Spark on Kubernetes存在哪些问题?-问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文

Spark on Kubernetes存在哪些问题?

Lee_tianbai 2021-01-07 16:32:36 433

Spark on Kubernetes存在哪些问题?

kubernetes问题 esc问题 spa问题 问题par internet问题
分享到
取消 提交回答
全部回答(1)
  • Lee_tianbai
    2021-01-08 15:46:59

     最重要的,就是 Shuffle 的流程,按照目前的 Shuffle 方式,我们是没办法 打开动态资源特性的。而且还需要挂载云盘,云盘面临着 Shuffle 数据量的问题,挂的 比较大会很浪费,挂的比较小又支持不了 Shuffle Heavy 的任务。

     调度和队列管理问题,调度性能的衡量指标是,要确保当大量作业同时启动时,不应该 有性能瓶颈。作业队列这一概念对于大数据领域的同学应该非常熟悉,他提供了一种管 理资源的视图,有助于我们在队列之间控制资源和共享资源。

     读写数据湖相比较 HDFS,在大量的 Rename,List 等场景下性能会有所下降,同时 OSS 带宽也是一个不可避免的问题。

    0 0
+ 订阅

阿里巴巴开源大数据技术团队成立阿里云EMR技术圈, 每周推送前沿技术文章,直播分享经典案例、在线答疑,营造纯粹的开源大数据氛围,欢迎加入!加入钉钉群聊阿里云E-MapReduce交流2群,点击进入查看详情 https://qr.dingtalk.com/action/joingroup?code=v1,k1,cNBcqHn4TvG0iHpN3cSc1B86D1831SGMdvGu7PW+sm4=&_dt_no_comment=1&origin=11

推荐文章
相似问题
最新问题
官网链接