Spark on Kubernetes存在哪些问题?-问答-阿里云开发者社区-阿里云

开发者社区> Lee_tianbai> 正文

Spark on Kubernetes存在哪些问题?

来自:阿里云EMR 2021-01-07 16:32:36 439 1

Spark on Kubernetes存在哪些问题?

取消 提交回答
全部回答(1)
  • Lee_tianbai
    2021-01-08 15:46:59

     最重要的,就是 Shuffle 的流程,按照目前的 Shuffle 方式,我们是没办法 打开动态资源特性的。而且还需要挂载云盘,云盘面临着 Shuffle 数据量的问题,挂的 比较大会很浪费,挂的比较小又支持不了 Shuffle Heavy 的任务。

     调度和队列管理问题,调度性能的衡量指标是,要确保当大量作业同时启动时,不应该 有性能瓶颈。作业队列这一概念对于大数据领域的同学应该非常熟悉,他提供了一种管 理资源的视图,有助于我们在队列之间控制资源和共享资源。

     读写数据湖相比较 HDFS,在大量的 Rename,List 等场景下性能会有所下降,同时 OSS 带宽也是一个不可避免的问题。

    0 0
相关问答

4

回答

Spark 【问答合集】

社区小助手 2019-05-29 14:13:40 123680浏览量 回答数 4

10

回答

【精品问答合集】Hbase热门问答

hbase小能手 2019-05-29 14:37:26 120229浏览量 回答数 10

37

回答

SaaS模式云数据仓库MaxCompute 百问百答合集(持续更新20211102)

亢海鹏 2020-05-29 15:10:00 61918浏览量 回答数 37

17

回答

【精品问答】Java技术1000问(1)

问问小秘 2019-11-15 11:24:15 52823浏览量 回答数 17

162

回答

惊喜翻倍:免费ECS+免费环境配置~!(ECS免费体验6个月活动3月31日结束)

豆妹 2014-10-29 17:52:21 222957浏览量 回答数 162

5

回答

java.lang.UnsupportedOperationException: This is supposed to be overridden by subclasses.

迷茫君 2019-07-16 09:26:11 118449浏览量 回答数 5

55

回答

基于Java容器的多应用部署技术实践【精品问答集锦】

管理贝贝 2016-07-25 18:07:23 60897浏览量 回答数 55

11

回答

【精品问答合集】MongoDB热门问答

李博 bluemind 2019-05-29 16:50:19 120859浏览量 回答数 11

13

回答

【精品问答合集】Java热门问答

李博 bluemind 2019-05-29 16:00:45 124788浏览量 回答数 13

11

回答

速戳 | 20位阿里出题专家-备战阿里必不可少的题目

Runt 2020-04-15 10:54:04 56691浏览量 回答数 11
+关注
0
文章
1008
问答
来源圈子
更多
E-MapReduce是构建于阿里云ECS弹性虚拟机之上,利用开源大数据生态系统,包括Hadoop和Spark,为用户提供集群、作业、数据等管理的一站式大数据处理分析服务。加入钉钉群聊阿里云E-MapReduce交流2群,点击进入查看详情 https://qr.dingtalk.com/action/joingroup?code=v1,k1,cNBcqHn4TvG0iHpN3cSc1B86D1831SGMdvGu7PW+sm4=&_dt_no_comment=1&origin=11
+ 订阅
推荐问答
相关电子书
更多
文娱运维技术
立即下载
《SaaS模式云原生数据仓库应用场景实践》
立即下载
《看见新力量:二》电子书
立即下载