Spark on Kubernetes存在哪些问题？

 最重要的，就是 Shuffle 的流程，按照目前的 Shuffle 方式，我们是没办法 打开动态资源特性的。而且还需要挂载云盘，云盘面临着 Shuffle 数据量的问题，挂的 比较大会很浪费，挂的比较小又支持不了 Shuffle Heavy 的任务。

 调度和队列管理问题，调度性能的衡量指标是，要确保当大量作业同时启动时，不应该 有性能瓶颈。作业队列这一概念对于大数据领域的同学应该非常熟悉，他提供了一种管 理资源的视图，有助于我们在队列之间控制资源和共享资源。

 读写数据湖相比较 HDFS，在大量的 Rename，List 等场景下性能会有所下降，同时 OSS 带宽也是一个不可避免的问题。