开发者社区> 问答> 正文

小米离线集群在使用Spark时面临的主要痛点是什么?

小米离线集群在使用Spark时面临的主要痛点是什么?

展开
收起
萝卜丝丸子 2024-07-29 15:56:55 40 0
1 条回答
写回答
取消 提交回答
  • 小米离线集群使用Spark时,主要痛点集中在Shuffle导致的稳定性差、性能差以及对存算分离架构的限制。作业失败原因主要归结为Fetch Failure,且由于大部分集群使用的是HDD,传统Shuffle的高随机读和高网络连接进一步加剧了这些问题。image.png

    2024-07-29 16:21:06
    赞同 3 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Hybrid Cloud and Apache Spark 立即下载
Scalable Deep Learning on Spark 立即下载
Comparison of Spark SQL with Hive 立即下载