开发者社区> 问答> 正文

spark的计算ShortestPaths时间太长是什么原因

数据量在4百多万左右。

展开
收起
hbase小助手 2018-11-27 18:37:51 1730 0
1 条回答
写回答
取消 提交回答
  • spark框架的程序启动、调度、通信成本较高,数据量4百万建议直接单机动态规划,只有在超大规模数据下spark才会发挥优势。

    2019-07-17 23:16:38
    赞同 展开评论 打赏
问答分类:
问答地址:
问答排行榜
最热
最新

相关电子书

更多
Hybrid Cloud and Apache Spark 立即下载
Scalable Deep Learning on Spark 立即下载
Comparison of Spark SQL with Hive 立即下载