我的spark性能为何这么差?-问答-阿里云开发者社区-阿里云

开发者社区> 问答> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

我的spark性能为何这么差?

2016-02-06 20:47:51 3742 1

我用scala写了一个knn分类的程序,在spark上运行,和单机下运行时间做对比。
用e-mapreduce,创建spark集群,2个节点,4核cpu,8GB内存,高效云磁盘。输入和输出都 用OSS。
训练集1.9kb,测试集33Mb的情况下,单机运行55秒,使用spark集群运行,花了5分钟;
训练集1.9kb,测试集100Mb的情况下,单机运行193秒,使用spark集群运行,花了52分钟;
为什么spark运行的性能这么差?我需要分析更大规模的数据,这么差的性能,都不敢去测试更大的数据集了。
能否帮我分析一下原因。谢谢。

取消 提交回答
全部回答(1)
  • anglu
    2019-07-17 18:28:14

    如果你的单机8核cpu,64GB内存,肯定比spark快。你的训练集怎么比测试集少那么多?搞反了吧。

    0 0
相关问答

1

回答

Spark Streaming 原理是什么?

2022-01-13 15:54:26 1115浏览量 回答数 1

1

回答

Flink 相比传统的 Spark Streaming 有怎样的区别?

2021-12-08 17:05:05 331浏览量 回答数 1

1

回答

Flink 相比传统的 Spark Streaming 有那些区别?

2021-12-08 15:32:46 168浏览量 回答数 1

1

回答

Spark Streaming中的DStream的输出操作是什么?

2021-12-07 20:17:49 130浏览量 回答数 1

1

回答

Spark Streaming中的DStream的转化操作是什么?

2021-12-07 20:17:05 108浏览量 回答数 1

1

回答

spark streaming中的foreachRDD(func)方法是什么?

2021-12-07 08:05:05 287浏览量 回答数 1

1

回答

spark streaming是怎么收集和处理数据的?

2021-12-07 22:52:45 109浏览量 回答数 1

1

回答

如何使用Spark Streaming SQL进行 PV/UV统计?

2020-12-28 11:38:30 477浏览量 回答数 1

1

回答

使用Spark Streaming SQL进行 PV/UV统计的准备工作?

2020-12-28 11:39:00 411浏览量 回答数 1

1

回答

spark streaming实时程序 进程总是运行三四个小时左右不知道原因挂掉

2019-12-20 21:25:15 864浏览量 回答数 1
+关注
0
文章
3
问答
问答排行榜
最热
最新
相关电子书
更多
低代码开发师(初级)实战教程
立即下载
阿里巴巴DevOps 最佳实践手册
立即下载
冬季实战营第三期:MySQL数据库进阶实战
立即下载