开发者社区> 问答> 正文

spark使用MLlib的注意点有什么?

spark使用MLlib的注意点有什么?

展开
收起
游客k7rjnht6hbtk6 2021-12-09 20:17:41 282 0
1 条回答
写回答
取消 提交回答
  • MLlib只包含能够在集群上运行良好的并行算法,包括分布式随机森林算法,K-means,交替最小二乘法等,如果用小规模数据集,单节点用scikit_learn,Weka更合适。在spark中,可以通过把参数列表传给parallelize(),来在不同节点上分别运行不同的参数,而在每个节点则使用单节点的机器学习库实现。

    2021-12-09 20:51:06
    赞同 展开评论 打赏
问答分类:
问答地址:
问答排行榜
最热
最新

相关电子书

更多
Hybrid Cloud and Apache Spark 立即下载
Scalable Deep Learning on Spark 立即下载
Comparison of Spark SQL with Hive 立即下载