开发者社区> 问答> 正文

大数据spark和 深度学习的推荐方案是什么?

大数据spark和 深度学习的推荐方案是什么?

展开
收起
OSC开源社区 2024-05-14 14:40:02 27 0
1 条回答
写回答
取消 提交回答
  • Spark是一种分布式计算平台。主要基于是基于内存计算,提高计算速度。这里的关键词是分布式。我们知道深度学习的性能高度依赖于超参数(比如设计多少层,每层多少神经元等),这样我们就可以每个计算节点跑一种超参数,这样就加快了调参的速度。 这时的方案可以选择Spark+TensorFlow+若干分布式计算节点。 关于深度学习在推荐系统中应用,目前也开始火起来了。当然火起来也有它的内在推动力,这是因为深度学习的一些优点,如(1)能够直接从文本内容中提取特征(这个特征可能只能机器理解),表征能力比较强(2)对噪声数据处理比较方便,抗噪能量强(3)使用RNN(LSTM)循环神经网络对动态或者序列数据进行建模,能比较好的利用历史信息。

    2024-05-23 23:42:47
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Data+AI时代大数据平台应该如何建设 立即下载
大数据AI一体化的解读 立即下载
极氪大数据 Serverless 应用实践 立即下载