NEC新技术带来比Apach Spark快50倍的机器学习能力-阿里云开发者社区

开发者社区> 量子位> 正文
登录阅读全文

NEC新技术带来比Apach Spark快50倍的机器学习能力

简介:
本文来自AI新媒体量子位(QbitAI)

日本计算机巨头NEC宣布,已经开发出一种新的数据处理技术,能加快向量计算机的机器学习速度。这种技术比当前主流的Apache Spark大数据框架快50倍。

NEC表示,新技术利用了一种叫作“稀疏矩阵”的数据结构,能明显提高机器学习任务中向量计算机的性能。

640?wx_fmt=jpeg&wxfrom=5&wx_lazy=1

向量计算机是一种主要用于处理大型科学和工程计算的超级计算机。

上世纪70至90年代,向量计算机架构在超级计算机的发展中占据主导地位。当时,这种架构被用于Cray的大部分平台。然而,由于传统微处理器设计带来的强大性能,这种架构逐渐变得不太常见。然而近年来,随着NEC SX系列超级计算机的开发,向量计算机架构正获得新的生命。

NEC表示,与数据处理技术一同,该公司还开发了新的中间件,通过稀疏矩阵结构去简化机器学习应用。该公司表示,这种中间件可以从Python和Spark基础架构中启动,而不需要额外的编程。

对于“快50倍”这种说法,也有质疑的声音。

Constellation Research副总裁、首席分析师Holger Mueller表示,关于NEC所说的新技术比Apache Spark快50倍,这样的情况在预料之中,并且这样比较并不合适。

他指出,Spark通常使用内存存储将数据提供给神经网络,而神经网络通常运行在英伟达等公司的GPU上。与此不同,向量计算机针对向量的计算和处理进行了优化,而向量是神经网络的基础。

Mueller表示:“毫无疑问,向量计算机在建模、创建和分析神经网络过程中速度更快。而英伟达在人工智能和神经网络领域表现得很好,也是因为该公司的GPU本质上是向量计算器。将Spark存储和NEC向量计算机结合在一起,进行数据分析、学习和计算的速度会有多快?或许这将带来最快的速度,但我们需要从NEC的率先尝试中了解更多信息。”

与此同时,NEC也强调了新平台的成本经济性,以及可能的使用场景。

NEC系统平台研究实验室总经理Yuichi Nakamura表示:“这项技术使用户可以迅速从机器学习的成果中受益,包括网络广告的投放优化、推荐,以及文档分析。此外,使用少量服务器的低成本分析将帮助更多用户获得大数据分析优势,而以往这只属于大公司。”

NEC还表示,最新的SX-ACE向量计算机能满足广泛的性能需求。新的数据处理技术支持大数据分析能力,包括机器学习和深度学习。

NEC宣布,将在奥地利因斯布鲁克举行的2017年“并行和分布式计算国际研讨会”上展示其新技术。

【完】

本文作者:陈桦 
原文发布时间:2017-07-05 

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

分享: