存在比深度学习更好的技术吗?有人说脉冲神经网络和哥德尔机器-阿里云开发者社区

开发者社区> 新智元> 正文

存在比深度学习更好的技术吗?有人说脉冲神经网络和哥德尔机器

简介: 什么比深度学习更好?由此引出深度学习的三大局限性:缺乏解释性、缺乏迁移能力以及巨大的计算资源消耗。什么比深度学习更好?脉冲神经网络和哥德尔机器算吗?

本文选自Quora上的提问,“什么比深度学习更好?”(What is better than deep learning?)

以下是来自用户Sridhar Mahadevan的回答。

(Sridhar Mahadevan 1990年毕业于罗格斯大学,获得计算机科学博士学位;是AAAI Fellow;是SRI International的执行主任)

在回答这个问题之前,必须先搞清楚“更好”是什么意思。有以下几种解读“更好”的方式。

“更好”=标签数据集的精确度。在这种情况下,目前来看没有优于机器学习的。例如,深度学习在Imagenet或者言语/语言翻译等领域的大型标签数据集上表现最好。但是,根据我在机器学习30多年的研究经验,世事无常。正如一切奥运纪录都将被打破,总会有更新更好的事物出现。但目前为止,深度学习仍然拔得头筹。

“更好”=结果解读能力。在这种情况下,深度学习表现不佳。Imagenet上令人印象深刻的30多层网络主要是黑盒子。除了尝试逐层解码每个隐藏单元的计算,黑盒子能够提供的洞察不多。这很乏味,是广泛使用深度学习的最大障碍。如果你有一辆使用深度学习的无人驾驶汽车,或有一个使用深度学习的自动化医疗程序,那就需要依照法律对其决策进行解释。为什么这辆车在撞到其它车前不停下?为什么这个程序断定患者是否患乳腺癌?如果这个问题不解决,深度学习无法得到更广泛应用。

“更好”=跨任务转移。在这种情况下,深度学习表现依旧不佳。大部分深度学习奏效的原因是适应于任务。如果测试集分布和训练分布差别太大,除非经过专门训练,通常情况下深度学习表现不好。有些深度学习的变体专门产生通用特征,但仍在初级阶段。在适应和转移学习问题方面,还有更好的解决措施。

“更好”=“计算成本更低”。深度学习表现不佳。这是因为深度学习需要重复多次,并需要高性能GPU电脑。

简而言之,如果你只在乎准确性(而不关注结果解读),如果你的测试数据与培训数据高度匹配,如果你有数百万的标签数据,以及有很多高性能GPU电脑,那么深度学习是最好的选择。反之,则有很多比深度学习更好的选择。

以下是来自用户Chansa Kabwe的回答:

(Chansa Kabwe是神经网络研究人员)

回答这个问题时,我将假设以下两点:“深度学习”是指第二代深层神经网络(dnn);“更好”是泛指机器学习和人工智能的表现。

除了理论太复杂或难以实现等因素,可能有很多系统比深度神经网络表现好,例如脉冲神经网络和哥德尔机器(spiking neural networks and the gödel machine)

脉冲神经网络 (snn)已被归为第三代神经网络,并利用Hodgkin-Huxley,izhikevich,Fitzhugh-Nagumo等神经元生物模型。在1996年的论文里,Wolfgang Maas表明 SNNs表现优于第二代神经网络。神经元芯片试图通过在IC上直接实施snn来利用这一理论。IBM的truenorth芯片是一个很好的例子。

哥德尔机器最初由Jürgen Schmidhuber设计,是一个在数学上完全自我参照、自我完善的问题解决者。理论上要比深度学习更好。深度学习是哥德尔机器的一个变体,缺少自我反思等重要部分。哥德尔机器并未完全实施,但Steunebrink和Schmidhuber的工作已取得了实际进展。

总而言之,我们还不完全了解智能,而深度学习只能利用其中一小部分。深度学习的确是一个很好的解决方案,但有一些缺点。如果解决这些缺点,将会有更好的系统。例如,DeepMind的可微分神经计算机(dnc)试图解决神经网络中的遗忘性问题。

原文发布时间为:2017-10-19
本文来自云栖社区合作伙伴新智元,了解相关信息可以关注“AI_era”微信公众号
原文链接

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

分享:
+ 订阅

官方博客
官网链接