2017-08-01 1170
Roseblatt在五十年代就提出了感知机, 又过了将近30年, 多层神经网络的BP算法才得以普及。
而事实上这不过是微积分中链式法则的简单应用而已, 为什么要花这么久呢?
bengio在quora上这样回答道:
很多看似显而易见的想法只有在事后才变得显而易见。
在控制论中, 很早就开始应用链式反则来解决多层非线性系统。
但在80年代早期, 神经网络的输出是离散的, 这样就无法用基于梯度的方法来优化了。
这时Rumelhart和Hinton想到, 只要把输出做成平滑的(sigmoid), 就可以用链式法则来训练多层神经网络了。
所以这不仅仅是链式法则的问题, 而是要跳出离散输出的框框, 这种理念上变革并不容易。
本文作者:佚名
来源:51CTO
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。