为啥神经网络里的BP算法花了那么久才被发明?

简介:
+关注继续查看

算法

Roseblatt在五十年代就提出了感知机, 又过了将近30年, 多层神经网络的BP算法才得以普及。

而事实上这不过是微积分中链式法则的简单应用而已, 为什么要花这么久呢?

bengio在quora上这样回答道:

很多看似显而易见的想法只有在事后才变得显而易见。

在控制论中, 很早就开始应用链式反则来解决多层非线性系统。

但在80年代早期, 神经网络的输出是离散的, 这样就无法用基于梯度的方法来优化了。

这时Rumelhart和Hinton想到, 只要把输出做成平滑的(sigmoid), 就可以用链式法则来训练多层神经网络了。

所以这不仅仅是链式法则的问题, 而是要跳出离散输出的框框, 这种理念上变革并不容易。


本文作者:佚名

来源:51CTO

相关文章
|
13天前
|
编解码 算法
m基于码率兼容打孔LDPC码BP译码算法的matlab误码率仿真
m基于码率兼容打孔LDPC码BP译码算法的matlab误码率仿真
25 1
|
3月前
|
机器学习/深度学习 算法
基于标准反向传播算法的改进BP神经网络算法(Matlab代码实现)
基于标准反向传播算法的改进BP神经网络算法(Matlab代码实现)
|
5月前
|
算法
m基于matlab的LDPC译码算法性能仿真,对比BP译码,最小和译码以及归一化偏移最小和译码三种算法
m基于matlab的LDPC译码算法性能仿真,对比BP译码,最小和译码以及归一化偏移最小和译码三种算法
89 0
|
5月前
|
算法
基于matlab的LDPC译码算法误码率对比仿真,对比BP和BF译码
基于matlab的LDPC译码算法误码率对比仿真,对比BP和BF译码
110 0
|
5月前
|
算法
m基于低复杂度高性能BP译码算法的LDPC编译码性能matlab仿真
m基于低复杂度高性能BP译码算法的LDPC编译码性能matlab仿真
79 0
|
5月前
|
机器学习/深度学习 存储 人工智能
【Pytorch神经网络理论篇】 17 循环神经网络结构:概述+BP算法+BPTT算法
链式地、有顺序地存储信息”很节省空间,对于中间状态的序列,大脑没有选择直接记住,而是存储计算方达。当我们需要取值时,直接将具体的数据输入,通过计算得出相应的给果。
67 0
|
6月前
|
机器学习/深度学习 算法 vr&ar
m十字路口多功能控制交通系统,包括基于遗传算法优化的红绿灯时长模糊控制器和基于BP神经网络的车牌识别算法
m十字路口多功能控制交通系统,包括基于遗传算法优化的红绿灯时长模糊控制器和基于BP神经网络的车牌识别算法
81 0
|
6月前
|
算法
m基于BP译码算法的QC-LDPC误码率matlab仿真,对比不同译码迭代次数的误码率性能
m基于BP译码算法的QC-LDPC误码率matlab仿真,对比不同译码迭代次数的误码率性能
389 0
|
7月前
|
机器学习/深度学习 算法
m基于ESN+BP神经网络的数据预测算法matlab仿真,测试数据为太阳黑子变化数据
m基于ESN+BP神经网络的数据预测算法matlab仿真,测试数据为太阳黑子变化数据
141 0
m基于ESN+BP神经网络的数据预测算法matlab仿真,测试数据为太阳黑子变化数据
|
8月前
|
人工智能 算法 TensorFlow
AI 利用BP算法及Sigmoid函数,研究函数f(x)=2sinx-0.7的逼近问题-实验报告
AI 利用BP算法及Sigmoid函数,研究函数f(x)=2sinx-0.7的逼近问题-实验报告
AI 利用BP算法及Sigmoid函数,研究函数f(x)=2sinx-0.7的逼近问题-实验报告
相关产品
机器翻译
推荐文章
更多