开发者学堂课程【机器学习算法 ：神经网络模型】学习笔记，与课程紧密联系，让用户快速学习知识。
课程地址：https://developer.aliyun.com/learning/course/535/detail/7228
神经网络模型
神经网络模型分类
1.按照拓扑结构可分为层次结构和互连结构：
（1）层次结构
①单纯层次结构
②层内有互连，层内有输入输出的连接
③输出层到输入层有连接，在最后，输出的结果又以输入的方式返回结构中。
（2）互连结构
①全互连：每个节点都和其他所有节点连接
②局部互连：每个节点只与其临近节点有连接
③稀疏连接：节点只与少数相距较远的节点有连接
2.按照信息流向可分为前馈型网络和反馈型网络：
（1）前馈型神经网络：是一种最简单的神经网络，采用单项多层结构，各神经元分层排列，每个神经元只与前一层神经元相连。接收前一层的输出，并输出给下一层，各层间没有反馈。
前馈网络包括三类节点：
输入节点：外界信息输入，不进行任何计算，仅向下一层节点传递信息
隐层节点：接收上一层节点的输入，进行计算，并将信息传到下一层节点
输出节点：接收上一层节点的输入，进行计算，并将结果输出
输入层和输出层必须有，隐藏层可以没有，即为单层感知器，隐藏层也可以不止一层，有隐藏层的前馈神经网络即多层感知器。
反馈神经网络：又称递归网络，回归网络，是一种将输出经过一步时移再接入到输入层的神经网络系统。这类网络中，神经元可以互连，有些神经元的输出会被反馈至同层甚至前层的神经元。常见的有 Hopfield 神经网络，Elman 神经网络， Boltzmann 机等。
前反馈神经网络和反馈神经网络的主要区别：
前馈神经网络各层神经元之间无连接，神经元只接受上层传来的数据，处理后传入下一层，数据正向流动；反馈神经网络层间有神经元连接，数据可以在同层间流动或反馈至前层。
前馈神经网络不考虑输出与输入在时间上的滞后效应，只表达输出与输入的映射关系；反馈神经网络考虑输出与输入在时间上的延迟，需要用动态方程描述系统的模型
前馈神经网络的学习主要采用误差修正法（如 BP 算法），计算过程一般比较慢，收敛速度也比较慢；反馈神经网络主要采用 Hebb 学习规则，一般情况下计算的收敛速度很快。
相比前馈神经网络，反馈神经网络更适合应用在联想记忆和优化计算等领域
输入层输入到隐藏层经过隐藏层输出到输出层。
反馈神经网络在隐藏层有反馈。
t-1 时刻的输出又作为t时刻的输入。
相当于把递归展开。
