开发者学堂课程【机器学习算法 ：离散 Hopfield 网络-1】学习笔记，与课程紧密联系，让用户快速学习知识。
课程地址：https://developer.aliyun.com/learning/course/535/detail/7251
离散 Hopfield 网络-1
内容介绍
一、回忆：神经网络模型分类
二、回忆：前馈神经网络
三、回忆：前馈与反馈
四、Hopfield 网
一、回忆：神经网络模型分类
按照信息流向可分为前馈性网络和反馈型网络：
n 前馈型网络：网络信息从输入层到各隐藏层再到输出层逐层前进
n 反馈型网络：反馈网络中所有节点都具有信息处理功能，并且每个节点既可以接收输入同时又可以进行输出。
二、回忆：前馈神经网络
前馈神经网络（ FeedForward NN )：是一种最简单的神经网络，采用单向多层结构，各神经元分层排列，每个神经元只与前一层的神经元相连。接收前一层的输出，并输出给下一层，各层间没有反馈。
前馈网络包括三类节点：
n 输入节点（ Input Nodes )：外界信息输入，不进行任何计算，仅向下一层节点传递信息；
n 隐藏节点（ Hidden Nodes )：接收上一层节点的输入，进行计算，并将信息传到下一层节点；
n 输出节点（ Output Nodes )：接收上一层节点的输入，进行计算，并将结果输出。
输入层和输出层必须有，隐藏层可以没有，即为单层
输入层 隐藏层 输出层感知器，隐藏层也可以不止一层，有隐藏层的前馈网络即多层感知器。
三、回忆：前馈与反馈
反馈神经网络（ FeedBack NN )：又称递归网络、回归网络，是一种将输出经过一步时移再接入到输入层的神经网络系统。这类网络中，神经元可以互连，有些神经元的输出会被反馈至同层甚至前层的神经元。常见的有 Hopfield 神经网络、 Elman 神经网络、 Boltzmann 机等。
前馈神经网络和反馈神经网络的主要区别：
n 前馈神经网络各层神经元之间无连接，神经元只接受上层传来的数据，处理后传入下一层，数据正向流动；反馈神经网络层间神经元有连接，数据可以在同层间流动或反馈至前层；
n 前馈神经网络不考虑输出与输入在时间上的滞后效应，只表达输出与输入的映射关系；反馈神经网络考虑输出与输入之间在时间上的延迟，需要用动态方程来描述系统的模型；
n 前馈神经网络的学习主要采用误差修正法（如 BP 算法），计算过程一般比较慢，收敛速度也比较慢；反馈神经网络主要采用 Hebb 学习规则，一般情况下计算的收敛速度很快；
n 相比前馈神经网络，反馈神经网络更适合应用在联想记忆和优化计算等领域。
四、Hopfield 网
Hopfield 网：是一种单层对称全反馈网络，1982年由加州理工学院的物理学家 J .J . Hopfield 提出，因此被称作 Hopfield 网。他在该反馈网络中引入了“能量函数”，即认为该网络为一种基于能量的的模型（ Energy Based Model , EBM )。
能量函数的提出意义重大，它保证了向局部极小的收敛，使神经网络运行稳定性的判断有了明确的可靠的依据。 Hopfield 网提供了模拟人类记忆的模型。1985年的时候还和 D . W . Tank 一块用模拟电子线路实现了 Hopfield 网络，并用此解决了 John J . Hopfield
旅行商 TSP 问题。
n 根据激活函数不同，分为两种：离散 Hopfield 网（ Discrete Hopfield Neural Network , DHN 和连续 Hopfield 网（ Continuous Hopfield Neural Network , CHNN )；
n DHNN 主要用于联想记忆，输入部分信息即可联想到完整的输出，即具有容错性；
n CHNN 主要用于优化计算，如旅行商 TSP 、调度等。
