开发者学堂课程【机器学习算法 ：离散 Hopfield 网络-2】学习笔记，与课程紧密联系，让用户快速学习知识。
课程地址：https://developer.aliyun.com/learning/course/535/detail/7252
离散 Hopfield 网络-2
内容介绍
一、DHNN 网络结构
二、DHNN 网络状态
三、DHNN 网络稳定性
四、能量函数
五、DHNN 的工作方式
一、DHNN 网络结构
n 单层、全连接、反馈：任一神经元输出 X ;均通过权重 Wyj 反馈至所有神经元 xy 作为输入，即让任一神经元的输出都能受到所有神经元的控制，从而使神经元的输出能互相制约
n 每个神经元均有一个阈值 Tj ，以反映对输入噪声的控制。 DHHN 网关键因素为权重矩阵及神经元阈值，因此也可以简单记作： N =( W , T )
n 网络系统具有若干个稳定状态，当网络从某一初始状态开始运动，网络系统总可以收敛于一个稳定状态
n 系统稳定的平衡状态可以通过设计网络的权值而被存储到网络中
二、DHNN 网络状态
每个神经元都具有相同的功能，其输出状态为 xj
所有神经元状态的集合，即为反馈网络的状态： X =(X1,X2,…, Xn )
反馈网络的输入即为网络的状态初始值，记为： X (0)=(x1(0), X2 (0),…, Xn (0))
反馈网络在界输入激发下，进入动态演变过程，直到网络收敛于某一稳定态：输出不再变化
网络演变过程：
三、DHNN 网络稳定性
DHHN 反馈网络实质上能存储若干个预先设置的稳定状态的网络，运行时外界提供一个输入作为初始网络状态，网络将该输入对应的输出反馈回来作为下次的输入，经过多次循环迭代后，在某些条件下，网络会最终稳定在某一个预先设定好的稳定点。稳态使得 DHHN 具有联想记忆功能。
网络稳定性：网络从初态 X (0）开始，经过有限次递归后，其状态不再发生变化，即 X ( t +1)= X ( t ),则称该网络是稳定的。
四、能量函数
能量函数用来表征系统的稳定性，在满足一定的条件下，某种“能量函数”的能量在网络运行过程中不断减小，当能量最终稳定于一个常数时，网络趋于最终的稳定态。
利用网络的能量函数可实现优化求解功能。网络的能量函数在网络状态按一定规则变化时，能自动趋向能量的极小点。如果把一个待求解问题的目标函数以网络能量函数的形式表达出来，当能量函数趋于最小时，对应的网络状态就是问题的最优解。网络的初态可视为问题的初始解，而网络从初态向稳态的收敛过程便是优化计算过程，这种寻优搜索是在网络演变过程中自动完成的。
网络达到稳定时的状态 X 称为网络的吸引子。若把需记忆的样本信息存储于网络的不同吸引子，当输入含有部分记忆信息的样本时，网络的演变过程就是便是从部分信息寻找全部信息即联想回忆的过程。
五、DHNN 的工作方式
异步方式：即串行方式。网络运行时，每次只有一个神经元 i 按如下公式进行状态调整的计算，其他神经元的状态都保持不变。
神经元调整的次序可指定也可随机。当前调整的神经元的输出会影响下一个调整的神经元的输入。基本运行步骤：
初始化网络
取出一个神经元，求出其净输出
求其经过激活函数作用后的输出
判断网络是否达到稳态，达到退出，否则继续
同步方式：即并行方式。网络运行时，每次都是同时调整所有神经元的状态，即： 
