开发者学堂课程【神经网络概览及算法详解：连续 Hopfield 网络-1】学习笔记与课程紧密联系，让用户快速学习知识
课程地址：https://developer.aliyun.com/learning/course/40/detail/946
连续 Hopfield 网络-1
内容介绍：
一、 CHNN 的提出以及它与 DHNN的区别
二、 CHNN 的网络结构
三、 CHNN 网络拓扑
四、 CHNN 的特点
五、 CHNN 应用的步骤
一、 CHNN 的提出以及它与 DHNN的区别
连续 Hopfield 网络是 CHNN ，在第一章介绍的是 DHNN 。 CHNN 和 DHNN ，无论从网络结构还是工作原理上讲都是非常接近的，所以这一章，介绍一下 CHNN ，依然是由 John J. Hopfield 在1984年提出的，实际动手实现了一个电子线路，即用 CHNN 的方式解决一些实际问题。
CHNN 和 DHNN 在网络结构和工作原理上都比较相近，但它们也有一些主要的区别，第一个区别，输入输出不同： DHNN 输入输出都是离散值， CHNN 输入输出都是连续的模拟量。 第二个区别（最重要的区别），激活函数不同： DHNN 的激活函数为符号函数，即它的输出值就是离散值； CHNN 激活函数支持多种，包括线性函数、非线性函数( sigmoid )等；连续和离散主要也是由激活函数决定的。第三个区别，工作方式不同: DHNN 支持同步或者异步， CHNN 主要是同步工作。由于 CHNN 无论是输入输出还是激活函数都是连续型的，所以 CHNN 比 DHNN 更接近生物神经网络的工作原理。
二、 CHNN 的网络结构
CHNN 的网络结构比较复杂
如下图
第一， CHNN 中所有神经元都随时间 t 并行更新，网络状态随时间连续变化。第二， CHNN 模型可与电子线路对应，每一个神经元可用一个运算放大器来模拟。第三，神经元的输入与输出分别用运算放大器的输入电压 ui 和输出电压 vi 表示。第四，连接权 wij 用输入端的电导表示。第五，每个神经元有一个用于设置激活电平的外界输入偏置电流 Ii ，相当于阈值。第六， ci 和 1/ gi 分别为运放的等效输入电容和电阻，模拟生物神经元的输出时间常数。
三、 CHNN 网络拓扑
其激活函数为 S 型函数，则 vi = f（uj） ，可以利用其饱和性限制神经元的增长范围，即 S 函数正常取值范围是0－1，并且是连续变化的；对 x 的取值范围没有限制，负无穷到正无穷皆可取，只是 y 的取值范围是0－1。如果采用双极性， S 函数就是-1－1。
其能量函数为：
如下图。
霍普夫尔网络最精华的部分就是能量函数的概念，能量函数也非常复杂。能量函数来自于李亚普诺夫方程，李亚普诺夫曾经研究过稳定性原理，用其描述动力系统。
简单讲，如果一个动力系统是稳定的，就可以找到李亚普诺夫函数或李亚普诺夫方程，一旦找到该方程就可以容易的去描述和判断它的稳定性。实际上，能量函数是借鉴李亚普诺夫稳定性的原理，该方程是据其思路来的，和李亚普诺夫方程或李亚普诺夫函数比较接近。将能量函数的各个部分进行整理，可以得到
四、 CHNN 的特点
CHNN 的特点有：第一，具有良好的收敛性；第二，具有有限个平衡点；第三，如果平衡点稳定，则网络是渐进稳定的；第四，渐进稳定平衡点是网络能量函数的局部极小点；第五，能将任意一组希望存储的正交化矢量综合为网络的渐进平衡点；第六，网络的存储信息表现为神经元之间互相连接的分布式动态存储；第七，网络以大规模、非线性、并行的方式进行信息处理。
五、 CHNN 应用的步骤
应用CHNN解决实际问题，通常由以下步骤组成：
第一，对于给定问题，要选择一种合适的表示方法，使得神经网络的输出与问题的解相对应；即做出对应的问题分析，要让网络的输出和求解问题的最终结果相匹配。
第二，构造网络能量函数，使其最小值对应于问题的最佳解；即求最佳解就是求能量函数。
第三，将构造的能量函数和标准能量函数的方程比较，可推出神经网络的权值与偏流的表达式，从而确定网络结构。
第四，构建网络后，其稳态就是在一定条件下的问题优化解，可以通过电路或者计算机模拟求解。
