开发者学堂课程【机器学习算法 :连续 Hopfield 网络-1】学习笔记,与课程紧密联系,让用户快速学习知识。
课程地址:https://developer.aliyun.com/learning/course/535/detail/7257
连续 Hopfield 网络-1
内容介绍
一、连续 Hopfield 网络
二、CHNN 网络结构
三、CHNN 网络拓扑
四、CHNN 几个特点
五、CHNN 应用的几个步骤
一、连续 Hopfield 网络
连续 Hopfield 网络( Continuous Hopfield Neural Network , cHNN )由 Hopfield 于1984年在 DHNN 的基础上提出,其基本结构和 DHNN 相似。 CHNN 中所有神经元的工作方式为同步工作,各输入和输出量均为随时间连续变化的模拟量。其特点(信息并行处理、实时性等)相对于 DH NN 更接近于生物神经网络的工作原理。
CHNN & DHNN 的主要区别
■输入输出不同: DHNN 输入输出都是离散值, CHNN 输入输出都是连续的模拟量
■激活函数不同: DHNN 的激活函数为符号函数, CHNN 激活函数支持多种,包括线性函数、非线性函数( sigmoid )等
■工作方式不同: DHNN 支持同步或者异步, CHNN 主要是同步工作
二、CHNN 网络结构
(一)HNN 中所有神经元都随时间 t 并行更新,网络状态随时间连续变化
(二)CHNN 模型可与电子线路对应,每一个神经元可用一个运算放大器来模拟
(三)神经元的输入与输出分别用运算放大器的输入电压 ui 和输出电压 Vi 表示
(四)连接权 Wyj 用输入端的电导表示
(五)每个神经元有一个用于设置激活电平的外界输入偏置电流 1i,相当于阈值
(六)c 和 1/g 分别为运放的等效输入电容和电阻,模拟生物神经元的输出时间常数
三、CHNN 网络拓扑
根据基霍夫电流定律,所有进入某节点的电流总和等于该节点流出的电流总和,得到以下微分方程:
四、CHNN 几个特点
(一)具有良好的收敛性
(二)具有有限个平衡点
(三)如果平衡点稳定,则网络是渐进稳定的
(四)渐进稳定平衡点是网络能量函数的局部极小点
(五)能将任意一组希望存储的正交化矢量综合为网络的渐进平衡点
(六)网络的存储信息表现为神经元之间互相连接的分布式动态存储
(七)网络以大规模、非线性、并行的方式进行信息处理
五、CHNN 应用的几个步骤
应用 CHNN 解决实际问题,通常由以下步骤组成:
■对于给定问题,要选择一种合适的表示方法,使得神经网络的输出与问题的解相对应
■构造网络能量函数,使其最小值对应于问题的最佳解
■将构造的能量函数和标准能量函数的方程比较,可推出神经网络的权值与偏流的表达式,从而确定网络结构
■构建网络后,其稳态就是在一定条件下的问题优化解,可以通过电路或者计算机模拟求解