自组织特征映射神经网络-1| 学习笔记

简介: 快速学习自组织特征映射神经网络-1。

开发者学堂课程【机器学习算法 :自组织特征映射神经网络-1】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/535/detail/7245


自组织特征映射神经网络-1

 

内容介绍

一、自组织特征映射网 SOFM

二、Kohonen 算法

三、Kohonen 算法步骤

 

一、自组织特征映射网 SOFM

1981年,芬兰赫尔辛基大学的 T · Kohonen 教授提出一种自组织特征映射网( Self - Organization Feature Map , SOFM ), 又称作 Kohonen 网络。其核心思想为一个神经网络接受外界输入时,将会分为不同的对应区域,各区域对输入模式具有不同的响应特征,该过程是自动完成的。 SOFM 常见结构:

image.png


二、Kohonen 算法

Kohonen 算法类似于胜者为王算法,主要区别在于调整权向量和抑制的方式不同。胜者为王中只有获胜的唯一的神经元得到调整向量的机会,其他神经元被抑制。 Kohonen 算法对邻近神经元的影响是由中心到边缘逐渐变弱的,即邻近区域的神经元都有机会调整权向量,不过调整的程度不同。

image.png

image.png

image.png

 

三、Kohonen 算法步骤

1、初始化

对各参数进行初始化,包括:

对输出层各权向量赋值:赋一些小的随机数 W;

对输出层各权向量进行归一化处理 W

建立初始优胜邻域 N(0)

对学习率进行赋值 n

2、输入

从训练集输入数据,并进行归一化处理,得到 p , p €{1,2,… P }

3、得到获胜神经元

根据输入,得到当前获胜的神经元

计算 w 与 p 的点积,找到点积最大的神经元,即为获胜神经元

4、定义优胜邻域 N ( t )

以j为中心确定 t 时刻的权值调整域

一般情况下初始邻域 N (0)较大,训练过程中 N (0)随训

练时间逐渐收缩。

5、调整权值

调整优胜邻域中的所有的神经元权值

调整公式为: Wij ( t +1)= Wij ( t )+ n ( t , N )[ x - Wij ( t )]

其中, n ( t , N )表示训练时间 t 和邻域内第 j 个神经元与获胜神经元 j 之间的距离 N 的函数, n ( t , N )与 t , N 均成反比,即 n 随着时间越来越小,并且 j 神经元离获胜的神经元越远,权重变化越小。

6、是否满足退出条件

通常根据学习率 n,是否衰减到某个事先约定的阈值判断

7、训练结束

相关文章
|
8月前
|
编解码 异构计算
RT-DETR改进策略【Neck】| BiFPN:双向特征金字塔网络-跨尺度连接和加权特征融合
RT-DETR改进策略【Neck】| BiFPN:双向特征金字塔网络-跨尺度连接和加权特征融合
490 10
RT-DETR改进策略【Neck】| BiFPN:双向特征金字塔网络-跨尺度连接和加权特征融合
|
12月前
|
Ubuntu 网络安全 图形学
Ubuntu学习笔记(二):ubuntu20.04解决右上角网络图标激活失败或者消失,无法连接有线问题。
在Ubuntu 20.04系统中解决网络图标消失和无法连接有线网络问题的方法,其中第三种方法通过检查并确保Windows防火墙中相关服务开启后成功恢复了网络连接。
3605 0
Ubuntu学习笔记(二):ubuntu20.04解决右上角网络图标激活失败或者消失,无法连接有线问题。
|
10月前
|
机器学习/深度学习 网络架构
揭示Transformer重要缺陷!北大提出傅里叶分析神经网络FAN,填补周期性特征建模缺陷
近年来,神经网络在MLP和Transformer等模型上取得显著进展,但在处理周期性特征时存在缺陷。北京大学提出傅里叶分析网络(FAN),基于傅里叶分析建模周期性现象。FAN具有更少的参数、更好的周期性建模能力和广泛的应用范围,在符号公式表示、时间序列预测和语言建模等任务中表现出色。实验表明,FAN能更好地理解周期性特征,超越现有模型。论文链接:https://arxiv.org/pdf/2410.02675.pdf
260 68
|
8月前
|
计算机视觉 Perl
RT-DETR改进策略【Backbone/主干网络】| 替换骨干网络为CVPR-2024 PKINet 获取多尺度纹理特征,适应尺度变化大的目标
RT-DETR改进策略【Backbone/主干网络】| 替换骨干网络为CVPR-2024 PKINet 获取多尺度纹理特征,适应尺度变化大的目标
201 10
RT-DETR改进策略【Backbone/主干网络】| 替换骨干网络为CVPR-2024 PKINet 获取多尺度纹理特征,适应尺度变化大的目标
|
8月前
|
机器学习/深度学习 编解码 计算机视觉
RT-DETR改进策略【Backbone/主干网络】| 2023 U-Net V2 替换骨干网络,加强细节特征的提取和融合
RT-DETR改进策略【Backbone/主干网络】| 2023 U-Net V2 替换骨干网络,加强细节特征的提取和融合
320 10
RT-DETR改进策略【Backbone/主干网络】| 2023 U-Net V2 替换骨干网络,加强细节特征的提取和融合
|
8月前
|
编解码 异构计算
YOLOv11改进策略【Neck】| BiFPN:双向特征金字塔网络-跨尺度连接和加权特征融合
YOLOv11改进策略【Neck】| BiFPN:双向特征金字塔网络-跨尺度连接和加权特征融合
1846 7
YOLOv11改进策略【Neck】| BiFPN:双向特征金字塔网络-跨尺度连接和加权特征融合
|
8月前
|
机器学习/深度学习 人工智能 自然语言处理
揭示Transformer周期建模缺陷!北大提出新型神经网络FAN,填补周期性特征建模能力缺陷
北京大学研究团队发现,Transformer等主流神经网络在周期特征建模方面存在缺陷,如记忆数据模式而非理解内在规律,导致泛化能力受限。为此,团队提出基于傅里叶分析的Fourier Analysis Network(FAN),通过显式建模周期性特征,提升模型的理解和预测能力,减少参数和计算量,并在多个实验中验证其优越性。论文链接:https://arxiv.org/pdf/2410.02675.pdf
182 3
|
8月前
|
计算机视觉 Perl
YOLOv11改进策略【Backbone/主干网络】| 替换骨干网络为CVPR-2024 PKINet 获取多尺度纹理特征,适应尺度变化大的目标
YOLOv11改进策略【Backbone/主干网络】| 替换骨干网络为CVPR-2024 PKINet 获取多尺度纹理特征,适应尺度变化大的目标
200 0
YOLOv11改进策略【Backbone/主干网络】| 替换骨干网络为CVPR-2024 PKINet 获取多尺度纹理特征,适应尺度变化大的目标
|
8月前
|
机器学习/深度学习 编解码 计算机视觉
YOLOv11改进策略【Backbone/主干网络】| 2023 U-Net V2 替换骨干网络,加强细节特征的提取和融合
YOLOv11改进策略【Backbone/主干网络】| 2023 U-Net V2 替换骨干网络,加强细节特征的提取和融合
530 0
YOLOv11改进策略【Backbone/主干网络】| 2023 U-Net V2 替换骨干网络,加强细节特征的提取和融合
|
12月前
|
存储 缓存 网络协议

热门文章

最新文章