自组织特征映射神经网络-1| 学习笔记

简介: 快速学习自组织特征映射神经网络-1。

开发者学堂课程【机器学习算法 :自组织特征映射神经网络-1】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/535/detail/7245


自组织特征映射神经网络-1

 

内容介绍

一、自组织特征映射网 SOFM

二、Kohonen 算法

三、Kohonen 算法步骤

 

一、自组织特征映射网 SOFM

1981年,芬兰赫尔辛基大学的 T · Kohonen 教授提出一种自组织特征映射网( Self - Organization Feature Map , SOFM ), 又称作 Kohonen 网络。其核心思想为一个神经网络接受外界输入时,将会分为不同的对应区域,各区域对输入模式具有不同的响应特征,该过程是自动完成的。 SOFM 常见结构:

image.png


二、Kohonen 算法

Kohonen 算法类似于胜者为王算法,主要区别在于调整权向量和抑制的方式不同。胜者为王中只有获胜的唯一的神经元得到调整向量的机会,其他神经元被抑制。 Kohonen 算法对邻近神经元的影响是由中心到边缘逐渐变弱的,即邻近区域的神经元都有机会调整权向量,不过调整的程度不同。

image.png

image.png

image.png

 

三、Kohonen 算法步骤

1、初始化

对各参数进行初始化,包括:

对输出层各权向量赋值:赋一些小的随机数 W;

对输出层各权向量进行归一化处理 W

建立初始优胜邻域 N(0)

对学习率进行赋值 n

2、输入

从训练集输入数据,并进行归一化处理,得到 p , p €{1,2,… P }

3、得到获胜神经元

根据输入,得到当前获胜的神经元

计算 w 与 p 的点积,找到点积最大的神经元,即为获胜神经元

4、定义优胜邻域 N ( t )

以j为中心确定 t 时刻的权值调整域

一般情况下初始邻域 N (0)较大,训练过程中 N (0)随训

练时间逐渐收缩。

5、调整权值

调整优胜邻域中的所有的神经元权值

调整公式为: Wij ( t +1)= Wij ( t )+ n ( t , N )[ x - Wij ( t )]

其中, n ( t , N )表示训练时间 t 和邻域内第 j 个神经元与获胜神经元 j 之间的距离 N 的函数, n ( t , N )与 t , N 均成反比,即 n 随着时间越来越小,并且 j 神经元离获胜的神经元越远,权重变化越小。

6、是否满足退出条件

通常根据学习率 n,是否衰减到某个事先约定的阈值判断

7、训练结束

相关文章
|
10天前
|
机器学习/深度学习 网络架构
揭示Transformer重要缺陷!北大提出傅里叶分析神经网络FAN,填补周期性特征建模缺陷
近年来,神经网络在MLP和Transformer等模型上取得显著进展,但在处理周期性特征时存在缺陷。北京大学提出傅里叶分析网络(FAN),基于傅里叶分析建模周期性现象。FAN具有更少的参数、更好的周期性建模能力和广泛的应用范围,在符号公式表示、时间序列预测和语言建模等任务中表现出色。实验表明,FAN能更好地理解周期性特征,超越现有模型。论文链接:https://arxiv.org/pdf/2410.02675.pdf
92 68
|
3月前
|
Ubuntu 网络安全 图形学
Ubuntu学习笔记(二):ubuntu20.04解决右上角网络图标激活失败或者消失,无法连接有线问题。
在Ubuntu 20.04系统中解决网络图标消失和无法连接有线网络问题的方法,其中第三种方法通过检查并确保Windows防火墙中相关服务开启后成功恢复了网络连接。
894 0
Ubuntu学习笔记(二):ubuntu20.04解决右上角网络图标激活失败或者消失,无法连接有线问题。
|
3月前
|
存储 缓存 网络协议
|
3月前
|
机器学习/深度学习 计算机视觉 网络架构
【YOLO11改进 - C3k2融合】C3k2融合YOLO-MS的MSBlock : 分层特征融合策略,轻量化网络结构
【YOLO11改进 - C3k2融合】C3k2融合YOLO-MS的MSBlock : 分层特征融合策略,轻量化网络结构
|
3月前
|
网络协议 网络安全 网络架构
|
3月前
|
机器学习/深度学习 数据可视化 Linux
Seaborn可视化学习笔记(一):可视化神经网络权重分布情况
这篇文章是关于如何使用Seaborn库来可视化神经网络权重分布的教程,包括函数信息、测试代码和实际应用示例。
81 0
|
5月前
|
存储 SQL 安全
网络安全的守护者:从漏洞到加密技术,提升个人与组织的安全意识
在数字时代的浪潮中,网络安全成为保护信息资产的关键盾牌。本文深入探讨了网络安全的薄弱环节—漏洞,并解析了如何通过加密技术加固这道防线。同时,文章强调了培养安全意识的重要性,指出这是预防网络攻击的第一道门槛。我们将从个人用户到大型组织的角度出发,提供一系列实用的知识分享,旨在增强网络防御能力,构建一个更加安全的网络环境。
|
5月前
|
机器学习/深度学习 自然语言处理 并行计算
【深度学习+面经】Transformer 网络学习笔记
Transformer模型的核心概念、优缺点以及在多个领域的应用,并提供了针对Transformer架构的面试问题及答案。
222 2
|
5月前
|
存储 监控 安全
确保大型组织网络安全的策略与方法
【8月更文挑战第24天】
111 0
|
5月前
|
监控 安全 网络安全
大型组织中的网络分段
【8月更文挑战第24天】
63 0
下一篇
开通oss服务