神经网络学习规则-1| 学习笔记

简介: 快速学习神经网络学习规则-1。

开发者学堂课程【机器学习算法 :神经网络学习规则-1】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/535/detail/7229


神经网络学习规则-1

 

内容介绍

一、学习

二、学习规则类型

 

一、学习

学习是指通过训练使个体在行为上产生较为持久改变的过程,一般来说效果随着训练的增加而提高,即通过学习获得进步。

人工神经网络的功能由其连接的拓扑结构和网络的连接权值决定,网络的连接权值由选择的拓扑结构决定,其全体的权值W整体反映了神经网络对于解决问题的知识存储。确定相关参数的值,以及知识即一旦拓扑结构和权值确定,该网络可以应用于新的数据得到结果。

人工神经网络的学习就是通过对样本的学习训练,不断改变网络的拓扑结构及连接权值,使得输出不断接近期望输出值。

通过训练改变权值的规则被称为学习算法或者学习规则,有时也称作训练规则或者训练算法,学习规则对人工神经网络非常重要。

在做神经网络结构的时候首先确定神经网络结构的拓扑结构,对于有些神经网络结构,还有自组织的功能,可以根据实际情况调整自身的拓扑结构。要有参与学习的样本及算法。

 

二、学习规则类型

按照一般的分类标准,通常分为三类:

1. 有监督学习:学习模式为纠错

不断的给网络提供一个输入极其期望的输出,给予的样本中既含有特征又含有结果,称为教师信号,将ANN的实际输出和期望输出作比较,不符时,按照一定规则调整权值参数,重新计算,比较,直到网络对于给定的输入均能产生期望的输出,则认为该网络训练完成,即已学会样本数据中的知识和规则。得到的网络模型即可用于解决实际问题。

2. 无监督学习:学习模式为自组织

学习时不管给网络提供动态输入信息,网络根据特有的内部结构和学习规则,在输入信息流中发现可能的模式和规律,同时根据网络功能和输入信息调整权值(自组织)。使网络能对属于同一类的模式进行自动分类。该模式网络权值的调整不取决于教师信号,网络的学习评价标准隐含于网络内部。

3. 灌输式学习:学习模式为死记硬背

将网络设计成记忆特别的例子,当输入为该例子时,网络可回忆起该例子。网络权值非训练得到。而是通过某种设计方法得到,权值一旦设计好,即一次灌输给网络,不再变动。

相关文章
|
3天前
|
机器学习/深度学习 PyTorch 算法框架/工具
【从零开始学习深度学习】32. 卷积神经网络之稠密连接网络(DenseNet)介绍及其Pytorch实现
【从零开始学习深度学习】32. 卷积神经网络之稠密连接网络(DenseNet)介绍及其Pytorch实现
|
3天前
|
机器学习/深度学习
【从零开始学习深度学习】33.语言模型的计算方式及循环神经网络RNN简介
【从零开始学习深度学习】33.语言模型的计算方式及循环神经网络RNN简介
【从零开始学习深度学习】33.语言模型的计算方式及循环神经网络RNN简介
|
3天前
|
机器学习/深度学习 自然语言处理 算法
【从零开始学习深度学习】49.Pytorch_NLP项目实战:文本情感分类---使用循环神经网络RNN
【从零开始学习深度学习】49.Pytorch_NLP项目实战:文本情感分类---使用循环神经网络RNN
|
3天前
|
机器学习/深度学习
【从零开始学习深度学习】37. 深度循环神经网络与双向循环神经网络简介
【从零开始学习深度学习】37. 深度循环神经网络与双向循环神经网络简介
|
3天前
|
机器学习/深度学习 PyTorch 算法框架/工具
【从零开始学习深度学习】31. 卷积神经网络之残差网络(ResNet)介绍及其Pytorch实现
【从零开始学习深度学习】31. 卷积神经网络之残差网络(ResNet)介绍及其Pytorch实现
|
3天前
|
机器学习/深度学习 PyTorch 算法框架/工具
【从零开始学习深度学习】30. 神经网络中批量归一化层(batch normalization)的作用及其Pytorch实现
【从零开始学习深度学习】30. 神经网络中批量归一化层(batch normalization)的作用及其Pytorch实现
|
3天前
|
机器学习/深度学习 算法 PyTorch
【从零开始学习深度学习】50.Pytorch_NLP项目实战:卷积神经网络textCNN在文本情感分类的运用
【从零开始学习深度学习】50.Pytorch_NLP项目实战:卷积神经网络textCNN在文本情感分类的运用
|
3天前
|
机器学习/深度学习 PyTorch 算法框架/工具
【从零开始学习深度学习】36. 门控循环神经网络之长短期记忆网络(LSTM)介绍、Pytorch实现LSTM并进行训练预测
【从零开始学习深度学习】36. 门控循环神经网络之长短期记忆网络(LSTM)介绍、Pytorch实现LSTM并进行训练预测
|
3天前
|
机器学习/深度学习 PyTorch 算法框架/工具
【从零开始学习深度学习】35. 门控循环神经网络之门控循环单元(gated recurrent unit,GRU)介绍、Pytorch实现GRU并进行训练预测
【从零开始学习深度学习】35. 门控循环神经网络之门控循环单元(gated recurrent unit,GRU)介绍、Pytorch实现GRU并进行训练预测
|
3天前
|
机器学习/深度学习 PyTorch 算法框架/工具
【从零开始学习深度学习】29.卷积神经网络之GoogLeNet模型介绍及用Pytorch实现GoogLeNet模型【含完整代码】
【从零开始学习深度学习】29.卷积神经网络之GoogLeNet模型介绍及用Pytorch实现GoogLeNet模型【含完整代码】