【深度学习】常用算法生成对抗网络、自编码网络、多层感知机、反向传播等讲解(图文解释 超详细)

简介: 【深度学习】常用算法生成对抗网络、自编码网络、多层感知机、反向传播等讲解(图文解释 超详细)

觉得有帮助请点赞关注收藏~~~

一、生成对抗网络GAN

Generative Adversarial Network 两个组件组成:一个生成器,用于生成虚拟数据,另一个是鉴别器,用于(GAN)生成式深度学习算法,可创建类似于训练数据的新数据实例。

GAN 工作原理概要如下:

(1)初始训练期间,生成器产生虚拟数据,并输入鉴别器。

(2)鉴别器基于学习模型区分生成器的假数据和真实样本数据。

(3)对抗网络将鉴别结果发送给生成器和鉴别器以更新相应模型。

二、自编码网络

自编码器(Autoencoder)是神经网络的一种特殊形式,将输入复制到输出,因此也可以称为恒等函数。其核心思想是将输入复制到输出时,神经网络学习输入的特定属性。

其核心思想是将输入复制到输出时,神经网络学习输入的特定属性。自编码器的主要用途如下

1:降维:通过将多维数据转换为较小维度数据 降低数据复杂性

2:特征学习:学习数据的特定或者重要属性

3:生成建模:通过自编码器学习数据样本特征来生成新的数据样本

三、强化学习 (增强学习)

增强学习和监督学习的区别:

(1) 增强学习是试错学习(Trail-and-error),由于没有直接的标注信息提供参考,需要不断与环境进行交互,通过试错的方式来获得最优行为策略。

(2) 激励延迟(Delayed Return),增强学习缺乏参考信息,激励在时间上通常延迟发生,因此如何优化分配激励成为不能忽略的课题。

四、多层感知机MLP

多层感知机属于前馈神经网络,具有激活功能,多层感知机由完全连接的输入层和输出层组成,它们具有相同的输入层和输出层,但可能有多个隐藏层,隐藏层输出可以通过激活函数进行变换。

原理:

(1)将数据馈送到网络的输入层。

(2)基于输入层和隐藏层之间的权重执行计算。多层感知机使用激活函数确定触发节点的信息。常用的激活函数包括 ReLU、Sigmoid 函数和 Tanh。

(3)训练模型获得相关性以及变量之间的依赖关系。

五、自组织映射神经网络SOM

它可以减少数据处理的维度,不同于基于损失函数反向传递算法的神经网络,自组织映射网络使用竞争学习策略,依靠神经元互相竞争实现优化网络的目标

工作原理:

(1)为所有节点初始化权重,并随机选择一个输入样本。

(2)查找与随机输入样本的最优相似度。

(3)基于最优相似度遴选优胜邻域节点,更新优胜领域节点的权重信息。

(4)迭代计算,直到满足迭代次数或者要求。

六、径向基函数网络RBFN

它是一种特殊类型的前馈神经网络,它使用径向基函数作为激活函数,径向基函数是沿径向对称的函数,径向基函数网络由输入层,隐藏层和输出层组成。

工作原理:

(1)接收信息输入,此时不执行变换计算。

(2)在隐藏层对数据进行变换,隐藏层节点使用输入与中心向量的距离(如欧式距离)作为径向基函数的自变量,这与反向传播网络常用输入与权向量的内积作为自变量存在区别。

(3)输出层对隐藏层的输出信息执行加权运算,作为神经网络的结果。

七、反向传播算法BP

BP神经网络基于梯度下降法,将M维数据输入欧式空间映射到N维输出欧式空间,由正向传播过程和反向传播过程组成。

信号从层传递到层(黑色箭头),误差没有达到预期值时,误差传播方向与信号方向相反(绿色箭头)。

八、连接时序分类CTC

连接时序分类(Connectionist Temporal Classification,CTC)主要用于处理序列标注问题中的输入与输出标签的对齐问题。基于传统方法的自然语言处理,语音转换为数据以后,需明确单帧信息对应的标签才能执行有效的训练,因此在训练数据之前需要执行语音信息对齐的预处理。其缺点是工时量消耗大,在标签对齐信息部分缺失的情况下,正确的预测比较困难;而且预测结果只利用了局部信息。CTC由于使用端到端训练,并不需要输入和输出对齐,输出整体序列的预测概率,因此可以克服这些问题。CTC通过引入一个特殊的空白字符(blank),解决变长映射的问题,其典型应用场景是文本识别。

创作不易 觉得有帮助请点赞关注收藏~~~

相关文章
|
2天前
|
机器学习/深度学习 算法 TensorFlow
深度学习基础:神经网络原理与构建
**摘要:** 本文介绍了深度学习中的神经网络基础,包括神经元模型、前向传播和反向传播。通过TensorFlow的Keras API,展示了如何构建并训练一个简单的神经网络,以对鸢尾花数据集进行分类。从数据预处理到模型构建、训练和评估,文章详细阐述了深度学习的基本流程,为读者提供了一个深度学习入门的起点。虽然深度学习领域广阔,涉及更多复杂技术和网络结构,但本文为后续学习奠定了基础。
28 5
|
1天前
|
机器学习/深度学习 算法
m基于PSO-GRU粒子群优化长门控循环单元网络的电力负荷数据预测算法matlab仿真
摘要: 在MATLAB 2022a中,对比了电力负荷预测算法优化前后的效果。优化前为"Ttttttt111222",优化后为"Tttttttt333444",明显改进体现为"Tttttttttt5555"。该算法结合了粒子群优化(PSO)和长门控循环单元(GRU)网络,利用PSO优化GRU的超参数,提升预测准确性和稳定性。PSO模仿鸟群行为寻找最优解,而GRU通过更新门和重置门处理长期依赖问题。核心MATLAB程序展示了训练和预测过程,包括使用'adam'优化器和超参数调整,最终评估并保存预测结果。
4 0
|
1天前
|
机器学习/深度学习 算法 PyTorch
【从零开始学习深度学习】42. 算法优化之AdaDelta算法【基于AdaGrad算法的改进】介绍及其Pytorch实现
【从零开始学习深度学习】42. 算法优化之AdaDelta算法【基于AdaGrad算法的改进】介绍及其Pytorch实现
|
1天前
|
机器学习/深度学习 算法 PyTorch
【从零开始学习深度学习】41. 算法优化之RMSProp算法【基于AdaGrad算法的改进】介绍及其Pytorch实现
【从零开始学习深度学习】41. 算法优化之RMSProp算法【基于AdaGrad算法的改进】介绍及其Pytorch实现
|
1天前
|
机器学习/深度学习 算法 PyTorch
【从零开始学习深度学习】40. 算法优化之AdaGrad算法介绍及其Pytorch实现
【从零开始学习深度学习】40. 算法优化之AdaGrad算法介绍及其Pytorch实现
|
1天前
|
机器学习/深度学习 PyTorch 算法框架/工具
【从零开始学习深度学习】36. 门控循环神经网络之长短期记忆网络(LSTM)介绍、Pytorch实现LSTM并进行训练预测
【从零开始学习深度学习】36. 门控循环神经网络之长短期记忆网络(LSTM)介绍、Pytorch实现LSTM并进行训练预测
|
1天前
|
机器学习/深度学习 PyTorch 算法框架/工具
【从零开始学习深度学习】32. 卷积神经网络之稠密连接网络(DenseNet)介绍及其Pytorch实现
【从零开始学习深度学习】32. 卷积神经网络之稠密连接网络(DenseNet)介绍及其Pytorch实现
|
2天前
|
机器学习/深度学习 监控 算法
基于yolov2深度学习网络的昆虫检测算法matlab仿真,并输出昆虫数量和大小判决
YOLOv2算法应用于昆虫检测,提供实时高效的方法识别和定位图像中的昆虫,提升检测精度。核心是统一检测网络,预测边界框和类别概率。通过预测框尺寸估算昆虫大小,适用于农业监控、生态研究等领域。在matlab2022A上运行,经过关键升级,如采用更优网络结构和损失函数,保证速度与精度。持续优化可增强对不同昆虫的检测能力。![image.png](https://ucc.alicdn.com/pic/developer-ecology/3tnl7rfrqv6tw_e760ff6682a3420cb4e24d1e48b10a2e.png)
|
3天前
|
机器学习/深度学习 PyTorch TensorFlow
|
5天前
|
传感器 算法 安全
基于WSN网络的定向步幻影路由算法matlab仿真
该文探讨了无线传感器网络中的位置隐私保护,对比了NDRW路由与定向步幻影路由在安全时间和能耗方面的性能。在MATLAB2022a中进行测试,结果显示NDRW路由提供最长的安全时间,尤其在长距离传输时,且在近距离下能耗低于幻影路由。幻影路由虽消耗更多能量,但通过随机步创造幻影源以增强安全性。NDRW路由利用非确定性随机游走策略,避免拥堵并提高效率,而幻影路由则引入方向性控制,通过启发式算法优化路径选择。