一文带你了解【深度学习】中CNN、RNN、LSTM、DBN等神经网络(图文解释 包括各种激活函数)

简介: 一文带你了解【深度学习】中CNN、RNN、LSTM、DBN等神经网络(图文解释 包括各种激活函数)

觉得有帮助请点赞关注收藏~~~

一、深度学习概述

深度学习算法属于机器学习算法的范畴,深度学习一般具有自主学习能力

基于深度学习的自然语言处理基本操作步骤包括:

将原始信息输入神经网络模型,通过自主学习算法识别输入特征;

将特征作为深度神经网络输入;

根据不同需求选用合适的学习模型;

通过训练得出的模型预测未知场景。

神经元模型

深度学习涉及神经网络的概念,其中最基本的神经元模型,可以使用下图表示,主要由输入变量 权重参数 偏置量 激活函数等组成

激活函数

激活函数用于特征表达,常用的激活函数包括线性整流函数(Rectified Linear Unit, ReLU) 、Sigmoid函数和双曲正切函数(hyperbolic tangent,tanh)。

ReLU函数:

Sigmoid函数:

双曲正切函数:

梯度下降法

梯度表示函数在特定点的方向导数沿着该方向的最大值,即函数在特定点沿着该方向变化率最大。假定n元函数在n维空间具有一阶连续偏导数,函数在该空间上的任意点的偏导数或者梯度的数学表达式为:

二、卷积神经网络CNN

卷积神经网络(Convolutional Neural Network,CNN)是包含卷积运算且具有深度结构的前馈神经网络(Feedforward Neural Networks)。具有表征学习(representation learning)能力,能够按其阶层结构对输入信息进行平移不变分类(shift-invariant classification),在计算机视觉和自然语言处理等领域得到了成功的应用。

卷积神经网络一般包含输入层(Input Layer)、卷积层(convolutional layer)、池化层(pooling layer)、全连接层(fully-connected layer)和输出层(Output layer)。

 

权重W也称为卷积核,卷积运算的主要目的是提取主要特征,去除噪音信号,选择不同的卷积核进行卷积运算,可以得到不同的特征信息。卷积操作原理可以参考图6-6,假定输入X的维度为7x7,选择卷积核W的维度为3x3,卷积核W在X平面上从左向右,从上往下依次移动,每次移动步长为1,则可以得出重合部分卷积结果的维度应为5x5,将卷积核W各位置的元素值与输入X对应位置的元素值相乘后求和,可以得出X*W对应位置的元素值,经过卷积处理后可以提取原输入的主要特征并实现降低维度的目的。

均值池化(average pooling)和极大池化(maximum pooling),

三、循环神经网络RNN

循环神经网络(Recurrent Neural Network,RNN)是以序列数据为输入,在序列的演进方向进行递归且所有节点(循环单元)按链式连接的递归神经网络(recursive neural network)。

四、长短时记忆网络LSTM

长短时记忆网络(Long Short Term Memory Network:LSTM)可以存储状态信息,记忆不定时间长度的信息。区块中存在门能够决定输入信息是否重要到能被记住及能不能被输出,忘记门的原理类似,如果信息在这里输出结果趋近于零,则此处值将被忽略,不会进到下一层进行进一步处理。

五、深度信念网络DBN

深度信念网络 (Deep Belief Network, DBN) 是一种生成模型,通过训练神经元间的权重,可以实现让神经网络按照最大概率来生成训练数据。可以使用 DBN 识别特征、分类数据和生成数据。

DBN由多层神经元构成,神经元分为显性神经元和隐性神经元。前者接收信息输入,后者提取特征。

创作不易 觉得有帮助请点赞关注收藏~~~

相关文章
|
1月前
|
机器学习/深度学习 自然语言处理 数据处理
大模型开发:描述长短期记忆网络(LSTM)和它们在序列数据上的应用。
LSTM,一种RNN变体,设计用于解决RNN处理长期依赖的难题。其核心在于门控机制(输入、遗忘、输出门)和长期记忆单元(细胞状态),能有效捕捉序列数据的长期依赖,广泛应用于语言模型、机器翻译等领域。然而,LSTM也存在计算复杂度高、解释性差和数据依赖性强等问题,需要通过优化和增强策略来改进。
|
1月前
|
网络协议 Linux API
Linux网络编程:shutdown() 与 close() 函数详解:剖析 shutdown()、close() 函数的实现原理、参数说明和使用技巧
Linux网络编程:shutdown() 与 close() 函数详解:剖析 shutdown()、close() 函数的实现原理、参数说明和使用技巧
80 0
|
1天前
|
机器学习/深度学习 算法 Python
Python用RNN神经网络:LSTM、GRU、回归和ARIMA对COVID19新冠疫情人数时间序列预测
Python用RNN神经网络:LSTM、GRU、回归和ARIMA对COVID19新冠疫情人数时间序列预测
33 12
|
1天前
|
机器学习/深度学习 算法 算法框架/工具
数据分享|PYTHON用KERAS的LSTM神经网络进行时间序列预测天然气价格例子
数据分享|PYTHON用KERAS的LSTM神经网络进行时间序列预测天然气价格例子
18 0
|
2天前
|
机器学习/深度学习 传感器 数据可视化
MATLAB用深度学习长短期记忆 (LSTM) 神经网络对智能手机传感器时间序列数据进行分类
MATLAB用深度学习长短期记忆 (LSTM) 神经网络对智能手机传感器时间序列数据进行分类
14 1
MATLAB用深度学习长短期记忆 (LSTM) 神经网络对智能手机传感器时间序列数据进行分类
|
6天前
|
机器学习/深度学习 Python
Python用LSTM长短期记忆神经网络对不稳定降雨量时间序列进行预测分析
Python用LSTM长短期记忆神经网络对不稳定降雨量时间序列进行预测分析
16 0
|
7天前
|
机器学习/深度学习 数据采集 TensorFlow
R语言KERAS深度学习CNN卷积神经网络分类识别手写数字图像数据(MNIST)
R语言KERAS深度学习CNN卷积神经网络分类识别手写数字图像数据(MNIST)
25 0
|
8天前
|
机器学习/深度学习 数据可视化 网络架构
matlab使用长短期记忆(LSTM)神经网络对序列数据进行分类
matlab使用长短期记忆(LSTM)神经网络对序列数据进行分类
12 0
|
8天前
|
机器学习/深度学习 存储 测试技术
使用PYTHON中KERAS的LSTM递归神经网络进行时间序列预测
使用PYTHON中KERAS的LSTM递归神经网络进行时间序列预测
19 0
|
29天前
|
存储 Unix Linux
深入理解 Linux 系统下的关键网络接口和函数,gethostent,getaddrinfo,getnameinfo
深入理解 Linux 系统下的关键网络接口和函数,gethostent,getaddrinfo,getnameinfo
15 0

热门文章

最新文章