一文带你了解【深度学习】中CNN、RNN、LSTM、DBN等神经网络(图文解释 包括各种激活函数)

简介: 一文带你了解【深度学习】中CNN、RNN、LSTM、DBN等神经网络(图文解释 包括各种激活函数)

觉得有帮助请点赞关注收藏~~~

一、深度学习概述

深度学习算法属于机器学习算法的范畴,深度学习一般具有自主学习能力

基于深度学习的自然语言处理基本操作步骤包括:

将原始信息输入神经网络模型,通过自主学习算法识别输入特征;

将特征作为深度神经网络输入;

根据不同需求选用合适的学习模型;

通过训练得出的模型预测未知场景。

神经元模型

深度学习涉及神经网络的概念,其中最基本的神经元模型,可以使用下图表示,主要由输入变量 权重参数 偏置量 激活函数等组成

激活函数

激活函数用于特征表达,常用的激活函数包括线性整流函数(Rectified Linear Unit, ReLU) 、Sigmoid函数和双曲正切函数(hyperbolic tangent,tanh)。

ReLU函数:

Sigmoid函数:

双曲正切函数:

梯度下降法

梯度表示函数在特定点的方向导数沿着该方向的最大值,即函数在特定点沿着该方向变化率最大。假定n元函数在n维空间具有一阶连续偏导数,函数在该空间上的任意点的偏导数或者梯度的数学表达式为:

二、卷积神经网络CNN

卷积神经网络(Convolutional Neural Network,CNN)是包含卷积运算且具有深度结构的前馈神经网络(Feedforward Neural Networks)。具有表征学习(representation learning)能力,能够按其阶层结构对输入信息进行平移不变分类(shift-invariant classification),在计算机视觉和自然语言处理等领域得到了成功的应用。

卷积神经网络一般包含输入层(Input Layer)、卷积层(convolutional layer)、池化层(pooling layer)、全连接层(fully-connected layer)和输出层(Output layer)。

 

权重W也称为卷积核,卷积运算的主要目的是提取主要特征,去除噪音信号,选择不同的卷积核进行卷积运算,可以得到不同的特征信息。卷积操作原理可以参考图6-6,假定输入X的维度为7x7,选择卷积核W的维度为3x3,卷积核W在X平面上从左向右,从上往下依次移动,每次移动步长为1,则可以得出重合部分卷积结果的维度应为5x5,将卷积核W各位置的元素值与输入X对应位置的元素值相乘后求和,可以得出X*W对应位置的元素值,经过卷积处理后可以提取原输入的主要特征并实现降低维度的目的。

均值池化(average pooling)和极大池化(maximum pooling),

三、循环神经网络RNN

循环神经网络(Recurrent Neural Network,RNN)是以序列数据为输入,在序列的演进方向进行递归且所有节点(循环单元)按链式连接的递归神经网络(recursive neural network)。

四、长短时记忆网络LSTM

长短时记忆网络(Long Short Term Memory Network:LSTM)可以存储状态信息,记忆不定时间长度的信息。区块中存在门能够决定输入信息是否重要到能被记住及能不能被输出,忘记门的原理类似,如果信息在这里输出结果趋近于零,则此处值将被忽略,不会进到下一层进行进一步处理。

五、深度信念网络DBN

深度信念网络 (Deep Belief Network, DBN) 是一种生成模型,通过训练神经元间的权重,可以实现让神经网络按照最大概率来生成训练数据。可以使用 DBN 识别特征、分类数据和生成数据。

DBN由多层神经元构成,神经元分为显性神经元和隐性神经元。前者接收信息输入,后者提取特征。

创作不易 觉得有帮助请点赞关注收藏~~~

相关文章
|
28天前
|
机器学习/深度学习 人工智能 算法框架/工具
深度学习中的卷积神经网络(CNN)及其在图像识别中的应用
【10月更文挑战第7天】本文将深入探讨卷积神经网络(CNN)的基本原理,以及它如何在图像识别领域中大放异彩。我们将从CNN的核心组件出发,逐步解析其工作原理,并通过一个实际的代码示例,展示如何利用Python和深度学习框架实现一个简单的图像分类模型。文章旨在为初学者提供一个清晰的入门路径,同时为有经验的开发者提供一些深入理解的视角。
|
3天前
|
机器学习/深度学习 自然语言处理 前端开发
前端神经网络入门:Brain.js - 详细介绍和对比不同的实现 - CNN、RNN、DNN、FFNN -无需准备环境打开浏览器即可测试运行-支持WebGPU加速
本文介绍了如何使用 JavaScript 神经网络库 **Brain.js** 实现不同类型的神经网络,包括前馈神经网络(FFNN)、深度神经网络(DNN)和循环神经网络(RNN)。通过简单的示例和代码,帮助前端开发者快速入门并理解神经网络的基本概念。文章还对比了各类神经网络的特点和适用场景,并简要介绍了卷积神经网络(CNN)的替代方案。
|
14天前
|
机器学习/深度学习 人工智能 自动驾驶
深度学习中的卷积神经网络(CNN)及其应用
【10月更文挑战第21天】本文旨在深入探讨深度学习领域的核心组成部分——卷积神经网络(CNN)。通过分析CNN的基本结构、工作原理以及在图像识别、语音处理等领域的广泛应用,我们不仅能够理解其背后的技术原理,还能把握其在现实世界问题解决中的强大能力。文章将用浅显的语言和生动的例子带领读者一步步走进CNN的世界,揭示这一技术如何改变我们的生活和工作方式。
|
20天前
|
机器学习/深度学习 人工智能 监控
深入理解深度学习中的卷积神经网络(CNN):从原理到实践
【10月更文挑战第14天】深入理解深度学习中的卷积神经网络(CNN):从原理到实践
62 1
|
3天前
|
机器学习/深度学习 人工智能 TensorFlow
深度学习中的卷积神经网络(CNN)及其在图像识别中的应用
【10月更文挑战第32天】本文将介绍深度学习中的一个重要分支——卷积神经网络(CNN),以及其在图像识别领域的应用。我们将通过一个简单的代码示例,展示如何使用Python和TensorFlow库构建一个基本的CNN模型,并对其进行训练和测试。
|
28天前
|
机器学习/深度学习 编解码
深度学习笔记(三):神经网络之九种激活函数Sigmoid、tanh、ReLU、ReLU6、Leaky Relu、ELU、Swish、Mish、Softmax详解
本文介绍了九种常用的神经网络激活函数:Sigmoid、tanh、ReLU、ReLU6、Leaky ReLU、ELU、Swish、Mish和Softmax,包括它们的定义、图像、优缺点以及在深度学习中的应用和代码实现。
107 0
深度学习笔记(三):神经网络之九种激活函数Sigmoid、tanh、ReLU、ReLU6、Leaky Relu、ELU、Swish、Mish、Softmax详解
|
9天前
|
机器学习/深度学习 自然语言处理 TensorFlow
深度学习中的卷积神经网络(CNN)及其应用
【10月更文挑战第26天】在这篇文章中,我们将深入探讨卷积神经网络(CNN)的基本原理、结构和应用。CNN是深度学习领域的一个重要分支,广泛应用于图像识别、语音处理等领域。我们将通过代码示例和实际应用案例,帮助读者更好地理解CNN的概念和应用。
|
16天前
|
机器学习/深度学习 人工智能 自动驾驶
深入理解深度学习中的卷积神经网络(CNN)
【10月更文挑战第18天】深入理解深度学习中的卷积神经网络(CNN)
26 0
|
21天前
|
机器学习/深度学习 编解码 算法
【深度学习】经典的深度学习模型-01 开山之作:CNN卷积神经网络LeNet-5
【深度学习】经典的深度学习模型-01 开山之作:CNN卷积神经网络LeNet-5
30 0
|
24天前
|
机器学习/深度学习 人工智能 自然语言处理
深入理解深度学习中的卷积神经网络(CNN)
【10月更文挑战第10天】深入理解深度学习中的卷积神经网络(CNN)
116 0

热门文章

最新文章