《深度学习导论及案例分析》一1.3深度学习的模型和算法

简介:

####本节书摘来自华章出版社《深度学习导论及案例分析》一书中的第1章,第1.3节,作者李玉鑑 张婷,更多章节内容可以访问云栖社区“华章计算机”公众号查看。

1.3深度学习的模型和算法

深度学习亦称深度机器学习、深度结构学习、分层学习,是一类有效训练深层神经网络(Deep Neural Network,DNN)的机器学习算法,可以用于对数据进行高层抽象建模。广义上说,深层神经网络是一种具有多个处理层的复杂结构,其中包含多重非线性变换。如果深度足够,那么多层感知器无疑是深层网络,前馈神经网络也是深层网络。基本的深层网络模型可以分为两大类:生成模型和判别模型。生成是指从隐含层到输入数据的重构过程,而判别是指从输入数据到隐含层的归约过程。复杂的深层结构可能是一个混合模型,既包含生成模型成分,又包含判别模型成分。生成模型一般用来表达数据的高阶相关性或者描述数据的联合统计分布,判别模型则通常用来分类数据的内在模式或者描述数据的后验分布。生成模型主要包括受限玻耳兹曼机(Restricted Boltzmann Machine,RBM)、自编码器(Autoencoder,AE)[1]、深层信念网络(Deep Belief Network,DBN)[62]、深层玻耳兹曼机(Deep Boltzmann Machine,DBM)[65]以及和积网络(SumProduct Network,SPN)[66],其中AE、DBN和DBM需要RBM进行预训练。判别模型主要包括深层感知器(deep MLP)、深层前馈网络(deep FNN)、卷积神经网络(Convolutional Neural Network,CNN)[82]、深层堆叠网络(Deep Stacking Network,DSN)[83]、循环神经网络(Recurrent Neural Network,RNN)[84]和长短时记忆(Long ShortTerm Memory,LSTM)网络[53]。值得一提的是,虽然受限玻耳兹曼机、自编码器、深层信念网络、深层玻耳兹曼机,以及和积网络都被归类为生成模型,但由于模型中也包含判别过程(即从输入到隐含层的规约),所以在一定条件下,也可以看作判别模型并用于对数据的分类和识别,而且在用于产生序列数据时,循环神经网络也可以看作是生成模型。此外,虽然受限玻耳兹曼机作为一种两层网络,在严格意义上并不是一种深层网络,但由于它是对许多深层网络进行预训练的基础,所以也被看作一种基本的深度学习模型。自编码器作为一种深度学习模型,通常只是用作其他模型的构建模块,而不是作为一个独立的模型使用。

基于各种模型和算法,深层网络能够从大量的复杂数据中学习到合适且有效的特征。这些特征在解决实际问题时常常能够取得极佳的效果,从而使得深度学习受到了学术界和工业界的普遍青睐。借助无监督学习,前馈神经网络和循环神经网络的纯有监督学习早已在有关评测比赛中崭露头角[85,86],在大多数近年的比赛中更是成绩卓著[8794]。特别地,基于GPU的最大池化卷积神经网络,不仅在模式识别和图像分类的比赛中捷报频传[9597],而且在图像分割和目标检测的比赛中也是战果累累、名列前茅[3,96,99]。目前,基于深度学习的机器玩家,通过结合卷积神经网络和强化学习,只需输入图像像素和游戏分数进行训练,就能够学会有效的操作策略,在很多视频游戏中达到与人类专业玩家相当的水平[100]。而最为空前的是,一个命名为AlphaGo的人工智能程序机器人,利用深层网络和蒙特卡罗树搜索(Monte Carlo tree search),首次在完整的围棋比赛中战胜了人类的专业选手、欧洲冠军、职业围棋二段选手樊麾,没有任何让子,且以5比0获胜[101]。这在围棋人工智能领域,是一次史无前例的突破。而且,在2016年3月,AlphaGo又以4比1战胜了人类的顶尖高手、世界冠军、职业围棋九段选手李世石(或李世乭),这更是一次亘古未有的创举。

本书的主要内容就是以矩阵运算、概率论、信息论、图模型等预备知识为基础,从受限玻耳兹曼机开始,逐一介绍深度学习的主要模型和算法,包括它们的变种模型和混合模型,以及广泛应用和问题挑战,并分析一些基本案例。

相关文章
|
2天前
|
机器学习/深度学习 数据采集 数据库
使用Python实现智能食品营养分析的深度学习模型
使用Python实现智能食品营养分析的深度学习模型
20 6
|
4天前
|
机器学习/深度学习 监控 PyTorch
深度学习工程实践:PyTorch Lightning与Ignite框架的技术特性对比分析
在深度学习框架的选择上,PyTorch Lightning和Ignite代表了两种不同的技术路线。本文将从技术实现的角度,深入分析这两个框架在实际应用中的差异,为开发者提供客观的技术参考。
18 7
|
4天前
|
机器学习/深度学习 供应链 安全
使用Python实现智能食品供应链管理的深度学习模型
使用Python实现智能食品供应链管理的深度学习模型
20 3
|
8天前
|
机器学习/深度学习 数据采集 存储
使用Python实现智能农业灌溉系统的深度学习模型
使用Python实现智能农业灌溉系统的深度学习模型
49 6
|
6天前
|
机器学习/深度学习 PyTorch TensorFlow
使用Python实现智能食品质量检测的深度学习模型
使用Python实现智能食品质量检测的深度学习模型
36 1
|
6天前
|
机器学习/深度学习 数据采集 自然语言处理
如何使用深度学习模型来提高命名实体识别的准确率?
如何使用深度学习模型来提高命名实体识别的准确率?
|
10天前
|
机器学习/深度学习 数据采集 算法框架/工具
使用Python实现深度学习模型:智能野生动物保护与监测
使用Python实现深度学习模型:智能野生动物保护与监测
34 5
|
7天前
|
机器学习/深度学习 人工智能 算法
青否数字人声音克隆算法升级,16个超真实直播声音模型免费送!
青否数字人的声音克隆算法全面升级,能够完美克隆真人的音调、语速、情感和呼吸。提供16种超真实的直播声音模型,支持3大AI直播类型和6大核心AIGC技术,60秒快速开播,助力商家轻松赚钱。AI讲品、互动和售卖功能强大,支持多平台直播,确保每场直播话术不重复,智能互动和真实感十足。新手小白也能轻松上手,有效规避违规风险。
|
8天前
|
分布式计算 Java 开发工具
阿里云MaxCompute-XGBoost on Spark 极限梯度提升算法的分布式训练与模型持久化oss的实现与代码浅析
本文介绍了XGBoost在MaxCompute+OSS架构下模型持久化遇到的问题及其解决方案。首先简要介绍了XGBoost的特点和应用场景,随后详细描述了客户在将XGBoost on Spark任务从HDFS迁移到OSS时遇到的异常情况。通过分析异常堆栈和源代码,发现使用的`nativeBooster.saveModel`方法不支持OSS路径,而使用`write.overwrite().save`方法则能成功保存模型。最后提供了完整的Scala代码示例、Maven配置和提交命令,帮助用户顺利迁移模型存储路径。
|
12天前
|
机器学习/深度学习 数据采集 算法框架/工具
使用Python实现智能生态系统监测与保护的深度学习模型
使用Python实现智能生态系统监测与保护的深度学习模型
45 4

热门文章

最新文章