《深度学习导论及案例分析》一1.2深层网络的特点和优势

简介:

####本节书摘来自华章出版社《深度学习导论及案例分析》一书中的第1章,第1.2节,作者李玉鑑 张婷,更多章节内容可以访问云栖社区“华章计算机”公众号查看。

1.2深层网络的特点和优势

神经网络由许多简单的、互连的称为神经元的处理器组成。每一个神经元产生一系列的实值激活[73],其中输入神经元通过传感器激活,其余神经元通过连接激活。

例如,图1.1是两个浅层网络的例子,其中图1.1a是一个单隐层的普通神经
网络,图1.1b是一个单隐层的和积网络。图1.2是两个深层网络的例子,其中图1.2a是一个多层神经网络,图1.2b是一个多层和积网络。
QQ_20170524090500
QQ_20170524090515

根据Bengio的定义[8],深层网络由多层自适应非线性单元组成。换句话说,深层网络是非线性模块的级联,在所有层次上都包含可训练的参数。在理论上,深层网络和浅层网络的数学描述是类似的,而且都能够通过函数逼近表达数据的内在关系和本质特征。不过应注意,网络虽然在狭义上是指由神经元构成的神经网络,但在广义上可以指任何具有网络结构的学习模型。

迄今还没有公认的区分深层网络和浅层网络的深度划界标准。依据Schmidhuber的观点[73],深层网络和浅层网络可以用得分路径(或译为信度分配路径,Credit Assignment Path,CAP)深度加以区分。得分路径是一条可学习的、连接行为和结果的因果链。对于前馈神经网络,得分路径深度,也就是网络深度,是网络的隐含层数加1(输出层也是可学习的)。对于循环神经网络,得分路径长度可能是无限的,因为信号可以多次通过同一个层。一般认为深层网络至少包含3个非输入层或者CAP>2,而非常深的网络应该深度(或CAP)至少大于10。在工程实践中,深层网络通常是一个多层人工神经网络,可以包含多个隐含层和多达几百万个自由参数。

浅层网络对机器学习来说也很重要,包括单隐层网络[74]、高斯混合模型(Gaussian Mixture Model,GMM)[75]、隐马尔可夫模型(Hidden Markov Model,HMM)[76]、条件随机场(Conditionsl Random Field,CRF)[77]、支持向量机(Support Vector Machine,SVM)[78]、逻辑回归[79]、最大熵模型[80],等等。这些网络的共同特点是,它们都使用不超过三层的结构将原始输入信号变换到一个特征空间。毋庸置疑,浅层网络对解决许多简单的和有良好约束的问题非常有效,但在解决真实世界的复杂应用问题时,往往出现函数表达能力不足的情况。这是因为在处理某些问题时,可能需要指数增长的计算单元,而此时深层网络则可能仅需相对很少的计算单元[81]。

作为例子,不妨来分析一个具有递归结构的和积网络的函数表达能力。设输入变量的个数n=4i,其中i是正整数。l0代表输入层,其中第j个节点表示为l0j=xj,1≤j≤n。分别构造奇数层和偶数层的节点如下:

l2k+1j=l2k2j-1•l2k2j,0≤k≤i-1和1≤j≤22(i-k)-1

l2kj=λjkl2k-12j-1+μjkl2k-12j,1≤k≤i和1≤j≤22(i-k)(1.1)# 

其中,权值λjk和权值μjk都为正数。

该和积网络的输出f(x1,…,xn)=l2i1∈R是一个单节点。当i=1时,网络共有3个非输入节点,结构如图1.3所示。由于对任意正整数i,QQ_20170524091416

这个和积网络在不计输入层时共有2i层,其中包含的(非输入)节点总数为1+2+4+8+…+22i-1=22i-1=4i-1=n-1,所以网络规模仅具有线性复杂度。显然,这个递归和积网络在i>1时是一个深层网络。
如果用图1.1b中的单隐层和积网络来计算函数f(x1,x2,…,xn),那么需要把它改写成输入变量乘积的加权和形式。当所有权值都取1时,可以得到下面的表达式:
f(x1,x2,…,x4i)=x1x2x5x6…x4i-1-3x4i-1-2+…(1.2)
由于在该表达式中乘积项的数量为m2i=2n-1,因此用单隐层和积网络计算需要2n-1个积节点和一个和节点,共需2n-1+1个节点,网络规模具有指数复杂度。因为在n较大时,2n-1+1将远远大于n-1,所以用浅层和积网络计算具有n个输入的函数,需要的节点个数可能比深层和积网络多得多。例如,当n=45=1024时,用浅层和积网络计算f(x1,…,xn)=l2i1,需要21024-1+1=231+1=2147483649个节点,而用深层和积网络仅需1024-1=1023个节点。

由此可见,在表达同样的复杂函数时,与浅层网络相比,深层网络可能只需要很少的节点和很少的参数。这意味着,在总节点数大致相同的情况下,深层网络通常比浅层网络的函数表达能力更强。

相关文章
|
7天前
|
机器学习/深度学习 自然语言处理 语音技术
深度学习500问——Chapter06: 循环神经网络(RNN)(3)
深度学习500问——Chapter06: 循环神经网络(RNN)(3)
21 3
|
1天前
|
移动开发 JavaScript 前端开发
APP的HTML5页面经过运营商网络被植入手机管家问题及分析,解决方案见新文章
APP的HTML5页面经过运营商网络被植入手机管家问题及分析,解决方案见新文章
4 0
|
1天前
|
安全 算法 网络安全
数字堡垒的构建者:网络安全与信息安全的深层探索
【5月更文挑战第21天】 在数字化时代,数据如同流动的血液,而网络安全则是维持这生命之河纯净与畅通的关键。本文将深入剖析网络安全领域的核心议题,包括网络漏洞的成因、加密技术的进展以及提升安全意识的策略。通过对这些关键要素的细致解读,我们旨在为读者构建一个坚实的网络安全知识框架,以应对日益复杂的网络威胁。
9 3
|
2天前
|
监控 安全 算法
数字堡垒的构建者:网络安全与信息安全的深层探索
【5月更文挑战第20天】在数字化时代,数据成为了新的石油,而网络安全则是保护这些宝贵资源不受侵犯的数字堡垒。本文深入探讨了网络安全漏洞的形成、加密技术的应用以及提升安全意识的重要性。通过对当前网络威胁的分析,我们揭示了防御策略的核心原则,并提供了实用的安全建议,旨在为读者打造一道坚不可摧的信息安全防线。
|
2天前
|
监控 安全 网络安全
数字堡垒的构筑者:网络安全与信息安全的深层透视
【5月更文挑战第20天】 在数字化时代,信息成为核心资产,网络安全和信息安全的重要性日益突显。本文将深入讨论网络安全漏洞的成因、加密技术的最新进展以及提升安全意识的策略。通过对网络攻防战的剖析,揭示防御机制的构建过程,同时探讨如何通过教育和技术创新来强化个人和组织的安全防线。
|
2天前
|
机器学习/深度学习 人工智能 算法
食物识别系统Python+深度学习人工智能+TensorFlow+卷积神经网络算法模型
食物识别系统采用TensorFlow的ResNet50模型,训练了包含11类食物的数据集,生成高精度H5模型。系统整合Django框架,提供网页平台,用户可上传图片进行食物识别。效果图片展示成功识别各类食物。[查看演示视频、代码及安装指南](https://www.yuque.com/ziwu/yygu3z/yhd6a7vai4o9iuys?singleDoc#)。项目利用深度学习的卷积神经网络(CNN),其局部感受野和权重共享机制适于图像识别,广泛应用于医疗图像分析等领域。示例代码展示了一个使用TensorFlow训练的简单CNN模型,用于MNIST手写数字识别。
17 3
|
4天前
|
机器学习/深度学习 算法
揭秘深度学习中的对抗性网络:理论与实践
【5月更文挑战第18天】 在深度学习领域的众多突破中,对抗性网络(GANs)以其独特的机制和强大的生成能力受到广泛关注。不同于传统的监督学习方法,GANs通过同时训练生成器与判别器两个模型,实现了无监督学习下的高效数据生成。本文将深入探讨对抗性网络的核心原理,解析其数学模型,并通过案例分析展示GANs在图像合成、风格迁移及增强学习等领域的应用。此外,我们还将讨论当前GANs面临的挑战以及未来的发展方向,为读者提供一个全面而深入的视角以理解这一颠覆性技术。
|
4天前
|
监控 安全 网络安全
构筑数字堡垒:网络安全与信息安全的深层防御
【5月更文挑战第17天】在数字化时代,数据成为了新的货币,而网络安全和信息安全则是保护这些“财富”不被盗窃、篡改或破坏的关键。本文将深入探讨网络安全漏洞的本质,加密技术的最新进展,以及提升个人和企业的安全意识的重要性。通过分析当前的安全挑战,我们旨在分享如何构建一个多层次的防御体系,以保护个人、公司和国家免受网络威胁的侵害。
|
6天前
|
机器学习/深度学习 数据可视化 PyTorch
使用Python实现深度学习模型:生成对抗网络(GAN)
使用Python实现深度学习模型:生成对抗网络(GAN)
20 3
|
7天前
|
机器学习/深度学习 人工智能 自然语言处理
一文搞懂深度学习:神经网络基础部分
一文搞懂深度学习:神经网络基础部分
13 0

热门文章

最新文章