首发地址：https://yq.aliyun.com/articles/72036
更多深度文章，请关注：https://yq.aliyun.com/cloud
作者介绍：Deepak Shah
Deepak Shah毕业于德克萨斯奥斯汀分校，徒步旅行爱好者，目前是深度学习\数据科学实习生，研究领域专注于深度学习、编程、金融等方面。
个人主页：http://www.deepakvshah.com/
Medium论坛：https://medium.com/@dvshah13
Github论坛：https://github.com/Dvshah13
笔记分为两个部分，本文是笔记Part II，关于深度学习笔记PartI可以看这篇博客；
受限玻尔兹曼机（RBM）
RBM是一种可以通过重建输入在数据中自动查找模式的方法，包含两层网络，第一层为可见层，第二层为隐藏层。可见层中的每个节点都连接到隐藏层中的节点，由于同一层中没有两个节点共享连接，所以其是受限的。
在前向过程中，RBM接受输入并将它们转换成对输入进行编码的一组数字。在反向过程中，将这组数字转换后形成重构的输入。
在这两个步骤中，权重和偏置具有非常重要的作用，其允许RBM解译输入特征之间的相互关系，并且确定哪些输入特征是最重要的。
训练过程反复重复以下三个步骤。
步骤1：在前向传递中，每个输入与单独的权重和偏置组合，结果被传递到隐藏层。
步骤2：在反向过程中，每个激活与单独的权重和偏置组合，结果被传递到可见层以用于重建。
步骤3：在可见层，使用KL发散将重建与原始输入进行比较以判断结果的质量。
使用不同的权重和偏置重复步骤1-3，直到重建与输入尽可能接近。
注意到，RBM实际上通过调整权重和偏置决定了哪些输入特性是重要的，以及如何将它们组合形成模式。
那么RBM如何能够提取特征？这与深层信念网络有关。
深层信念网络（DBN）
深层信念网络（DBN）在网络结构方面，可以被看作是RBM的堆叠，其中一个RBM的隐藏层是其上一层的可见层。
DBN训练过程：第一层RBM被训练以尽可能准确地重建其输入，其隐藏层被视为第二层RBM的可见层，并且使用来自第一层RBM的输出来训练第二层RBM。重复该过程，直到网络中的每一层都被训练。DBN表现好的原因是因为一堆RBM优于单个RBM单元。就像多层感知器能够胜过单个感知器。
为了完成训练，在模式中引入标签，并通过监督学习来微调网络。权重和偏置稍微改变，导致网络对图案感知的微小变化，同时总精度通常会小幅增加。
卷积神经网络（CNN）
近年来主导机器视觉空间，影响深远，是深度学习AI中最热门的话题之一，卷积网络一直是机器视觉项目的解决方案。
CNN结构：
第一个组成部分是卷积层。网络使用卷积的技术操作来搜索特定模式。可以把它看作是通过图像过滤特定模式的过程。该层的权重和偏置影响操作执行的过程。调整权重和偏置会影响过滤过程的有效性。CNN具有权值共享的特性，这意味着过滤器上任何给定的神经元都连接到相同数量的输入神经元，并且具有相同的权重和偏置。
接下来的两层是整流线性单元（RELU）和池化层，都有助于由卷积层发现的简单模式的建立。卷积层中的每个节点都连接到一个激活节点，使用的激活函数称为整流线性单元（RELU）。CNN使用反向训练，所以梯度消散仍然是一个问题。但由于RELU能使得梯度在每一层处或多或少保持恒定，所以允许网络被适当地训练。池化层用于维数降低。通过引入池化层，确保网络仅关注卷积和RELU发现的最相关的模式。
这三个层组合在一起可以发现复杂的模式，但网络不能理解这些模式是什么。因此，在网络末端有全连接层，以便使网络具有分类数据样本的能力。
综上所述，典型的深层CNN具有三层：卷积层，RELU层和池化层，这些层之后连接几个全连接层以支持分类。
由于CNN是深层网络，训练复杂度高，可能需要使用具有GPU的服务器进行训练；另外是受监督的学习方法限制，需要大量的用于训练的标记数据，这在现实应用中也是有挑战性的。
循环神经网络（RNN）
如果数据中的模式随时间变化，最好使用循环神经网络。RNN结构简单，内置的反馈回路允许它作为一个预测引擎，其应用非常广泛，从语音识别到无人驾驶汽车。
在前馈神经网络中，信号仅在一个方向上从输入到输出信号，每次传递一个层；而在循环神经网络中，每层的输出添加到下一个层入并且被反馈回同一层，该层通常是整个网络中的唯一层。
与前馈网不同，循环网可以接收一系列值作为输入，并且还可以产生一系列值作为输出。操作序列的能力使得RNN具有广泛的应用。当输入是单个并且输出是序列时，潜在的应用是图像字幕；具有单个输出的输入序列可以用于文档分类；当输入和输出都是序列时，可以用来逐帧分类视频；如果引入时间延迟，则可以统计地预测需求和供应链方案。
可以将RNN堆叠在彼此之上，形成一个更复杂的输出网络，然而RNN是极难训练的网络。由于RNN使用了反向传播，也会遇到梯度消失的问题。不幸的是，对于RNN而言，梯度消失呈指数恶化。其原因是每个时间步长等同于前馈网络中的整个层。有几种方法来解决该问题。目前最流行的是门控循环单位（GRU）和长期短期记忆（LSTM）；另外还有梯度剪裁和陡峭门以及其它更好的优化方法。
自动编码器（AE）
当尝试找出数据集的基础结构时，自动编码器非常有用。自动编码器采用一组通常未标记的输入，并且在对其进行编码后，尝试尽可能精确地重建它们。因此，网络必须确定哪些数据特征是最重要的。
自动编码器通常包括输入层，输出层和隐藏层。在前向传递方面，有两个步骤：编码和解码。用于编码隐藏层中的特征的相同权重会被用于重建输出层中的图像。训练使用损失度量网络尝试重建输入时丢失的信息量。
并不是所有的自动编码器都是浅层的，其变体深度自动编码器在维数降低方面表现更好，它们的前身是主成分分析（PCA）。
递归神经张量网络（RNTN）
在尝试发现一组数据的分层结构时，RNTN表现更好。
RNTN有三个基本组件。分别为父组（根）、子组（叶）以及根与叶之间的连接。每个组是神经元的集合，其中神经元的数量取决于输入数据的复杂性。根连接到所有叶组，但是每个叶之间彼此不连接。从技术上讲，这三个组件形成一个二叉树。叶组接收输入，根组使用分类器来给出类别和分数。
RNTN结构看起来很简单，但其复杂性来自数据在整个网络中移动的方式。这是由于其过程是递归的。
递归示例：输入一个句子“The car is fast ”，在第一步，将前两个词分别输入叶组1和2。叶组实际上不接收字，而是字的向量（有序数字集）表示。当两个向量中的数字与词汇中的其他单词相比较时，两个单词之间的相似性编码实现特别好的结果。两个向量（由The和Car表示）通过网络移动到根，得到两个值的类别和得分。得分代表当前语法分析的质量，类别代表当前语法分析中结构的编码。网络开始递归，在下一步，第一叶组现在接收当前解析，第二叶接收句子中的下一个字。之后根组将输出三个字长的解析分数（“The，Car，Is）。重复该过程，直到将所有输入全部解析完毕，并且网络具有包含每个单词的解析树。这是RNTN的简化示例并说明了其主要思想。但是在实际应用中，通常对抗更复杂的递归过程。而不是使用句子中的下一个词用于第二叶组，RNTN将尝试所有下一个词，并且最终尝试表示整个子解析的向量。
一旦网络具有最终结构，它通过解析树回溯以便找出句子的每个部分的正确语法标签。RNTN通过将预测的句子结构与从一组标记的训练数据获得的正确句子结构进行比较来用反向传播训练。一旦训练完毕，网络将给与更多类似于其在训练中所解析的树的结构分数。
在自然语言处理中，RNTN用于语法解析和情感分析，还可用于在含有不同分量的场景中解析图像。
本文由北邮@爱可可-爱生活老师推荐，阿里云云栖社区组织翻译。
