神经网络：在机器学习中谈神经网络的时候，指的是“神经网络学习”，或者说，是机器学习与神经网络这两个学科领域的交叉部分。
神经网络中最基本的成分是神经元模型，在生物神经网络中，每个神经元与其他神经元相连，当他“兴奋时”，就会向相连的神经元发送化学物质，从而改变这些神经元的电位；如果，某神经元的电位超过了一个“阈值”，那么他就会被激活，即“兴奋”起来，向其他神经元发送化学物质。（即我们所说的信号）
将许多神经元按照一定的结构连接起来，就得到了神经网络。一个神经网络视为包含了许多参数的数学模型，这个模式是若干个函数相互嵌套带入所得。
最早的神经网络模型M-P神经元模型。
激活函数：理想中的激活函数，将输入值映射为输出值“0”或“1”。“1”对应于神经元兴奋，“0”对应于神经元抑制。
感知机：感知机由两层神经元组成，输入层接收外界信号后传递给输出层，输出层是M-P神经元（阈值逻辑单元）。
给定训练数据集，权重Wi以及阈值可通过学习得到。
多层前馈神经网络：每层神经网络与下一层神经网络全互连，神经元之间不存在同层连接，也不存在跨层连接。
多层网络：只需要包含隐层，即可称为多层网络。神经网络的学习过程，就是根据训练数据来调整神经元之间的“连接权”，以及每个功能神经元的阈值。即：神经元“学”到的东西，蕴涵在连接权和阈值中。
误差传播算法（简称BP）：基于梯度下降策略，以目标的负梯度方向对参数进行调整。个人认为类似自动控制原理里的负反馈调节机制，只不过这里使用的是梯度下降法进行调节。
全局最小与局部最小：神经网络的训练过程可以看作是一个参数寻优的过程，即在参数空间中，寻找一组最优参数使E最小。这个最优分为“局部最优”和“全局最优”。
为了寻找到全局最优而不是局部最优，人们提出了三种方法来优化梯度下降寻优法。
1、以多组不同参数值初始化多个神经网络。
2、使用“模糊退火技术”。
3、使用随机梯度下降法。
RBF神经网络：单隐层前馈神经网络，它使用径向基函数作为隐层神经元激活函数，而输出层则是对隐层神经元输出的线性组合。
ART网络：神经网络学习中的一种无监督学习策略，网络的输出神经元相互竞争，在每一时刻仅有一个竞争获胜的神经元被激活，其他神经元的状态被抑制，又称“胜者通吃原则”。
SOM网络：一种竞争学习型的无监督神经网络，它能将高维输入数据映射到低维空间(通常为二维)，同时保持输入数据在高维空间的拓扑结构，即将高维空间中相似的样本点 映射到网络输出层中的邻近神经元。
级联相关网络：一般的神经网络模型通常假定网络结构是事先固定的，训练样本来确定合适的连接权、阈值等参数，与此不同，结构自适应网络则将 网络结构也当作学习的目标之一，并希望能在训练过程中找到最符合数据特点的网络结构，级联相关(Cascade-Correlation)网络，是结构自适应网络的重要代表。
Elman网络：与前馈神经网络不同，“递归神经网络" 允许 网络中出现环形结构，从而可让一些神经元的输出反馈回来作为输入信号.这 样的结构与信息反馈过程，使得网络在t 时刻的输出状态不仅与t 时刻的输入 有关，还与t - 1 时刻的网络状态有关，从而能处理与时间有关的动态变化。
Boltzmann机：神经网络中有一类模型是为网络状态定义一个“能量”,能量- 最小化时网络达到理想状态，而网络的训练就是在最小化这个能量函数。
深度学习：典型的深度学习模型就是很深层的神经网络.显然，对神经网络模型，提高容量的一个简单办法是增加隐层的数目。隐藏层多了，相应的神经元连接权、阈 值等参数就会更多.模型复杂度也可通过单纯增加隐层神经元的数目来实现。
单隐层的多层前馈网络已具有很强大的学习能力；但从增加 模型复杂度的角度来看，增加隐层的数目显然比增加隐层神经元的数目更有效, 因为增加隐层数不仅增加了拥有激活函数的神经元数目，还增加了激活函数嵌套的层数.然而，多隐层神经网络难以直接用经典算法(例如标准B P 算法)进行 训练，因为误差在多隐层内逆传播时，往往会 “发 散 " (diverge)而不能收敛到稳定状态。
因此如何在训练的时候将深层神经网络更好更快的收敛成为深度学习研究的问题。
从另一个角度来理解深度学习.无论是DBN还 是CNN,其多隐层堆叠、每层对上一层的输出进行处理的机制，可看作是在对输入信号进行 逐层加工，从而把初始的、与输出目标之间联系不太密切的输入表示，转化 成与输出目标联系更密切的表示，使得原来仅基于最后一层输出映射难以完 成的任务成为可能.换言之，通过多层处理，逐渐将初始的“低层”特征表示 转 化 为 “高层”特征表示后，用 “简单模型”即可完成复杂的分类等学习任 务.由此可将深度学习理解为进行“特 征 学 习 "(feature learning)或 “表示学习”(representation learning)。
