深度神经网络基本问题的原理详细分析和推导

目录
神经网络算法的直观了解
21 表征假设和激活函数
1 神经网络过程描述
2 神经网络相关的几个问题
22 结构设计Architecture Design
23 代价函数Cost Function和优化目标Optimization objective
24 如何进行优化
3 参考资料
前馈传播和结构设计
11 本章节说明
12 通用逼近定理的严谨表述
12 从非线性讲起为什么使用激活函数
13 前馈网络拟合函数过程
2 前馈网络进行逼近的拟合过程
121 来自Approximation by Superpositions of a Sigmoidal Function这篇论文的观点
121 来自On the Number of Linear Regions of Deep Neural Networks这篇论文的观点
11 以sigmoid为例
11 ReLU的拟合
1 通用逼近性质理论Universal Approximation PropertiesTheorem神经网络可以逼近任意函数
3 关于通用逼近定理的补充说明
4 参考资料
目标优化
11 从单变量函数开始
12 多元函数的梯度下降
2 学习率learning rate的选择
1 基于梯度的目标优化
3 其他优化算法
4 参考资料
基于梯度的神经网络优化
31 BP算法的定义理解误区
32 预备知识
33 深度神经网络中递归使用链式法则
34 反向传播算法的伪代码
35 补充基于计算图的更通用的反向传播伪代码
361 反向传播过程
321 张量tensor
322 微积分中的链式法则和其在高维度的推广
341 基于全连接的多层感知机的伪代码
351 上一节的代码的改进空间
351 计算图Computational Graphs
352 举例说明
21 广义线性模型generalized linear model GLM
22 广义线性模型
23 伯努利分布Bernoulli Distributions和Sigmoid 函数单元
24 其他输出层的激活函数单元
241 多项分布和广义线性模型
242 其他分布和对应单元
25 本节其他参考资料
211 指数族Exponential family or Exponential class
221 广义线性模型的直观解释从线性模型讲起
222 数学定义
231 伯努利分布和广义线性模型
232 sigmoid为激活函数的交叉熵代价函数的推导后续
233 梯度下降法的进一步推导交叉熵解决函数饱和saturates问题
11 极大似然法和交叉熵Maximum Likelihood Estimation
12 交叉熵cross-entropy error代价函数
122 交叉熵代价函数
123 交叉熵代价函数的好处
13 本节其他参考资料
111概率统计知识总体样本随机变量独立同分布参数估计
112 极大思然估计
121 交叉熵相对熵KL散度的概念
1 目标函数的表达式模型的确定
2 选择概率分布模型和对应的输出单元
3 多层网络的梯度如何获得
4 参考资料
前馈传播过程隐藏层激活函数
31 logistic Sigmoid
32 双曲切线函数tanh
21 ReLu
22 ReLU的扩展
23 ReLU的设计原则
1 激活函数期待具有的性质
11 非线性
12 只有有限个离散点不可微non-differentiability
13 有限范围
14 接近恒等函数
2 线性整流单元Rectified Linear Units和其衍生单元
3 Logistic Sigmoid 和 Hyperbolic Tangent
4 参考资料