1、简介
正则化就是结构风险最小化策略的实现， 是在经验风险最小化的情况下加入一个正则化项或者罚项。
正则化技术令参数数量多于输入数据量的网络避免产生过拟合现象。正则化通过避免训练完美拟合数据样本的系数而有助于算法的泛化。为了防止过拟合， 增加训练样本是一个好的解决方案。此外， 还可使用数据增强、 L1正则化、 L2 正则化、 Dropout、 DropConnect 和早停（Early stopping） 法等。
2、数据增强
数据增强是提升算法性能、 满足深度学习模型对大量数据的需求的重要工具。数据增强通过向训练数据添加转换或扰动来人工增加训练数据集。数据增强技术如水平或垂直翻转图像、 裁剪、 色彩变换、 扩展和旋转通常应用在视觉表象和图像分类中。（后续的推文会仔细解释和实践）
3、L2正则化
L2 正则化就是在损失函数后面增加上 L2 正则化项， 公式为：
其中 L0为原始损失函数， 后面部分为 L2 正则化项。L2 正则化项为所有权值的平方和除以训练集中的样本大小
n， λ∈ R 是引入的正则化项系数， 用来调节正则项和原始损失值 L0 的比重， 系数 1/2 时方便求导时进行约简。
对 L2 正则化公式进行求导后得到：
将上述公式代入梯度下降公式， L2 正则化后权值 w 的更新为：
没有使用L2正则化时权值w前面的系数为1，使用L2正则化后权值w前面的系数为 1-ηλ/n， 其中η、λ、n 为正数，使得权值w的系数恒小于1，因此可以看出L2正则化就是用来惩罚特征的权值w的， 学术上称之为权重衰减。
L2正则化确实能够让权值变得更小，它可以用于防止过拟合的原因在于更小的权值表示神经网络的复杂度更低、网络参数越小，这说明模型相对简单，越简单的模型引起过度拟合的可能性越小。
4、 L1 正则化
L1 正则化时原始的损失函数后面加上一个 L1 正则化项， 即权值 w 绝对值的和除以 n， L1 正则化公式为：
当权值为正时，更新后权值变小；当权值为负时， 更新后权值变大。因此 L1 正则化的目的是让权值趋向于 0，使得神经网络的权值尽可能小， 也就相当于减小了网络的复杂度， 防止了过拟合。
在实际应用中，一般使用L2正则化。因为L1范式会产生稀疏解，具有一定的特征选择能力，对求解高维特征空间比较有用；L2 范式主要是为了防止过拟合。
5、 L1 和 L2 正则化的对比
L1和L2正则化是最常用的正则化方法。L1正则化向目标函数添加正则化项，以减少参数的绝对值总和；而L2正则化中， 添加正则化项的目的在于减少参数平方的总和。根据之前的研究，L1正则化中的很多参数向量是稀疏向量，因为很多模型导致参数趋近于0，因此它常用于特征选择设置中。机器学习中最常用的正则化方法是对权重施加L2范数约束。
线性回归中，使用L1正则化的为Lasso回归，使用L2正则化的为Ridge回归(岭回归)，既使用L1正则又使用L2正则的为 ElasticNet。
5.1、 为什么 L1 和 L2 正则化可以防止过拟合？
拟合过程中通常都倾向于让权值尽可能小，最后构造一个所有参数都比较小的模型。因为一般认为参数值小的模型比较简单，能适应不同的数据集，也在一定程度上避免了过拟合现象。可以设想一下对于一个线性回归方程，若参数很大，那么只要数据偏移一点点，就会对结果造成很大的影响；但如果参数足够小，数据偏移得多一点也不会对结果造成什么影响，即抗扰动能力强。
L1&L2正则化会使模型偏好于更小的权值。更小的权值意味着更低的模型复杂度；添加L1&L2正则化相当于为模型添加了某种先验，限制了参数的分布，从而降低了模型的复杂度。模型的复杂度降低， 意味着模型对于噪声与异常点的抗干扰性的能力增强，从而提高模型的泛化能力。——直观来说，就是对训练数据的拟合刚刚好，不会过分拟合训练数据（比如异常点，噪声）。
5.2、 为什么 L1 能使得权值稀疏？
使用0范数来正则化参数，也可以使大部分参数为0，实现稀疏，但是0范数的优化求解特性不如1范数好，所以通常用1范数来实现稀疏。
L1 与 L2 的相同点：
都可以限制模型的学习能力，即通过限制参数的规模，使模型偏好于权值较小的目标函数，防止过拟合。
L1 与 L2 的不同点：
L1正则化可以产生更稀疏的权值矩阵，可以用于特征选择， 同时一定程度上防止过拟合；
L2正则化主要用于防止模型过拟合L1正则化适用于特征之间有关联的情况；
L2正则化适用于特征之间没有关联的情况L1相对于L2更能实现权值稀疏，是由他们本身的计算方式决定的，L1是各元素绝对值之和，L2是各元素平方和的根，在对不同参数进行惩罚时，L1无论参数大小如何，对它们的惩罚值都相同，导致那些参数大小和惩罚值相等的参数，一减就变为 0，而L2对参数的惩罚值是根据参数本身的大小来变化的，越小的参数惩罚值越小，越大的参数惩罚值越大，所以最终使得所有参数都接近 0，但不会等于0。
