为什么会产生过拟合，有哪些方法可以预防或克服过拟合？
原因
一些假设条件（如样本独立同分布）可能是不成立的；训练样本过少不能对整个空间进行分布估计
判断依据
一般而言训练误差很低，但是测试误差较高，过拟合的概率较大，如果训练误差和测试误差都很高，一般是欠拟合。
解决方法
（1）数据集角度
- 增加样本量，数据集扩增
- 原有数据加随机噪声
- 重采样
（2）特征角度
- 特征选择
- 特征降维
（3）模型角度
- 降低模型复杂度
- 正则化 ，正则化正是通过在损失函数上添加额外的参数稀疏性惩罚项（正则项），来限制网络的稀疏性，以此约束网络的实际容量，从而防止模型出现过拟合。L1正则化是将权值的绝对值之和加入损失函数，使得权值中0值比重增大，因此得到的权值较为稀疏。L2正则化是将权重的平方之和加入损失函数，使得权值分布更加平均，所以权值较为平滑。
- Dropout舍弃，在深度学习网络的训练过程中，对于神经网络单元，按照一定的概率将其暂时从网络中丢弃，使得每次训练的网络结构多样。
（4）训练角度
早停止，如在训练中多次迭代后发现模型性能没有显著提高就停止训练
交叉验证
