一、欠拟合

1、下列方法中，解决欠拟合的方法有哪些 （CD）

A、正则化方法

B、集成学习方法

C、添加新特征

D、减少正则化系数

集成学习解决过拟合

欠拟合的原因：1.模型复杂度过低。2.特征量过少。

解决方法：增加模型复杂度，添加新特征

2、假如你用logistic Regression 算法去预测用户在网上的购买项目，然而，当你在新的用户集上验证你的假设时，你发现预测值有很大的偏差。并且你的假设在训练集上表现也很差，下面那些步骤你应该采纳，选择出正确的选项 （ A ）

A、尝试着减小正则项 λ

B、尝试增加交叉特征

C、减小样本量

D、尝试更小的测试集或者特征

**欠拟合：**训练误差和验证误差都很大。

**解决：**增加特征项；增加模型复杂度,如使用核函数；减小正则化系数；集成学习方法。

二、过拟合

1、以下哪些方法有助于解决模型训练过程中的过拟合问题 （ABCD）

A、正则化

B、Dropout

C、Batch Normalization

D、提前终止训练

E、梯度下降

Batch Normalization有两个功能，一个是可以加快训练和收敛速度，另外一个是可以防止过拟合。

2、在其他条件不变的前提下，以下哪种做法容易引起机器学习中的过拟合问题 （ D ）

A、增加训练集量

B、减少神经网络隐藏层节点数

C、删除稀疏的特征

D、SVM算法中使用高斯核/RBF核代替线性核

造成过拟合的原因主要有：

1、训练数据不足，有限的训练数据

2、训练模型过度导致模型非常复杂，泛化能力差

选项D使得模型的复杂化，会充分训练数据导致过拟合

3、以下说法正确的是 （ D ）

A、增加模型复杂度，模型在测试集上的准确率就能更好

B、L2正则化的解通常是稀疏的，L1正则化可以使得参数趋向于更平滑

C、对于PCA，我们应该选择是的模型具有最小variance的主成分

D、每次使用K-means算法得到的聚类结果可能会不一样

L1正则化可以产生稀疏权值矩阵，也就是产生一个稀疏模型，可以用于特征选择；

L2正则化可以防止模型过拟合，也就是拟合曲线更趋于平滑。

PCA应该选择协方差（Covariance）比较小的

4、当发现机器学习模型过拟合时，以下操作正确的是：（ ABC ）

A、降低特征维度

B、增加样本数量

C、添加正则项

D、增加特征维度

造成过拟合两个因素：1、数据量少 2、模型复杂度过高

因为维度不断增加就会增加整个数据空间的稀疏性，这样就更容易找到分类的超平面，所以降低维度可以帮助降低过拟合

5、以下可以有效解决过拟合的方法是：（ AD ）

A、增加样本数量

B、增加特征数量

C、训练更多的迭代次数

D、采用正则化方法

增加特征会让你的模型更加复杂，其实就是更加过拟合。

训练更多的迭代次数也是，会让你的模型，更加偏向于训练集训练出来的结果，而不是测试集的。

过拟合：获取更多训练实例； 减少特征数量；增加正则化成度（λ）。

欠拟合：获得更多特征； 增加多项式特征； 减少正则化（λ）。

6、机器学习中，如果一味的去提高训练数据的预测能力，所选模型的复杂度往往会很高，这种现象称为过拟合。所表现的就是模型训练时候的误差很小，但在测试的时候误差很大，对于产生这种现象以下说法正确的是：（ AC ）

A、样本数量太少

B、样本数量过多

C、模型太复杂

D、模型太简单

样本数量太少，或者模型过分复杂， 都会使得训练出来的模型“完全记住”给出的训练样本之间的关系（相当于只是背下来了试卷，但是等到高考的时候遇到新的题还是不会做） 而缺乏泛化能力 使得模型过拟合

7、以下可以有效解决过拟合的方法是：（ ABD ）

A、增加样本数量

B、通过特征选择减少特征数量

C、训练更多的迭代次数

D、采用正则化方法

8、在一个神经网络中，下面哪种方法可以用来处理过拟合？（ D ）

A、Dropout

B、分批归一化(Batch Normalization)

C、正则化(regularization)

D、都可以

9、深度学习中，以下哪些方法可以降低模型过拟合？（ A B D ）

A、增加更多的样本

B、Dropout

C、增大模型复杂度，提高在训练集上的效果

D、增加参数惩罚

放置模型过拟合：

1.引入正则化（参数范数惩罚）

2.Dropout

3.提前终止训练

4.增加样本量

5.参数绑定与参数共享

6.辅助分类节点(auxiliary classifiers)

7.Batch Normalization

10、下列的哪种方法可以用来降低深度学习模型的过拟合问题？（ D ）

①增加更多的数据

②使用数据扩增技术(data augmentation)

③使用归纳性更好的架构

④ 正规化数据

⑤ 降低架构的复杂度

A、1 4 5

B、1 2 3

C、1 3 4 5

D、所有项目都有用

防止过拟合的几种方法：

引入正则化

Dropout

提前终止训练

增加样本量

三、正则化

1、以下关于正则化的描述正确的是 （ABCD ）

A、正则化可以防止过拟合

B、L1正则化能得到稀疏解

C、L2正则化约束了解空间

D、Dropout也是一种正则化方法

L2本质是参数解的2阶范数，以二维为例，L2的最优解就是一个圆；如果你还记得话，loss func的组成是两部分一部分是预测值和真实值之间的error，一部分是正则项，前一部分的解空间可以看作是一个梯度下降的等高线，这样一来，loss func的所有局部解就是每层等高线和这个圆之间的切点，所以说约束了解空间。这也是为啥L2会让解平滑，L1会让解稀疏（因为L1的解是一个四个顶点在坐标轴上的正方形，等高线与它的交点多半落在坐标轴上，意味着某一维会变成零）

2、机器学习中L1正则化和L2正则化的区别是 （ AD ）

A、使用L1可以得到稀疏的权值

B、使用L1可以得到平滑的权值

C、使用L2可以得到稀疏的权值

D、使用L2可以得到平滑的权值

L1会趋向于产生少量的特征，而其他的特征都是0

L2会选择更多的特征，这些特征都会接近于0

3、假如使用一个较复杂的脊回归模型 (Ridge Regression)，来拟合样本数据时，通过调整正则化参数λ，来调整模型复杂度。当λ较大时，关于偏差（bias）和方差（variance），下列说法正确的是 （ C ）

A、当λ增大时，偏差减小，方差减小

B、当λ增大时，偏差减小，方差增大

C、当λ增大时，偏差增大，方差减小

D、当λ增大时，偏差增大，方差增大

λ越大，对模型中参数的惩罚力度越大，因此会有更多的参数被训练为0，模型也就变得更加简单了。

模型复杂度越低，方差小，但偏差大。

四、总结

1、人工智能概念补充

1、在深度学习中，我们通常选择对于模型参数可微的损失函数。简而言之，这意味着，对于每个参数， 如果我们把这个参数增加或减少一个无穷小的量，我们可以知道损失会以多快的速度增加或减少。

2、梯度：指向值变化最大的方向。（和等高线正交）

3、如果当数据量不是很大的时候（万级别以下）的时候将训练集、验证集以及测试集划分为6：2：2；若是数据很大，可以将训练集、验证集、测试集比例调整为98：1：1；但是当可用的数据很少的情况下也可以使用一些高级的方法，比如留出方，K折交叉验证

4、bias和variance的区别和作用

bias 偏差 ：模型的期望（或平均）预测和正确值之间的差别；

variance 方差 ：模型之间的多个拟合预测之间的偏离程度。

2 正则化补充

2.1 正则化的概念

正则化-Regularization（也称为惩罚项或范数）就是通过对模型的参数在“数量”和“大小”方面做相应的调整，从而降低模型的复杂度，以达到避免过拟合的效果。

如果我们的目标仅仅是最小化损失函数（即经验风险最小化），那么模型的复杂度势必会影响到模型的整体性能；引入正则化（即结构风险最小化）可以理解为衡量模型的复杂度，同时结合经验风险最小化，进一步训练优化算法。

2.2 正则化的作用

正则化可以限制模型的复杂度，从而尽量避免过拟合的发生；模型之所以出现过拟合的主要原因是学习到了过多噪声，即模型过于复杂（也可以通过简化模型或增加数据集等方法尽量避免过拟合的发生）。

2.3 正则化的常见类型

（1）L1正则化

可以通过稀疏化（减少参数“数量”）来降低模型复杂度的，即可以将参数值减小到0。

（2）L2正则化

可以通过减少参数值“大小”来降低模型的复杂度，即只能将参数值不断减小，但永远不会减小为0，只能尽量接近于0。

2.4 关联概念

过拟合、正则化、经验风险最小化、结构风险最小化、损失函数、模型复杂度、范数