前言
本博客为博主在学习 机器学习【西瓜书/南瓜书】过程中的学习笔记，每一章都是对《西瓜书》、《南瓜书》内容的总结和提炼笔记，博客可以作为各位读者的辅助思考，也可以做为读者快读书籍的博文，本博客对西瓜书所涉及公式进行详细的推理以及讲解，本人认为，不推导公式所学得的知识是没有深度的，是很容易忘记的，有些公式推导起来并不复杂，只是被看似复杂的数学表达式所“吓唬”，希望大家拿上纸笔，跟着博主一起学习，一起推导。
对于哪一部分的推导不理解的，可以评论出来，博主看到之后会尽快回复！
❗️ 注：本篇文章是第2章，其涵盖内容较为多和杂，读者在读本章节时，做到有所印象即可，其各种判断方法可以结合后续文章中的样例进行更进一步的理解。
本文只是第二章知识总结的一半，另一半见博客：机器学习【西瓜书/南瓜书】— 第2章模型评估与选择（上）（学习笔记+公式推导）
2.4 比较检验
我们希望比较的是 泛化性能，但是我们通过实验评估方法获得的是测试集上的性能，两者未必相同；测试集上的性能与测试集的选择有很大的关系，且对于不同大小的测试集也会得到不同的结果；机器学习算法本身具有一定的随机性：即用相同的参数设置在同一个测试集上运行多次，产生的结果可能也不一样。
2.4.1 假设检验
2.4.2 交叉验证 t 检验
2.4.3McNemar检验
2.4.4Friedman检验与Nemenyi 后续检验
2.5 偏差与方差
推导过程：
证毕！！！
我们来复盘一下：
偏差度量了学习算法的期望预测与真实结果的偏离程度，刻画了学习算法本身的拟合能力
方差度量了同样大小的训练集的变动所导致的学习性能的变化，刻画了数据扰动所造成的影响
噪声表达了当前任务上任何学习算法所能达到的期望泛化误差的下界，刻画了学习问题本身的难度
偏差-方差分解说明，泛化性能是由学习算法的能力、数据的充分性以及学习任务本身的难度所共同决定的，给定学习任务，为了取得更好的性能，则需偏差较小，即能充分拟合数据，并使得方差较小，即使得数据扰动产生的影响小。
一般来说，偏差和方差是有冲突的，这成为 偏差-方差窘境 (bias−variance dilemma)，如下图所示，给定学习任务，假定我们能控制学习算法的训练程度，那么当训练不足的时候，学习器的拟合能力不够强，训练数据的扰动不足以使得学习器产生显著的变化，此时偏差主导了泛化错误率；随着训练程度的加深，学习器的拟合能力逐渐增强，训练数据发生的扰动渐渐能被学习器所学到，方差逐渐主导了泛化错误率；在训练程度充足后，学习器的拟合能力已经非常强，训练数据的轻微扰动都会导致学习器发生显著的变化，若训练数据自身的、非全局的性质被学习器学到了，则发生过拟合。
