k临近算法介绍

   最简单最初级的分类器是将全部的训练数据所对应的类别都记录下来，当测试对象的属性和某个训练对象的属性完全匹配时，便可以对其进行分类。但是怎么可能所有测试对象都会找到与之完全匹配的训练对象呢，其次就是存在一个测试对象同时与多个训练对象匹配，导致一个训练对象被分到了多个类的问题，基于这些问题呢，就产生了KNN。

   KNN是通过测量不同特征值之间的距离进行分类。它的思路是：如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别，其中K通常是不大于20的整数。KNN算法中，所选择的邻居都是已经正确分类的对象。该方法在定类决策上只依据最邻近的一个或者几个样本的类别来决定待分样本所属的类别。

   下面通过一个简单的例子说明一下：如下图，绿色圆要被决定赋予哪个类，是红色三角形还是蓝色四方形？如果K=3，由于红色三角形所占比例为2/3，绿色圆将被赋予红色三角形那个类，如果K=5，由于蓝色四方形比例为3/5，因此绿色圆被赋予蓝色四方形类。由此也说明了KNN算法的结果很大程度取决于K的选择。

    在KNN中，通过计算对象间距离来作为各个对象之间的非相似性指标，避免了对象之间的匹配问题，在这里距离一般使用欧氏距离或曼哈顿距离：

   同时，KNN通过依据k个对象中占优的类别进行决策，而不是单一的对象类别决策。这两点就是KNN算法的优势。

   接下来对KNN算法的思想总结一下：就是在训练集中数据和标签已知的情况下，输入测试数据，将测试数据的特征与训练集中对应的特征进行相互比较，找到训练集中与之最为相似的前K个数据，则该测试数据对应的类别就是K个数据中出现次数最多的那个分类，其算法的描述为：

1）计算测试数据与各个训练数据之间的距离；

2）按照距离的递增关系进行排序；

3）选取距离最小的K个点；

4）确定前K个点所在类别的出现频率；

5）返回前K个点中出现频率最高的类别作为测试数据的预测分类。

目标

预测幸福感

收集调查数据

1. 甲同学：月薪 1.0 万元、加班 2 小时、通勤 0.5 小时
2. 乙同学：月薪 2.0 万元、加班 3 小时、通勤 1 小时

数据结构化处理

我们把数据按照[月薪(万元)、加班(小时)、通勤(小时)]格式处理

data_happy = [
[1.5, 1.5, 0.5], [1.6, 2.1, 0.2], [1.8, 1.4, 0.5], [1.5, 2.0, 0.3],
[1.7, 1.0, 0.4],
[1.3, 1.0, 0.3], [1.5, 2.0, 0.5], [1.4, 1.7, 0.4], [1.6, 0.5, 0.5],
[1.9, 2.0, 0.3],
]
data_sad = [
[0.8, 2.3, 0.8], [1.0, 2.6, 0.9], [2.0, 1.0, 0.5], [1.2, 3.0, 1.1],
[1.8, 3.5, 1.3],
复制代码

调查数据可视化处理

 我们训练一个AI的方法：     已有数据 → 训练出模型 → 新数据（XX 同学：月薪 1.5 万元、 加班 2 小时、通勤 0.8 小时） → 预测其幸福感

K值选择

通过上面那张图我们知道 K 的取值比较重要，那么该如何确定 K 取多少值好呢？

    答案是通过交叉验证（将样本数据按照一定比例，拆分出训练用的数据和验证用 的数据，比如 9：1 拆分出部分训练数据和验证数据），从选取一个较小的 K 值 开始，不断增加 K 的值，然后计算验证集合的方差，最终找到一个比较合适的 K 值。     通过交叉验证（轮流将其中 9 份做训练 1 份做验证）计算方差，大致会得到下面 这样的图：

总结

k 近邻算法，分为 4 大步骤：

1. 准备数据，并对数据进行预处理（清洗：格式、噪点等）
2. 距离的计算
3. 对距离升序排列，然后选出前 k 个距离最小的点
4. 根据少数服从多数的原则，将新样本点归类