机器学习算法：K近邻(k-nearest neighbors)初探

1 KNN的介绍和应用

1.1 KNN的介绍

kNN(k-nearest neighbors)，中文翻译K近邻。我们常常听到一个故事：如果要了解一个人的经济水平，只需要知道他最好的5个朋友的经济能力， 对他的这五个人的经济水平求平均就是这个人的经济水平。这句话里面就包含着kNN的算法思想。

示例 ：如上图，绿色圆要被决定赋予哪个类，是红色三角形还是蓝色四方形？如果K=3，由于红色三角形所占比例为2/3，绿色圆将被赋予红色三角形那个类，如果K=5，由于蓝色四方形比例为3/5，因此绿色圆被赋予蓝色四方形类。

1) KNN建立过程

1 给定测试样本，计算它与训练集中的每一个样本的距离。 2 找出距离近期的K个训练样本。作为测试样本的近邻。 3 依据这K个近邻归属的类别来确定样本的类别。

2) 类别的判定

①投票决定，少数服从多数。取类别最多的为测试样本类别。

②加权投票法，依据计算得出距离的远近，对近邻的投票进行加权，距离越近则权重越大，设定权重为距离平方的倒数。

1.2 KNN的应用

KNN虽然很简单，但是人们常说"大道至简"，一句"物以类聚，人以群分"就能揭开其面纱，看似简单的KNN即能做分类又能做回归， 还能用来做数据预处理的缺失值填充。由于KNN模型具有很好的解释性，一般情况下对于简单的机器学习问题，我们可以使用KNN作为 Baseline，对于每一个预测结果，我们可以很好的进行解释。推荐系统的中，也有着KNN的影子。例如文章推荐系统中， 对于一个用户A，我们可以把和A最相近的k个用户，浏览过的文章推送给A。

机器学习领域中，数据往往很重要，有句话叫做:"数据决定任务的上限, 模型的目标是无限接近这个上限"。 可以看到好的数据非常重要，但是由于各种原因，我们得到的数据是有缺失的，如果我们能够很好的填充这些缺失值， 就能够得到更好的数据，以至于训练出来更鲁棒的模型。接下来我们就来看看KNN如果做分类，怎么做回归以及怎么填充空值。

2 实验室手册

2.1 实验环境

1. python3.7

2. numpy >= '1.16.4'

3. sklearn >= '0.23.1'

2.2 学习目标

1. 了解KNN怎么做分类问题
2. 了解KNN如何做回归
3. 了解KNN怎么做空值填充, 如何使用knn构建带有空值的pipeline

2.3 代码流程

1. 二维数据集--knn分类

• Step1: 库函数导入
• Step2: 数据导入
• Step3: 模型训练&可视化
• Step4: 原理简析

2. 莺尾花数据集--kNN分类

• Step1: 库函数导入
• Step2: 数据导入&分析
• Step3: 模型训练
• Step4: 模型预测&可视化

3. 模拟数据集--kNN回归

• Step1: 库函数导入
• Step2: 数据导入&分析
• Step3: 模型训练&可视化

4. 马绞痛数据--kNN数据预处理+kNN分类pipeline

• Step1: 库函数导入
• Step2: 数据导入&分析
• Step3: KNNImputer空值填充--使用和原理介绍
• Step4: KNNImputer空值填充--欧式距离的计算
• Step5: 基于pipeline模型预测&可视化

2.4 算法实战

2.4.1 Demo数据集--kNN分类

Step1: 库函数导入

importnumpyasnpimportmatplotlib.pyplotaspltfrommatplotlib.colorsimportListedColormapfromsklearn.neighborsimportKNeighborsClassifierfromsklearnimportdatasets

Step2: 数据导入

1

# 使用莺尾花数据集的前两维数据，便于数据可视化iris=datasets.load_iris()
X=iris.data[:, :2]
y=iris.target

Step3: 模型训练&可视化

1

k_list= [1, 3, 5, 8, 10, 15]
h=.02# 创建不同颜色的画布cmap_light=ListedColormap(['orange', 'cyan', 'cornflowerblue'])
cmap_bold=ListedColormap(['darkorange', 'c', 'darkblue'])
plt.figure(figsize=(15,14))
# 根据不同的k值进行可视化forind,kinenumerate(k_list):
clf=KNeighborsClassifier(k)
clf.fit(X, y)
# 画出决策边界x_min, x_max=X[:, 0].min() -1, X[:, 0].max() +1y_min, y_max=X[:, 1].min() -1, X[:, 1].max() +1xx, yy=np.meshgrid(np.arange(x_min, x_max, h),
np.arange(y_min, y_max, h))
Z=clf.predict(np.c_[xx.ravel(), yy.ravel()])
# 根据边界填充颜色Z=Z.reshape(xx.shape)
plt.subplot(321+ind)  
plt.pcolormesh(xx, yy, Z, cmap=cmap_light)
# 数据点可视化到画布plt.scatter(X[:, 0], X[:, 1], c=y, cmap=cmap_bold,
edgecolor='k', s=20)
plt.xlim(xx.min(), xx.max())
plt.ylim(yy.min(), yy.max())
plt.title("3-Class classification (k = %i)"%k)
plt.show()
clf.predict

clf.predict (test_features) 函数进行预测，传入测试集的特征值，可以得到测试结果 test_predict。 最后使用 accuracy_score (test_labels, test_predict) 函数， 传入测试集的预测结果与实际的结果作为参数，得到准确率 score。

ravel()

array类型对象的方法，ravel函数将多维数组降为一维，仍返回array数组，元素以列排列

plt.pcolormesh

plt.pcolormesh的作用在于能够直观表现出分类边界

Step4: 原理简析

如果选择较小的K值，就相当于用较小的领域中的训练实例进行预测，例如当k=1的时候，在分界点位置的数据很容易受到局部的影响，图中蓝色的部分中还有部分绿色块，主要是数据太局部敏感。当k=15的时候，不同的数据基本根据颜色分开，当时进行预测的时候，会直接落到对应的区域，模型相对更加鲁棒。