01原理

K近邻算法又称KNN算法，是非常经典的机器学习算法，它的原理十分简单：对于一个新样本，计算出它距离其他样本点的距离，然后选取K个数，这K个数大多数属于哪个类别，则新样本也属于这个类别。

如下图，绿色的小球是新样本，当K=3时，样本点有两个三角形和一个正方形，所以我们可以认为新样本属于三角形；当K=5时，样本点有三个正方向和两个三角形，所以我们可以认为新样本属于正方形；同理可得，当K=11时，新样本属于正方形。

计算两点间的距离，可以直接使用两点间距离公式：

n维空间的两点间距离公式为：

02搭建模型

通过搭建一个手写数字识别模型来讲解如何用Python使用K近邻算法。（ps：本章涉及到图像识别部分知识，因为篇幅原因将放到下篇文章进行分享。）

首先读取数据进行查看。

# 1.读取数据
import pandas as pd
df = pd.read_excel('手写字体识别.xlsx')

第一列是手写数字，其余每一列则是手写数字的二值化处理后的值。

开始设置特征变量和目标变量。

X = df.drop(columns='对应数字') 
Y = df['对应数字']

对数据集进行划分，其中20%的数据为测试集，80%的数据为训练集。

from sklearn.model_selection import train_test_split
X_train,X_test,Y_train,Y_test = train_test_split(X,Y,test_si

现在对已经划分好的数据集进行训练。

from sklearn.neighbors import KNeighborsClassifier as KNN
knn = KNN(n_neighbors=5) 
knn.fit(X_train, Y_train)

对模型用测试集进行测试

Y_pred = knn.predict(X_test)

查看一下预测的准确度。

from sklearn.metrics import accuracy_score
score = accuracy_score(Y_pred,Y_test)

预测准确度为：

03模型优化

模型搭建好后，我们还可以对n_neighbors参数进行调优，从而进一步优化模型。

from sklearn.model_selection import GridSearchCV
params = {'n_neighbors':[1,2,3,4,5,6,7,8,9]}
knn = KNN()
grid_search = GridSearchCV(knn,params,cv=5)
grid_search.fit(X_train,Y_train)
grid_search.best_params_

n_neighbors参数最优值为：

04小结

1. 本文介绍了K近邻算法，并通过识别手写数字模型来看如何用Python实现它。

2. 本文仅供学习，不做它用。