1、KNN的基本原理
我们通常将机器学习算法分为有监督学习和无监督学习两类，通俗的说，我们会按照训练样本中是否含有标签来区分这两类，KNN算法便是一种适用于带标签的数据场景的算法，我们可以将它归类为一种有监督学习方法。
KNN算法，我们给定一个数据集，对于一个新来到的样本，我们在数据集中找到距离该样本最近的K个样本，在这K个样本中某一类出现的次数最多我们就把这个新的样本分到这个类别中。
举一个图例：
如图所示，红色的三角和蓝色的方块为我们原有的数据集，绿色的圆即为一个新来到的样本，事先我们并不知道它属于某一类，我们来尝试两种不同的K值下的分类方法：
K=3
当我们选取K=3时，很明显距离绿色圆最近的三个样本为两个红色三角和一个蓝色方块，按照KNN的分类原则我们就可以将绿色圆分为红色三角一类。
K=5
当我们选取K=5时，很明显距离绿色圆最近的五个样本为两个红色三角和一个蓝色方块，同理我们就可以将绿色园分为蓝色方块一类。
也就是这样
由上例我们可以总结出KNN算法的基本步骤：
（1）计算数据集中每个点到测试数据的距离d(i)；
（2）将算得的距离d(i)进行从小到大的排序；
（3）根据我们设定的K值选取排序后的前K个点；
（4）确定选取到的K个点中每一类别出现的频率；
（5）将出现频率最高的一类作为测试样本的预测分类结果。
从这个简单的例子可以看出，当我们选取不同的K值时会有不同的结果，那我们应该如何去选择K值，又应该如去计算数据集中每个样本到新样本之间的距离呢？下面我会给出解答。
2、样本间距离的度量
距离的度量方法有很多种，我在这里列出两种常用的距离计算公式。
这是两种常见的度量方法，在KNN中我们通常会使用欧氏距离来计算距离，所以在这里不对距离的度量做过多的介绍。
3、K值的选择
KNN中的K值选取对分类的结果影响至关重要，K值选取的太小，模型太复杂。K值选取的太大，导致分类模糊。
举例说明一下这个问题
和1中的例子同理，同样是将绿色圆作为测试样本，我们分别取K=1，K=7，K=N进行训练。
很显然当K=1的时候，我们使用了一个复杂的模型，该模型下我们很容易的学习到了训练样本中的噪声，从而导致了模型过拟合现象的出现；将K值增大，当K=7时，可以看出我们得到了一个相对正确的分类；再继续增大K值为N(训练集所有样本的个数)，这种做法会导致我们将模型设计的过于简单，从而导致预测结果发生错误，由此可见选择一个合适的K值是多么的重要。
如果选择较小的K值，就相当于用较小的领域中的训练实例进行预测，“学习”近似误差会减小，只有与输入实例较近或相似的训练实例才会对预测结果起作用，与此同时带来的问题是“学习”的估计误差会增大，换句话说，K值的减小就意味着整体模型变得复杂，容易发生过拟合；
如果选择较大的K值，就相当于用较大领域中的训练实例进行预测，其优点是可以减少学习的估计误差，但缺点是学习的近似误差会增大。这时候，与输入实例较远（不相似的）训练实例也会对预测器作用，使预测发生错误，且K值的增大就意味着整体的模型变得简单。
K=N，则完全不足取，因为此时无论输入实例是什么，都只是简单的预测它属于在训练实例中最多的累，模型过于简单，忽略了训练实例中大量有用信息。
在实际应用中，K值一般取一个比较小的数值，例如采用交叉验证法（简单来说，就是一部分样本做训练集，一部分做测试集）来选择最优的K值。
4、交叉验证法选择K值的Python实现
我在这里用sklearn中自带的iris数据集以及KNN算法进行交叉验证法选择K值的实现。
from __future__ import print_function from sklearn.datasets import load_iris from sklearn.cross_validation import cross_val_score import matplotlib.pyplot as plt from sklearn.neighbors import KNeighborsClassifier iris = load_iris() x = iris.data y = iris.target k_range = range(1, 31) k_score = [] for k in k_range: knn = KNeighborsClassifier(n_neighbors=k) #KNN算法中K的取值 score = cross_val_score(knn, x, y, cv=10, scoring='accuracy') #cv：选择每次测试折数 accuracy：评价指标是准确度,可以省略使用默认值 k_score.append(score.mean()) plt.plot(k_range, k_score) plt.xlabel("Value of k for KNN") plt.ylabel("accuracy") plt.show()
运行后的结果如下：
根据图示结果我们就可以选择出合适的K值进行KNN模型的训练。
5、KNN算法的总结
优点：精度高、对异常值不敏感、可以用于非线性分类。
缺点：计算复杂度高、空间复杂度高。
适用数据范围：数值型和标称型。
