一、K近邻算法概述
KNN算法属于我们监督学习里面一种分类算法，避开那些文邹邹的话语，用幼稚园的话来说，就是依据已知的，来对未知的事物进行分类。
我们要求求小X的评定，我们会怎么来做？
按照我们的经验是不是看他和那一段的分数最接近，如果你是这样想的，恭喜你，KNN算法的基本思维，我们已经掌握了。
没错，就是通过比较样本之间的距离，取得出我们的结论，我们先将小X同学和所有同学的欧式距离求出。
当然还有其他什么曼哈顿距离，切比夫斯距离呀等等等，欧拉距离相当简单，本文以欧拉距离为例
就是每一列数据差值的平方开根号，然后按照大小顺序对其进行排序，我们再圈定一个范围K值（就是选多少个数据）来对我们的选取的例子进行投票，因为选取的这些数据的评定都是确定的，所以我们直接统计标签个数即可。
我们先定义k=3（求出欧式距离后，排序后前三的取值）
这里很明显由于，小X所求的欧式距离，很明显，入选的有小唐，小黄，小斌。
统计票数
优秀 2票 良好1票
所以小X同学是优秀！
细心的同学已经发现，就是在我们两者之间的差值比较大的时候，会对我们的权重造成影响，举个极端一点的列子
这样子得出的小X同学和小唐同学的欧式距离是不是特别大，（1000-800）^2是不是远大于其他科目的值，所以我们的数据需要规格化
二、K近邻三要素
距离度量
就是我们刚刚的欧式距离啦！不过我们这这里给他做一个规格化，让他的每一个取值范围，在0~1。就是求出我们每一列的最大值和最小值，把他们的和作为分母，列当前的值减去最小值作为分子
k值选择
k值（就是距离排序后，取前k个）的选择也是一门学问
图a取值过小时，会造成我们样本过小
图b取值刚好
图c取值过大，会造成误差过大
分类决策规程
最常用的就是投票，谁多，谁就是！
代码
''' Created on 3/9,2020 @author: ywz ''' """ 1、距离计算 2、k值 3、决策机制 """ import numpy as np # import 导入包/模块 as:取别名 from numpy import * # * 表示numpy 所有的函数方法 def classify_knn(inx, data_set, labels, k): """ :param inx: vec need to predict classify :param data_set: samples :param labels: classes :param k: the k of knn :return: the class of predict """ data_set_size = data_set.shape[0] # numpy中的tile函数：复制（被复制对象，（行数，列数）） diff_mat = tile(inx, (data_set_size, 1)) - data_set sqrt_diff_mat = diff_mat**2 # axis表示求和的方向，axis=0表示同一列相加，axis=1表示同一行相加 sqrt_distance = sqrt_diff_mat.sum(axis=1) distances = sqrt_distance**0.5 # print('type of distances:', type(distances)) # numpy.ndarray # print(distances) # distances.argsort()得到的是从小到大排序的索引值 sorted_distances = distances.argsort() class_count = {} for i in range(k): vote_label = labels[sorted_distances[i]] if vote_label not in class_count: class_count[vote_label] = 0 class_count[vote_label] += 1 # print("class_count:", class_count) class_predict = max(class_count.items(), key=lambda x: x[1])[0] return class_predict def file2matrix(filename): """ :读取文件，返回文件中的特征矩阵和标签值 :param filename: :return: features_matrix, label_vec """ fr = open(filename) # open-->文件句柄 lines = fr.readlines() # read, print("lines:") print(lines) num_samples = len(lines) mat = zeros((num_samples, 3)) class_label_vec = [] index = 0 for line in lines: line = line.strip() list_line = line.split('\t') mat[index, :] = list_line[0:3] class_label_vec.append(int(list_line[-1])) index += 1 return mat, class_label_vec mat, class_label_vec = file2matrix("datingTestSet2.txt") # print(mat.shape) # print(class_label_vec.shape) # ??? def auto_norm(data_set): """ :param data_set: :return: """ min_val = data_set.min(0) max_val = data_set.max(0) ranges = max_val - min_val norm_data_set = zeros(shape(data_set)) num_samples = data_set.shape[0] # 归一化：newValue = (oldValue - minValue) / (maxValue - minValue) norm_data_set = data_set - tile(min_val, (num_samples, 1)) norm_data_set = norm_data_set/tile(ranges, (num_samples, 1)) return norm_data_set, ranges, min_val def test_knn(file_name): """ :return: """ ratio = 0.1 data_matrix, labels = file2matrix(file_name) nor_matrix, ranges, minval = auto_norm(data_matrix) num_samples = data_matrix.shape[0] num_test = int(ratio*num_samples) k_error = {} k = 3 error_count = 0 predict_class = [] # 数据集中的前num_test个用户假设未知标签，作为预测对象 for i in range(num_test): classifier_result = classify_knn(nor_matrix[i, :], nor_matrix[num_test:, :], labels[num_test:], k) predict_class.append(classifier_result) if classifier_result != labels[i]: error_count += 1 print("k={},error_count={}".format(k, error_count)) k_error[k] = error_count print("误差情况：", k_error) print("预测情况：", predict_class[:10]) print("真实情况：", labels[:10]) return k_error # for k in range(1, 31): # error_count = 0 # for i in range(num_test): # classifier_result = classify_knn(nor_matrix[i, :], nor_matrix[num_test:, :], # labels[num_test:], k) # if classifier_result != labels[i]: # error_count += 1 # print("k={},error_count={}".format(k,error_count)) # k_error[k] = error_count # print(k_error) best = min(k_error.items(), key=lambda x: x[1]) return best if __name__ == '__main__': samples_file = "datingTestSet2.txt" best = test_knn(samples_file) print(best)
