☀️机器学习入门☀️(二) KNN分类算法 | 附加小练习

"""
Sklearn中的make_circles方法生成训练样本
并随机生成测试样本，用KNN分类并可视化。
"""
from sklearn.datasets import make_circles
from sklearn.neighbors import KNeighborsClassifier
import matplotlib.pyplot as plt
import numpy as np
import random
fig = plt.figure(1, figsize=(10, 5))
x1, y1 = make_circles(n_samples=400, factor=0.4, noise=0.1)
# 模型训练 求距离、取最小K个、求类别频率
knn = KNeighborsClassifier(n_neighbors=15)
knn.fit(x1, y1)  # X是训练集(横纵坐标) y是标签类别
# SVM 支持向量机(Support Vector Machine)
"""
置信风险与两个量有关，一是样本数量，显然给定的样本数量越大，我们的学习结果越有可能正确，
此时置信风险越小；二是分类函数的VC维，显然VC维越大，推广能力越差，置信风险会变大。 
公式中R(w)就是真实风险，Remp(w)就是经验风险，Ф(n/h)就是置信风险。
统计学习的目标从经验风险最小化变为了寻求经验风险与置信风险的和最小，即结构风险最小。 
SVM正是这样一种努力最小化结构风险的算法.
SVM就是试图把棍放在最佳位置，好让在棍的两边有尽可能大的间隙。
# 进行预测
x2 = random.random()  # 测试样本横坐标
y2 = random.random()  # 测试样本纵坐标
X_sample = np.array([[x2, y2]])  # 给测试点
# y_sample = knn.predict(X_sample)   # 调用knn进行predict得预测类别
y_sample = []
for i in range(0, 400):
    dx = x1[:, 0][i] - x2
    dy = x1[:, 1][i] - y2
    d = (dx ** 2 + dy ** 2) ** 1 / 2
    y_sample.append(d)
neighbors = knn.kneighbors(X_sample, return_distance=False)
plt.subplot(121)
plt.title('data by make_circles() 1')
plt.scatter(x1[:, 0], x1[:, 1], marker='o', s=100, c=y1)  
# 这个s就是点的大小 marker是标记的意思，就是说用什么标记，比如这里用o来标记，可以尝试换成其他可行的marker试试。
# 这个x1[:,0] 就是选取x1的全部元素里面的第0列
# 这个x1[:,1] 就是选取x1的全部元素里面的第1列
# c就是颜色的意思，就是按照y1的分类进行填充颜色
plt.scatter(x2, y2, marker='*', c='b')
plt.subplot(122)
plt.title('data by make_circles() 2')
plt.scatter(x1[:, 0], x1[:, 1], marker='o', s=100, c=y1) 
plt.scatter(x2, y2, marker='*', c='r', s=100)
for i in neighbors[0]:
    plt.scatter([x1[i][0], X_sample[0][0]], [x1[i][1], X_sample[0][1]], marker='o', c='b', s=100)
plt.show()

"""
Sklearn中的datasets方法导入训练样本
并用留一法产生测试样本
用KNN分类并输出分类精度
"""
import warnings
from sklearn import datasets
from sklearn.neighbors import KNeighborsClassifier
from sklearn.model_selection import LeaveOneOut
import matplotlib.pyplot as plt
warnings.filterwarnings('ignore') # 忽略warning
iris = datasets.load_iris()
X = iris.data
y = iris.target
loo = LeaveOneOut()  # 留一法，将数据集划分为训练集和测试集
K = []
Accuracy = []
for k in range(1, 16): # 将k从1到16结束。
    correct = 0
    knn = KNeighborsClassifier(k)
    for train, test in loo.split(X):  # 对测试机和训练集进行分割
        knn.fit(X[train], y[train])  # 初始化svm进行训练。
        y_sample = knn.predict(X[test])
        if y_sample == y[test]:  # 如果是正确的就累积+1
            correct += 1
    K.append(k)
    Accuracy.append(correct / len(X))
    plt.plot(K, Accuracy)
    plt.xlabel('Accuracy:')
    plt.ylabel('K:')
    print('K次数:{} Accuracy正确率:{}'.format(k, correct / len(X)))
plt.show()