摘要

本文使用python机器学习库Scikit-learn中的工具，以某网站电离层数据为案例，使用近邻算法进行分类预测。并在训练后使用K折交叉检验进行检验，最后输出预测结果及准确率。过程产生一系列直观的可视化图像。希望文章能够对大家有所帮助。祝大家学习顺利！

1.数据获取

1.点击链接获取数据
数据获取链接
http://archive.ics.uci.edu/ml/datasets/Ionosphere
2.点击Data Floder

3.选择ionosphere.data和ionosphere.name这两个文件并下载

4.下载后放在指定目录下，可以直接通过pycharm查看数据的基本信息
ionosphere.data是我们需要用到的数据，

ionosphere.name是对该数据的介绍。

从ionosphere.name中可以看到，ionosphere.data共有351个样本，34个特征，且第35个表示类别，有g和b两个取值，分别表示“good”和“bad”。

2.数据集分割与初步训练表现

import os
import csv
import numpy as np
from sklearn.model_selection import train_test_split
from sklearn.neighbors import KNeighborsClassifier
from sklearn.model_selection import cross_val_score
from matplotlib import pyplot as plt
from collections import defaultdict


data_filename = "ionosphere.data"


X = np.zeros((351, 34), dtype='float')
y = np.zeros((351,), dtype='bool')


with open(data_filename, 'r') as input_file:
    reader = csv.reader(input_file)
    # print(reader)  # csv.reader类型
    for i, row in enumerate(reader):
        data = [float(datum) for datum in row[:-1]]
        # Set the appropriate row in our dataset
        X[i] = data
        # 将“g”记为1，将“b”记为0。
        y[i] = row[-1] == 'g'


# 划分训练集、测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, random_state=14)

# 即创建估计器（K近邻分类器实例） 默认选择5个近邻作为分类依据
estimator = KNeighborsClassifier()

# 进行训练，
estimator.fit(X_train, y_train)

# 评估在测试集上的表现
y_predicted = estimator.predict(X_test)

# 计算准确率
accuracy = np.mean(y_test == y_predicted) * 100
print("The accuracy is {0:.1f}%".format(accuracy))

# 进行交叉检验，计算平均准确率
scores = cross_val_score(estimator, X, y, scoring='accuracy')
average_accuracy = np.mean(scores) * 100
print("The average accuracy is {0:.1f}%".format(average_accuracy))

如图，该分类算法准确率可达86.4%，交叉检验后的平均准确率可达82.6%。属于是比较优秀的算法。

3.测试不同近邻值

测试不同的 近邻数 n_neighbors的值（上边默认为5）下的分类准确率，
选择近邻值从1到20的二十个数字，
并绘图展示

avg_scores = []
all_scores = []
parameter_values = list(range(1, 21))  # Including 20
for n_neighbors in parameter_values:
    estimator = KNeighborsClassifier(n_neighbors=n_neighbors)
    scores = cross_val_score(estimator, X, y, scoring='accuracy')
    avg_scores.append(np.mean(scores))
    all_scores.append(scores)

# 绘制n_neighbors的不同取值与分类正确率之间的关系
plt.figure(figsize=(32, 20))
plt.plot(parameter_values, avg_scores, '-o', linewidth=5, markersize=24)
plt.show()

可以看出，准确率整体趋势随着近邻数的增加而减小。近邻值为2时准确率最高。

4.交叉检验

把交叉检验每次验证的准确率也绘制出来
（20个近邻值每个对应5个训练集，对应5次检验）

for parameter, scores in zip(parameter_values, all_scores):
    n_scores = len(scores)
    plt.plot([parameter] * n_scores, scores, '-o')
plt.show()

各次检验准确率图示如下：

绘制出散点图

plt.plot(parameter_values, all_scores, 'bx')
plt.show()

5. 十折交叉检验

all_scores = defaultdict(list)
parameter_values = list(range(1, 21))  # Including 20

for n_neighbors in parameter_values:
    estimator = KNeighborsClassifier(n_neighbors=n_neighbors)
    scores = cross_val_score(estimator, X, y, scoring='accuracy', cv=10)
    all_scores[n_neighbors].append(scores)

for parameter in parameter_values:
    scores = all_scores[parameter]
    n_scores = len(scores)
    plt.plot([parameter] * n_scores, scores, '-o')  

plt.plot(parameter_values, avg_scores, '-o')
plt.show()

检验结果如下图所示：

因为每个近邻值下，10次检验中的准确率可能会有重复值，所以在图像中每个近邻值上的准确率个数会有差异。

6.输出预测结果

这里用测试集作为待测数据，使用上述算法进行预测，并输出预测结果，
且令n_neighbors=2

Estimator = KNeighborsClassifier(n_neighbors=2)
Estimator.fit(X_train, y_train)
Y_predicted = Estimator.predict(X_test)
accuracy = np.mean(y_test == Y_predicted) * 100
pre_result = np.zeros_like(Y_predicted, dtype=str)
pre_result[Y_predicted == 1] = 'g'
pre_result[Y_predicted == 0] = 'b'
print(pre_result)
print("The accuracy is {0:.1f}%".format(accuracy))

程序运行结果如下：

如图，预测准确率达92.0%。