%matplotlib inline import matplotlib.pyplot as plt import numpy as np
1. K-均值算法介绍
from sklearn.datasets import make_blobs # 产生聚类数据集 X, y = make_blobs(n_samples=200, # 样本数 n_features=2, # 特征数，决定了x的维度 centers=4, # 产生数据的中心端数量,也就是会分成4类 cluster_std=1, # 数据集的标准差 center_box=(-10.0, 10.0), # 设定的数据边界 shuffle=True, # 洗牌操作 random_state=1) # 随机数种子，不同的种子产出不同的样本集合 X.shape, y.shape, np.unique(y)
((200, 2), (200,), array([0, 1, 2, 3]))
查看样本的分类情况
plt.figure(figsize=(6,4), dpi=100) # plt.xticks(()) # plt.yticks(()) plt.scatter(X[:, 0], X[:, 1], s=10, marker='o');
使用KMeans模型来拟合,这里设置类别个数为3，并计算出其拟合后的成本。
from sklearn.cluster import KMeans k = 3 # 构建模型 kmean = KMeans(n_clusters=k) # 训练 kmean.fit(X) # 打印出得分信息 print("kmean: k={}, cost={}".format(k, int(kmean.score(X))))
kmean: k=3, cost=-668
KMeans.score()函数计算K-均值算法拟合后的成本，用负数表示，其绝对值越大，说明成本越高。本质上，K-均值算法成本的物理意义为训练样本到其所属的聚类中心的距离平均值，在scikit-learn里，其计算成本的方法略有不同，它是计算训练样本到其所属的聚类中心的距离的总和。
查看聚类算法的拟合效果
labels.shape, centers.shape
((200,), (3, 2))
centers
array([[-1.54465562, 4.4600113 ], [-8.03529126, -3.42354791], [-7.15632049, -8.05234186]])
# 这里得出聚类后预测的分类 labels = kmean.labels_ # 得到3个聚类的中心点 centers = kmean.cluster_centers_ # 设定格式 markers = ['o', '^', '*'] colors = ['r', 'b', 'y'] plt.figure(figsize=(6,4), dpi=100) # 不显示坐标数值 plt.xticks(()) plt.yticks(()) # 画样本 for c in range(k): # 得到每一类的样本集 cluster = X[labels == c] # 画出散点图 plt.scatter(cluster[:, 0], cluster[:, 1], marker=markers[c], s=10, c=colors[c]) # 画出中心点 plt.scatter(centers[:, 0], centers[:, 1], marker='o', c="white", alpha=0.9, s=300) # 按数字标点 for i, c in enumerate(centers): plt.scatter(c[0], c[1], marker='$%d$' % i, s=50, c=colors[i])
把画出K-均值聚类结果的代码稍微改造一下，变成一个函数。这个函数会使用K-均值算法来进行聚类拟合，同时会画出按照这个聚类个数拟合后的分类情况
# 给的样本与聚类中心点，画出聚类效果图 def fit_plot_kmean_model(n_clusters, X): plt.xticks(()) plt.yticks(()) # 使用 k-均值算法进行拟合 kmean = KMeans(n_clusters=n_clusters) kmean.fit_predict(X) # 这里得出聚类后预测的分类 labels = kmean.labels_ # 得到k个聚类的中心点 centers = kmean.cluster_centers_ # 设置格式 markers = ['o', '^', '*', 's'] colors = ['r', 'b', 'y', 'k'] # 计算成本 score = kmean.score(X) plt.title("k={}, score={}".format(n_clusters, (int)(score))) # 画样本 for c in range(n_clusters): # 得到每一类的样本集 cluster = X[labels == c] plt.scatter(cluster[:, 0], cluster[:, 1], marker=markers[c], s=10, c=colors[c]) # 画出中心点，一个白色的大圆 plt.scatter(centers[:, 0], centers[:, 1], marker='o', c="white", alpha=0.9, s=300) # 分别用数字标注k个聚类中心 for i, c in enumerate(centers): plt.scatter(c[0], c[1], marker='$%d$' % i, s=50, c=colors[i])
分别选择K=[2,3,4]这三种不同的聚类个数，来观察一下K-均值算法最终拟合的结果及其成本
from sklearn.cluster import KMeans n_clusters = [2, 3, 4] plt.figure(figsize=(10, 3), dpi=144) for i, c in enumerate(n_clusters): plt.subplot(1, 3, i + 1) fit_plot_kmean_model(c, X)
五聚类分析
k = 5 kmean = KMeans(n_clusters=k) kmean.fit(X)
KMeans(n_clusters=5)
label = kmean.labels_ label.shape
(200,)
np.unique(label)
array([0, 1, 2, 3, 4])
center = kmean.cluster_centers_ center
array([[-7.27296406, -2.30283434], [-1.54465562, 4.4600113 ], [-7.06537034, -8.16829737], [-9.7797588 , -4.13703988], [-5.75509335, -3.38975021]])
同样的方法画出样本散点图与中心点
color = ['b','g','r','c','m'] marker = ['*','+','x','o','v'] plt.figure(figsize=(6,4), dpi=100) for i in range(k): plt.scatter(X[label==i][:,0],X[label==i][:,1],c=color[i],marker=marker[i],s=15) for i in range(k): plt.scatter(center[i][0],center[i][1],c=color[i],marker=marker[i],s=150) plt.scatter(center[:, 0], center[:, 1], marker='o', c='y', alpha=0.9, s=300)
<matplotlib.collections.PathCollection at 0x1d4339e0308>
2. K-均值进行乳癌预测
%matplotlib inline import matplotlib.pyplot as plt import numpy as np
加载数据集
from sklearn.datasets import load_breast_cancer cancer = load_breast_cancer() X = cancer.data y = cancer.target X.shape, y.shape, np.unique(y)
((569, 30), (569,))
数据集切分
from sklearn.model_selection import train_test_split X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.1) X_train.shape, X_test.shape, y_train.shape, y_test.shape
((512, 30), (57, 30), (512,), (57,))
使用聚类进行分类
from sklearn.cluster import KMeans k = 2 kmean = KMeans(n_clusters=k, # 聚成2类: 有癌症与无癌症 max_iter=100, # max_iter=100表示最多进行100次K-均值迭代 tol=0.01, # tol=0.1表示中心点移动距离小于0.1时就认为算法已经收敛 verbose=1, # verbose=1表示输出迭代过程的详细信息 n_init=3) # n_init=3表示进行3遍K-均值运算后求平均值 # 训练 kmean.fit(X_train)
Initialization complete Iteration 0, inertia 130944259.56339118 Iteration 1, inertia 85520526.48362829 Iteration 2, inertia 71354956.81268741 Iteration 3, inertia 68882163.38363403 Iteration 4, inertia 68649624.79611586 Converged at iteration 4: center shift 138.20126841342588 within tolerance 147.22628661541668. Initialization complete Iteration 0, inertia 75269696.14590229 Iteration 1, inertia 68630374.81870994 Converged at iteration 1: strict convergence. Initialization complete Iteration 0, inertia 84806412.90554185 Iteration 1, inertia 70867683.66786845 Iteration 2, inertia 68882163.38363403 Iteration 3, inertia 68649624.79611586 Converged at iteration 3: center shift 138.20126841342588 within tolerance 147.22628661541668. KMeans(max_iter=100, n_clusters=2, n_init=3, tol=0.01, verbose=1)
从输出信息中可以看到，总共进行了3次K-均值聚类分析,kmean.labels_里保存的就是这些文档的类别信息;kmean.inertia_输出总的迭代次数
kmean.labels_.shape, y_train.shape
((512,), (512,))
将聚类预测与真实标签进行对比，这里需要注意的是，聚类算法将样本分成了两类，但是这里是不知道哪一类是患癌症哪一类是没有患癌症的
import pandas as pd result = pd.DataFrame() result['cluster_pred'] = kmean.labels_ result['true_label'] = y_train result['compare'] = (y_train == kmean.labels_) result.head(10)
通过前10个效果可以查看，下面统计一下正确与错误的个数，这一步可以通过groupby函数实现
result.groupby("compare").size()
compare False 74 True 438 dtype: int64
大概计算出来，正确率为85%左右
下面通过测试集来进一步的查看效果
pred = kmean.predict(X_test) kmean.labels_.shape, pred.shape
((512,), (57,))
result = pd.DataFrame() result['cluster_pred'] = pred result['true_label'] = y_test result['compare'] = (y_test == pred) result.head(10)
result.groupby("compare").size()
compare False 9 True 48 dtype: int64
可以看见测试集的效果同样也是不错的，经过计算测试集的准确率可以达到84%左右，与训练集相似的一个结果
