一. 聚类—K均值算法（K-means）介绍
【关键词】K个种子，均值
1. K-means算法原理
聚类的概念：一种无监督的学习，事先不知道类别，自动将相似的对象归到同一个簇中。
K-Means算法是一种聚类分析（cluster analysis）的算法，其主要是来计算数据聚集的算法，主要通过不断地取离种子点最近均值的算法。
K-Means算法主要解决的问题如下图所示。我们可以看到，在图的左边有一些点，我们用肉眼可以看出来有四个点群，但是我们怎么通过计算机程序找出这几个点群来呢？于是就出现了我们的K-Means算法
这个算法其实很简单，如下图所示：
从上图中，我们可以看到，A，B，C，D，E是五个在图中点。而灰色的点是我们的种子点，也就是我们用来找点群的点。有两个种子点，所以K=2。
然后，K-Means的算法步骤如下：
- 随机在图中取K（这里K=2）个种子点。
- 然后对图中的所有点求到这K个种子点的距离，假如点Pi离种子点Si最近，那么Pi属于Si点群。（上图中，我们可以看到A，B属于上面的种子点，C，D，E属于下面中部的种子点）
- 接下来，我们要移动种子点到属于他的“点群”的中心。（见图上的第三步）
- 然后重复第2）和第3）步，直到，种子点没有移动（我们可以看到图中的第四步上面的种子点聚合了A，B，C，下面的种子点聚合了D，E）。
这个算法很简单，重点说一下“求点群中心的算法”：欧氏距离（Euclidean Distance）：差的平方和的平方根
2. K-Means主要缺陷——都和初始值K有关：
K是事先给定的，这个K值的选定是非常难以估计的。很多时候，事先并不知道给定的数据集应该分成多少个类别才最合适。（ISODATA算法通过类的自动合并和分裂，得到较为合理的类型数目K）
K-Means算法需要用初始随机种子点来搞，这个随机种子点太重要，不同的随机种子点会有得到完全不同的结果。（K-Means++算法可以用来解决这个问题，其可以有效地选择初始点）
3. K-Means算法步骤：
- 从数据中选择k个对象作为初始聚类中心;
- 计算每个聚类对象到聚类中心的距离来划分；
- 再次计算每个聚类中心,(求平均)
- 计算标准测度函数，直到达到最大迭代次数，则停止，否则，继续操作。
- 确定最优的聚类中心
4. K-Means算法应用
看到这里，你会说，K-Means算法看来很简单，而且好像就是在玩坐标点，没什么真实用处。而且，这个算法缺陷很多，还不如人工呢。是的，前面的例子只是玩二维坐标点，的确没什么意思。但是你想一下下面的几个问题：
1）如果不是二维的，是多维的，如5维的，那么，就只能用计算机来计算了。
2）二维坐标点的X，Y 坐标，其实是一种向量，是一种数学抽象。现实世界中很多属性是可以抽象成向量的，比如，我们的年龄，我们的喜好，我们的商品，等等，能抽象成向量的目的就是可以让计算机知道某两个属性间的距离。如：我们认为，18岁的人离24岁的人的距离要比离12岁的距离要近，鞋子这个商品离衣服这个商品的距离要比电脑要近，等等。
二. 聚类算法示例
重要参数：
- n_clusters：聚类的个数
重要属性：
- cluster_centers_ : [n_clusters, n_features]的数组，表示聚类中心点的坐标
- labels_ : 每个样本点的标签
2.1 使用make_blobs生成模型样本
from sklearn import datasets
# 使用make_blobs生成随机点：100个样本，2个分类，2个特征 samples,target = datasets.make_blobs(n_samples=100,centers=2,n_features=2,random_state=0)
import matplotlib.pyplot as plt %matplotlib inline
# 查看生成的样本 plt.scatter(samples[:,0],samples[:,1],c=target)
2.1 用k-means对以上的100个样本点做聚类划分
from sklearn.cluster import KMeans
# 如果将上面样本划分为3个类别，看此时kMeans是如何划分的，当然此处n_clusters也可以取2 km = KMeans(n_clusters=3) km
KMeans(algorithm='auto', copy_x=True, init='k-means++', max_iter=300, n_clusters=3, n_init=10, n_jobs=1, precompute_distances='auto', random_state=None, tol=0.0001, verbose=0)
# 训练 # 无监督学习算法无需标签 km.fit(samples) # 这算法在训练阶段，根据km模型，引入相关的种子点，并且确定其位置， # 并且不断的根据种子点进行聚类划分，直至所有的种子点不在移动
KMeans(algorithm='auto', copy_x=True, init='k-means++', max_iter=300, n_clusters=3, n_init=10, n_jobs=1, precompute_distances='auto', random_state=None, tol=0.0001, verbose=0)
# 预测 y_ = km.predict(samples) # 这个预测和监督学习理念不同，经过训练以后，已经把所有的点划分出了对应的聚类， # 这个方法把这些聚类进行编号，然后输出 y_
array([2, 0, 1, 1, 2, 2, 1, 2, 1, 0, 1, 0, 1, 1, 2, 2, 0, 1, 0, 0, 1, 1, 2, 1, 0, 1, 0, 1, 1, 2, 0, 1, 0, 0, 2, 1, 0, 2, 2, 0, 1, 1, 1, 1, 1, 2, 0, 0, 1, 1, 0, 0, 1, 1, 2, 1, 2, 0, 2, 0, 0, 1, 1, 2, 1, 2, 1, 2, 2, 1, 1, 0, 2, 1, 1, 1, 0, 2, 1, 1, 2, 1, 1, 1, 1, 1, 0, 1, 0, 0, 2, 0, 2, 0, 1, 1, 0, 2, 1, 0])
# 求聚类中心点 centers = km.cluster_centers_ centers
array([[1.68009421, 0.44810043], [0.78041206, 4.46050581], [2.5938845 , 2.15788282]])
plt.scatter(samples[:,0],samples[:,1],c=y_) plt.scatter(centers[:,0],centers[:,1],c="r")
<matplotlib.collections.PathCollection at 0x26d97ad4710>
图中红色的点点表示3个聚类的中心
三. 聚类实战—依据3年排名进行最球队分类划分
问题描述：通过3年的亚洲球队排名，对亚洲球队做聚类，看看哪几个队属于一类。
3.1 读取数据
import pandas as pd • 1
data = pd.read_csv("../data/AsiaZoo.txt",header=None) data
上面数据的2-4列，代表各国足球队在某3年世界杯的排名
3.2 提取样本，并用KMeans算法进行分类
# 提取样本 samples = data.iloc[:,1:4] samples
# 将足球队分为3类 km = KMeans(n_clusters=3) • 1 • 2
km.fit(samples)
KMeans(algorithm='auto', copy_x=True, init='k-means++', max_iter=300, n_clusters=3, n_init=10, n_jobs=1, precompute_distances='auto', random_state=None, tol=0.0001, verbose=0)
y_ = km.predict(samples) • 1
y_ • 1
array([0, 1, 1, 2, 2, 0, 0, 0, 2, 0, 0, 0, 2, 2, 0])
3.3 查看分类结果
# 打印出3个分类中，各个足球队的名称 for i in range(3): items = data[0][y_== i] print(items)
0 中国 5 伊拉克 6 卡塔尔 7 阿联酋 9 泰国 10 越南 11 阿曼 14 印尼 Name: 0, dtype: object 1 日本 2 韩国 Name: 0, dtype: object 3 伊朗 4 沙特 8 乌兹别克斯坦 12 巴林 13 朝鲜 Name: 0, dtype: object
通过上面模型分类结果可以看到：
- 中国、伊拉克、伊拉克、阿联酋、泰国、越南、阿曼、印尼，为同一分类；
- 日本与韩国为一类；
- 伊朗、沙特、乌兹别克斯坦、巴林、朝鲜为一类
3.4 模型评估
- 轮廓系数: 聚类问题大多数情况下是没有类别的，对于没有标签的一般用轮廓系数来评测聚类的质量，它同时兼顾了聚类凝聚度和离散程度。
轮廓系数（Silhouette Coefficient）结合了聚类的凝聚度（Cohesion）和分离度（Separation），用于评估聚类的效果。该值处于-1~1之间，值越大，表示聚类效果越好。
- ARI指标: (在知道分类的标签数据情况下才能用)ARI指标和监督学习中准确率（score）非常类似，只不过兼顾了聚类的下标与标签数据不能一一对应的问题。
from sklearn import metrics
metrics.adjusted_rand_score(y_,y_test)
在此例中，由于没有标签数据，因此我们使用轮廓系数进行评估
from sklearn import metrics metrics.silhouette_score(samples, km.labels_) • 1 • 2
0.5349542135842207
