聚类分析是无监督学习中的一种重要技术，它将数据集中的样本根据相似性分组，使得同一组内的样本相似度高，而不同组之间的样本相似度低。scikit-learn是一个功能强大的Python机器学习库，它提供了多种聚类算法，使得聚类分析变得简单而高效。本文将介绍如何使用scikit-learn进行聚类分析，并通过实战案例展示其应用。
聚类算法概览
scikit-learn支持多种聚类算法，包括：
- K-Means：通过迭代地分配样本到最近的质心，直到收敛，适用于球形簇。
- DBSCAN：基于密度的聚类算法，能够识别任意形状的簇，并对噪声点具有良好的鲁棒性。
- Mean Shift：一种基于密度的非参数聚类算法，通过寻找密度函数的局部极大值点来确定簇中心。
- Agglomerative Hierarchical Clustering：通过逐步合并或分裂操作构建一个层次的簇树。
实战步骤
1. 数据准备
首先，需要对数据进行预处理，包括标准化和去除噪声。标准化可以确保不同特征的尺度不会影响聚类结果。
from sklearn.preprocessing import StandardScaler
# 假设X是原始数据集
scaler = StandardScaler()
X_scaled = scaler.fit_transform(X)
2. 选择聚类算法
根据数据的特点和聚类的目的选择合适的聚类算法。
3. 确定簇的数量
对于某些算法，如K-Means，需要预先指定簇的数量。可以使用肘部法则（Elbow Method）来估计最佳的簇数量。
from sklearn.cluster import KMeans
from sklearn.metrics import silhouette_score
silhouette_scores = []
for n_clusters in range(2, 11):
kmeans = KMeans(n_clusters=n_clusters, random_state=42)
kmeans.fit(X_scaled)
silhouette_scores.append(silhouette_score(X_scaled, kmeans.labels_))
# 选择使轮廓系数最大的簇数量
best_n_clusters = silhouette_scores.index(max(silhouette_scores)) + 2
4. 训练聚类模型
使用选定的算法和参数训练聚类模型。
# 使用K-Means算法
kmeans = KMeans(n_clusters=best_n_clusters, random_state=42)
kmeans.fit(X_scaled)
5. 评估聚类结果
评估聚类结果的质量和簇的一致性。
from sklearn.metrics import confusion_matrix
# 计算轮廓系数
print("Silhouette Coefficient: ", silhouette_score(X_scaled, kmeans.labels_))
# 打印簇中心
print("Cluster Centers: ", kmeans.cluster_centers_)
6. 解释聚类结果
根据业务需求解释聚类结果，并将其转化为可操作的见解。
实战案例：鸢尾花数据集
数据加载与预处理
from sklearn.datasets import load_iris
from sklearn.preprocessing import StandardScaler
iris = load_iris()
X = iris.data
scaler = StandardScaler()
X_scaled = scaler.fit_transform(X)
确定簇数量
使用肘部法则确定K-Means算法的簇数量。
# 省略了确定最佳簇数量的代码，假设为3
训练模型
使用K-Means算法进行聚类。
kmeans = KMeans(n_clusters=3, random_state=42)
kmeans.fit(X_scaled)
评估与解释
评估聚类结果，并解释每个簇的特征。
print("Silhouette Coefficient: ", silhouette_score(X_scaled, kmeans.labels_))
print("Cluster Centers: ", kmeans.cluster_centers_)
# 打印每个样本的簇分配
print("Cluster Assignments: ", kmeans.labels_)
结论
聚类分析是一种强大的工具，可以帮助我们探索数据的内在结构。scikit-learn提供了多种聚类算法和工具，使得聚类分析变得简单而高效。通过上述步骤，即使是初学者也可以轻松上手聚类分析，并将其应用于实际问题。记住，聚类分析的结果需要结合领域知识进行解释和验证，以确保其准确性和实用性。
