层次聚类算法

简介: 层次聚类算法

动动发财的小手,点个赞吧!

  • 层次聚类是一种构建聚类层次结构的聚类算法。该算法从分配给它们自己的集群的所有数据点开始。然后将两个最近的集群合并到同一个集群中。最后,当只剩下一个集群时,该算法终止。
  • 可以通过观察树状图来选择最能描述不同组的簇数的决定。聚类数的最佳选择是树状图中垂直线的数量,该水平线可以垂直横穿最大距离而不与聚类相交。

1. 简介

层次聚类(Hierarchical clustering)是一种常见的聚类算法,它将数据点逐步地合并成越来越大的簇,直到达到某个停止条件。层次聚类可以分为两种方法:自下而上的聚合法(agglomerative)和自上而下的分裂法(divisive)。在聚合法中,每个数据点最初被视为一个单独的簇,然后每次迭代将距离最近的两个簇合并为一个新的簇,直到所有点都合并成一个大簇。在分裂法中,最初的簇被视为一个单独的簇,然后每次迭代将当前簇中距离最远的两个点分成两个新的簇,直到每个点都是一个簇为止。

2. 工作原理

  1. 使每个数据点成为单点簇→形成N个簇
  2. 取距离最近的两个数据点,使之成为一个簇→形成N-1个簇
  3. 取最近的两个簇并使它们成为一个簇→形成N-2个簇。
  4. 重复第 3 步,直到只剩下一个集群。

有几种方法可以测量聚类之间的距离以确定聚类规则,它们通常称为链接方法。一些常见的链接方法是:

  • 完全链接:两个集群之间的距离定义为每个集群中两点之间的最长距离。
  • 单链接:两个集群之间的距离定义为每个集群中两点之间的最短距离。此链接可用于检测数据集中的高值,这些值可能是异常值,因为它们将在最后合并。
  • 平均链接:两个聚类之间的距离定义为一个聚类中的每个点与另一个聚类中的每个点之间的平均距离。
  • Centroid-linkage:找到聚类1的质心和聚类2的质心,然后在合并前计算两者之间的距离。

不同的链接方法导致不同的集群。

3. 树状图

树状图是一种显示不同数据集之间的层次关系。正如已经说过的,树状图包含了层次聚类算法的记忆,因此只需查看树状图就可以知道聚类是如何形成的。

4. Code

import numpy as np
from scipy.cluster.hierarchy import dendrogram, linkage
import matplotlib.pyplot as plt

# 生成随机数据
np.random.seed(0)
X = np.random.randn(15, 2)

# 计算距离矩阵
Z = linkage(X, 'ward')

# 绘制树形图
plt.figure(figsize=(10, 5))
plt.title('Hierarchical Clustering Dendrogram')
plt.xlabel('Sample index')
plt.ylabel('Distance')
dendrogram(
    Z,
    leaf_rotation=90.,
    leaf_font_size=8.,
)
plt.show()

在这个示例中,我们首先使用NumPy生成了一个随机的二维数据集X,其中包含15个样本。然后,我们使用SciPy中的linkage函数计算距离矩阵Z,这里使用了“ward”方法来计算簇之间的距离。最后,我们使用Matplotlib来绘制树形图,其中leaf_rotation和leaf_font_size参数用于调整叶子节点的旋转角度和字体大小。

这个示例中生成的树形图显示了不同样本之间的距离,并且根据距离合并了不同的簇。可以通过树形图来确定最优的簇的数量,可以在图中找到最大距离的位置,然后画一条水平线,这个水平线和垂直线的交点就是最优的簇的数量。

相关文章
|
4天前
|
算法 数据可视化 数据挖掘
使用Python实现层次聚类算法
使用Python实现层次聚类算法
23 1
|
4天前
|
算法 数据挖掘 Python
【数据挖掘】层次聚类DIANA、AGNES算法讲解及实战应用(图文解释 超详细)
【数据挖掘】层次聚类DIANA、AGNES算法讲解及实战应用(图文解释 超详细)
179 0
|
4天前
|
机器学习/深度学习 算法 数据挖掘
【Python机器学习】层次聚类AGNES、二分K-Means算法的讲解及实战演示(图文解释 附源码)
【Python机器学习】层次聚类AGNES、二分K-Means算法的讲解及实战演示(图文解释 附源码)
80 0
|
4天前
|
机器学习/深度学习 算法 数据挖掘
【Python机器学习专栏】层次聚类算法的原理与应用
【4月更文挑战第30天】层次聚类是数据挖掘中的聚类技术,无需预设簇数量,能生成数据的层次结构。分为凝聚(自下而上)和分裂(自上而下)两类,常用凝聚层次聚类有最短/最长距离、群集平均和Ward方法。优点是自动确定簇数、提供层次结构,适合小到中型数据集;缺点是计算成本高、过程不可逆且对异常值敏感。在Python中可使用`scipy.cluster.hierarchy`进行实现。尽管有局限,层次聚类仍是各领域强大的分析工具。
|
4天前
|
机器学习/深度学习 数据采集 SQL
R语言K-Means(K均值聚类)和层次聚类算法对微博用户特征数据研究
R语言K-Means(K均值聚类)和层次聚类算法对微博用户特征数据研究
|
4天前
|
算法 数据挖掘 数据库
K-Means、层次聚类算法讲解及对iris数据集聚类实战(附源码)
K-Means、层次聚类算法讲解及对iris数据集聚类实战(附源码)
104 0
|
算法 数据挖掘 Python
ML之Hierarchical clustering:利用层次聚类算法来把100张图片自动分成红绿蓝三种色调
ML之Hierarchical clustering:利用层次聚类算法来把100张图片自动分成红绿蓝三种色调
ML之Hierarchical clustering:利用层次聚类算法来把100张图片自动分成红绿蓝三种色调
|
算法 数据挖掘 Java
ML之HierarchicalClustering:自定义HierarchicalClustering层次聚类算法
ML之HierarchicalClustering:自定义HierarchicalClustering层次聚类算法
|
分布式计算 算法 大数据
【Spark Summit East 2017】基于Spark的可扩展的层次聚类算法
本讲义出自Chen Jin在Spark Summit East 2017上的演讲,数据挖掘的第一步工作就是进行聚类,聚类的目标是减少数据冗余或者定义数据类型,层次聚类,是一种被广泛使用的集群技术,它可以通过提出潜在的组织结构从而提供更丰富的表现方式。
3809 0