聚类算法
聚类算法是一种常用的无监督学习,它可以将数据集集中的样本分成若干个类别，使得同一类别内的样本相似度较高，不同类别之间的样本相似度较低。聚类算法的目标是发现数据中的内在结构，通常用于数据挖掘、模式识别和信息检索等领域。
常用的聚类算法包含K均值聚类、层次聚类、DBSCAN(基于密度的空间聚类算法)等。这些算法有不同的特点和使用场景，可以根据具体的数据特点和需求选择合适的算法进行分析。
在使用聚类算法分析数据时，一般需要经过以下步骤：
- 数据预处理：包括数据清洗、特征选择、特征缩放等工作。
- 选择合适的聚类算法：根据数据的特点和需求选择合适的算法进行分析。
- 确定聚类数目：有些算法需要事先确定聚类的数目，而有些算法可以自动确定聚类数目。
- 进行聚类分析：应用选择的算法对数据进行聚类，并生成相应的结果。
- 结果评估和解释：对聚类结果进行评估，确定每个簇的特征，理解每个簇所代表的含义。
聚类的本质其实就是数据集合的划分，就是如何将我们的数据划分成类别。
常见的聚类算法
层次聚类：它的原理就是尝试以一种树状结构进行分割或者合并每个数据簇，一般有“自底向上”，就是首先将每个数据样本看成一个簇，然后计算簇间距离，然后不断地进行合并簇，最终生成几个大的数据簇，第二种就是“自上而下”，首先将所有数据集看成一个数据簇，然后不断地进行分割，达到预期地要求，常见有AGNES算法。
原型聚类：常见算法有K-Means、LVQ、高斯混合聚类等，他们的原理都是数据样本中找到一系列具有代表地点，然后以它为中心进行扩展，不过不同的算法实现不太一样，有时候它也叫做基于质心的聚类。
- 概率分布聚类：它是基于概率模型的聚类方法，他利用数据的概率分布特性来进行聚类分析。概率分布聚类的原理首先选择概率分布模型：(常见的选择有高斯混合模型GMM和隐马尔可夫模型HMM)，然后进行参数估计需要通过最大似然估计或贝叶斯推断等方法来估计模型的参数。这些参数描述了概率分布的形状、均值、方差等特征。聚类分配在估计好模型参数后，将数据点分配到不同的概率分布成分中。聚类结果根据聚类分配的结果，可以得到每个数据点属于哪个聚类簇的概率。也可以根据概率值设定一个阈值，将数据点划分为具体的聚类。
- 密度聚类：
评估指标
聚类算法的评估指标用于衡量聚类结果的好坏，常见的评估指标包括以下几种：
- 轮廓系数：结合了聚类内部样本的紧密和不同聚类之间样本的分离度。对于每个样本，计算其与同簇内其他样本的平均距离(a)，以及与最近其他簇内样本的平均距离(b)，然后计算轮廓系数为(b-a)/max(a,b)。轮廓系数范围在-1到1之间，值越接近1表示聚类效果越好。
K-Means聚类
它是一种基于质心的聚类，因为他的设计思想就是从总样本中找到几个标志性的数据，将其定为每个簇的数据中心，然后分别判断每个数据的距离状况，然后进行更新每个簇内的质心。
对于样本集我们划分k个数据簇，那么我们的优化函数就是也就是损失函数：
$$ E=\sum^k_{i=1}\sum_{xC_i}||x-\mu_i||^2_2 $$
既然是损失函数那么我们希望E越小越好，但是该函数我们是很难进行优化的、因为如果我们想要计算他们的最优解。
聚类的流程：
开始->读入要分类的数据->设置初始聚类中心->计算数据到C个聚类中心的距离->将数据分入与其距离最小的聚类->计算新的聚类中心->聚类中心是否收敛?->改变初始聚类中心->收敛则输出C个分类好的聚类。
- 首先确定样本集和带划分的簇类数K
- 从样本集中随机初始K个数据中心点
- 迭代每一个样本，计算每一个样本对K个数据中心的距离
- 标记样本为距离该样本最近的类别簇中
