深度聚类近来比较火的方向你知道吗?

简介: 聚类(Clustering)是按照某个特定标准(如距离)把一个数据集分割成不同的类或簇,使得同一个簇内的数据对象的相似性尽可能大,同时不在同一个簇中的数据对象的差异性也尽可能地大。也即聚类后同一类的数据尽可能聚集到一起,不同类数据尽量分离。

聚类(Clustering)是按照某个特定标准(如距离)把一个数据集分割成不同的类或簇,使得同一个簇内的数据对象的相似性尽可能大,同时不在同一个簇中的数据对象的差异性也尽可能地大。也即聚类后同一类的数据尽可能聚集到一起,不同类数据尽量分离。

聚类概述

聚类分析在机器学习和数据挖掘中起着不可或缺的作用。学习一个好的数据表示方法对于聚类算法是至关重要的。近年来,利用深度神经网络学习聚类友好表示的深度聚类已经广泛应用于各种聚类任务中。

我们从数据源的角度对深度聚类进行分析,

在不同数据源和初始条件下,从方法论、先验知识和体系结构等方面我们可以将深度聚类方法分为四大类:

单视图深度聚类
半监督深度聚类
深度多视图聚类
深度转移聚类

如下图所示:

111.png

Deep single-view clustering

单视图深度聚类

对于传统的集群任务,我们通常会假设数据具有相同的形式和结构,那么这称为单视图或单模态数据。用深度神经网络(DNNs)提取这些数据的表示形式是深度聚类的一个重要特征。
那么,不同的应用深度学习的技术是与 DNN 的结构高度相关的。根据已有的论文提出的结构,我们可以将算法具话为为五类:

基于 深度自编码器(DAE) 的深度聚类
基于 深度神经网络(DNN) 的深度聚类
基于 变分自编码器(VAE) 的深度聚类
基于 生成对抗网络(GAN) 的深度聚类
基于 图神经网络(GNN) 的深度聚类

Deep clustering based on semi-supervised learning

基于半监督学习的深度聚类

当遇到待处理的数据中包含有少量的先验约束时,传统的聚类方法无法有效的利用这些先验信息,但是半监督聚类是解决这一问题的有效方法。
通过在模型中添加附加信息作为约束损失,可以使聚类方法成为半监督聚类方法。但是目前深度半监督聚类的研究还未得到很好的探索。

Deep clustering based on multi-view learning

基于多视图学习的深度聚类

在现实世界中,我们遇到的数据通常来自不同的特征收集器或具有不同的结构,这些数据被称之为 “多视图数据” 或“多模态数据”,其中每个样本都有多个表示。
基于多视图学习的深度聚类,其目的是利用多视图数据中所包含的一致性和互补性信息来提高聚类性能。
目前深度多视图聚类可以大致归纳为三大类:

基于深度嵌入聚类
基于子空间聚类
基于图神经网络聚类

Deep clustering based on transfer learning

基于迁移学习的深度聚类

对于实例数量有限且维度较高的任务,有时我们可以找一个助手来提供额外的信息。
例如,如果 任务A 与另一个 任务B 相似,而 任务B 比 任务A 具有更多的信息用于聚类 (B是有标记的 或 B比A 更容易聚类),那么将信息从 B 转移到 A 是有用的。
这就是经常遇到的无监督域适应(unsupervised domain adaption, UDA)迁移学习,这种算法包括两个域:有标记的源域 和 无标记的目标域。
迁移学习的目标是将从源任务中学到的知识或模式应用到不同但相关的目标任务中,基于迁移学习的深度聚类方法旨在利用相关任务的信息提高当前聚类任务的性能。

相关函数映射关系

222.png

相关文章
|
机器学习/深度学习 传感器 编解码
一文详解视觉Transformer在CV中的现状、趋势和未来方向(分类/检测/分割/多传感器融合)(中)
本综述根据三个基本的CV任务和不同的数据流类型,全面调查了100多种不同的视觉Transformer,并提出了一种分类法,根据其动机、结构和应用场景来组织代表性方法。由于它们在训练设置和专用视觉任务上的差异,论文还评估并比较了不同配置下的所有现有视觉Transformer。此外,论文还揭示了一系列重要但尚未开发的方面,这些方面可能使此类视觉Transformer能够从众多架构中脱颖而出,例如,松散的高级语义嵌入,以弥合视觉Transformer与序列式之间的差距。最后,提出了未来有前景的研究方向。
一文详解视觉Transformer在CV中的现状、趋势和未来方向(分类/检测/分割/多传感器融合)(中)
|
24天前
|
数据采集 机器学习/深度学习 传感器
《深度解析:深度信念网络DBN降维模型训练要点》
深度信念网络(DBN)在降维任务中表现出色,但正确的模型训练至关重要。DBN由多个受限玻尔兹曼机(RBM)堆叠而成,通过逐层预训练和微调学习数据的低维表示。训练要点包括:数据预处理(归一化、去噪)、参数设置(学习率、隐藏层节点数、训练轮数)、防止过拟合(正则化、数据增强)。每个环节对降维效果都有重要影响,需合理调整以发挥最佳性能。
57 10
|
9月前
|
机器学习/深度学习 数据挖掘
机器学习之聚类——谱聚类简介及其对特殊形状区域数据的聚类
机器学习之聚类——谱聚类简介及其对特殊形状区域数据的聚类
66 0
|
机器学习/深度学习 传感器 算法
多元分类预测 | Matlab 深度置信网络(DBN)分类预测
多元分类预测 | Matlab 深度置信网络(DBN)分类预测
|
机器学习/深度学习 传感器 算法
多元分类预测 | Matlab 粒子群优化深度置信网络(PSO-DBN)分类预测
多元分类预测 | Matlab 粒子群优化深度置信网络(PSO-DBN)分类预测
|
机器学习/深度学习 传感器 算法
多元分类预测 | Matlab 麻雀优化深度置信网络(SSA-DBN)分类预测
多元分类预测 | Matlab 麻雀优化深度置信网络(SSA-DBN)分类预测
|
机器学习/深度学习 人工智能 自然语言处理
或许是一个新的算法方向?
或许是一个新的算法方向?
102 0
|
机器学习/深度学习 传感器 编解码
一文详解视觉Transformer在CV中的现状、趋势和未来方向(分类/检测/分割/多传感器融合)(上)
本综述根据三个基本的CV任务和不同的数据流类型,全面调查了100多种不同的视觉Transformer,并提出了一种分类法,根据其动机、结构和应用场景来组织代表性方法。由于它们在训练设置和专用视觉任务上的差异,论文还评估并比较了不同配置下的所有现有视觉Transformer。此外,论文还揭示了一系列重要但尚未开发的方面,这些方面可能使此类视觉Transformer能够从众多架构中脱颖而出,例如,松散的高级语义嵌入,以弥合视觉Transformer与序列式之间的差距。最后,提出了未来有前景的研究方向。
一文详解视觉Transformer在CV中的现状、趋势和未来方向(分类/检测/分割/多传感器融合)(上)
|
传感器 机器学习/深度学习 编解码
3D多目标跟踪新思路!基于多传感器融合的加权几何距离关联方法
在自动驾驶领域,3D多目标跟踪(MOT)作为整个感知系统中的关键任务之一发挥着重要作用,它确保了车辆导航和运动规划的高效和安全。大多数现有的MOT方法基于检测,即通过检测跟踪(TBD),并且仅使用单个深度传感器,如激光雷达来检测和跟踪目标。然而,长距离的非常稀疏的点云导致这些方法无法生成非常精确的检测结果,从而影响跟踪结果。因此,本文提出了一种基于传感器融合的3D MOT方法,利用激光雷达和摄像机的检测结果。
3D多目标跟踪新思路!基于多传感器融合的加权几何距离关联方法
|
机器学习/深度学习 传感器 编解码
一文详解视觉Transformer在CV中的现状、趋势和未来方向(分类/检测/分割/多传感器融合)(下)
本综述根据三个基本的CV任务和不同的数据流类型,全面调查了100多种不同的视觉Transformer,并提出了一种分类法,根据其动机、结构和应用场景来组织代表性方法。由于它们在训练设置和专用视觉任务上的差异,论文还评估并比较了不同配置下的所有现有视觉Transformer。此外,论文还揭示了一系列重要但尚未开发的方面,这些方面可能使此类视觉Transformer能够从众多架构中脱颖而出,例如,松散的高级语义嵌入,以弥合视觉Transformer与序列式之间的差距。最后,提出了未来有前景的研究方向。
一文详解视觉Transformer在CV中的现状、趋势和未来方向(分类/检测/分割/多传感器融合)(下)