ML之UL:无监督学习Unsupervised Learning的概念、应用、经典案例之详细攻略

简介: ML之UL:无监督学习Unsupervised Learning的概念、应用、经典案例之详细攻略

无监督学习Unsupervised Learning的概念


        现实生活中常常会有这样的问题:缺乏足够的先验知识,因此难以人工标注类别或进行人工类别标注的成本太高。很自然地,我们希望计算机能代我们完成这些工作,或至少提供一些帮助。根据类别未知(没有被标记)的训练样本解决模式识别中的各种问题,称之为无监督学习。




        跟监督学习相反,无监督学习中数据集是完全没有标签的,依据相似样本在数据空间中一般距离较近这一假设,将样本分类。常见的无监督学习算法包括:稀疏自编码(sparse auto-encoder)、主成分分析(Principal Component Analysis, PCA)、K-Means算法(K均值算法)、DBSCAN算法(Density-Based Spatial Clustering of Applications with Noise)、最大期望算法(Expectation-Maximization algorithm, EM)等。




无监督学习Unsupervised Learning的应用


利用无监督学习可以解决的问题可以分为关联分析、聚类问题和维度约减。


1、关联分析


        关联分析是指发现不同事物之间同时出现的概率。在购物篮分析中被广泛地应用。如果发现买面包的客户有百分之八十的概率买鸡蛋,那么商家就会把鸡蛋和面包放在相邻的货架上。



2、聚类问题


        聚类问题是指将相似的样本划分为一个簇(cluster)。与分类问题不同,聚类问题预先并不知道类别,自然训练数据也没有类别的标签。


        无监督学习里典型例子是聚类。聚类的目的在于把相似的东西聚在一起,而我们并不关心这一类是什么。因此,一个聚类算法通常只需要知道如何计算相似度就可以开始工作了。


2.1、聚类算法常见的五种分类—划分方法(K-means/K-medoids/CLARANS)、层次方法(BIRCH/DBSCAN/CURE)


        聚类算法一般有五种方法,最主要的是划分方法和层次方法两种。


        划分聚类算法,通过优化评价函数把数据集分割为K个部分,它需要K作为 输人参数。典型的分割聚类算法有K-means算法, K-medoids算法、CLARANS算法。


        层次聚类,由不同层次的分割聚类组成,层次之间的分割具有嵌套的关系。它不需要输入参数,这是它优于分割聚类算法的一个明显的优点,其缺点是终止条件必须具体指定。典型的分层聚类算法有BIRCH算法、DBSCAN算法和CURE算法等。



3、维度约减


        维度约减:顾名思义,是指减少数据维度的同时保证不丢失有意义的信息。利用特征提取方法和特征选择方法,可以达到维度约减的效果。特征选择是指选择原始变量的子集。特征提取是将数据从高维度转换到低维度。广为熟知的主成分分析算法就是特征提取的方法。




无监督学习Unsupervised Learning的经典案例


1、基础案例


TF之AE:AE实现TF自带数据集AE的encoder之后decoder之前的非监督学习分类

https://yunyaniu.blog.csdn.net/article/details/79204020



相关文章
|
自然语言处理 搜索推荐 计算机视觉
推荐系统中不得不学的对比学习(Contrastive Learning)方法(三)
推荐系统中不得不学的对比学习(Contrastive Learning)方法(三)
489 0
推荐系统中不得不学的对比学习(Contrastive Learning)方法(三)
|
机器学习/深度学习 算法
经典机器学习系列(十四)PAC-Learning
经典机器学习系列(十四)PAC-Learning
299 0
|
机器学习/深度学习 人工智能 自然语言处理
机器学习《Machine Learning1》----机器学习经典总结:入门必读
机器学习《Machine Learning1》----机器学习经典总结:入门必读
129 0
|
机器学习/深度学习 自然语言处理 知识图谱
ICLR2021对比学习(Contrastive Learning)NLP领域论文进展梳理(二)
ICLR2021对比学习(Contrastive Learning)NLP领域论文进展梳理(二)
370 0
ICLR2021对比学习(Contrastive Learning)NLP领域论文进展梳理(二)
|
自然语言处理
ICLR2021对比学习(Contrastive Learning)NLP领域论文进展梳理(一)
ICLR2021对比学习(Contrastive Learning)NLP领域论文进展梳理(一)
475 0
ICLR2021对比学习(Contrastive Learning)NLP领域论文进展梳理(一)
|
机器学习/深度学习 算法
吴恩达《Machine Learning》精炼笔记 6:关于机器学习的建议
吴恩达《Machine Learning》精炼笔记 6:关于机器学习的建议
186 0
吴恩达《Machine Learning》精炼笔记 6:关于机器学习的建议
|
机器学习/深度学习 算法 索引
吴恩达《Machine Learning》精炼笔记 4:神经网络基础
吴恩达《Machine Learning》精炼笔记 4:神经网络基础
157 0
吴恩达《Machine Learning》精炼笔记 4:神经网络基础
|
机器学习/深度学习 运维 资源调度
吴恩达《Machine Learning》精炼笔记 10:异常检测
吴恩达《Machine Learning》精炼笔记 10:异常检测
179 0
吴恩达《Machine Learning》精炼笔记 10:异常检测
|
机器学习/深度学习 算法
吴恩达《Machine Learning》精炼笔记 5:神经网络
吴恩达《Machine Learning》精炼笔记 5:神经网络
155 0
吴恩达《Machine Learning》精炼笔记 5:神经网络
|
机器学习/深度学习 人工智能 运维
吴恩达《Machine Learning》精炼笔记 1:监督学习与非监督学习
吴恩达《Machine Learning》精炼笔记 1:监督学习与非监督学习
288 0
吴恩达《Machine Learning》精炼笔记 1:监督学习与非监督学习
下一篇
无影云桌面