ML之UL:无监督学习Unsupervised Learning的概念、应用、经典案例之详细攻略

简介: ML之UL:无监督学习Unsupervised Learning的概念、应用、经典案例之详细攻略

无监督学习Unsupervised Learning的概念


        现实生活中常常会有这样的问题:缺乏足够的先验知识,因此难以人工标注类别或进行人工类别标注的成本太高。很自然地,我们希望计算机能代我们完成这些工作,或至少提供一些帮助。根据类别未知(没有被标记)的训练样本解决模式识别中的各种问题,称之为无监督学习。




        跟监督学习相反,无监督学习中数据集是完全没有标签的,依据相似样本在数据空间中一般距离较近这一假设,将样本分类。常见的无监督学习算法包括:稀疏自编码(sparse auto-encoder)、主成分分析(Principal Component Analysis, PCA)、K-Means算法(K均值算法)、DBSCAN算法(Density-Based Spatial Clustering of Applications with Noise)、最大期望算法(Expectation-Maximization algorithm, EM)等。




无监督学习Unsupervised Learning的应用


利用无监督学习可以解决的问题可以分为关联分析、聚类问题和维度约减。


1、关联分析


        关联分析是指发现不同事物之间同时出现的概率。在购物篮分析中被广泛地应用。如果发现买面包的客户有百分之八十的概率买鸡蛋,那么商家就会把鸡蛋和面包放在相邻的货架上。



2、聚类问题


        聚类问题是指将相似的样本划分为一个簇(cluster)。与分类问题不同,聚类问题预先并不知道类别,自然训练数据也没有类别的标签。


        无监督学习里典型例子是聚类。聚类的目的在于把相似的东西聚在一起,而我们并不关心这一类是什么。因此,一个聚类算法通常只需要知道如何计算相似度就可以开始工作了。


2.1、聚类算法常见的五种分类—划分方法(K-means/K-medoids/CLARANS)、层次方法(BIRCH/DBSCAN/CURE)


        聚类算法一般有五种方法,最主要的是划分方法和层次方法两种。


        划分聚类算法,通过优化评价函数把数据集分割为K个部分,它需要K作为 输人参数。典型的分割聚类算法有K-means算法, K-medoids算法、CLARANS算法。


        层次聚类,由不同层次的分割聚类组成,层次之间的分割具有嵌套的关系。它不需要输入参数,这是它优于分割聚类算法的一个明显的优点,其缺点是终止条件必须具体指定。典型的分层聚类算法有BIRCH算法、DBSCAN算法和CURE算法等。



3、维度约减


        维度约减:顾名思义,是指减少数据维度的同时保证不丢失有意义的信息。利用特征提取方法和特征选择方法,可以达到维度约减的效果。特征选择是指选择原始变量的子集。特征提取是将数据从高维度转换到低维度。广为熟知的主成分分析算法就是特征提取的方法。




无监督学习Unsupervised Learning的经典案例


1、基础案例


TF之AE:AE实现TF自带数据集AE的encoder之后decoder之前的非监督学习分类

https://yunyaniu.blog.csdn.net/article/details/79204020



相关文章
|
10月前
|
机器学习/深度学习 人工智能 算法
AI+组合优化 |机器学习顶会ICLR/ICML/NeurIPS'23最新进展-MIP求解篇(附原文源码)
本文梳理了ICLR 2023、ICML 2023、NeurIPS 2023有关机器学习+混合整数规划问题求解加速求解加速的研究成果,总共包含8篇文章。
1103 0
|
机器学习/深度学习 算法
经典机器学习系列(十四)PAC-Learning
经典机器学习系列(十四)PAC-Learning
374 0
|
机器学习/深度学习
【从零开始学习深度学习】5.用于分类问题的softmax回归模型原理简介
【从零开始学习深度学习】5.用于分类问题的softmax回归模型原理简介
【从零开始学习深度学习】5.用于分类问题的softmax回归模型原理简介
|
机器学习/深度学习 算法
吴恩达《Machine Learning》精炼笔记 6:关于机器学习的建议
吴恩达《Machine Learning》精炼笔记 6:关于机器学习的建议
198 0
吴恩达《Machine Learning》精炼笔记 6:关于机器学习的建议
|
机器学习/深度学习 算法 索引
吴恩达《Machine Learning》精炼笔记 4:神经网络基础
吴恩达《Machine Learning》精炼笔记 4:神经网络基础
170 0
吴恩达《Machine Learning》精炼笔记 4:神经网络基础
|
机器学习/深度学习 人工智能 运维
吴恩达《Machine Learning》精炼笔记 1:监督学习与非监督学习
吴恩达《Machine Learning》精炼笔记 1:监督学习与非监督学习
319 0
吴恩达《Machine Learning》精炼笔记 1:监督学习与非监督学习
|
机器学习/深度学习 运维 资源调度
吴恩达《Machine Learning》精炼笔记 10:异常检测
吴恩达《Machine Learning》精炼笔记 10:异常检测
199 0
吴恩达《Machine Learning》精炼笔记 10:异常检测
|
机器学习/深度学习 算法 数据挖掘
吴恩达《Machine Learning》精炼笔记 8:聚类 KMeans 及其 Python实现
吴恩达《Machine Learning》精炼笔记 8:聚类 KMeans 及其 Python实现
292 0
吴恩达《Machine Learning》精炼笔记 8:聚类 KMeans 及其 Python实现
|
机器学习/深度学习 算法 Python
ML之SL:监督学习(Supervised Learning)的简介、应用、经典案例之详细攻略
ML之SL:监督学习(Supervised Learning)的简介、应用、经典案例之详细攻略
ML之SL:监督学习(Supervised Learning)的简介、应用、经典案例之详细攻略
|
机器学习/深度学习 数据挖掘 网络安全
ML之SSL:Semi-Supervised Learning半监督学习的简介、应用、经典案例之详细攻略
ML之SSL:Semi-Supervised Learning半监督学习的简介、应用、经典案例之详细攻略
ML之SSL:Semi-Supervised Learning半监督学习的简介、应用、经典案例之详细攻略