无监督学习中的两个非概率模型:稀疏编码与自编码器-阿里云开发者社区

开发者社区> 超努力的写代码> 正文

无监督学习中的两个非概率模型:稀疏编码与自编码器

简介: 「无监督学习」(Unsupervised Learning)现在已经成为深度学习领域的热点。和「有监督学习」相比,这种方法的最大优势就在于其无须给系统进行明确的标注(label)也能够进行学习。最近,在德国的图宾根,机器学习夏训营(Machine Learning Summer School)正在如火如荼地进行,其中来自 CMU 的 Ruslan Salakhutdinov 教授就带来了很多关于「无监督学习」的精彩内容。今天机器之心给大家分享的正是其课件中有关「无监督学习中的非概率模型」的相关内容,主要介绍了稀疏编码(Sparse Coding)和自编码器(Autoencoder),这两种结构
+关注继续查看

微信图片_20211129092350.jpg

一、稀疏编码(Sparse Coding)


1. 稀疏编码的概念


稀疏编码最早由 Olshausen 和 Field 于 1996 年提出,用于解释大脑中的初期视觉处理(比如边缘检测)。


目标:给定一组输入数据向量 { x1,x2,...,xN },去学习一组基字典(dictionary of bases):


微信图片_20211129092355.jpg


满足:


微信图片_20211129092357.jpg


其中 ank 的值大部分都为 0,所以称为「稀疏」。每一个数据向量都由稀疏线性权值与基的组合形式来表达。


2. 稀疏编码的训练


微信图片_20211129092404.jpg


为输入图像片段;


微信图片_20211129092407.jpg


为要学习的基字典(dictionary of bases)。


微信图片_20211129092410.jpg


这个表达式的第一项为重构误差项;第二项为稀疏惩罚项。


交替性优化:


1. 固定基字典,求解激活值 a(这是一个标准的 Lasso 问题);

2. 固定激活值 a,优化基字典(凸二次规划问题——convex QP problem)。

3. 稀疏编码的测试过程


  • 输入为一个新图像片段 x* , 和 K 个可学习的基;

  • 输出为一个图像片段 x* 的稀疏表达 a(sparse representation)。


微信图片_20211129092414.jpg


微信图片_20211129092419.jpg


[0, 0, ..., 0.8, ..., 0.3 ..., 0.5, ...] 为系数矩阵,也叫做特征表示(feature representation)。

下图为应用稀疏编码进行图像分类的相关实验结果,该实验是在 Caltech101 物体类别数据集中完成的,并且用经典的 SVM 作为分类算法。


微信图片_20211129092425.jpg


4. 稀疏编码的相关解释


微信图片_20211129092429.jpg


  • a 是稀疏,且过完备(over-complete)的表征;

  • 编码函数 a = f(x) 是 x 的隐函数和非线性函数;

  • 而重构(解码)函数 x' = g(a) 是线性且显性的。


二、自编码器(Autoencoder)


1. 自编码器结构


微信图片_20211129092434.jpg


  • 编码器和解码器内部的详细数据信息至关重要;


2. 自编码器范例


微信图片_20211129092439.jpg


如上图所示,编码器的过滤器(filters)为 W,函数为 Sigmoid 函数,


微信图片_20211129092444.jpg


解码器的过滤器(filters)为 D , 函数为线性回归函数。


这是一个拥有 D 个输入和 D 个输出的自编码器,并且包括 K 个隐单元(hidden units), K<D。给定输入 x,它的重构函数为:


微信图片_20211129092448.jpg


我们可以通过使重构误差(reconstruction error)最小化来决定网络的参数 W 和 D :


微信图片_20211129092451.jpg


3. 其它自编码模型


微信图片_20211129092454.jpg

  • 如果隐蔽层(hidden layer)和输出层是线性的,它将会对隐单元(hidden units)进行学习,这些隐单元是数据的线性方程,并且可以使方差最小化。这 K 个隐单元将会像前 K 个主成分(first k principal components)一样,覆盖相同的空间。这些权重矢量可能不是正交的。

  • 对于非线性隐单元的情况来说,我们会利用 PCA(Principal Component Analysis)的非线性泛化(nonlinear generalization)来进行处理。


微信图片_20211129092457.jpg

  • 和限制性玻尔兹曼机(Restricted Boltzmann Machines)相关。


预测稀疏分解(Predictive Sparse Decomposition):


微信图片_20211129092500.jpg


在训练过程中:


微信图片_20211129092504.jpg


可以看到,这种结构在解码器部分加入了稀疏惩罚项(详见以上关于稀疏编码的内容)。


4. 堆叠式自编码器(Stacked Autoencoder)


微信图片_20211129092507.jpg


这是一种「贪婪」的分层学习。如果我们去掉解码器部分,并且只使用前馈部分,会发现这是一个标准的类似于卷积神经网络的结构,参考下图。可以使用反向传播来对参数进行调校。


微信图片_20211129092510.jpg


5. 深度自编码器结构及其相关实验结果


微信图片_20211129092514.jpg

微信图片_20211129092517.jpg


  • 第一行:从测试数据集中随机采样;

  • 第二行:用 30 维的自编码器进行重构得到的结果;

  • 第三行:用 30 维的 PCA 进行重构得到的结果。微信图片_20211129092521.png

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
无监督学习 聚类分析③
确定最佳聚类数目 Nbclust包 Nbclust包是《R语言实战》上一个包,定义了几十个评估指标,聚类数目从2遍历到15(自己设定),然后通过这些指标看分别在聚类数为多少时达到最优,最后选择指标支持数最多的聚类数目就是最佳聚类数目。
750 0
Python编程语言学习:仅需一行代码构造特殊列表之重复元素列表、等差数字列表等之详细攻略
Python编程语言学习:仅需一行代码构造特殊列表之重复元素列表、等差数字列表等之详细攻略
17 0
2017上半年无监督特征学习研究成果汇总
无监督学习是人工智能时代核心技术,今天我们就来盘点一下2017上半年无监督学习出现了那些重要的研究成果。
1320 0
《Scikit-Learn与TensorFlow机器学习实用指南》第15章 自编码器
第15章 自编码器 来源:ApacheCN《Sklearn 与 TensorFlow 机器学习实用指南》翻译项目 译者:@akonwang 校对:@飞龙 自编码器是能够在无监督的情况下学习输入数据(叫做编码)的人工神经网络(即,训练集是未标记)。
1166 0
阿里云服务器如何登录?阿里云服务器的三种登录方法
购买阿里云ECS云服务器后如何登录?场景不同,阿里云优惠总结大概有三种登录方式: 登录到ECS云服务器控制台 在ECS云服务器控制台用户可以更改密码、更换系.
13885 0
Python 爬虫 URL 编码和 GETPOST 请求 | 学习笔记
快速学习 Python 爬虫 URL 编码和 GETPOST 请求
19 0
字符编码|学习笔记
快速学习 字符编码
8 0
【HEVC学习与研究】43、HEVC变换编码的实现
【变换和量化是整个视频编码技术系列中理论性和研究性较强的一部分,本文暂时不去研究变换的原理、推导过程等,只是调试一下在参考代码中对预测残差进行变换的实现过程。
1283 0
1946
文章
0
问答
文章排行榜
最热
最新
相关电子书
更多
《2021云上架构与运维峰会演讲合集》
立即下载
《零基础CSS入门教程》
立即下载
《零基础HTML入门教程》
立即下载