论文笔记之:Semi-Supervised Learning with Generative Adversarial Networks

简介: Semi-Supervised Learning with Generative Adversarial Networks      引言:本文将产生式对抗网络(GAN)拓展到半监督学习,通过强制判别器来输出类别标签。

 

Semi-Supervised Learning with Generative Adversarial Networks

  

  引言:本文将产生式对抗网络(GAN)拓展到半监督学习,通过强制判别器来输出类别标签。我们在一个数据集上训练一个产生式模型 G 以及 一个判别器 D,输入是N类当中的一个。在训练的时候,D被用于预测输入是属于 N+1的哪一个,这个+1是对应了G的输出。这种方法可以用于创造更加有效的分类器,并且可以比普通的GAN 产生更加高质量的样本。 

  将产生式模型应用于半监督学习并非一个新颖的idea,Kingma et al. 在NIPS 2014 就已经探索过此类方法。此处,我们尝试着去做一些和GANs类似的事情,通过D学习到的feature可以在分类器中重复利用。这个表明了学习到的表示的有用性,但是其有几种不需要的属性:

  1. 首先,通过D学到的表示可以帮助改进C并不奇怪---看起来这个很合理,并且应该是work的。然而,看起来学习好的C可以帮助改善D的性能。

  2. 利用 D 学习到的表示不能同时训练 C 和 G。

 

  本文的motivation就是:如果通过改善 D可以改善C,并且改善 C 可以改进 D(which we know improves G)然后我们可以结合一些反馈循环的优势,所有的3个成分都可以相互迭代的相互促进相互学习。 

  

  受到上述原因的启发,本文的贡献点主要有:

  首先,提出将GANs进行拓展,允许其同时学习一个产生式模型和一个分类器。称为:Semi-Supervised GAN, or SGAN. 

  第二,表明了 SGAN改善了分类性能。  

  第三,表明 SGAN 可以明显的改善产生样本的质量 和 减少训练时间。 

 

  The SGAN Model

  判别器网络 D 在常规的 GAN 输出一个预测概率,表明输入图像是从数据产生器得来的概率。 通常是通过前向反馈网络,后面跟着一个 single sigmoid unit, 但是也可以用一个 softmax output layer with one unit for each of the classes [real, fake]. 一旦这个改进完成,就可以看出,D 会有 N+1 个输出单元,分别对应【class-1, class-2, class-N, fake】。在这种情况下,D 就扮演了 C 的角色,我们称之为 D/C。

 

  网络的训练主要还是 Min-Max 的过程:

 

  

 

 

 

 


  我的感受  

  这个文章左下角有标注:To appear in the Data Efficient Machine Learning workshop at ICML 2016. 篇幅较短,主要是考虑了将 GANs 应用于半监督图像分类的思路。

  考虑了三个成分:产生器 G,判别器 D,分类器 C 。

  从上图中产生的图像来看,效果还是不错的,分类的精度也有提升。 

  看来这种相互促进的网络设计方法,值得我们参考和借鉴。 

  无网络,不对抗!!!

 

  

 

 

相关文章
|
4天前
|
Python
[Knowledge Distillation]论文分析:Distilling the Knowledge in a Neural Network
[Knowledge Distillation]论文分析:Distilling the Knowledge in a Neural Network
11 1
|
机器学习/深度学习 搜索推荐 算法
Learning Disentangled Representations for Recommendation | NIPS 2019 论文解读
近年来随着深度学习的发展,推荐系统大量使用用户行为数据来构建用户/商品表征,并以此来构建召回、排序、重排等推荐系统中的标准模块。普通算法得到的用户商品表征本身,并不具备可解释性,而往往只能提供用户-商品之间的attention分作为商品粒度的用户兴趣。我们在这篇文章中,想仅通过用户行为,学习到本身就具备一定可解释性的解离化的用户商品表征,并试图利用这样的商品表征完成单语义可控的推荐任务。
23694 0
Learning Disentangled Representations for Recommendation | NIPS 2019 论文解读
|
4月前
|
存储 缓存 安全
C learning_4
C learning_4
|
4月前
|
存储 C语言 C++
|
9月前
|
机器学习/深度学习 算法
Keyphrase Extraction Using Deep Recurrent Neural Networks on Twitter论文解读
该论文针对Twitter网站的信息进行关键词提取,因为Twitter网站文章/对话长度受到限制,现有的方法通常效果会急剧下降。作者使用循环神经网络(recurrent neural network,RNN)来解决这一问题,相对于其他方法取得了更好的效果。
61 0
|
机器学习/深度学习 自然语言处理 数据挖掘
Unsupervised Learning | 对比学习——MoCo
Unsupervised Learning | 对比学习——MoCo
581 0
Unsupervised Learning | 对比学习——MoCo
|
机器学习/深度学习 关系型数据库
GAN:生成对抗网络 Generative Adversarial Networks
GAN:生成对抗网络 Generative Adversarial Networks
84 2
GAN:生成对抗网络 Generative Adversarial Networks
|
机器学习/深度学习 算法 数据可视化
再介绍一篇最新的Contrastive Self-supervised Learning综述论文(三)
再介绍一篇最新的Contrastive Self-supervised Learning综述论文(三)
228 0
再介绍一篇最新的Contrastive Self-supervised Learning综述论文(三)
|
存储 数据挖掘 知识图谱
再介绍一篇最新的Contrastive Self-supervised Learning综述论文(二)
再介绍一篇最新的Contrastive Self-supervised Learning综述论文(二)
173 0
再介绍一篇最新的Contrastive Self-supervised Learning综述论文(二)
|
机器学习/深度学习 传感器 编解码
再介绍一篇最新的Contrastive Self-supervised Learning综述论文(一)
再介绍一篇最新的Contrastive Self-supervised Learning综述论文(一)
336 0
再介绍一篇最新的Contrastive Self-supervised Learning综述论文(一)