开发者社区> 技术小能手> 正文
阿里云
为了无法计算的价值
打开APP
阿里云APP内打开

Ian Goodfellow:生成对抗网络 GAN 的公式是怎样推导出来的

简介: 昨天,谷歌大脑研究科学家、生成对抗网络GAN的提出者Ian Goodfellow在Twitter推荐了他最喜欢的两个机器学习的Theory Hacks,利用这两个技巧,他在著名的GAN论文中推导了公式。
+关注继续查看

昨天,谷歌大脑研究科学家、《深度学习》的作者之一Ian Goodfellow在Twitter推荐了他最喜欢的两个机器学习“黑魔法”(Theory Hack)。Ian Goodfellow还是生成对抗网络GAN的提出者,利用这两个技巧,他在著名的GAN论文中推导了一个公式。

a6ed7505beca239050eb8d2ef4492d51821b1fc9

很多时候,我们想用代数/微积分来分析神经网络的最优行为。神经网络模型通常非常复杂,用代数方法来实现权重衰减或许可行,但想用代数方法来解决神经网络中大多数函数的参数优化问题就会太过复杂。

为了得到一个不那么复杂的模型,一个常见的直觉方法是使用线性模型。线性模型很好,因为它能很好的解决凸优化问题。但线性模型也有缺点:它过于简单,很多神经网络能做的事情线性模型不能做。这样,解决方法就简化了。

Theory Hack#1:将神经网络建模为一个任意函数(因此可以优化所有函数f的空间,而不是特定神经网络架构的参数theta)。与使用参数和特定的架构相比,这种方法非常简洁。

将神经网络视为一个函数,保留了线性模型的主要优点:多种凸函数问题。例如,分类器的交叉熵损失在函数空间中是凸的。

这个假设不是太准确,特别是与线性模型假设相比。但根据万能逼近定理(universal approximator theorem),神经网络可以较好地近似任意函数。

Theory Hack#2:如果你在同一空间优化所有函数时遇到困难,可以将函数想象成一个包含很多项(entries)的向量。评估函数f(x),其中x在R ^ n中,设想成在一个向量中查找f_x,其中x是一个整数索引。

有了Theory Hack#2,现在对函数进行优化就变成了一个常规的微积分问题。这种方法很直观,但不是100%准确。有关更多正式版本和关于何时可以使用的限制信息,请参阅《深度学习》书的19.4.2部分:http://www.deeplearningbook.org/contents/inference.html

利用这两个 theory hack,我和共同作者推导了GAN论文(Generative Adversarial Nets)中的第2个公式:https://papers.nips.cc/paper/5423-generative-adversarial-nets.pdf ...

a88dcb6aacd189254a8f419003040946d45712b7

最后,Convex Optimization 这本书的3.2节有更多这样的theory hacks



原文发布时间为:2018-05-16

本文作者:肖琴

本文来自云栖社区合作伙伴新智元,了解相关信息可以关注“AI_era”。

原文链接:Ian Goodfellow:生成对抗网络 GAN 的公式是怎样推导出来的

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
#yyds干货盘点# 【React工作记录五十七】添加按钮的两种方式
#yyds干货盘点# 【React工作记录五十七】添加按钮的两种方式
31 0
GAN:生成对抗网络 Generative Adversarial Networks
GAN:生成对抗网络 Generative Adversarial Networks
13 0
java安全编码指南之:文件和共享目录的安全性
java安全编码指南之:文件和共享目录的安全性
47 0
#yyds干货盘点# 【React工作记录三十三】react中&&的作用
#yyds干货盘点# 【React工作记录三十三】react中&&的作用
19 0
Java集合框架之 Collection 接口 #yyds干货盘点#
Java集合框架之 Collection 接口 #yyds干货盘点#
42 0
【Ian Goodfellow亲授】GAN论文投稿指南,从了解评审要点开始
每年在机器学习相关的顶会中,有关生成对抗网络GAN的理论和实证研究论文非常多,如何评估这些论文的新颖性,如何评估模型是否有真正的突破,以及如何避免埋没好论文,是值得关注的问题。GAN的提出人、谷歌工程师Ian Goodfellow近日发表一系列推文,谈论这些问题的解决方法,以及他对目前GAN进展的一些忧虑。
1203 0
干货来袭!Redis技术盛宴——阿里云Redis交流会火热召开
2016年5月15日,阿里云Redis用户交流会在阿里巴巴北京国家广告园办公区万松书院火热召开,来自各个行业的Redis技术爱好者齐聚一堂,共同交流探讨最前沿的Redis技术,分享最干货的Redis应用案例。接下来我将为大家介绍交流会现场的精彩内容。
10001 0
+关注
技术小能手
云栖运营小编~
7194
文章
9
问答
来源圈子
更多
+ 订阅
文章排行榜
最热
最新
相关电子书
更多
低代码开发师(初级)实战教程
立即下载
阿里巴巴DevOps 最佳实践手册
立即下载
冬季实战营第三期:MySQL数据库进阶实战
立即下载