GAN诞生记:最火的AI模型,来自一群博士的酒后争吵

简介:
本文来自AI新媒体量子位(QbitAI)

640?wx_fmt=jpeg&wxfrom=5&wx_lazy=1


费曼去世时,他教室里的黑板写着:“我无法理解自己创造不出来的事物。”

这句名言被Ian Goodfellow在解释他正在谷歌大脑进行的研究时所借用。但这次,Goodfellow指的不是他自己,也不是谷歌内部的任何一个人,而是机器。

“AI理解不了自己不能创造的东西。”Goodfellow说。

GAN

离开OpenAI回到谷歌之后,Goodfellow成立了一个全新的小组来对生成模型进行研究。生成模型,简单来说就是对影像、声音以及对现实世界的一切其他“表示”(representations)进行创造的系统,Goodfellow认为,它将成为通往各种形式人工智能的一条重要路径。

“如果AI学会了构想现实世界中的种种细节——比如现实中的图像和声音,这将帮助AI更好地理解现实世界的结构、框架。”Goodfellow解释说,“AI也将更容易去理解它的所见所闻。”

2014年,Goodfellow还是蒙特利尔大学的一名博士生。在微醉与同学进行了一次论争后,Goodfellow在酒吧里想出了名为“生成对抗网络”(GAN)的AI技术。这是种非常奇妙的想法:用一个AI对现实世界的图像进行创造,再用另一个AI去分析结果并对图像的真伪进行识别。

“你可以将二者的关系想象成一个艺术家和一个文艺批评家。”Goodfellow说,“作为艺术家,生成模型希望愚弄艺术批评家,让后者认为它画出来的东西是真实的。”因为“艺术批评家”如此努力地将这些“画”辨认为假,“艺术家”就慢慢学会了摹拟那些真的东西,而这原本是只靠它自己所不能做到的。

在这样的过程中,这两种神经网络会推动着AI向前进步,直到AI不再需要人类作为自己的老师。

Facebook的AI研究负责人杨立昆(Yann LeCun)将GAN称作“过去20年内在深度学习上最酷的想法”。Goodfellow的想法在很大程度上还处在发展之中,但这些想法已经在AI的圈子内迅速传播。包括杨立昆在内的很多研究者都认为,这些想法将会促成“无监督学习”的实现。

斗酒Code百行

640?wx_fmt=jpeg&wxfrom=5&wx_lazy=1

 Ian Goodfellow

Goodfellow构思出这个想法时,是在加拿大蒙特利尔一家名叫“三个酿酒师”的酒吧里。当时,他和一些同学来为刚刚完成博士学业的Razvan Pascanu送行。其中一位同学向大家描述了一项新的研究计划——将图像上的所有内容都识别成数学元素,然后将这些数据输入机器,使后者能创造新的图像。

此时,已经微醺的Goodfellow说,这种方法永远不会奏效,因为需要考虑的数据实在太多了,没有人能把它们全部记录下来。也是在这个时候,Goodfellow想出了他认为更好的办法:能够教会机器创造现实图像的神经网络。

Goodfellow确信,如果要用一个神经网络创造图像,那么就可以用另一个神经网络扮演它的对手来判断图像的真伪,并将这些判断结果反馈给第一个网络。最终,第一个神经网络将学会足以乱真的假图像。

一场争论就这么发生了,那位同学同样坚如磐石地认为Goodfellow的办法不会有用。于是,Goodfellow当晚就回家做了一个东西出来。“我回家时还是醉着的,而我的女朋友那时已经睡着了。我坐在那想的只有:我的朋友在酒吧里说的是错的!”他回忆说,“我熬夜在自己的笔记本电脑上写出了GAN。”结果代码第一次工作就成功了。

“那非常幸运。因为如果那没有奏效,我可能就要放弃这个想法了。”Goodfellow说。

后来他和几位研究者发表了一篇阐述这种想法的论文。在那三年之后,已经有成百上千的论文对这个概念进行了阐发。在第一篇论文里,两个神经网络制作出了一个能生成真实手写数字的系统。现在,研究者们将这种想法应用在照片上——从一只猫,到龙卷风甚至整个星系。这种技术甚至可以用来进行天文实验和模拟粒子物理。

但这目前仍然非常难以实现。它不光是对一个神经网络的训练,而是要在两个神经网络上同时进行。Goodfellow在谷歌成立专注于GANs的研究团队,希望对这种过程进行精炼。

结果远比预期的要好,它不仅能用于生成图像和声音,还能用来识别图像和声音,而这只需要很少来自人类方面的帮助。“这些模型学会了理解世界的框架。”Goodfellow解释说,“这同样能帮助系统在不需要被精确告知的情况下学习。”

无监督学习在今天还未成真,而GANs可以促进它的实现。如今,神经网络可以通过分析几百万张猫的照片来对一只猫进行识别,但人类必须十分谨慎地对那些猫的照片进行标注。人仍然非常多地参与到其中,而人的偏见在训练AI的过程中发挥了多大的作用同样是一个问题。LeCun这样的研究者正在推动系统向无监督学习状态演进,而这一旦实现,也将大大加速AI的进化。

开端

但那只是一个开始,GAN带来了很多其他的可能性。南加州大学的AI研究院David Kale相信,这个创意可以帮助他和同事们在不侵犯患者隐私的情况下开发医疗AI。GAN可以制造假的医疗记录,让机器学习系统在其上进行训练,不需要真实数据。

“与其把真实的患者记录扔在互联网上让各种人用,我们为什么不在那些记录的基础上训练一个GAN,然后用它生成一个能够以假乱真的虚拟的数据集开放给开发者呢?”

尽管很多研究者都在围绕GAN进行探索,但据说Goodfellow坚持要特别在Google建立他的团队。他是离开Google去了人工智能非营利机构OpenAI的研究人员之一,但不到一年之后,他就回到了Google,因为那是他的伙伴们所在的地方。

“把整天时间花在电话会议上,并不好玩,也并不是完成工作的最佳方式。”

分享很重要,紧密的合作也很重要。对AI研究者来说、对神经网络来说,都是这样。

本文作者:唐旭 李林
原文发布时间:2017-04-12
相关文章
|
18小时前
|
机器学习/深度学习 人工智能 自然语言处理
模型可解释性在AI和机器学习中至关重要,尤其在金融、医疗和司法等领域。
【6月更文挑战第28天】模型可解释性在AI和机器学习中至关重要,尤其在金融、医疗和司法等领域。它建立信任、揭示偏见、辅助错误排查和满足法规要求。方法包括使用简单模型、局部解释(如LIME)、全局解释(如PDP、SHAP)、模型可视化和注意力机制。通过跨学科研究,兼顾效率与透明度,打造可信的智能系统。
7 0
|
2天前
|
机器学习/深度学习 人工智能 算法
OpenAI发布全新AI视频模型Sora:引领视频创作新纪元
OpenAI发布全新AI视频模型Sora:引领视频创作新纪元
|
2天前
|
机器学习/深度学习 人工智能 算法
【让AI写高考AI话题作文】看各大模型的回答
【让AI写高考AI话题作文】看各大模型的回答
|
2天前
|
人工智能 自然语言处理 测试技术
巨擘之舞:探索AI大模型的发展历程与特性比较
巨擘之舞:探索AI大模型的发展历程与特性比较
|
4天前
|
机器学习/深度学习 人工智能 自然语言处理
AI大模型的核心成功因素通常可以归结为三大要素:大数据、大算力和强算法。
AI大模型的核心成功因素通常可以归结为三大要素:大数据、大算力和强算法。
23 0
|
4天前
|
机器学习/深度学习 人工智能 自然语言处理
AI大模型的核心
AI大模型的核心
15 0
|
6天前
|
机器学习/深度学习 人工智能 算法
AI - 决策树模型
决策树算法起源于古希腊的逻辑推理,20世纪在军事策略研究中首次提出。它通过构建树形模型模拟决策过程,每个节点代表一个属性判断,分支代表可能结果。ID3算法基于信息增益,C4.5则引入信息增益率,解决了ID3偏好多值属性的问题,还能处理缺失值。CART决策树适用于分类和回归任务,使用基尼系数或信息增益来选择特征。在Python的`sklearn`库中,`DecisionTreeClassifier`实现决策树分类,通过参数如`criterion`、`max_depth`等控制模型。
|
6天前
|
机器学习/深度学习 资源调度 算法
AI-逻辑回归模型
逻辑回归是一种用于分类问题的统计模型,尤其适合二分类任务,如预测广告点击率、判断邮件是否为垃圾邮件、评估疾病风险和预测信用卡违约等。模型通过线性方程(logit函数)结合Sigmoid函数将结果映射到0到1区间,表示概率。损失函数通常使用交叉熵,优化时常用梯度下降。评估指标包括ROC曲线和AUC,后者衡量模型整体性能,值越接近1表示性能越好。在不平衡数据集上,可使用`class_weight='balanced'`来调整样本权重。
|
6天前
|
机器学习/深度学习 算法 大数据
AI-线性回归模型(二)
这篇内容介绍了梯度下降法在机器学习中的应用,特别是在线性回归中的角色。它是一种迭代优化算法,用于找到损失函数最小值的参数。全梯度下降(FGD)使用所有数据计算梯度,适合大数据但计算成本高;随机梯度下降(SGD)随机选取样本,速度快但可能收敛到局部最小值。随机平均梯度下降(SAG)结合两者的优点,提高收敛速度。评估线性回归模型的性能通常使用平均绝对误差、均方误差和均方根误差。文中还展示了波士顿房价预测案例,使用SGDRegressor进行训练,并讨论了学习率的影响。最后提到了如何使用`joblib`库保存和加载模型。
|
6天前
|
机器学习/深度学习 API Python
AI-线性回归模型(一)
线性回归是用于分析变量间线性关系的统计方法,常见于房价预测、销售额预测和贷款额度评估。通过最小二乘法寻找最佳直线方程y=wx+b,其中y是因变量,x是自变量,w和b是模型参数。在Python的`sklearn`库中,使用`LinearRegression`类可构建模型,通过`fit`训练和`predict`进行预测。损失函数通常用平方损失(均方误差)衡量预测误差,优化目标是最小化这些误差的平方和。

热门文章

最新文章