【英伟达NIPS论文AI脑洞大开】用GAN让晴天下大雨,小猫变狮子,黑夜转白天

简介: 英伟达最近GAN相关研究和应用方面进展迅猛。在最新的一项工作中,英伟达研究人员利用生成对抗网络(GAN)和无监督学习,创建了一个拥有“想象力”系统,仅需一次数据输入,即可模拟出其他情形,比如将冬日拍摄的照片想象为夏日,将猫想象为狮子、老虎,大大减少网络训练所需的标签数据。

只“看”一次,把猫“想象”成狮子,冬日变为夏天

“在无监督学习中使用GAN并不是新鲜事,但我们取得了前所未有的成果,”英伟达在最新发表的一篇官博文章中表示。不仅如此,这项工作还能有效减少训练神经网络所需的标注数据数量。

这项成果指的是今年NIPS上英伟达的论文《无监督图像翻译网络》(Unsupervised Image-to-Image Translation Networks)。在这篇论文中,研究人员展示了一款具有“想象力”的机器学习系统,可以把图像中的白天转换成黑夜,猫变成狮子,等等。

8db81d2d0be6ae967bd2df07e55284fc3fd76022

研究人员首先假设,相似的图像都享有一个共同的latent空间,都可以映射为这个共享空间中的同一个latent表示。基于这个假设,他们提出了基于生成对抗网络(GAN)和变分自编码器(VAE)的一个框架。在图像转换(翻译)的过程中,首先,使用VAE-GAN对每个图像域进行建模。对抗训练目标与权重共享约束相互作用,强制共享latent空间在两个域中生成相应的图像,然后VAE将翻译后的图像与各个域中的输入图像相关联,最后就得到了“想象结果”。

f2613025d2b4f107f360f6f5e8440a6798f2dce4

论文中不同种类的狗的转换结果,左边一列是输入

英伟达的研究人员表示,这个框架在多种无监督图像翻译问题中,都生成了高清质量的图像。此外,将这个框架应用于领域自适应(domain adaptation)问题,也在基准数据集上取得了state-of-the-art的结果。

最关键的是,在高质量标注数据稀缺的当下,这种方法大大减少了网络训练所需的标签数据,进而减少AI的训练时间。研究人员表示,“以无人驾驶为例,只需捕获一次训练数据,便可在不同的虚拟情景下使用,如晴天、多云、下雪天、雨天、夜晚。”

无需预训练网络,合成2048×1024图像,添一棵树,加上胡子,任君编辑

类似的,就在上周,英伟达和伯克利合作,发布了一个名为pix2pixHD的项目。Pix2pixHD利用条件GAN进行高清图像合成和处理(分辨率2048x1024),输入语义标注图,系统能够生成逼真的现实世界图像,例如街景、人脸。

606661b021dfe0bae21f6c8175d5f8e7a58285d7

图:上方是输入的语义地图,下方是pix2pixHD合成图像

作者在论文《使用条件GAN进行高清图像合成和语义操纵》(High-Resolution Image Synthesis and Semantic Manipulation with Conditional GANs)中介绍了他们的方法。他们提出了一种多尺度的生成器和判别器架构,结合新的对抗学习目标函数。实验结果表明,条件GAN能够合成高分辨率、照片级逼真的图像,不需要任何手工损失或预训练的网络。

79c9da23790f3d59d6aef7cf358c5e3c4dcc2af5

不仅如此,作者还提出了一种方法,让用户能够交互式地编辑物体的外观,大大丰富了生成的数据类型。例如,在下面的视频中,你可以发现用户能够选择更换街景中车辆的颜色和型号,给街景图增加一些树木,或者改变街道类型(例如将水泥路变成十字路)。类似地,利用语义标注图合成人脸时,给定语义标注的人脸图像,你可以选择组合人的五官,调整大小肤色,添加胡子等。

作者在文中指出,他们的方法可以扩展到其他领域,尤其是医疗图像这样缺乏预训练网络的领域。

a6f9c7eaf1c6bc44b5b4ce45c8ffcd5f34aa9f44

在这里,还不得不提一下英伟达此前在官网发表了一篇已经提交给 ICLR 2018 的论文“Progressive Growing of GANs for Improved Quality, Stability, and Variation”,提出了一种以渐进增大的方式训练GAN的方法。作者表示,这不仅稳定了训练,还生成了迄今质量最高的GAN生成的图像。

例如上面的人像,忽略背景,几乎与真实照片无异。

英伟达:积极推进GAN在医疗图像和自动驾驶落地

这些研究充分证明了生成模型的潜力,尤其是在无监督的情况下。现在的英伟达,已经远远不止一家专注游戏的GPU公司,一直在试图将其硬件推向边缘设备,并使用人工智能作为实现这一点的手段和工具。

上周,英伟达宣布与通用电气医疗(GE Healthcare)达成协议,通过Revolution Frontier CT,更新全球部署的500,000台医疗成像设备,以便在医院进行更好的成像。而英伟达在自动驾驶领域更是布局已久,今年10月还发布了全球首款AI自动驾驶平台,瞄准L5级自动驾驶。而上述研究无一例外,均在医疗图像和自动驾驶领域有应用潜力。

英伟达第三季度财报显示,截至10月29日的第三季度英伟达营收26.4亿美元,同比增长31.5%,再次创新记录。其中,数据中心业务达到5.01亿美元,汽车业务收入1.44亿美元,增长至13.3%。截至目前,英伟达依靠其在人工智能和无人驾驶方面的优势,股价已经上涨了约92%。


原文发布时间为:2017-12-6

本文作者:费欣欣 常佩琦

本文来自云栖社区合作伙伴新智元,了解相关信息可以关注“AI_era”微信公众号

原文链接:【英伟达NIPS论文AI脑洞大开】用GAN让晴天下大雨,小猫变狮子,黑夜转白天

相关文章
|
25天前
|
机器学习/深度学习 人工智能 自然语言处理
Agent Laboratory:AI自动撰写论文,AMD开源自动完成科研全流程的多智能体框架
Agent Laboratory 是由 AMD 和约翰·霍普金斯大学联合推出的自主科研框架,基于大型语言模型,能够加速科学发现、降低成本并提高研究质量。
211 23
Agent Laboratory:AI自动撰写论文,AMD开源自动完成科研全流程的多智能体框架
|
25天前
|
人工智能
Scaling Laws终结,量化无用,AI大佬都在审视这篇论文
《Scaling Laws for Precision》论文提出“精度感知”的扩展理论,将精度纳入模型发展的核心考量,弥补了传统AI模型发展理论忽视精度的不足。研究发现低精度训练会降低模型的有效参数计数,影响性能,并预测了低精度训练和后训练量化带来的损失。作者通过大量实验验证了理论的可靠性和有效性,为计算资源有限情况下如何平衡模型规模和精度提供了新思路。然而,该研究也引发了关于精度与性能权衡复杂性的争议。
73 27
|
3月前
|
机器学习/深度学习 人工智能 语音技术
Fugatto:英伟达推出的多功能AI音频生成模型
Fugatto是由英伟达推出的多功能AI音频生成模型,能够根据文本提示生成音频或视频,并修改现有音频文件。该模型基于增强型的Transformer模型,支持复杂的组合指令,具有强大的音频生成与转换能力,广泛应用于音乐创作、声音设计、语音合成等领域。
154 1
Fugatto:英伟达推出的多功能AI音频生成模型
|
3月前
|
人工智能 自然语言处理 知识图谱
英伟达nGPT重塑Transformer,AI训练速度暴增20倍!文本越长,加速越快
英伟达提出nGPT(Normalized Transformer),通过单位范数归一化和超球面上的表示学习,显著提升了Transformer模型的训练速度和性能。实验显示,nGPT在处理4k长度序列时,训练速度比传统Transformer快10倍,且在多个下游任务中表现出色。论文地址:https://arxiv.org/pdf/2410.01131
58 12
|
4月前
|
人工智能 自然语言处理 算法
几款宝藏级AI阅读工具推荐!论文分析、文档总结必备神器!
【10月更文挑战第8天】几款宝藏级AI阅读工具推荐!论文分析、文档总结必备神器!
282 1
|
5月前
|
人工智能 数据中心 芯片
【通义】AI视界|英特尔推出新一代AI芯片挑战英伟达
今日科技热点包括:OpenAI CTO 米亚·穆拉蒂宣布离职,Meta发布多功能Llama 3.2语言模型,扎克伯格因Meta的人工智能策略使个人资产突破2000亿美元,星纪魅族展示AI生态新品如Lucky 08 AI手机及智能穿戴设备,以及英特尔发布Xeon 6 CPU和Gaudi 3 AI加速器挑战英伟达市场地位。这些动态展现了人工智能领域快速发展的趋势及其对科技巨头的影响。
|
5月前
|
人工智能 开发者
Nature曝惊人内幕:论文被天价卖出喂AI!出版商狂赚上亿,作者0收入
【9月更文挑战第8天】《自然》杂志近日揭露,学术出版商如泰勒·弗朗西斯与微软签订千万美元合约,及威利获高额报酬,将论文提供给科技巨头训练AI模型,引发学界对版权与收益分配的热议。此现象反映了AI对高质量数据的渴求,但亦使研究人员担忧成果被无偿商用,且可能影响学术独立性。尽管AI训练使用学术资源能提升模型科学性,助力科研进展,但如何保障作者权益及维持学术纯粹性仍是亟待解决的问题。https://www.nature.com/articles/d41586-024-02599-9
93 4
|
9月前
|
机器学习/深度学习 人工智能 数据挖掘
ICLR 49.9%论文疑有AI审稿
【5月更文挑战第20天】ICLR会议上一篇研究引发关注,推测近50%的论文可能由AI进行审稿,挑战传统审稿流程。研究者运用机器学习分析历史审稿数据,发现可能的AI审稿模式。该研究提出AI审稿可减轻审稿人负担,提高效率,但也面临证据不足、理解复杂学术概念限制及审稿行为多样性等问题。学术界需谨慎评估AI在审稿中的角色,以确保质量和公正性。[论文链接](https://arxiv.org/abs/2405.02150)
121 1
|
9月前
|
人工智能
AI大咖说-如何评价论文的创新性
《AI大咖说》探讨论文创新性,强调新意、有效性和领域研究问题的重要性。创新点在于用新颖方法有效解决研究问题。评价公式:价值=问题大小*有效性*新意度。该观点源于《跟李沐学AI》视频,提供1-100分评分标准,助力评估论文价值。5月更文挑战第14天
128 3
|
9月前
|
机器学习/深度学习 人工智能 算法
AI大咖说-如何有效的读论文
# AI大咖李沐教你高效读论文 李沐,亚马逊资深首席科学家,MXNet框架作者,推荐其在B站的“跟李沐学AI”。他建议读论文分三步:粗读(标题、摘要、结论)、快速浏览(整体理解)和精读(深入细节)。通过这三遍阅读,判断论文是否相关,理解解决问题的方法和实验。5月更文挑战第13天
104 0

热门文章

最新文章