图像生成终结扩散模型,OpenAI「一致性模型」加冕!GAN的速度一步生图,高达18FPS(1)

本文涉及的产品
模型在线服务 PAI-EAS,A10/V100等 500元 1个月
交互式建模 PAI-DSW,5000CU*H 3个月
模型训练 PAI-DLC,5000CU*H 3个月
简介: 图像生成终结扩散模型,OpenAI「一致性模型」加冕!GAN的速度一步生图,高达18FPS




 新智元报道  

编辑:桃子 好困

【新智元导读】OpenAI重磅研究「一致性模型」项目开源,不仅一步瞬时生图,还能图像编辑,连最能打的扩散模型也得让步了。


ChatGPT、Midjourney的火爆,让其背后技术扩散模型成为「生成式AI」革命的基础。甚至,还受到业内研究者极力追捧,其风头远远盖过曾经逆袭天下的GAN。就在扩散模型最能打的时候,竟有网友突然高调宣布:

Diffusion models时代终结!Consistency models加冕为王!

这究竟是怎么回事???原来,OpenAI曾在3月发布了一篇重磅、且含金量十足的论文「Consistency Models」,并在今天在GitHub上公开了模型权重。

论文地址:https://arxiv.org/abs/2303.01469

项目地址:https://github.com/openai/consistency_models「一致性模型」在训练速度上颠覆了扩散模型,能够『一步生成』,比扩散模型更快一个数量级完成简单任务,而且用到的计算量还要少10-2000倍。那么,这到底有多快呢?有网友表示,相当于在大约3.5秒内生成64张分辨率为256x256的图像,也就是每秒18张而且,最新模型最主要优势之一,就是不需要「对抗训练」就能实现高质量样本。这篇研究由图灵三巨头之一Hinton学生,AlexNet的主要推动者Ilya Sutskever亲笔撰写,还有研发DALL-E 2的华人学者Mark Chen、Prafulla Dhariwal,研究内容有多硬核可想而知。甚至还有网友称,「一致性模型」才是未来的研究方向,相信我们未来一定会嘲笑扩散模型。所以,扩散模型也要不存在了?

更快,更强,无需对抗


目前,这篇论文还是未定稿版本,研究还在继续中。2021年,OpenAI首席执行官Sam Altman曾撰写了一篇博客,讨论摩尔定律应该如何应用于所有领域。Altman前段时间又在推特上公开谈到了人工智能正在实现「蛙跳」。他表示,「新版摩尔定律可能很快就会出现,宇宙中的智能数量每18个月翻一番。」对于其他人来说,Altman的乐观可能看起来毫无根据。但OpenAI的首席科学家Ilya Sutskever带领团队做出的最新研究,恰恰为Altman的主张提供了强有力的支撑。都说2022年是AIGC元年,是因为许多模型的泉涌背后都是基于扩散模型。扩散模型的大红大紫逐渐取代了GAN,并成为当前业界最有效的图像生成模型,就比如DALL.E 2、谷歌Imagen都是扩散模型。然而,最新提出的「一致性模型」已被证明可以在更短的时间内,输出与扩散模型相同质量的内容。这是因为,这种「一致性模型」采用了类似GAN的单步生成的过程。相比之下,扩散模型采用了一种反复采样的过程,逐步消除图像中的噪声。这种方法虽然让人印象深刻,但需要依赖执行一百到数千步的步骤才能取得良好的结果,不仅操作成本高,而且速度慢。扩散模型的持续迭代生成过程,比「一致性模型」消耗的计算量要多10-2000倍,甚至减慢了训练过程中的推理速度。「一致性模型」强大之处在于,必要时能够在样本质量和计算资源两者间进行权衡。此外,这个模型还能够执行零样本的数据编辑任务,比如图像修补,着色或笔触引导的图像编辑。

使用在LSUN Bedroom 256^256上通过蒸馏训练的一致性模型进行零样本图像编辑「一致性模型」还能在使用数学方程时将数据转换成噪声,并确保结果输出对于相似数据点是一致的,从而实现它们之间的平滑过渡。这类方程称为「概率流常微分方程」(Probability Flow ODE)。这项研究将这类模型命名为「一致性」,因为它们在输入数据和输出数据之间保持了这种自洽性。这些模型既可以在蒸馏模式(distillation mode)下训练,也可以在分离模式(isolation mode)下训练。在蒸馏模式中,模型能够从预训练的扩散模型中提取数据,使其能够在单个步骤中执行。在分离模式下,模型完全不依赖于扩散模型,从而使其成为一种完全独立的模型。值得注意的是,这两种训练方法都将「对抗训练」从中删除。不得不承认,对抗训练确实会产生更强大的神经网络,但其过程是较为迂回。即它引入一组被错误分类的对抗性样本,然后用正确的标签重新训练目标神经网络。因此,对抗训练这种方式也会导致深度学习模型预测的准确性略有下降,甚至它可能在机器人应用中带来意想不到的副作用。实验结果表明,用于训练「一致性模型」的蒸馏技术优于用于扩散模型的。「一致性模型」在 CIFAR10图像集和 ImageNet 64x64数据集上,分别获得了3.55和6.20的最新最先进的FID分数。


这简直就是实现了,扩散模型的质量 + GAN的速度,双重完美。2月份,Sutskever曾发布了一条推文暗示,

许多人认为伟大的AI进步必须包含一个新的「想法」。但事实并非如此:许多AI的最伟大进步都是以这样的形式出现的,嗯,原来这个熟悉的不起眼的想法,如果做得好,会变得令人难以置信。

最新研究正好证明了这一点,基于旧概念的微调可以改变一切。


相关文章
|
16天前
|
机器学习/深度学习 人工智能 并行计算
"震撼!CLIP模型:OpenAI的跨模态奇迹,让图像与文字共舞,解锁AI理解新纪元!"
【10月更文挑战第14天】CLIP是由OpenAI在2021年推出的一种图像和文本联合表示学习模型,通过对比学习方法预训练,能有效理解图像与文本的关系。该模型由图像编码器和文本编码器组成,分别处理图像和文本数据,通过共享向量空间实现信息融合。CLIP利用大规模图像-文本对数据集进行训练,能够实现zero-shot图像分类、文本-图像检索等多种任务,展现出强大的跨模态理解能力。
58 2
|
2月前
|
机器学习/深度学习 人工智能 UED
OpenAI o1模型:AI通用复杂推理的新篇章
OpenAI发布了其最新的AI模型——o1,这款模型以其独特的复杂推理能力和全新的训练方式,引起了业界的广泛关注。今天,我们就来深入剖析o1模型的特点、背后的原理,以及一些有趣的八卦信息。
306 73
|
1月前
|
存储 JSON API
Python| 如何使用 DALL·E 和 OpenAI API 生成图像(1)
Python| 如何使用 DALL·E 和 OpenAI API 生成图像(1)
36 7
Python| 如何使用 DALL·E 和 OpenAI API 生成图像(1)
|
25天前
|
人工智能 自然语言处理 安全
【通义】AI视界|Adobe推出文生视频AI模型,迎战OpenAI和Meta
本文精选了过去24小时内的重要科技新闻,包括微软人工智能副总裁跳槽至OpenAI、Adobe推出文本生成视频的AI模型、Meta取消高端头显转而开发超轻量设备、谷歌与核能公司合作为数据中心供电,以及英伟达股价创下新高,市值接近3.4万亿美元。这些动态展示了科技行业的快速发展和激烈竞争。点击链接或扫描二维码获取更多资讯。
|
26天前
|
JSON API 数据格式
Python| 如何使用 DALL·E 和 OpenAI API 生成图像(2)
Python| 如何使用 DALL·E 和 OpenAI API 生成图像(2)
44 0
Python| 如何使用 DALL·E 和 OpenAI API 生成图像(2)
|
2月前
|
人工智能 Serverless API
一键服务化:从魔搭开源模型到OpenAI API服务
在多样化大模型的背后,OpenAI得益于在领域的先发优势,其API接口今天也成为了业界的一个事实标准。
一键服务化:从魔搭开源模型到OpenAI API服务
|
2月前
|
搜索推荐 算法
模型小,还高效!港大最新推荐系统EasyRec:零样本文本推荐能力超越OpenAI、Bert
【9月更文挑战第21天】香港大学研究者开发了一种名为EasyRec的新推荐系统,利用语言模型的强大文本理解和生成能力,解决了传统推荐算法在零样本学习场景中的局限。EasyRec通过文本-行为对齐框架,结合对比学习和协同语言模型调优,提升了推荐准确性。实验表明,EasyRec在多个真实世界数据集上的表现优于现有模型,但其性能依赖高质量文本数据且计算复杂度较高。论文详见:http://arxiv.org/abs/2408.08821
53 7
|
28天前
|
API
2024-05-14 最新!OpenAI 新模型 GPT-4 omni 简单测试,4o速度确实非常快!而且很便宜!
2024-05-14 最新!OpenAI 新模型 GPT-4 omni 简单测试,4o速度确实非常快!而且很便宜!
35 0
|
2月前
|
机器学习/深度学习 人工智能 供应链
【通义】AI视界|OpenAI的“草莓”模型预计两周内上线!像人类一样思考!
本文介绍了近期科技领域的五大亮点:OpenAI即将推出的新一代AI模型“草莓”,具备高级推理能力;亚马逊测试AI技术加速有声读物生产,通过语音克隆提高效率;Kimi API新增联网搜索功能,拓宽信息来源;顺丰发布物流行业专用大语言模型“丰语”,提升工作效率;钉钉推出“AI班级群”功能,改善家校沟通体验。更多详情,请访问[通义官网]。
|
3月前
|
人工智能 机器人
OpenAI推出了其最强大模型的迷你版本
OpenAI推出了其最强大模型的迷你版本
OpenAI推出了其最强大模型的迷你版本