英伟达推出免训练即可生成连贯图片的文生图模型ConsiStory

简介: 【2月更文挑战第3天】英伟达推出免训练即可生成连贯图片的文生图模型ConsiStory

5c0995ec1f74c03395e2b1e38af8d7c6.jpg
近日,英伟达公司推出了一项令人瞩目的技术创新,名为ConsiStory。这一创新意味着无需进行繁琐的训练,即可生成连贯的图片,为文生图模型领域带来了一次革命性的突破。当前,文生图模型在生成内容的一致性方面普遍存在问题,主要表现在两个方面:一是无法准确识别和定位图像中的共同主体,二是在不同图像之间无法保持主体的视觉一致性。而ConsiStory的问世,则为解决这一难题提供了一种崭新的思路和解决方案。

ConsiStory采用了一种全新的方法,通过共享和调整模型内部表示,实现了在无需任何训练或调优的情况下保持主体一致性的功能。这项技术的核心模块是SDSA(主体驱动自注意力),它允许在生成的图像批次中共享主体相关的视觉信息,从而确保不同图像中的主体保持一致的外观。SDSA主要扩大了扩散模型中的自注意力层,使得一个图像中的“提示词”不仅可以关注自身图像的输出结果,还可以关注批次中其他图像的主体区域的输出结果。这样一来,主体的视觉特征就可以在整个批次中共享,不同图像中的主体互相"对齐",从而实现了生成图像的连贯性和一致性。

除了SDSA之外,ConsiStory还采用了特征注入技术,进一步增强了主体在细节层面的一致性。特征注入基于扩散特征空间建立的密集对应图,可以在图像之间共享自注意力输出特征。同时,图像中一些相似的优化地方之间也可以共享自注意力特征,这有效确保了主体相关的纹理、颜色等细节特征在整个批次中的一致性。特征注入也使用主体蒙版进行遮蔽,只在主体区域执行特征共享,同时设置相似度阈值,只在足够相似的优化之间执行,以确保生成图像的质量和连贯性。

在保持主体一致性的同时,ConsiStory还提供了保持主题一致性的功能。其中,锚图像提供了主题信息的参考功能,主要用于引导图像生成过程,确保生成的图像在主题上保持一致。锚图像可以是用户提供的图像,也可以是从其他来源获取的相关图像。在生成过程中,模型会参考锚图像的特征和结构,并尽可能地生成与之一致的图像。另外,可重用主体是通过共享预训练模型的内部激活来实现主题一致性的方法。在图像生成过程中,模型会利用预训练模型的内部特征表示来对生成的图像进行对齐,而无需进一步对齐外部来源的图像。这种方式使得生成的图像可以相互关注、共享特征,从而避免了传统方法中需要针对每个主题进行训练的难题,极大地降低了成本和时间投入。

ConsiStory的问世将极大地促进文生图模型在生成连贯图片方面的应用。它不仅具有重要的实用价值,还具有广阔的推广前景。在图像生成、艺术创作、设计等领域,ConsiStory都有着广泛的应用前景。例如,在电影、动漫等领域,可以利用ConsiStory快速生成连续、连贯的场景图像,节省了大量的人力和时间成本;在广告、品牌推广等领域,可以利用ConsiStory快速生成符合主题的图片,提升营销效果和品牌形象;在教育、培训等领域,可以利用ConsiStory生成丰富多彩、生动有趣的图片,增强学习和教学效果。因此,ConsiStory的推出不仅对于英伟达公司而言具有重要意义,对于整个文生图模型领域以及相关行业都将产生深远的影响。

目录
相关文章
|
5月前
|
机器学习/深度学习 人工智能 数据管理
文生图的基石CLIP模型的发展综述
CLIP(Contrastive Language-Image Pre-training)是OpenAI在2021年发布的多模态模型,用于学习文本-图像对的匹配。模型由文本和图像编码器组成,通过对比学习使匹配的输入对在向量空间中靠近,非匹配对远离。预训练后,CLIP被广泛应用于各种任务,如零样本分类和语义搜索。后续研究包括ALIGN、K-LITE、OpenCLIP、MetaCLIP和DFN,它们分别在数据规模、知识增强、性能缩放和数据过滤等方面进行了改进和扩展,促进了多模态AI的发展。
470 0
|
5月前
|
机器学习/深度学习 自然语言处理
文生图模型-Stable Diffusion | AIGC
所谓的生成式模型就是通过文本或者随机采样的方式来得到一张图或者一段话的模型,比如文生图,顾名思义通过文本描述来生成图像的过程。当前流行的文生图模型,如DALE-2, midjourney以及今天要介绍的Stable Diffusion,这3种都是基于Diffusion扩散模型【1月更文挑战第6天】
762 0
|
人工智能 编解码
AI 绘画Stable Diffusion 研究(二)sd模型ControlNet1.1 介绍与安装(2)
AI 绘画Stable Diffusion 研究(二)sd模型ControlNet1.1 介绍与安装
303 0
|
人工智能 编解码 C++
AI 绘画Stable Diffusion 研究(二)sd模型ControlNet1.1 介绍与安装(1)
AI 绘画Stable Diffusion 研究(二)sd模型ControlNet1.1 介绍与安装
214 0
|
1月前
|
人工智能 自然语言处理 计算机视觉
比Stable Diffusion便宜118倍!1890美元训出11.6亿参数高质量文生图模型
【9月更文挑战第6天】最近,一篇论文在AI领域引起广泛关注,展示了如何以极低成本训练高质量文本生成图像(T2I)模型。研究者通过随机遮蔽图像中75%的patch并采用延迟遮蔽策略,大幅降低计算成本,同时结合Mixture-of-Experts(MoE)层提升性能。最终,他们仅用1890美元就训练出了一个拥有11.6亿参数的模型,在COCO数据集上取得12.7的FID分数。这一成果比Stable Diffusion成本低118倍,为资源有限的研究人员提供了新途径。尽管如此,该方法在其他数据集上的表现及进一步降低成本的可行性仍需验证。
40 1
|
2月前
|
人工智能 自然语言处理 API
阿里云百炼平台上线首个最新文生图模型FLUX中文优化版
由Stable Diffusion团队推出的开源文生图模型FLUX风靡全球,其生成质量媲美Midjourney,被誉为“开源王者”。阿里云百炼平台首发FLUX中文优化版,提升了中文指令的理解与执行能力。开发者可直接在平台上体验并调用FLUX模型,且享有1000张图像的免费生成额度,有效期180天。无需额外部署,即可轻松利用这一先进模型创造高质量图像。
|
2月前
|
机器学习/深度学习 人工智能 PyTorch
"揭秘AI绘画魔法:一键生成梦幻图像,稳定扩散模型带你开启视觉奇迹之旅!"
【8月更文挑战第21天】稳定扩散(Stable Diffusion)是基于深度学习的模型,能根据文本生成高质量图像,在AI领域备受瞩目,革新了创意产业。本文介绍稳定扩散模型原理及使用步骤:环境搭建需Python与PyTorch;获取并加载预训练模型;定义文本描述后编码成向量输入模型生成图像。此外,还可调整参数定制图像风格,或使用特定数据集进行微调。掌握这项技术将极大提升创意表现力。
41 0
|
2月前
|
机器学习/深度学习 人工智能 编解码
AI文生图模型
8月更文挑战第16天
|
2月前
|
人工智能 自然语言处理 API
阿里云百炼上线FLUX文生图模型中文优化版,可免费调用!
阿里云百炼上线FLUX文生图模型中文优化版,可免费调用!
286 5
|
2月前
|
人工智能 编解码 自然语言处理