近日，英伟达公司推出了一项令人瞩目的技术创新，名为ConsiStory。这一创新意味着无需进行繁琐的训练，即可生成连贯的图片，为文生图模型领域带来了一次革命性的突破。当前，文生图模型在生成内容的一致性方面普遍存在问题，主要表现在两个方面：一是无法准确识别和定位图像中的共同主体，二是在不同图像之间无法保持主体的视觉一致性。而ConsiStory的问世，则为解决这一难题提供了一种崭新的思路和解决方案。
ConsiStory采用了一种全新的方法，通过共享和调整模型内部表示，实现了在无需任何训练或调优的情况下保持主体一致性的功能。这项技术的核心模块是SDSA（主体驱动自注意力），它允许在生成的图像批次中共享主体相关的视觉信息，从而确保不同图像中的主体保持一致的外观。SDSA主要扩大了扩散模型中的自注意力层，使得一个图像中的“提示词”不仅可以关注自身图像的输出结果，还可以关注批次中其他图像的主体区域的输出结果。这样一来，主体的视觉特征就可以在整个批次中共享，不同图像中的主体互相"对齐"，从而实现了生成图像的连贯性和一致性。
除了SDSA之外，ConsiStory还采用了特征注入技术，进一步增强了主体在细节层面的一致性。特征注入基于扩散特征空间建立的密集对应图，可以在图像之间共享自注意力输出特征。同时，图像中一些相似的优化地方之间也可以共享自注意力特征，这有效确保了主体相关的纹理、颜色等细节特征在整个批次中的一致性。特征注入也使用主体蒙版进行遮蔽，只在主体区域执行特征共享，同时设置相似度阈值，只在足够相似的优化之间执行，以确保生成图像的质量和连贯性。
在保持主体一致性的同时，ConsiStory还提供了保持主题一致性的功能。其中，锚图像提供了主题信息的参考功能，主要用于引导图像生成过程，确保生成的图像在主题上保持一致。锚图像可以是用户提供的图像，也可以是从其他来源获取的相关图像。在生成过程中，模型会参考锚图像的特征和结构，并尽可能地生成与之一致的图像。另外，可重用主体是通过共享预训练模型的内部激活来实现主题一致性的方法。在图像生成过程中，模型会利用预训练模型的内部特征表示来对生成的图像进行对齐，而无需进一步对齐外部来源的图像。这种方式使得生成的图像可以相互关注、共享特征，从而避免了传统方法中需要针对每个主题进行训练的难题，极大地降低了成本和时间投入。
ConsiStory的问世将极大地促进文生图模型在生成连贯图片方面的应用。它不仅具有重要的实用价值，还具有广阔的推广前景。在图像生成、艺术创作、设计等领域，ConsiStory都有着广泛的应用前景。例如，在电影、动漫等领域，可以利用ConsiStory快速生成连续、连贯的场景图像，节省了大量的人力和时间成本；在广告、品牌推广等领域，可以利用ConsiStory快速生成符合主题的图片，提升营销效果和品牌形象；在教育、培训等领域，可以利用ConsiStory生成丰富多彩、生动有趣的图片，增强学习和教学效果。因此，ConsiStory的推出不仅对于英伟达公司而言具有重要意义，对于整个文生图模型领域以及相关行业都将产生深远的影响。
