南开、字节开源StoryDiffusion让多图漫画和长视频更连贯

南开大学和字节跳动的研究人员联合发布了一项名为StoryDiffusion的新技术，该技术有望在多图漫画和长视频的生成方面取得突破。这项技术的核心在于其创新的自注意力计算方法，被称为一致性自注意力（Consistent Self-Attention），以及一个全新的语义空间时间运动预测模块，被称为语义运动预测器（Semantic Motion Predictor）。

StoryDiffusion的出现，旨在解决当前基于扩散过程的生成模型在生成一系列图像时，特别是在包含主体和复杂细节的图像时，难以保持内容一致性的问题。通过引入一致性自注意力机制，StoryDiffusion能够显著提高生成图像之间的一致性，从而增强现有的基于扩散过程的文本到图像的预训练模型，并在零样本的情况下实现这一增强。

为了将StoryDiffusion扩展到长视频生成领域，研究人员进一步引入了语义运动预测器。该模块被训练用于在语义空间中估计两个给定图像之间的运动条件。通过将生成的图像序列转换为具有平滑过渡和一致主体的视频，语义运动预测器在长视频生成的背景下，特别是在仅基于潜在空间的模块中，显著提高了视频的稳定性。

通过将这两个新颖的组件结合起来，StoryDiffusion框架能够以一致的图像或视频的形式描述基于文本的故事，涵盖了丰富多样的内容。这一框架在视觉故事生成方面进行了开创性的探索，通过图像和视频的呈现方式，为未来的研究提供了新的思路和方向。

StoryDiffusion的出现，为多图漫画和长视频的生成提供了新的解决方案。通过一致性自注意力机制和语义运动预测器的应用，该技术有望在保持内容一致性的同时，提高图像和视频的生成质量。这对于那些需要在多个图像或视频中保持主体和细节一致性的场景，如漫画创作、动画制作和视频编辑等，具有重要的意义。

然而，尽管StoryDiffusion在理论和实验上都表现出了良好的性能，但仍然存在一些挑战和限制。首先，由于该技术需要在语义空间中进行运动预测，因此对于那些包含复杂运动或高维语义信息的场景，可能会面临计算资源和时间成本的挑战。其次，尽管StoryDiffusion在零样本的情况下实现了对现有模型的增强，但在实际应用中，仍然需要对特定任务和数据集进行微调和优化，以获得最佳的性能。

此外，尽管StoryDiffusion在图像和视频的生成方面取得了令人鼓舞的成果，但在其他领域，如自然语言处理和语音识别等，仍然存在一些未解决的问题和挑战。因此，未来的研究仍然需要在其他领域进行更多的探索和创新，以推动人工智能技术在更多领域的应用和发展。

论文地址：https://arxiv.org/pdf/2405.01434v1