视频生成新玩家:Sora 原理探索与效果对比

简介: 视频生成新玩家:Sora 原理探索与效果对比

本文来源:支付宝体验科技


🙋🏻‍♀️ 编者按:本文作者是支付宝算法工程师杰凡,介绍了视频生成主要玩家的对比,以及 Sora 视频生成原理和能力。欢迎查阅~


1. Sora 是什么

Sora 是由 OpenAI 提出的视频生成模型,可以根据文本提示词,生成长达一分钟且质量极高的视频。OpenAI 提供了一份技术报告,展示了 Sora 的各项能力,但是对于技术细节透露较少。

image.png


2. 视频生成主要玩家对比

在 Sora 发布前,视频生成主要玩家包括 Runway、Pika、Stability AI,他们都有产品级视频生成应用公布。Sora 暂未完全开放使用,需要申请“红队测试”使用(这是一种通过模拟攻击者角色来发现潜在安全漏洞的方法,旨在评估并提升 OpenAI 的 AI 模型的安全性和可靠性)。另外,Google、Meta、字节等公司也积极研发视频生成相关技术,发布的论文都有不错的影响力,相应的技术应该是应用到了公司核心业务中。

公司 Runway Pika Stability AI OpenAI
视频生成模型 Gen2 Pika 1.0 SVD(Stable Video Diffusion) Sora
发布时间 2023.3 2023.11 2023.11 2024.2
是否开源 非开源(Gen1已发布论文) 非开源 开源 非开源
视频时长 4s(后来提升至18s) 3s 4s 60s

2.1 Gen2 效果展示

输入图片和提示词进行视频生成:

运动笔刷功能:


2.2 Pika 效果展示

输入图片和提示词生成视频:

image.png

视频编辑:

image.png

宫崎骏电影生成,还是非常有感觉的:(不过可以看到,这不是直接生成长视频,而是由几个视频镜头拼接而成)

image.png


2.3 SVD 效果展示

image.png


2.4 效果对比

给 Sora、Pika、Runway、Stable Video 四个模型输入了相同的提示词。可以看到,四个模型都能很好的理解语义,而 Sora 在生成视频长度上基本是降维打击,且视频非常连贯。其他的几个技术基本都是 4s 左右的视频,非常的短。在实践中,很多人使用最后一帧的图片作为输入再次生成 4s 的视频,以此来生成多个 4s 的视频并进行拼接,最终产出长视频,但这种方式由于不在一次模型生成中,上下文的关联无法保证,得到的效果不连贯。

image.png


提示词:一窝金毛幼犬在雪地里玩耍,它们的头从雪中探出来,被雪覆盖。

image.png


可以看到,Sora 生成的视频动效非常明显。

提示词:几只巨大的毛茸茸的猛犸象踏着白雪皑皑的草地走来,长长的毛毛在风中轻轻飘动,远处覆盖着积雪的树木和雄伟的雪山,午后的阳光、缕缕云彩和远处高高的太阳营造出温暖的光芒,低相机视野令人惊叹地捕捉到了大型毛茸茸的哺乳动物与美丽的摄影,景深。

image.png


3. Sora 视频生成原理简述

这章节不会深入到太公式性的内容,希望通过容易理解的图文,把 Sora 能够生成高质量视频的原因表达出来。


3.1 整体结构

下图是 Sora 的整体框架,可拆成两个大块来看:

  • 视觉编码器/解码器:编码器将原始视频映射到 patches,解码器把 patches 还原回视频
  • 扩散模型(文本提示词为条件):以文本提示词为条件,生成 patches

image.png

注:由于 Sora 并没有公布其论文,只发布了一个技术报告。技术报告中只是大概提到了一些技术概念,细节并不多,所以只能通过其引用的论文对其技术进行一个推测。


3.2 视觉编码器/解码器

将原始视频输入进编码器(Encoder),得到 Visual Patches,这个过程有点类似于“压缩”,然后再把 patches 送入后面的扩散模型,目的主要由两点:


  1. 将原始视频信息进行特征抽取,提取有效信息
  2. 将原始视频信息规模变小,降低后续网络计算成本

image.png

视觉编码器(Visual Encoder)

而解码器(Decoder)都是跟编码器成对出现的,作用是把扩散模型生成的patches还原为视频(可以理解为 encoder 的逆向过程),完成最终的视频输出。


Sora 技术报告中没有具体提得到 patch 的方式,下面是一种计算 patch 的方式,会在时间和空间两个维度同时对原始视频进行特征抽取,即将连续几帧的像素块“压缩”成一个 patch。

image.png

这个步骤将不同分辨率、不同视频长度的视频以及图片统一处理成 patches(图片可以认为是只有一帧的视频),最高分辨率可达 1920x1080 和 1080x1920,视频长度 1 分钟。


3.3 扩散模型

扩散模型(diffusion model)是当前图片生成、视频生成的主流技术,其原理是:

  • 训练阶段
  • 加噪:先将原始图片通过T步不断的加入噪声,最终得到完全噪声化的图片
  • 去噪(denoise):将完全噪声化的图片进行去噪,通过T步逐渐还原为原始图片,这里会有一个噪声预测模型。另外,文本信息会在这时加入到模型中,使得在还原过程中,会考虑文本的语义。
  • 预测阶段:随机生成一个噪声图片,且加入文本信息,执行训练阶段的去噪过程,即可得到生成的图片

注:实际送入扩散模型的是 patches,无法可视化为图片/视频,这里是为了方便理解,以原始图片送入扩散模型为例

image.png

上面提到的噪声预测模型,Sora 使用的是 Transformer 结构,这个细节我们能从 DiT 论文上一探究竟。这其中有两个关键点,使 Sora 能够生成非常连贯且语义理解准确的长视频:

  • 自注意力机制(self-attention):每一个视频 patch 都会去关注其他的所有 patch,使得模型在空间上,能够使不同像素块之间互相关注到,在时间上,即便跨过了较长时间,也能够使目标保持连贯性和持久性
  • 交叉注意力机制(cross-attention):每一个视频 patch 都会去关注所有提示词文本 token(视频->patch,文本->token,是一个类似的意思),使得模型能够准确理解提示词语义意图,并让使用者通过提示词能更好的控制模型生成视频的内容

image.png


3.4 训练样本

OpenAI 的技术报告提到,大量带文本描述的视频对于训练这样一个模型非常重要。它使用了 DALL·E3(OpenAI提出的图像生成技术)为大量视频生成了高质量描述性文本,作为 Sora 的训练数据。使得 Sora 能够很好的理解提示词的语义,并进行视频的生成。


4. Sora 的能力

4.1 文生视频

Sora 可根据提示词生成视频。

提示词: 动画场景特写一个矮小的毛茸茸的怪兽跪在一支融化的红色蜡烛旁。艺术风格是 3D 和写实的,重点在于光线和质地。画作的氛围充满了惊奇和好奇,怪兽睁大眼睛,张开嘴巴凝视着火焰。它的姿势和表情传达出一种天真和俏皮的感觉,好像它是第一次探索周围的世界。温暖的色彩和戏剧性的照明进一步增强了图像温馨的氛围。

image.png

提示词: 超写实的特写视频,展现了两艘海盗船在一杯咖啡中航行时相互交战。

image.png

4.2 文生图

由于 Sora 将视频和图片进行了统一(图片就是只有一帧的视频),所以也可以根据提示词生成高清晰度的图片

image.png

4.3 文+图生成视频

Sora 可根据提供的图片和提示词文本生成视频。

如输入的图片:

image.png

提示词:在一座装饰华丽、历史悠久的大厅中,一道巨大的海浪正达到顶峰并开始破碎。两位冲浪者抓住时机,巧妙地在浪面上驾浪而行。

生成的视频:

image.png


4.4 视频扩展

可以给 Sora 指定开头的视频/图片,或结尾的视频/图片,使其生成视频。

如指定开头和结束是同一个骑车图片,就会生成一个无限循环在骑车的视频:

image.png

下面的视频由四个输入的视频首尾相接而成,Sora 会自动生成转场的动画,使得拼接效果更连贯:

image.png

4.5 视频风格转换

给定一个视频,可进行风格转换

输入视频:

image.png

25

根据提示词进行风格转换,提示词:将场景设置更改为在一个茂密的丛林中。

image.png

4.6 视频拼接

将两个视频直接进行合并

输入视频 1:

image.png

输入视频 2:

image.png

20

输出视频:

image.png

0

4.7 局限性

当前 Sora 也存在局限性,比如它可能会违反物理常识和直觉

image.png


5. Sora 总结

生成视频的特性:

  • 三维一致性:Sora 能够生成具有动态相机运动的视频。随着相机的移动和旋转,人物和场景元素在三维空间中一致地移动。
  • 长序列连贯性和目标持久性:即使在人物、动物和物体被遮挡或离开画面时,也能持续存在。同样,它可以在单个样本中生成同一角色的多个镜头,并在整个视频中保持其外观。
  • 与世界互动:Sora 有时能够模拟以简单方式影响世界状态的行为。例如,画家可以在画布上留下随时间持久存在的新笔触,或者一个人可以吃一个汉堡并留下咬痕。


技术特性:


  • 不同分辨率、不同视频长度的视频以及图片均可处理成 patches(图片可以认为是只有一帧的视频),统一由一个模型处理
  • 通过 Diffusion Transformer 使其生成的视频具有更好的连贯性且能够准确理解提示词语义

从 OpenAI 透露的信息上来看,Sora 并没有提出原创性的全新模型结构,但提到了高质量数据源的重要性。由此我们可以看出,AIGC 的竞赛不仅仅是模型结构,还有大规模高质量训练数据、工程优化(更低的训练成本)、训练技巧和经验的竞争。


6. 参考

  1. Sora技术报告:Video generation models as world simulators:https://openai.com/research/video-generation-models-as-world-simulators
  2. What are Diffusion Models?:https://lilianweng.github.io/posts/2021-07-11-diffusion-models/
  3. 真·降维打击,Sora与Runway、Pika的对比来了,震撼效果背后是物理引擎模拟现实世界:https://zhuanlan.zhihu.com/p/682551478
  4. Sora之前的视频生成发展史:从Gen2、Emu Video到PixelDance、SVD、Pika 1.0:https://blog.csdn.net/v_JULY_v/article/details/134655535
  5. 深入剖析Sora原理:细节解读与技术洞见:https://zhuanlan.zhihu.com/p/683169392


相关文章
|
3月前
|
图形学 开发者
透视与正交之外的奇妙视界:深入解析Unity游戏开发中的相机与视角控制艺术,探索打造沉浸式玩家体验的奥秘与技巧
【8月更文挑战第31天】在Unity中,相机不仅是玩家观察游戏世界的窗口,更是塑造氛围和引导注意力的关键工具。通过灵活运用相机系统,开发者能大幅提升游戏的艺术表现力和沉浸感。本文将探讨如何实现多种相机控制,包括第三人称跟随和第一人称视角,并提供实用代码示例。
152 0
|
4月前
|
图形学 开发者
【Unity光照艺术手册】掌握这些技巧,让你的游戏场景瞬间提升档次:从基础光源到全局光照,打造24小时不间断的视觉盛宴——如何运用代码与烘焙创造逼真光影效果全解析
【8月更文挑战第31天】在Unity中,合理的光照与阴影设置对于打造逼真环境至关重要。本文介绍Unity支持的多种光源类型,如定向光、点光源、聚光灯等,并通过具体示例展示如何使用着色器和脚本控制光照强度,模拟不同时间段的光照变化。此外,还介绍了动态和静态阴影、全局光照及光照探针等高级功能,帮助开发者创造丰富多样的光影效果,提升游戏沉浸感。
97 0
|
4月前
|
机器学习/深度学习 人工智能 PyTorch
"揭秘AI绘画魔法:一键生成梦幻图像,稳定扩散模型带你开启视觉奇迹之旅!"
【8月更文挑战第21天】稳定扩散(Stable Diffusion)是基于深度学习的模型,能根据文本生成高质量图像,在AI领域备受瞩目,革新了创意产业。本文介绍稳定扩散模型原理及使用步骤:环境搭建需Python与PyTorch;获取并加载预训练模型;定义文本描述后编码成向量输入模型生成图像。此外,还可调整参数定制图像风格,或使用特定数据集进行微调。掌握这项技术将极大提升创意表现力。
59 0
|
6月前
|
机器学习/深度学习 编解码 人工智能
视频生成新玩家:Sora 原理探索与效果对比
视频生成新玩家:Sora 原理探索与效果对比
视频生成新玩家:Sora 原理探索与效果对比
|
6月前
|
机器学习/深度学习 人工智能 算法
强化学习在游戏中的应用:打造智能对手
【6月更文挑战第5天】强化学习,让机器通过试错在环境中学习最优策略,尤其在游戏领域中展现出强大的能力。如AlphaGo,通过学习大量围棋数据,成为顶尖对手。它不仅适用于围棋,也在现代电子游戏中让智能对手预测玩家行为,提升游戏体验。以下简短代码示例展示了使用Q-learning算法训练智能对手的基本过程,揭示了强化学习在游戏AI中的潜力。
96 1
|
7月前
|
人工智能 算法 开发者
开动脑洞,验证Sora的视频生成潜力
最近一段时间在人工智能领域又有了新的爆炸新闻,那就是OpenAI的Sora模型引发了对AI视频生成技术的关注,Sora是一种引人注目的AI视频生成技术,它的诞生也会让一些领域发生颠覆性变革,也会改变一部分人的工作性质。那么本文就来简单探讨一下Sora可能对不同行业带来的变革,以及如果有机会使用Sora创作第一个AI短视频,大家希望它生成什么样的内容,并讨论生成式AI目前在技术和伦理道德层面所面临的挑战。
80 0
开动脑洞,验证Sora的视频生成潜力
|
7月前
|
人工智能 JavaScript 前端开发
中国象棋AI在线对弈游戏源码
植物大战僵尸Javascript版web游戏源码,非常强大,1比1还原电脑版植物大战僵尸游戏,带背景音乐,玩法和原版一模一样。
89 0
|
7月前
|
人工智能 算法
从想象到现实:Midjourney的AI图像生成之旅
从想象到现实:Midjourney的AI图像生成之旅
从想象到现实:Midjourney的AI图像生成之旅
|
7月前
|
搜索推荐 开发者
小游戏矩阵搭建之路1:专门为女性玩家做个消除游戏
小游戏矩阵搭建之路1:专门为女性玩家做个消除游戏
85 0
|
机器学习/深度学习 人工智能 自然语言处理
让梦境绘入现实--AIGC人像绘画
在光怪陆离的梦境中,我们可以摆脱客观事实的约束,对自己的外在形象进行天马行空的畅想,有人化身威风凛凛的将军驰骋疆场,又有人化身亭亭玉立的公主正襟危坐,然而这些翩若惊鸿婉若游龙的美好瞬间却总是会随着一声闹钟的响声化为泡影。难道梦境中的自己总是不能被带回到现实之中吗?AIGC技术的快速发展使得这一点成为可能。
454 1