OpenAI官方: Sora不止是模型,更是世界模拟器!

简介: OpenAI官方: Sora不止是模型,更是世界模拟器!

cc20575a42280ff5eb248ab7383375ff.png

在人工智能领域,视频数据的生成建模一直是一个极具挑战和创新的研究方向。从循环网络到生成对抗网络,再到自回归变换器和扩散模型,无数的尝试为我们展现了这一技术的日新月异。而今,OpenAI带来了其最新研究成果——Sora视频生成模型,重新定义了我们对AI生成内容的认知

不能只观望 AIGC ,随着潮流狂欢,更应该走进去了解它,成为它的主人!


今天,我们来根据OpenAI官方的文章,深入了解 Sora 背后的技术。

Sora不止是模型,是世界模拟器

据OpenAI官方网站发布,Sora不仅是一个具有通用性的视觉数据模型,它更是一个世界模拟器。具备生成不同持续时间、宽高比和分辨率视频和图像的能力,Sora能产出长达一分钟的高清视频,开启了视频生成领域的新纪元。

Sora的核心优势在于其高度的适应性和多样性。无论是简短的动画还是复杂丰富的场景视频,Sora均能通过简易的文本提示实现创作。这一技术的推出为内容创作者提供了极大的便捷,同时也让模拟真实世界的可能性得以扩展。


这是OpenAI 官方放出的 Sora视频,长达55s:

https://openai.com/research/video-generation-models-as-world-simulators

Sora 背后的技术

在Sora之前也有许多的视频生成模型,例如Runway、PiKa这些工作通常专注于狭窄范围的视觉数据、较短的视频或固定大小的视频。Sora是一种通用的视觉数据模型——它可以生成持续时间、纵横比和分辨率各异的视频和图像,长达一分钟的高清视频

它背后到底有什么秘密?

把视觉数据转化为补丁(Turning visual data into patches)

大型语言模型通过训练超大规模的数据而获得强大的能力,而这些语言的模型的程度很大程度上归功于 Token。

基于这个灵感,Sora 由此使用了视觉 Patch,在高层次上,我们首先通过将视频压缩到一个低维潜在空间来将视频转换为小Patch,随后将这个表示分解为时空Patch。

视频压缩网络(Video Compression Network)

该网络通过降维技术把原始视频转换成一个压缩的潜在表示。这个网络使得模型能够在一个更简洁的空间内操作,提升了处理视频时的效率。

时空潜在补丁(Spacetime Latent Patches)

Sora模型将视频划分为一系列的时空补丁,这些补丁作为变换器网络的令牌。补丁化的处理方式提供了一种有效的视觉数据表示,便于网络捕捉视频的时空特征。

视频扩展变换器(Scaling Transformers)

变换器网络(Transformers)在许多领域,如语言、视觉和音频处理中展现出卓越的性能。Sora使用这种架构来扩展视频生成能力,这些变换器被训练用来预测原始的“干净”补丁,从而生成清晰的视频输出。


条件扩散模型(Conditional Diffusion Models)

Sora作为一个扩散模型,基于输入的噪声补丁和条件信息(如文本提示)生成视频。通过这种方式,Sora能够从带有一定随机性的输入中逐步生成出清晰、有意义的视频内容。

并且随着训练计算量的增加,样本质量明显提高,如下图所示。

可变持续时间、分辨率、宽高比(Variable Durations, Resolutions, Aspect Ratios)

过去生成图像和视频的方法通常会将视频调整大小、裁剪或裁切到标准尺寸——例如,4秒长的视频,分辨率为256x256。我们发现,以原始尺寸对数据进行训练反而带来了几个好处。


Sora训练时不限制视频的尺寸,因此它能够生成各种尺寸的视频。这意味着Sora不仅能生成标准大小的视频,还能创建更为多样化的视频格式,以适应不同的播放设备和用途。


image.png

总的来说,这让Sora能够实现灵活取样,并且改善构图,最终实现不错的视频效果。

语言理解(Language Understanding)

训练文本到视频生成系统需要大量带有相应文字标题的视频。OpenAI将在DALL·E 3中引入的重新标注技术应用于视频。首先训练一个高度描述性的标注模型,然后使用它为训练集中的所有视频生成文字标题。研究结果发现,在高度描述性的视频标题上进行训练可以提高文本的准确性以及视频的整体质量。Sora利用高度描述性的视频标题进行训练,提高对文本的理解。类似于DALL·E,Sora也能将简短的用户提示转换成更详细的说明,提高视频输出与文本提示的一致性

通过以上这些高级技术的结合,Sora模型能够生成高质量的视频内容,同时在视频生成的效率和多样性上取得了显著的进步。

展望未来

Sora作为一个模拟器,其能力展示虽有局限,但已昭示出扩大视频模型规模是一个有前途的发展方向。它的新兴能力展现了模拟现实世界和数字世界的潜能,而对物理交互的模拟尚需精进。

保持好奇,继续探索!

AI 是我们所有人的机会,请抓紧他!

相关文章
|
1月前
|
JSON 自然语言处理 API
|
1天前
|
人工智能 机器人 API
OpenAI发布新AI模型GPT-4o和桌面版ChatGPT
OpenAI发布新AI模型GPT-4o和桌面版ChatGPT
|
13天前
|
机器学习/深度学习 人工智能 自然语言处理
对于 OpenAI 最新发布 支持实时语音对话的模型GPT-4o,你想说什么?
【6月更文挑战第4天】对于 OpenAI 最新发布 支持实时语音对话的模型GPT-4o,你想说什么?个人关于 OpenAI 最新发布的支持实时语音对话模型的 GPT-4o 想说的内容
|
1月前
|
人工智能 数据处理
|
1月前
|
人工智能 流计算
【AI大模型应用开发】【LangChain系列】9. 实用技巧:大模型的流式输出在 OpenAI 和 LangChain 中的使用
【AI大模型应用开发】【LangChain系列】9. 实用技巧:大模型的流式输出在 OpenAI 和 LangChain 中的使用
209 0
|
1月前
|
人工智能 API Python
【AI大模型应用开发】1.1 Prompt Engineering(提示词工程)- 用OpenAI API实战,优化方法论总结
【AI大模型应用开发】1.1 Prompt Engineering(提示词工程)- 用OpenAI API实战,优化方法论总结
57 0
|
1月前
|
机器学习/深度学习 人工智能 自然语言处理
2024 年最强?!深度剖析 OpenAI 最新 Sora 王炸模型!
2024 年最强?!深度剖析 OpenAI 最新 Sora 王炸模型!
30 1
|
1月前
|
人工智能 安全
OpenAI拟携Sora进军好莱坞
OpenAI计划将AI视频生成工具Sora引入好莱坞,该工具能根据文本提示生成逼真视频,已引起业界关注。OpenAI与好莱坞影视公司及媒体高管会面,探讨Sora的合作潜力。Sora可能革新电影制作,提高效率,但也引发对传统创意工作者失业的担忧。面对机遇与挑战,OpenAI寻求与艺术家合作,平衡技术创新与行业影响。随着AI技术发展,电影制作将面临变革,需兼顾效率与工作者权益。
23 2
OpenAI拟携Sora进军好莱坞
|
1月前
|
人工智能 自然语言处理 前端开发
王者Claude 3大模型!!!OpenAI竞争对手Anthropic推出Claude 3大模型,各项性能全面碾压GPT-4!
王者Claude 3大模型!!!OpenAI竞争对手Anthropic推出Claude 3大模型,各项性能全面碾压GPT-4!
53 0
|
19天前
|
人工智能 安全 UED
[AI OpenAI] 新闻编辑室AI催化剂:与WAN-IFRA的全球项目
OpenAI与WAN-IFRA合作推出新闻编辑室AI催化剂,这是一个全球加速器项目,旨在帮助100多家新闻出版商在其编辑室中集成AI,以增强内容创建、效率和用户体验。

热门文章

最新文章