OpenAI sora 是什么

简介: Sora 能够根据文字描述生成长达一分钟的高清视频Sora 的技术基础是 DALL-E 3 的技术,也就是 GPT4 现有的能力Sora 的能力还有待提升,我们看到的视频是经过筛选的,并不是其典型能力

一、Sora 是什么

我们先来看看GPT4怎么回答的:

GPT4 回答

GPT4 的回答还是很准确的,总结以下几点:

  1. Sora 能够根据文字描述生成长达一分钟的高清视频
  2. Sora 的技术基础是 DALL-E 3 的技术,也就是 GPT4 现有的能力
  3. Sora 的能力还有待提升,我们看到的视频是经过筛选的,并不是其典型能力

(PS:目前OpenAI只对部分用户开放了Sora的使用权限,如果想体验 GPT4 文生图,可以看这个教程 如何升级 ChatGPT 4.0

二、Sora 官网样例

我们通过官网 https://openai.com/sora 探究一下 Sora,官网中所有的视频均是 sora 直接生成的。

sora 官网首页

接下来让我看一 sora 生成的内容。样例一第一个就是最近很火的那个视频,视频生成的提示语如下:

Prompt: A stylish woman walks down a Tokyo street filled with warm glowing neon and animated city signage. She wears a black leather jacket, a long red dress, and black boots, and carries a black purse. She wears sunglasses and red lipstick. She walks confidently and casually. The street is damp and reflective, creating a mirror effect of the colorful lights. Many pedestrians walk about.

翻译:“一位时尚的女士走在东京的街道上,街道上充满了温暖的霓虹灯和生动的城市标志。她穿着黑色皮夹克、红色长裙和黑色靴子,手里拿着一个黑色钱包。她戴着太阳镜和红色口红。她走路自信而随意。街道潮湿且反光,形成了彩色灯光的镜面效果。许多行人走来走去。”

添加图片注释,不超过 140 字(可选)

添加图片注释,不超过 140 字(可选)

视频中的女人在移动时,与后面的街道背景一直保持高度稳定和流畅;而且视频中对光影反射、运动方式、镜头移动等细节都处理得更好,让观众看起来跟真实拍摄的一样。

样例二还有一个比较有趣的视频,提示语如下:

Prompt: The camera directly faces colorful buildings in Burano Italy. An adorable dalmation looks through a window on a building on the ground floor. Many people are walking and cycling along the canal streets in front of the buildings.

翻译:相机正对意大利布拉诺岛色彩缤纷的建筑。一只可爱的斑点狗透过一楼建筑的窗户向外张望。许多人沿着建筑物前的运河街道步行和骑自行车。

添加图片注释,不超过 140 字(可选)

添加图片注释,不超过 140 字(可选)

添加图片注释,不超过 140 字(可选)

这个视频给人的第一感觉就是很真实,视频中的阴影很符合现实世界,在斑点狗移动的同时阴影也随之而动,同时,小狗的尾巴在视频中很生动。

三、GPT4 VS Sora

GPT-4 图片生成能力

GPT-4通过与DALL-E模型的集成,能够根据文字描述生成静态图片。用户提供一个文本提示,GPT-4处理并可能增强该提示,以便DALL-E能够更好地理解和视觉化提示内容,进而生成图片。这一过程涉及诸如构图、颜色、光线和质感等方面的决策。GPT-4还能够理解复杂的请求,并在提示中包含具体的细节,如特定的物体、颜色、光照和情绪,确保生成的图片尽可能符合用户的愿景。 DALL-E的能力包括控制场景的视点和3D风格、生成具有细节的内部和外部结构、以及根据文本提示在图像上添加特定文本。它还能够在一定程度上处理反射和光学畸变。然而,DALL-E在处理多个对象及其颜色关系、创建准确的3D表示以及在不同语义等价的描述之间保持一致性方面存在局限性。

Sora 视频生成能力

Sora是一种基于DALL-E技术的视频生成模型,能够将文字描述转化为高清视频。与GPT-4生成静态图像不同,Sora能够创建动态内容,包括复杂场景和历史事件的视频。Sora采用去噪潜在扩散模型与Transformer网络的结合,通过在潜在空间中生成视频然后转换为标准空间来工作。Sora能够从其数据集中学习创建3D图形,并自动从不同角度创建视频,无需特定提示。此外,Sora生成的视频会附带C2PA元数据,表明这些视频是AI生成的。 然而,Sora也面临挑战,如模拟复杂物理现象、理解因果关系以及区分左右方向的困难。尽管如此,它的创新之处在于将视频分割成可以处理的块,并利用Transformer处理这些数据块,就像处理文本数据一样。

优缺点对比

GPT-4与DALL-E的集成允许用户探索静态图像的创造,具有相对高的控制度和细节性。它适用于生成具有特定主题、风格或细节要求的图像。然而,生成的图像可能会受到限制,特别是在处理复杂场景和多个对象时。 Sora则扩展了生成能力到动态视频,能够表现时间维度上的变化和连贯性。这为创造更丰富和动态的内容提供了可能,但在确保视频中对象的长期一致性和处理复杂交互方面仍有挑战。

总的来说,GPT-4和Sora各自在图像和视频生成方面展现了AI的强大潜力,同时也揭示了当前技术在理解和表现复杂现实世界场景方面的限制。随着技术的进步,这些模型的能力和应用范围预计将继续扩展。

GPT4 也具有文生图的功能, 使用与 sora 相同的提示语 GPT4 会能成什么样的图片:

展示魔法的时刻样例一

添加图片注释,不超过 140 字(可选)

样例二

添加图片注释,不超过 140 字(可选)

这里我并没有指定风格,但从单张图片来看,图片质量要比视频更高清,细节更丰富。

总结:Sora 已经具有了文成高清视频的能力,并且基本能够达到以假乱真的效果,但是 Sora 模型能力还有待提高,目前并不能稳定生成高质量视频。如果想体验文生图的功能可以使用 GPT4。


相关文章
|
2月前
|
机器学习/深度学习 编解码 自然语言处理
如何看待openai最新发布的sora?
如何看待openai最新发布的sora?
|
2月前
|
编解码 人工智能 计算机视觉
OpenAI 的 ​Sora 技术报告详解
OpenAI 的 ​Sora 技术报告详解
179 1
|
2月前
|
编解码
OpenAI视频生成Sora技术简析
Sora是春节期间OpenAI发布的产品,主要是通过文字描述生成视频,通过大规模视频数据训练而成的生成模型,当前还没开放试用。
|
2月前
|
人工智能 自然语言处理 安全
【OpenAI Sora】 如何使用:最新详细教程-新手小白必看
2024年2月16日,OpenAI 在其官网上面正式宣布推出文本生成视频的大模型 Sora:
268 0
【OpenAI Sora】 如何使用:最新详细教程-新手小白必看
|
2月前
|
人工智能 vr&ar
Sora新视频发TikTok:OpenAI 4天涨粉10万
【2月更文挑战第3天】Sora新视频发TikTok:OpenAI 4天涨粉10万
40 1
Sora新视频发TikTok:OpenAI 4天涨粉10万
|
2月前
|
人工智能 编解码 自然语言处理
OpenAI 全新发布文生视频模型 Sora,支持 60s 超长长度,有哪些突破?将带来哪些影响?
OpenAI 全新发布文生视频模型 Sora,支持 60s 超长长度,有哪些突破?将带来哪些影响?
|
1月前
|
人工智能 编解码 自然语言处理
OpenAI的Sora深度解析
Sora是一款革命性的AI视频生成工具,技术上领先于先前的runway和pika。它具备60秒超长视频生成能力、多角度镜头切换及世界模型模拟能力,极大地降低了视频制作成本。Sora采用扩散型变换器模型,结合大型语言模型、Transformer架构及DALL·E的技术,能够根据文本指示生成高度真实的视频内容。此外,Sora还能生成高分辨率图像,为用户提供了一种高质量内容生成的新选择。Sora的技术原理和功能为视频内容制作和创意表达开辟了新的可能性,同时也为AI技术的未来应用指明了方向,特别是在人工通用智能(AGI)的发展上具有里程碑意义。
34 0
OpenAI的Sora深度解析
|
1月前
|
机器学习/深度学习 人工智能 自然语言处理
Sora是什么?Sora如何使用?带你快速了解OpenAI发布的Sora大模型
OpenAI自2015年成立以来,一直是人工智能领域的佼佼者。他们在深度学习和自然语言处理等多个方面取得了显著进展,GPT-4的推出更是巩固了他们在技术创新和应用开发上的领导地位。OpenAI的目标不仅仅是技术突破,更重要的是推动AI技术的安全和伦理发展,以造福人类社会。
Sora是什么?Sora如何使用?带你快速了解OpenAI发布的Sora大模型
|
1月前
|
机器学习/深度学习 人工智能 自然语言处理
OpenAI Sora是什么?如何使用?新手小白必看
在AI领域不断迈向创新的今天,OpenAI引领了一系列令人瞩目的技术进步。今天,我想向大家介绍一个名为Sora的全新产品——一个革命性的视频创作工具,旨在为内容创作者、艺术家和企业提供前所未有的便利和创作能力。
113 0
OpenAI Sora是什么?如何使用?新手小白必看
|
1月前
|
人工智能
2024年重磅消息:来自OpenAI发布的视频生成模型Sora
2024年重磅消息:来自OpenAI发布的视频生成模型Sora