VideoWorld:字节开源自回归视频生成模型,支持输入视频指导AI生成视频!弥补文本生成视频的短板

本文涉及的产品
视觉智能开放平台,分割抠图1万点
视觉智能开放平台,图像资源包5000点
视觉智能开放平台,视频资源包5000点
简介: VideoWorld 是由字节跳动、北京交通大学和中国科学技术大学联合推出的自回归视频生成模型,能够从未标注的视频数据中学习复杂知识,支持长期推理和规划任务。

❤️ 如果你也关注 AI 的发展现状,且对 AI 应用开发非常感兴趣,我会每日分享大模型与 AI 领域的最新开源项目和应用,提供运行实例和实用教程,帮助你快速上手AI技术,欢迎关注我哦!

🥦 微信公众号|搜一搜:蚝油菜花 🥦


🚀 快速阅读

  1. 功能:VideoWorld 能够从未标注的视频数据中学习复杂知识,支持长期推理和规划任务。
  2. 技术:基于 VQ-VAE 和自回归 Transformer 架构,结合潜在动态模型(LDM),实现高效的视频生成与任务推理。
  3. 应用:适用于围棋、机器人控制、自动驾驶、智能监控等多种复杂任务场景。

正文(附运行示例)

VideoWorld 是什么

VideoWorld

VideoWorld 是由北京交通大学、中国科学技术大学和字节跳动联合开发的自回归视频生成模型。该模型旨在探索深度生成模型是否能够仅通过未标注的视频数据学习复杂的知识,包括规则、推理和规划能力。

VideoWorld 的核心技术在于其自回归视频生成能力,通过观察视频来获取知识,不依赖于传统的文本或标注数据。这种能力使得 VideoWorld 能够在多种复杂任务中表现出色,如围棋和机器人控制。

VideoWorld 的主要功能

  • 从未标注视频中学习复杂知识:VideoWorld 能仅通过未标注的视频数据学习复杂的任务知识,包括规则、推理和规划能力,无需依赖语言指令或标注数据。
  • 自回归视频生成:使用 VQ-VAE 和自回归 Transformer 架构,VideoWorld 可以生成高质量的视频帧,通过生成的视频帧推断出任务相关的操作。
  • 长期推理和规划:在围棋任务中,VideoWorld 能进行长期规划,选择最佳落子位置并击败高水平的对手(如 KataGo-5d)。在机器人任务中,VideoWorld 能够规划复杂的操作序列,完成多种机器人控制任务。
  • 跨环境泛化能力:VideoWorld 能在不同的任务和环境中迁移所学的知识,表现出良好的泛化能力。
  • 紧凑的视觉信息表示:LDM 将冗长的视觉信息压缩为紧凑的潜在代码,减少了信息冗余,提高了学习效率。
  • 无需强化学习的自主学习:VideoWorld 不依赖于传统的强化学习方法(如搜索算法或奖励机制),而是通过纯视觉输入自主学习复杂的任务。
  • 高效的知识学习与推理:VideoWorld 在围棋任务中达到了 5 段专业水平(Elo 2317),仅使用 3 亿参数,展示了其高效的知识学习能力。
  • 视觉信息的深度理解:VideoWorld 能通过生成的视频帧和潜在代码,理解复杂的视觉信息,支持任务驱动的推理和决策。
  • 支持多种任务类型:VideoWorld 不仅适用于围棋和机器人控制任务,还具有扩展到其他复杂任务的潜力,如自动驾驶、智能监控等领域。

VideoWorld 的技术原理

  • VQ-VAE(矢量量化-变分自编码器):用于将视频帧编码为离散的 token 序列。VQ-VAE 通过矢量量化将连续的图像特征映射到离散的码本(codebook)中,生成离散的表示。
  • 自回归 Transformer:基于离散 token 序列进行下一个 token 的预测。Transformer 架构利用自回归机制,根据前面的帧预测下一帧,从而生成连贯的视频序列。
  • 潜在动态模型(LDM):引入 LDM,将多步视觉变化压缩为紧凑的潜在代码,提高知识学习的效率和效果。LDM 能捕捉视频中的短期和长期动态,支持复杂的推理和规划任务。
  • 视频生成与任务操作的映射:在生成视频帧的基础上,VideoWorld 进一步通过逆动态模型(Inverse Dynamics Model, IDM)将生成的视频帧映射为具体的任务操作。
  • 数据驱动的知识学习:VideoWorld 通过大规模的未标注视频数据进行学习,减少了对人工标注数据的依赖,降低了数据准备的成本。

如何运行 VideoWorld

1. 环境配置

首先,确保你已经安装了 Conda 环境,并激活 VideoWorld 的虚拟环境:

conda create -n videoworld python=3.10 -y
conda activate videoworld
pip install --upgrade pip  
pip install torch==2.1.0 torchvision==0.16.0 torchaudio==2.1.0 --index-url https://download.pytorch.org/whl/cu121

2. 安装 VideoWorld

克隆 VideoWorld 的 GitHub 仓库并安装依赖:

git clone https://github.com/bytedance/VideoWorld.git
cd VideoWorld
bash install.sh

3. 推理示例

VideoWorld 支持围棋对战和机器人任务推理。以下是如何进行围棋对战的示例:

cd VideoWorld
bash install_katago.sh 
bash ./tools/battle_vs_human.sh

4. 训练示例

VideoWorld 的训练分为两个阶段:LDM 训练和自回归 Transformer 训练。以下是 LDM 训练的示例:

cd LDM 
bash ./tools/calvin_ldm_train.sh

资源


❤️ 如果你也关注 AI 的发展现状,且对 AI 应用开发非常感兴趣,我会每日分享大模型与 AI 领域的最新开源项目和应用,提供运行实例和实用教程,帮助你快速上手AI技术,欢迎关注我哦!

🥦 微信公众号|搜一搜:蚝油菜花 🥦

相关文章
|
6天前
|
存储 人工智能 Serverless
一键解锁 AI 动画视频创作,赢好礼
短视频行业的快速增长使得内容创作的速度和质量成为竞争关键。传统动画故事制作复杂且昂贵,限制了创作者对市场热点的快速反应和创新实现。本方案通过 AI 生成剧本和动画,简化创作流程并降低技术门槛,使创作者能高效生产高质量作品,迅速适应市场需求。
|
6天前
|
人工智能 安全 机器人
重磅发布的「AI视频通话」如何10分钟就实现?
2024年,OpenAI发布GPT-4o,支持文本、音频和图像的组合输入与输出,使交互更接近自然交流。传统语音助手需经历多阶段处理,容易出现延迟或误解,体验感差。本文介绍如何在阿里云上快速创建可视频通话的AI智能体,实现拟人化交互、精准感知、情绪捕捉等功能,提供高质量、低延时的音视频通话体验。通过简单的部署流程,用户可以轻松创建并体验这一先进的人机交互技术。点击“阅读原文”参与活动赢取惊喜礼物。
|
8天前
|
人工智能 搜索推荐 Docker
手把手教你使用 Ollama 和 LobeChat 快速本地部署 DeepSeek R1 模型,创建个性化 AI 助手
DeepSeek R1 + LobeChat + Ollama:快速本地部署模型,创建个性化 AI 助手
2801 112
手把手教你使用 Ollama 和 LobeChat 快速本地部署 DeepSeek R1 模型,创建个性化 AI 助手
|
2天前
|
人工智能 Linux iOS开发
exo:22.1K Star!一个能让任何人利用日常设备构建AI集群的强大工具,组成一个虚拟GPU在多台设备上并行运行模型
exo 是一款由 exo labs 维护的开源项目,能够让你利用家中的日常设备(如 iPhone、iPad、Android、Mac 和 Linux)构建强大的 AI 集群,支持多种大模型和分布式推理。
176 100
|
9天前
|
人工智能 物联网 开发者
Oumi:开源的AI模型一站式开发平台,涵盖训练、评估和部署模型的综合性平台
Oumi 是一个完全开源的 AI 平台,支持从 1000 万到 4050 亿参数的模型训练,涵盖文本和多模态模型,提供零样板代码开发体验。
171 43
Oumi:开源的AI模型一站式开发平台,涵盖训练、评估和部署模型的综合性平台
|
3天前
|
机器学习/深度学习 人工智能 编解码
Lumina-Image 2.0:上海 AI Lab 开源的统一图像生成模型,支持生成多分辨率、多风格的图像
Lumina-Image 2.0 是上海 AI Lab 开源的高效统一图像生成模型,参数量为26亿,基于扩散模型和Transformer架构,支持多种推理求解器,能生成高质量、多风格的图像。
80 17
Lumina-Image 2.0:上海 AI Lab 开源的统一图像生成模型,支持生成多分辨率、多风格的图像
|
7天前
|
人工智能 自然语言处理 搜索推荐
浙大通义联手推出慢思考长文本生成框架OmniThink,让AI写作突破知识边界
随着大模型(LLMs)的发展,AI 写作取得了较大进展。然而,现有的方法大多依赖检索知识增强生成(RAG)和角色扮演等技术,其在信息的深度挖掘方面仍存在不足,较难突破已有知识边界,导致生成的内容缺乏深度和原创性。
|
1天前
|
人工智能 Linux 开发工具
Kiln AI:零代码实现微调模型!自动生成合成数据与微调模型的开源平台
Kiln AI 是一款开源的 AI 开发工具,支持零代码微调多种语言模型,生成合成数据,团队协作开发,自动部署。帮助用户快速构建高质量的 AI 模型。
165 6
Kiln AI:零代码实现微调模型!自动生成合成数据与微调模型的开源平台
|
8天前
|
人工智能 IDE 开发工具
使用字节新出的Trae IDE开发一个AI ChatBot(超详细)
Trae是字节跳动推出的一款免费的AI集成的开发环境,集成了Claude3.5与GPT-4o等主流AI模型,提供AI问答、智能代码生成、智能代码补全,多模态输入等功能。支持界面全中文化,为中文开发者提供了高效的开发体验
184 10
使用字节新出的Trae IDE开发一个AI ChatBot(超详细)
|
1天前
|
人工智能 小程序 程序员
【视频测评 DEMO 参考】VSCode 神级 AI 插件通义灵码:完全免费+实战教程+微信贪吃蛇小程序
VSCode 神级 AI 插件通义灵码:完全免费+实战教程+微信贪吃蛇小程序
53 7

热门文章

最新文章