TrajectoryCrafter:腾讯黑科技!单目视频运镜自由重构,4D生成效果媲美实拍

简介: TrajectoryCrafter 是腾讯与香港中文大学联合推出的单目视频相机轨迹重定向技术,支持后期自由调整视频的相机位置和角度,生成高质量的新型轨迹视频,广泛应用于沉浸式娱乐、创意视频制作等领域。

❤️ 如果你也关注 AI 的发展现状,且对 AI 应用开发感兴趣,我会每日分享大模型与 AI 领域的开源项目和应用,提供运行实例和实用教程,帮助你快速上手AI技术!

🥦 AI 在线答疑 -> 智能检索历史文章和开源项目 -> 尽在微信公众号 -> 搜一搜:蚝油菜花 🥦


🎬 「运镜解放!腾讯ARC黑魔法:随手拍视频竟能后期改运镜轨迹?」

大家好,我是蚝油菜花。你是否经历过这些创作困境:

  • 👉 拍摄时手抖导致运镜生硬,成片像「帕金森纪录片」
  • 👉 想给产品视频加炫酷环绕镜头,租轨道车预算直接爆炸
  • 👉 剪辑时突发灵感想改视角,却发现原始素材根本不够用...

今天要揭秘腾讯ARC Lab的 TrajectoryCrafter ,这个用AI重构物理定律的神器,能让你在后期随意修改视频的相机轨迹!

🛠️ 三大颠覆性突破:

  • ✅ 单目视频秒变「4D建模」,支持任意平移/旋转/缩放轨迹
  • ✅ 双流扩散模型确保画面0穿帮,毛发纹理都能精准还原
  • ✅ 影视级泛化能力,从vlog到商业片场全面适配

导演们已经用它重制经典镜头,电商团队靠它生成360°产品展示——你的下个百万播放视频,可能就差这一次「运镜自由」!

🚀 快速阅读

TrajectoryCrafter 是一项用于单目视频相机轨迹重定向的创新技术。

  1. 核心功能:支持用户自由调整视频的相机轨迹,生成高保真、与源视频一致的新型轨迹视频。
  2. 技术原理:基于双流条件视频扩散模型,结合点云渲染和源视频,实现精确的视图变换和高质量内容生成。

TrajectoryCrafter 是什么

trajectorycrafter-3009091-hd_1280_720_30fps

trajectorycrafter-vlogger-corgi

TrajectoryCrafter 是由腾讯PCG ARC Lab和香港中文大学联合推出的一项创新技术,专注于单目视频的相机轨迹重定向。它允许用户在后期自由调整视频的相机位置和角度,轻松改变视频中的运镜方式,为视频创作提供更多可能性。

该技术基于解耦视图变换和内容生成的双流条件视频扩散模型,通过点云渲染和源视频作为条件输入,实现对用户指定相机轨迹的精确控制和高质量的4D内容生成。TrajectoryCrafter 的创新之处在于其双重重投影策略和混合数据集训练方法,显著提升了模型在多样化场景中的泛化能力。

TrajectoryCrafter 的主要功能

  • 精确轨迹控制:用户可指定任意相机轨迹(如平移、旋转、缩放等),生成与之匹配的视频内容。
  • 高保真视频生成:生成的视频在视觉上与原始视频保持一致,具备高质量的细节和纹理。
  • 4D一致性:生成的视频在空间上与目标轨迹一致,在时间上与原始视频保持连贯性,避免内容漂移或闪烁。
  • 多样化场景泛化:模型能适应各种场景,包括室内、室外、动态场景等,具有良好的泛化能力。

TrajectoryCrafter 的技术原理

  • 双流条件视频扩散模型:将相机轨迹的确定性变换与内容生成的随机性分开处理,基于点云渲染实现精确的视图变换,用视频扩散模型生成高质量的内容。
  • 双流条件机制:模型包含两个条件输入:点云渲染(用于精确控制视图变换)和源视频(用于提供细节和纹理)。通过独特的Ref-DiT模块(参考条件扩散变换器),将源视频的细节信息通过交叉注意力机制注入到生成过程中,提升生成视频的保真度。
  • 动态点云渲染:通过深度估计将单目视频转换为动态点云,根据用户指定的相机轨迹渲染新视图。点云渲染准确捕捉几何关系和视图变换,提供几何指导。
  • 混合数据集与训练策略:采用混合数据集策略,结合网络规模的单目视频和静态多视角数据集进行训练。通过双重重投影策略生成大规模的训练样本,提升模型在多样化场景中的泛化能力。

如何运行 TrajectoryCrafter

1. 克隆 TrajectoryCrafter 仓库

git clone --recursive https://github.com/TrajectoryCrafter/TrajectoryCrafter.git
cd TrajectoryCrafter

2. 设置环境

conda create -n trajcrafter python=3.10
conda activate trajcrafter
pip install -r requirements.txt

3. 下载预训练模型

可以通过 HuggingFace 或 git-lfs 下载预训练模型:

# 使用 HuggingFace(推荐)
sh download/download_hf.sh 

# 使用 git-lfs(速度较慢但更稳定)
sh download/download_lfs.sh

4. 运行推理

通过命令行运行推理脚本:

sh run.sh

5. 本地 Gradio 演示

运行本地 Gradio 演示:

python gradio_app.py

资源


❤️ 如果你也关注 AI 的发展现状,且对 AI 应用开发感兴趣,我会每日分享大模型与 AI 领域的开源项目和应用,提供运行实例和实用教程,帮助你快速上手AI技术!

🥦 AI 在线答疑 -> 智能检索历史文章和开源项目 -> 尽在微信公众号 -> 搜一搜:蚝油菜花 🥦

相关文章
|
计算机视觉 Python
OpenCV中图像的开、闭运算讲解与实战应用(附Python源码)
OpenCV中图像的开、闭运算讲解与实战应用(附Python源码)
910 0
|
8月前
|
开发工具 Swift iOS开发
Xcode 26.3 (17C529) 发布,解锁智能体编程的强大能力
Xcode 26.3 (17C529) 发布 - Apple 平台 IDE
3060 3
Xcode 26.3 (17C529) 发布,解锁智能体编程的强大能力
|
9月前
|
存储 监控 固态存储
阿里云服务器配置选择参考:cpu与内存、带宽和云盘种类及容量选择注意事项参考
阿里云服务器配置选择参考:选择合适的阿里云服务器配置与云盘容量,用户需先明确业务需求,包括网站类型、访问量、应用类型、性能需求及数据安全性等。根据需求选CPU核心数、内存及带宽,如高并发场景需多核CPU与大内存。云盘容量上,系统盘建议20G-40G,数据盘依数据量选50G-100G或更大,并区分系统盘与数据盘用途。
|
人工智能 自然语言处理 安全
AI战略丨新一代 AI 应用: 穿透场景,释放价值
在深入理解技术特性、准确把握应用场景、科学评估实施条件的基础上,企业才能制定出符合自身实际的战略。
|
机器学习/深度学习 数据采集 编解码
Stable Video Diffusion:将潜在视频扩散模型扩展到大规模数据集——论文阅读
Stable Video Diffusion(SVD)是Stability AI提出的高分辨率视频生成模型,基于潜在扩散框架,通过三阶段训练与严格数据筛选,在文本到视频和图像到视频任务中实现高质量生成。论文系统研究了数据质量对模型性能的影响,提出级联切分检测、运动评分过滤、合成字幕优化等策略,并引入线性递增引导等创新技术,显著提升生成稳定性与视觉保真度。
2033 4
|
人工智能
SynCamMaster:快手联合浙大、清华等大学推出的多视角视频生成模型
SynCamMaster是由快手科技联合浙江大学、清华大学等机构推出的全球首个多视角视频生成模型,能够结合6自由度相机姿势,从任意视点生成开放世界视频。该模型通过增强预训练的文本到视频模型,确保不同视点的内容一致性,支持多摄像机视频生成,并在多个应用场景中展现出巨大潜力。
636 4
SynCamMaster:快手联合浙大、清华等大学推出的多视角视频生成模型
|
JavaScript
VUE element-ui之table表格中嵌套输入框,且输入框失焦自动勾选当前行
VUE element-ui之table表格中嵌套输入框,且输入框失焦自动勾选当前行
2301 0
VUE element-ui之table表格中嵌套输入框,且输入框失焦自动勾选当前行
|
传感器 JavaScript 前端开发
如何为 Mosquitto MQTT 代理启用 WebSocket?
如何为 Mosquitto MQTT 代理启用 WebSocket?
1930 2
如何为 Mosquitto MQTT 代理启用 WebSocket?
|
开发框架 前端开发 定位技术
在Mars3d实现cesium的ImageryLayer自定义瓦片的层级与原点
通过上述步骤,您可以成功在Mars3D平台上集成Cesium,并实现自定义瓦片图层的层级与原点配置。这一过程不仅提升了地图应用的定制化程度,也为处理特定数据集和优化用户体验提供了灵活的解决方案。在实际开发过程中,不断测试和微调是确保图层展示效果与性能的关键。
1281 0
|
机器学习/深度学习 数据可视化 API
Gymnasium的基本用法
Gymnasium的基本用法
1362 0

热门文章

最新文章