❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发感兴趣，我会每日分享大模型与 AI 领域的开源项目和应用，提供运行实例和实用教程，帮助你快速上手AI技术！

🥦 AI 在线答疑 -> 智能检索历史文章和开源项目 -> 尽在微信公众号 -> 搜一搜：蚝油菜花 🥦

🎬 「运镜解放！腾讯ARC黑魔法：随手拍视频竟能后期改运镜轨迹？」

大家好，我是蚝油菜花。你是否经历过这些创作困境：

• 👉 拍摄时手抖导致运镜生硬，成片像「帕金森纪录片」
• 👉 想给产品视频加炫酷环绕镜头，租轨道车预算直接爆炸
• 👉 剪辑时突发灵感想改视角，却发现原始素材根本不够用...

今天要揭秘腾讯ARC Lab的 TrajectoryCrafter ，这个用AI重构物理定律的神器，能让你在后期随意修改视频的相机轨迹！

🛠️ 三大颠覆性突破：

• ✅ 单目视频秒变「4D建模」，支持任意平移/旋转/缩放轨迹
• ✅ 双流扩散模型确保画面0穿帮，毛发纹理都能精准还原
• ✅ 影视级泛化能力，从vlog到商业片场全面适配

导演们已经用它重制经典镜头，电商团队靠它生成360°产品展示——你的下个百万播放视频，可能就差这一次「运镜自由」！

🚀 快速阅读

TrajectoryCrafter 是一项用于单目视频相机轨迹重定向的创新技术。

1. 核心功能：支持用户自由调整视频的相机轨迹，生成高保真、与源视频一致的新型轨迹视频。
2. 技术原理：基于双流条件视频扩散模型，结合点云渲染和源视频，实现精确的视图变换和高质量内容生成。

TrajectoryCrafter 是什么

TrajectoryCrafter 是由腾讯PCG ARC Lab和香港中文大学联合推出的一项创新技术，专注于单目视频的相机轨迹重定向。它允许用户在后期自由调整视频的相机位置和角度，轻松改变视频中的运镜方式，为视频创作提供更多可能性。

该技术基于解耦视图变换和内容生成的双流条件视频扩散模型，通过点云渲染和源视频作为条件输入，实现对用户指定相机轨迹的精确控制和高质量的4D内容生成。TrajectoryCrafter 的创新之处在于其双重重投影策略和混合数据集训练方法，显著提升了模型在多样化场景中的泛化能力。

TrajectoryCrafter 的主要功能

• 精确轨迹控制：用户可指定任意相机轨迹（如平移、旋转、缩放等），生成与之匹配的视频内容。
• 高保真视频生成：生成的视频在视觉上与原始视频保持一致，具备高质量的细节和纹理。
• 4D一致性：生成的视频在空间上与目标轨迹一致，在时间上与原始视频保持连贯性，避免内容漂移或闪烁。
• 多样化场景泛化：模型能适应各种场景，包括室内、室外、动态场景等，具有良好的泛化能力。

TrajectoryCrafter 的技术原理

• 双流条件视频扩散模型：将相机轨迹的确定性变换与内容生成的随机性分开处理，基于点云渲染实现精确的视图变换，用视频扩散模型生成高质量的内容。
• 双流条件机制：模型包含两个条件输入：点云渲染（用于精确控制视图变换）和源视频（用于提供细节和纹理）。通过独特的Ref-DiT模块（参考条件扩散变换器），将源视频的细节信息通过交叉注意力机制注入到生成过程中，提升生成视频的保真度。
• 动态点云渲染：通过深度估计将单目视频转换为动态点云，根据用户指定的相机轨迹渲染新视图。点云渲染准确捕捉几何关系和视图变换，提供几何指导。
• 混合数据集与训练策略：采用混合数据集策略，结合网络规模的单目视频和静态多视角数据集进行训练。通过双重重投影策略生成大规模的训练样本，提升模型在多样化场景中的泛化能力。

如何运行 TrajectoryCrafter

1. 克隆 TrajectoryCrafter 仓库

git clone --recursive https://github.com/TrajectoryCrafter/TrajectoryCrafter.git
cd TrajectoryCrafter

2. 设置环境

conda create -n trajcrafter python=3.10
conda activate trajcrafter
pip install -r requirements.txt

3. 下载预训练模型

可以通过 HuggingFace 或 git-lfs 下载预训练模型：

# 使用 HuggingFace（推荐）
sh download/download_hf.sh 

# 使用 git-lfs（速度较慢但更稳定）
sh download/download_lfs.sh

4. 运行推理

通过命令行运行推理脚本：

sh run.sh

5. 本地 Gradio 演示

运行本地 Gradio 演示：

python gradio_app.py

资源

• 项目主页：https://trajectorycrafter.github.io/
• GitHub 仓库：https://github.com/TrajectoryCrafter/TrajectoryCrafter
• 在线演示 Demo：https://huggingface.co/spaces/Doubiiu/TrajectoryCrafter

❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发感兴趣，我会每日分享大模型与 AI 领域的开源项目和应用，提供运行实例和实用教程，帮助你快速上手AI技术！

🥦 AI 在线答疑 -> 智能检索历史文章和开源项目 -> 尽在微信公众号 -> 搜一搜：蚝油菜花 🥦